Algoritmos de Aprendizado. Formas de Aprendizado. Aprendizado Batch x Incremental. Aprendizado Batch x Incremental

Transcrição

1 Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square Multi-Layer Perceptrons (Back Propagation Radial Basis Functions (RBFs Competitive Learning Hopfield Formas de Aprendizado Existe dois métodos básicos de aplicação do algoritmo Back Propagation: Aprendizado em Batch ( Batch Learning, por ciclo, etc Aprendizado Incremental ( on-line, pattern-mode, por padrão, etc Aprendizado Batch x Incremental Aprendizado em Batch (por ciclo Somente ajusta os pesos após a apresentação de TODOS os padrões Cada padrão é avaliado com a MESMA configuração de pesos obtém-se os termos derivativos δe p /δw e depois obtém-se a soma total do algoritmo: E E cálculo correto p = do gradiente. w w p Aprendizado Batch x Incremental Aprendizado em Batch (por ciclo Melhor aproximação do verdadeiro gradiente 1

2 Aprendizado Incremental Aprendizado Incremental (por padrão Atualiza os pesos a cada apresentação de um novo padrão os pesos são atualizados usando o gradiente do erro de um único padrão não é mais uma aproximação simples do gradiente mais atualizações ocorrem em um mesmo período de tempo tende a aprender melhor o último padrão apresentado sequência aleatória Aprendizado Incremental Verdadeiro gradiente x Gradiente de um padrão O gradiente de um único padrão pode ser visto como uma estimativa ruidosa do verdadeiro gradiente; Ele pode ter projeções negativas sobre o verdadeiro gradiente; Na média, ele se move downhill ; Quando η << 1, os dois métodos se aproximam. Aprendizado Incremental Aprendizado Incremental Na apresentação randômica dos padrões, a descida não é mais suave; Na média diminui o erro mas pode, eventualmente, aumentá-lo; No final do treinamento η deve ser pequeno para evitar oscilações. Batch X Incremental O modo Batch necessita de menos atualizações de pesos Tende a ser mais rápidor Batch fornece uma medida mais precisa da mudança necessária dos pesos Incremental tem menos chance de ficar preso em um local devido à apresentação aleatória dos padrões natureza estocástica stica de busca no espaço o de pesos Tende a ser mais rápido r se o conjunto de treinamento for grande e ruidoso. A eficiência dos dois métodos depende do problema em questão 2

3 Avaliação do Algoritmo Apesar do grande sucesso do Back Propagation, existem alguns problemas: definição do tamanho da rede; problema de paralisia da Rede Neural; problema de ficar preso em um local. Avaliação do Algoritmo Apesar do grande sucesso do Back Propagation, existem alguns problemas: definição do tamanho da rede; problema de paralisia da Rede Neural; problema de ficar preso em um local. Tamanho da Rede Neural Define o número de camadas escondidas e o número de processadores em cada uma dessas camadas. Compromisso entre Convergência e Generalização. Também conhecido como bias and variance dilemma. Convergência É a capacidade da Rede Neural de aprender todos os padrões do conjunto de treinamento. Se a rede neural for pequena, não será capaz de armazenar todos os padrões necessários. Isto é, a rede não deve ser rígida a ponto de não modelar fielmente os dados. 3

4 f(x Convergência É a capacidade da Rede Neural de aprender todos os padrões do conjunto de treinamento. Rede muito pequena Poucos parâmetros para aprender todos os padrões Generalização Se a rede for muito grande (muitos parâmetros = pesos, não responderá corretamente aos padrões nunca vistos. Isto é, a rede não deve ser excessivamente flexível a ponto de modelar também o ruído f(x generalizações Rede com muitos parâmetros Boa interpolação x 1 x 2 x 3 x 4 x 5 x i pontos do conjunto de treinamento x novo novo ponto para generalização x x 1 x 2 x 3 x novo x 4 x 5 x i pontos do conjunto de treinamento x novo novo ponto para generalização x Generalização Generalização Métricas: Métricas: Usou Kolmogorov Theorem: qualquer função de n variáveis Hecht-Nielsen pode ser representada por 2n+1 funções de uma variável número de PEs na camada escondida N hidden 2N in + 1 Upadhyaya & Eryurek número de pesos W N in. log 2 P O número de parâmetros necessários para codificar P padrões binários é log 2 P número de entradas número de entradas número de padrões 4

5 Métricas: Generalização Métricas: Generalização Baum-Haussler número de padrões N w ε número de sinapses 0 < ε 1/8 desejado no teste (erro trein = ε /2 Baum-Haussler número de padrões N w ε número de sinapses 0 < ε 1/8 desejado no teste (erro trein = ε /2 (generalização x precisão (generalização x precisão N hidden = w N in + N out Métricas: Generalização número de padrões desejado no teste Baum-Haussler N Nhidden N ε test N in + N número output de PEs na camada escondida número de entradas número de PEs na camada de saída GENERALIZAÇÃO Resumo sobre número de Processadores Escondidos Nunca escolha h > 2i; Pode-se armazenar p padrões de i elementos em i log 2 p processadores escondidos nunca utilize mais do que esse limite para uma boa generalização utilize um número consideravelmente menor Assegure-se que se tem pelo menos 1/ε vezes mais padrões do que w Número de padrões > 10 x número de pesos 5

6 GENERALIZAÇÃO Técnicas para Reduzir a complexidade da rede: Weight Decay Análise de Sensibilidade Weight Decay Adiciona um termo denominado weight decay Usado para ajustar a complexidade da rede à dificuldade do problema; Se a estrutura da rede for muito complexa, pode-se remover alguns pesos sem aumentar o erro significativamente; o método fornece aos pesos uma tendência de se dirigir ao valor zero, reduzindo a sua magnitude um pouco a cada iteração. Weight Decay Adiciona um termo denominado weight decay E w( t = η ( t ρw( t w onde 0 ρ<<1 Se δe/δw i =0 w i irá diminuir até zero; caso contrário, os dois termos irão se equilibrar em um certo ponto, evitando que w i 0 Weight Decay Adiciona um termo denominado weight decay E w( t = η ( t ρw( t w onde 0 ρ<<1 Equivale a modificar a definição de E incluindo um termo de penalidade correspondente à magnitude dos pesos da rede. 1 E = 2 k 2 ( di yi + i= λ w 2 6

7 GENERALIZAÇÃO Análise de Sensibilidade da Saída: Retira-se uma variável de entrada ou elementos processadores; Treina-se novamente a rede; Verifica-se a variação do erro de saída. Se a retirada do elemento não causar grande variação a rede é pouco sensível a este elemento, podendo ser retirado sem perda da capacidade de modelar os dados. Avaliação do Algoritmo Apesar do grande sucesso do Back Propagation, existem alguns problemas: definição do tamanho da rede; problema de paralisia da Rede Neural; problema de ficar preso em um local. Problema de Paralisia Com o treinamento, os pesos podem alcançar valores muito grandes (w ji A soma ponderada de cada processador torna-se também muito grande (net j = Σ x i.w ji + θ j F (net j ~ 0 w ji ~ 0 A Rede Neural não consegue aprender F(net j net j Regiões de derivada aproximadamente zero Problema de Paralisia Como evitar paralisia da Rede? Deve-se escolher valores de pesos e bias uniformemente distribuídos dentro de um intervalo pequeno; Os neurônios devem, inicialmente, operar na sua região linear; O número de processadores na(s camada(s escondida(s deve ser pequeno. 7

8 Avaliação do Algoritmo Apesar do grande sucesso do Back Propagation, existem alguns problemas: definição do tamanho da rede; problema de paralisia da Rede Neural; problema de ficar preso em um local. Problema do Local De acordo com o método do gradiente, tem-se: w ji = η.s i.e j Taxa de aprendizado 0.05 η 0.75 A taxa de aprendizado não deve ser nem muito pequena treinamento lento, nem muito grande oscilações Problema do Local Problema do Local (w Partindo da posição inicial 1: η pequeno (w Partindo da posição inicial 1: η pequeno Posição Inicial 1 Posição Inicial 1 Posição 2 Local w L1 Local w w L2 w L1 8

9 Problema do Local Problema do Local (w Partindo da posição inicial 1: η pequeno (w Partindo da posição inicial 1: η pequeno do Gradiente Posição j Qualquer pequena mudança faz o erro aumentar não consegue sair do vale Posição j w Lj w Lj Problema do Local Com η pequeno e dependendo da inicialização dos pesos (feita de forma aleatória não é possível calcular um w que faça a a Rede Neural sair do Local Problema do Local (w Posição Inicial 2 Partindo da posição inicial 2: η grande A Rede Neural não consegue aprender com a precisão especificada ((! w G1 9

10 Problema do Local Problema do Local (w Partindo da posição inicial 2: η grande Posição Inicial 2 Posição 2 (w Partindo da posição inicial 2: η grande Posição 2 Posição 3 w w G1 w G2 w w G2 w G3 Problema do Local Problema do Local (w Partindo da posição inicial 2: η grande (w Partindo da posição inicial 2: η grande Posição 3 w Posição 4 Posição 4 w Posição 5 As mudança não são suficientemente pequenas para levar a uma configuração de erro. w G3 w G4 w G4 w G5 10

11 Problema do Local Quando η é grande, a Rede Neural pode nunca conseguir chegar ao pois os valores de w são grandes. Oscilações ões. Problema do Local (w Partindo da posição inicial 2: η adequado Posição Inicial 2 A Rede Neural também não consegue aprender com a precisão especificada (fica( oscilando em torno do global! w G1 Problema do Local Problema do Local (w Partindo da posição inicial 2: η adequado Posição Inicial 2 Posição 2 (w Partindo da posição inicial 2: η adequado Posição 2 w w G1 w G2 w w G2 Posição 3 w G3 11

12 Problema do Local Problema do Local (w Partindo da posição inicial 2: η adequado Soluções: Utilizar taxa de aprendizado (η adaptativa; Posição 3 Posição k Utilizar o termo de Momento (α. w G3 w Gk Termo de Momento (α( Termo de Momento (α( Uma forma de diminuir a possibilidade de oscilações com valores de η maiores é incluir o Termo de Momento na atualização dos pesos sinápticos w ji (t+1 = η.s i.e j + α. w ji (t w ji (t+1 = η.s i.e j + α. w ji (t Termo proporcional ao valor anterior de atualização do peso 0 < α <

13 Termo de Momento (α( Termo de Momento (α( w 2 w 2 Ponto Inicial - A Ponto Inicial - A A w(t A w(t A -η E(t+1 + α w(t A -η E(t+1 + α w(t A e A estão na mesma direção α acelera o aprendizado w 1 w 1 Termo de Momento (α( Termo de Momento (α( w 2 w 2 Ponto Inicial - B Ponto Inicial - B α w(t B -η E(t+1 B α w(t B -η E(t+1 B B e B estão em direções opostas α evita oscilações w 1 w 1 13

14 Termo de Momento (α( Aprendizado em Batch sem Termo de Momento Termo de Momento (α( Aprendizado em Batch com Termo de Momento Termo de Momento (α( Aprendizado em Batch com Termo de Momento Simulações com a mesma configuração inicial de pesos Conforme α aumenta converge mais rápido (para valores pequenos Conforme α aumenta mais pode oscilar Exemplo - Paridade 4 bits Rede 4/4/1, com treinamento em batch e tanh; Entradas ±1, target ±0.9 e pesos iniciais distribuídos [-0.5, +0.5]; η fixa de a 10.0 (37 valores e α de 0 a 0.99 (14 valores; 100 simulações para cada configuração; treinamento por no máximo 5000 iterações; convergência quando E MSE <0.001 ou se todos padrões erro < 0.2; paralisia se, entre epochs, E MSE < ou se gradiente < ; tempo de convergência Ti i Tavg = N convergiram Probabilidade de convergência N convergiram /100 14

15 Exemplo - Paridade 4 bits Batch X Incremental # epochs probabilidade de convergência Apresentação aleatória dos padrões Oscilações comuns. Batch X Incremental Aprendizado Incremental 4-bits paridade, η=0.3 e α=0 mesmos pesos iniciais única rede que convergiu ICADEMO Formato de Entrada: 15

16 ICADEMO Formato de Saída: Topologia: ICADEMO Vetor de 10 elementos binários dígito 1 dígito 2 dígito 0 0 Aplicação Prática Reconhecimento de Dígitos ICADEMO 16