Multi-Layer. Perceptrons. Algoritmos de Aprendizado. Perceptrons. Perceptrons

Transcrição

1 Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Back Propagation Multi-Layer Perceptrons Redes de apenas uma camada só representam funções linearmente separáveis Redes de múltiplas camadas solucionam essa restrição Multi-Layer Perceptrons Rede de 3 camadas: 5 / 5 / 3 / 4 Multi-Layer Perceptrons Redes de apenas uma camada só representam funções linearmente separáveis Redes de múltiplas camadas solucionam essa restrição O desenvolvimento do algoritmo Back Propagation foi um dos motivos para o ressurgimento da área de Redes Neurais 1

2 Back Propagation O grande desafio foi achar um algoritmo de aprendizado para a atualização dos pesos das camadas intermediárias. Idéia Central: Os erros dos elementos processadores da camada de saída (conhecidos pelo treinamento supervisionado) são retro-propagados para as camadas intermediárias x 1 Padrão de x 2 Entrada: vetor X Back Propagation Modelo básico do Neurônio Artificial: x i +1 w j1 w j2 w ji Bias = θ j net j s j Back Propagation Back Propagation Características Básicas: Regra de Propagação net j = Σ x i.w ji + θ j Função de Ativação Função Não-Linear Linear, diferenciável em todos os pontos. Topologia Múltiplas camadas. Algoritmo de Aprendizado Supervisionado Valores de Entrada/Saída Binários e/ou Contínuos Topologia: Entrada Camadas Escondidas Camada de Saída PE j 2

3 Processo de minimização do erro quadrático pelo método do Gradiente Decrescente w ji = -η δe δw ji Cada peso sináptico i do elemento processador j é atualizado proporcionalmente ao negativo da derivada parcial do erro deste processador com relação ao peso. Na verdade, deve-se minimizar o erro de todos os processadores da camada de saída, para todos os padrões Usa-se o E SSE Sumum of Squared Errors E SSE Sum of Squared Errors E SSE = 1 Σ p Σ j (t pj -s pj ) 2 2 t pj = valor desejado de saída do padrão p para o processador j da camada de saída s pj = estado de ativação do processador j da camada de saída quando apresentado o padrão p E SSE Sum of Squared Errors Vantagem: os erros para diferentes padrões, para diferentes saídas são INDEPENDENTES 3

4 Cálculo de w ji w ji = -η δe p = - η δe p δnet j δw ji δnet j δw ji e j = - δe p δnet j w ji = η. e j. s i net j = Σ s i.w ji + θ j e j = - δe p δnet j Cálculo de e j Depende da camada à qual o processador j pertence: δe p = δe p. δs j δnet j δs j δnet j Se j Camada de Saída Se j Camada de Saída F (net s j = F(net Cálculo de e j j Camada de Saída Cálculo de e j j Camada Escondida e j = - δe p δnet j E p =Σ j 1 (t j - s 2 2 δe p = δe p. δs j δnet j δs j δnet j [ 2. 1 (t( j - s.(-1)] 2 F (net s j = F(net e j = - [ - (t j - s ]. F (net = (t j -s F (net e j = - δe p δnet j E p = f(s =? δe p = δe p. δs j δnet j δs j δnet j F (net s j = F(net 4

5 Cálculo de e j j Camada Escondida Cálculo de e j j Camada Escondida Pelo aprendizado supervisionado, só se conhece o erro na camada de saída ( ); Erro na saída ( ) é função do potencial interno do processador (net k ); O net k depende dos estados de ativação dos processadores da camada anterior (s e dos pesos das conexões (w k; Portanto, s j de uma camada escondida afeta, em maior ou menor grau, o erro de todos os processadores da camada subsequente. Processador j da camada escondida F(net) w j1 s j w j2 sj s j w jk PE 2 e 2 Cálculo de e j j Camada Escondida e j = - δe p δnet j δe p = δe p. δs j δnet j δs j δnet j Após o cálculo da derivada, tem-se: δ E p = δ [ 1 Σ k (t k -s k ) 2 ] δs j δs j 2 = 2. 1 [ Σ k (t k -s k ) ].(-1). δs k 2 δs j = - [ Σ k (t k -s k ) ]. F (net k ). δnet k δs j e j = - {- Σ k. w jk }. F (net e j = F (net. Σ k. w kj F (net s j = F(net w ji = η.s i.e j Onde: s i valor de entrada recebido pela conexão i e j valor calculado do erro do processador j 5

6 Cálculo do Erro (e( Cálculo do Erro (e( Processador j pertence à Camada de Saída: e j = (t j -s. F (net Processador j da camada de saída Processador j pertence à Camada Escondida: e j = (Σ.w k. F (net w 1j s i w ji F(net) saída: s j Valor desejado de saída: t j s i w ji Processador j da camada escondida F(net) w 2j e 2 w kj PE 2 O algoritmo Back Propagation tem portanto duas fases, para cada padrão apresentado: Feed-Forward Forward as entradas se propagam pela rede, da camada de entrada até a camada de saída. Feed-Backward os erros se propagam na direção contrária ria ao fluxo de dados, indo da camada de saída até a primeira camada escondida. Fas: Feed-Forward Entrada Valor de entrada 2 Camadas Escondidas Fluxo de Dados Camada de Saída 6

7 Fas: Feed-Forward Fluxo de Dados Fas: Feed-Forward Fluxo de Dados Entrada 2 Camadas Escondidas Camada de Saída Entrada 2 Camadas Escondidas Camada de Saída Valor de entrada Valor de entrada Fas: Feed-Forward Entrada Fluxo de Dados 2 Camadas Escondidas Camada de Saída Cálculo do erro da camada de saída Valor alvo t 1 s 1 t 2 s 2 t m s m Valor de entrada e m = (t( m -ss m ). F (net) F 7

8 Atualização dos pesos da camada de saída Cálculo do erro da 2 camada escondida w 11 w w 21 m1 e1 t 1 s 1 w 11 w w 21 m1 e1 t 1 s 1 t 2 t 2 s 2 s 2 e e m m e m t m s m e e m m e m t m s m w mk e m w mk e m w mk = η.s k.e m = (Σ e m.w mk ).F (net).w mk ). Atualização dos pesos da 2 camada escondida Cálculo do erro da 1 camada escondida w 1 1 e PE w e w 1 w 31 k1 w 11 w 21 w w 31 k1 w ki ek w ki = η.s i. w ki ek e i = (Σ.w ki ).F (net).w ki ). 8

9 Atualização dos pesos da 1 camada escondida w ji = η.s i.e j e1 e1 w w j1 j2 w j3 e e j w ji j e j PE j e j Este procedimento de aprendizado é repetido diversas vezes, até que, para todos os processadores da camada de saída e para todos os padrões de treinamento, o erro seja menor do que o especificado. Algoritmo de Aprendizado Inicialização: pesos iniciados com valores aleatórios e pequenos ( w 0.1) Treinamento: Loop até que o erro de cada processador de saída seja tolerância, para todos os padrões do conjunto de treinamento. Aplica-se um padrão de entrada X i com o respectivo vetor de saída Y i desejado. Calcula-se as saídas dos processadores, começando da primeira camada escondida até a camada de saída. Calcula-se o erro para cada processador da camada de saída. Se erro tolerância, para todos os processadores, volta ao passo. Calcula a variação dos pesos de cada processador, começando pela camada de saída, até a primeira camada escondida. Volta ao passo Avaliação do Algoritmo Foi demonstrado que a Multi-Layer Perceptron é um Aproximador Universal, isto é, pode representar qualquer função. O BP é o algoritmo de Redes Neurais mais utilizado em aplicações práticas de previsão, classificação e reconhecimento de padrões em geral. 9

10 Capacidade das MLP Capacidade das Multi-Layer Perceptrons (MLP) Mostrou-se que 2 camadas escondidas são suficientes para representar regiões de qualquer tipo. Cybenko 88 Continuos valued neural networks with two hidden layers are sufficient, Technical report, Department of Computer Science, Tufts University, Lippmann 87 An Introduction to Computing with Neural Networks, ASSP Magazine, pp. 4-22, April Capacidade das MLP AND OR Capacidade das MLP Demonstrou-se que as Multi-Layer Perceptrons com uma camada escondida são Aproximadores Universais (funções contínuas). capacidade de aproximar, com precisão arbitrária, essencialmente qualquer mapeamento contínuo nuo do hipercubo [-1, +1] no intervalo (-1, +1). Cybenko 89 Approximation by superpositions of a Sigmoidal Function, Mathematics of Control, Signals and Systems, 2,

11 BP / Aproximador Universal É somente uma prova de existência, não garantindo que: uma única camada é ótimo em termos de tempo; que é de fácil implementação; nem que um determinado algoritmo de otimização irá encontrar a necessária configuração de pesos sinápticos. BP / Aproximador Universal Verificou-se que o erro decresce na ordem de O( 1/ N ), conforme o número N de padrões aumenta. Verificou-se também que o erro decresce na ordem de O( 1/ M ) em função do número M de processadores escondidos. Rule of Thumb N > O( Mp / ε ) onde N= # de padrões; M = # de processadores escondidos; p = dimensão da entrada (Mp # de parâmetros); ε = erro mínimo desejado. 11