Redes Neurais: MLP. Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação

Transcrição

1 Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Redes Neurais: MLP DCA0121 Inteligência Artificial Aplicada Heitor Medeiros 1

2 Tópicos Redes diretas de múltiplas camadas: MLP (Perceptron de múltiplas camadas). Algoritmo de treinamento: Regra delta generalizada. 2

3 Motivação As redes Perceptron e Adaline são formadas por uma única camada de neurônios baseada na função de ativação degrau, assim permitindo apenas classificação de funções linearmente separáveis, através da formação de equação de uma reta. A evolução da rede Adaline é a rede MADALINE (redes com duas camadas). Porém, essas redes continuavam limitadas a classificação de padrões que dependem de combinação de retas. 3

4 Motivação A necessidade de criar outras arquiteturas surgiu da necessidade de classificar padrões mais complexos, como o exemplo da porta XOR. Solução: Redes com múltiplas camadas: Perceptron de múltiplas camadas (MLP). 4

5 Motivação Com as redes de múltiplas camadas é possível classificar grupos de problemas não linearmente separáveis. 5

6 Perceptron de Multiplas Camadas (MLP) A MLP é uma rede direta de múltiplas camadas conectadas. A rede contêm uma camada de entrada (apenas com os estímulos da rede), uma camada de saída e uma ou várias camadas ocultas. Cada camada é formada por um ou vários neurônios. Os neurônios de uma cada só podem ser conectados aos neurônios de camadas posteriores ou anteriores. 6

7 Perceptron de Multiplas Camadas (MLP) 7

8 Perceptron de Multiplas Camadas (MLP) As redes MLP são bastante aplicadas na classificação de funções complexas devido à utilização do algoritmo de treinamento de retropropagação do erro (Backpropagation) ou de variações desse algoritmo. Algoritmo Backpropagation é baseada na regra delta, sendo conhecido também como regra delta generalizada. 8

9 Algoritmo de treinamento: Backpropagation O algoritmo de treinamento backpropagation divide o processo em dois passos: Propagação do erro: Pesos fixos para calcular os sinais funcionais. Retropropagação do erro: Os erros são ajustados através dos erros calculados. Propagação Pesos fixos N N Ajuste dos pesos N Retropropagação 9

10 Etapa de propagação: Cálculo dos sinais funcionais Supondo uma MLP como mostrada abaixo. Na etapa de propagação são calculados todos os sinais funcionais (u 1, y 1, u 2, y 2, u 3, y 3 ). 10

11 Etapa de Retropropagação: Ajuste dos pesos sinápticos 11

12 Ajuste dos pesos sinápticos O erro na saída do neurônio 3 (terceira camada / camada de saída): e 3 k = d 3 k y 3 k O valor instantâneo da energia total do erro (E(k)) é obtido por: m E k = 1 e 2 j (k), j=1 m é o número de neurônios da camada de saída. O valor médio da energia total do erro (E m ) é obtido por: N E m = 1 E(n), N n=1 sendo N o número de exemplos de treinamento. 12

13 Ajuste dos pesos sinápticos Ajuste do pesos: w novo (k) = w antigo (k) + w(k) Correção do peso: w(k) = η E(k) w(k) Encontrar o valor mínimo da função de erro (E) 13

14 Ajuste dos pesos sinápticos Supondo o neurônio j na camada de saída: Neurônio i w ji Camada de saída Neurônio j Gradiente do erro: E(k) w ji (k) = E(k) e j (k) e j k y j k y j k u j k u j(k) w ji (k) 14

15 Ajuste dos pesos (Neurônio de saída) E(k) w ji (k) = E(k) e j (k) e j k y j k y j k u j k u j(k) w ji (k) E k = 1 2 e j 2 k E(k) e j (k) = e j(k) y j k = f j u j y j k u j k = f j (u j ) e j k = d j k y j (k) e j k y j k = 1 u j = w ji k y i k u j (k) w ji (k) = y i(k) 15

16 Gradiente local (Neurônio de saída) E(k) w ji (k) = E(k) e j (k) e j k y j k y j k u j k u j(k) w ji (k) E(k) w ji (k) = e j k f j u j k y i k E k w ji k = η w ji k = η δ j k y i k, onde δ j k é o gradiente local. Gradiente local δ j k (Neurônio na camada de saída): δ j k = E k u j k = e j k f j u j k 16

17 Gradiente local (Neurônio na camada oculta) Neurônio i w ji Camada oculta Neurônio j w sj Camada de saída Neurônio s Quando o neurônio j não é um neurônio da camada de saída, o gradiente local não pode ser calculado como mostrado anteriormente. E k δ j k = u j k = E k e j k e j k y j k y j k u j k = e j k f j u j k e j k = d j k y j (k) A saída do neurônio não é uma saída do sistema. 17

18 Gradiente local (Neurônio Oculto) Gradiente local δ j k (Neurônio em camada oculta): E k δ j k = u j k = E k y j k y j(k) u j (k) δ j k = E k y j k f (u j k ) E k = 1 2 E(k) y j (k) = s e s 2 k e s e s (k) y j (k) E(k) y j (k) = s e s (k) u s (k) e s u s (k) y j (k) e s k = d s k y s k = d s k f s u s k e s (k) u s (k) = f s (u s k ) 18

19 Gradiente local (Neurônio Oculto) Gradiente local δ j k (Neurônio em camada oculta): E(k) y j (k) = s δ j k = e s (k) u s (k) e s u s (k) y j (k) e s k = d s k y s k = d s k f s u s k e s (k) u s (k) = f s (u s k ) E k y j k f (u j k ) u s k = w sj k y j (k) u s (k) y j (k) = w sj(k) E(k) y j (k) = s E(k) y j (k) = s e s f s u s k w sj k δ s (k) w sj k 19

20 Gradiente local (Neurônio Oculto) Gradiente local δ j k (Neurônio em camada oculta): δ j k = f u j k s δ s (k) w sj k Gradiente local do neurônio da camada oculta. Gradiente local dos neurônios da camada de saída. Pesos. 20

21 Atualização dos pesos w ji k = w ji k + w ji (k) Taxa de aprendizagem Gradiente local Estímulos do neurônio j w ji (k) = η * δ j (k) * y i (k) Neurônio da camada de saída Neurônio da camada oculta δ j k = e j k f j u j k δ j k = f u j k δ s (k) w sj k s 21

22 Passos do Algoritmo Backpropagation 22

23 Algoritmo Backpropagation 23

24 Algoritmo Backpropagation 1. Obter o conjunto de amostras de treinamento {x k }. 2. Associar a saída desejada {d k } para cada amostra obtida. 3. Iniciar o vetor de pesos {w} com valores aleatórios pequenos. 4. Especificar a taxa de aprendizagem {η}, precisão requerida {ε} e o número máximo de épocas. 5. Iniciar o contador do número de épocas {epoca 0} 6. Repetir as instruções: 1. E anterior m E m ; 2. Para todas as amostras de treinamento {x k, d k }, faça: 1. Passos de propagação e retropropagação. 3. E m atual E m ; 4. epoca epoca + 1; Até que: (( E atual m E anterior m 7. Final do treinamento. ε) ou (epoca >= epocamaxima)). 24

25 Algoritmo Backpropagation Repetir as instruções: 1. E m anterior E m ; 2. Para todas as amostras de treinamento {x k, d k }, faça: 1. Passos de propagação: Obter sinais de saídas dos neurônios das camadas ocultas até a camada de saída. 2. Passos da retropropagação: Determinar o gradiente local e o ajuste dos pesos partindo da camada de saída até a primeira camada oculta. 3. E m atual E m ; 4. epoca epoca + 1; Até que: (( E m atual E m anterior ε ) ou (epoca >= epocamaxima)). 25

26 Próxima aula: Implementação da MLP 26

27 Rede MLP para solucionar o problema XOR Implementação de uma rede neural MLP para solucionar o problema da porta XOR. Implementação na linguagem Octave. GNU Octave 27

28 Arquitetura da Rede MLP X1 1 w 11 1 w 12 N1 2 w 11 1 w 13 N2 2 w 21 Y 1 w 21 1 w 22 X2 1 w 23 N3 2 w 31 Função linear: f x = x Função sigmoide (modificada): 2 f x = 1 + e 2x 1 28

29 Revisando Vantagens das redes de múltiplas camadas. Estrutura das redes de múltiplas camadas. MLP (Perceptron de múltiplas camadas) Algoritmo de treinamento: Backpropagation / regra delta generalizada. Propagação: Sinais funcionais. Retro propagação: Gradiente local: Neurônio de saída x Neurônio oculto?? 29

30 Referências 1. Haykin, Simon S. Redes neurais artificiais: princípio e prática. 2ª ed. São Paulo: Bookman, Lima, Isaías; Pinheiro, Carlos; Oliveira Santos, Flávia. Inteligência artificial. Rio de Janeiro: Elsevier,

31 Referências 3. CASTRO, Leandro Nunes de. Análise e síntese de estratégias de aprendizado para redes neurais artificiais. Campinas: FEEC, UNICAMP. Dissertação de Mestrado - Faculdade de Engenharia Elétrica e de Computação, Universidade Estadual de Campinas, p. 250,

32 Dúvidas? Dúvidas por 32