Perceptron de Múltiplas Camadas e Backpropagation

Transcrição

1 Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCA UFES Departamento de Computação Perceptron de Múltiplas Camadas e Backpropagation Redes Neurais Artificiais Site: [email protected]

2 Perceptron de Múltiplas Camadas O Perceptron simples não consegue trabalhar com sistemas não lineares. Porém, o Perceptron de Múltiplas Camadas consegue efetuar o mapeamento não linear do espaço de entrada X para o espaço de saída y. Para resolver o problema do XOR (ou exclusivo) foi utilizado um Perceptron de uma camada intermediária (oculta) e uma função ed ativação de sinal (sgn). 2

3 MLP XOR Perceptron de Múltiplas Camadas (MLP Multi-Layer Perceptron) x 1 x 2 XOR Vamos trabalhar na implementação de uma Função Discriminativa Não-Linear usando uma camada intermediária que realiza o mapeamento não linear. 3

4 MLP XOR y. Φ(x)=( Φ 0(x) Φ 1 ( Φ 2 (x)) = ( Φ0(x0; x1; x2) Φ 1 (x 0 ; x 1 ; x 2 ) Φ 2 (x 0 ; x 1 ; x 2 )) Φ 0 = 1 ɸ 1 ɸ 2 Φ 0 (x)=1 Φ 1 (x)=sgn ( 1 2. x x x 2) X 0 =1 X 1 X 2 Φ 2 (x)=sgn ( 3 2. x 0+1. x x 2 ) y=sgn ( 1.Φ 0 +0,7.Φ 1 (x) 0,4.Φ 2 (x)) Abra o Octave, crie o vetores X, y, y_est, W, W_y, e teste essa RNA e suas sinapses. 4

5 MLP XOR x1 x2 Φ 0 Φ 1 Φ /2-7/ /2-3/ /2-3/ /2 1/2 5

6 Perceptron de Múltiplas Camadas Em geral, o perceptron com uma camada oculta calcula: H y i (x)=z i (W i. Φ(x))=Z i( k=0 H =Z i( k=0 H =Z i( k=0 W ik. F (W k. x)) d W ik. F ( j=0 W ik.φ k (x)) W kj. x j )) sendo: Z função de saída e F função da camada oculta 6

7 Perceptron de Múltiplas Camadas No modelo totalmente conectado, a função de ativação é igual para todos os neurônios da mesma camada. Características das funções Z e F: Deve ser não linear em pelo menos uma camada oculta; Deve ser diferenciável: Z'(a) deve existir. A camada oculta implementa a função de base ϕk (x); A função base não é fixa, sendo então adaptável: Poder de cálculo do MLP. 7

8 Backpropagation Vamos ver o funcionamento iterativo do backpropagation utilizando a referência de Mariusz Bernacki, Przemysław Włodarczyk, (2005) 8

9 Rede Neural Utilizada 9

10 Calculando a saída desejada... 10

11 Calculando a saída desejada... 11

12 Calculando a saída desejada... 12

13 Calculando o erro da saída 13

14 Retrocedendo com o Erro... 14

15 Retrocedendo com o Erro... 15

16 Atualizando os pesos... 16

17 Atualizando os pesos... 17

18 Atualizando os pesos... 18

19 Regra de ajuste do peso Considere: i,..., c: índice dos neurônios da camada de saída; h,, H: índice dos neurônios da camada oculta; j,, d: índice dos neurônios da camada de entrada. Sensibilidade: A S (sensibilidade) do neurônio i descreve como o erro global E(w) muda o valor de net i. A regra de ajuste do peso utiliza a sensibilidade de cada neurônio. Seu cálculo será adicionado no algoritmo... 19

20 Feed Forward: Alimentação Adiante // Entrada para Oculta Para h=0,..., H net h 0 Para j=0,...,d net h net h +W hj X j Fim Para Φ h Z (net h ) Fim Para // Oculta para Saída Para i=0,...,c net i 0 Para h=0,..., H net i net i +W ih Φ h Fim Para y i Z (net i ) Fim Para 20

21 Backpropagation Inicialização aleatória dos pesos W' e W, onde W i =1 e W h =1 Para todos os padrões X (k),k=1,...,n, em ordem aleatória : Feedfoward de X (k) : ŷ(x (k) ) Para i=1,...,c : δ i (k) = y i (k ) ŷ i (x (k) ) // Erro na saída i do padrão k S (k) i 2.δ (k) i. Z ' (net (k) i ) // Sensibilidade Para h=0,..., H : w novo ih w velho ih +η.s (k) i.z (net (k) Φ h ) h (X (k) ) // Adaptar os pesos de entrada para a camada oculta W' Para h=1,..., H : aux 0 Para i=0,...,c : aux aux+w velho (k) ih. S i Para j=0,...,d : w novo hj w velho hj +η.s (k) (k) h. X j 21

22 Metodologia de Treinamento Deve-se realizar a divisão do conjunto de dados dos n padrões X (k), k=1,, n em três conjuntos de dados: Treinar com 75% dos exemplos; Validar com 15% dos exemplos; Testar com 15% dos exemplos. Obs.: Essas porcentagens são as padrões do Matlab, mas podem ser alteradas. Antes, os dados devem ser normalizados ou estandardizados: Normalização: X = ( X min(x) ) / ( max(x) min(x) ) Estandardização: X = (X média(x) ) / σ(x). 22