PERCEPTRON. Características Básicas Modelo de Neurônio Estrutura da Rede Algoritmo de Aprendizado

Transcrição

1 PERCEPTRON Características Básicas Modelo de Neurônio Estrutura da Rede Algoritmo de Aprendizado

2 CARACTERISTICAS BASICAS - Regra de propagação net - Função de ativação: Degrau = x w + - Topologia: uma única camada de processadores - Algoritmo de Aprendizado: w ij = ηxη i (t j - s j ) (supervisionado) - Valor de Entrada/Saída: Binários j i i ij θ i

3 MODELO DO NEURÔNIO Na sua forma mais simples, o modelo do processador consiste em: Padrão de entrada vetor x... x 1 w 1j x 2 w 2j y i F... F s x n w nj s j s j ( ) 1 net > = = j 0 F net j F xiwij + θ i = i 0 net j 0

4 Finalidade do Termo Bias: PERCEPTRON i i x i w ij xiw ij = 0 + θ i = 0 Define um hiperplano passando pela origem Desloca-se o hiperplano da origem

5 ALGORITMO DE APRENDIZADO 1) iniciar os pesos sinápticos com valores randomicos e pequenos ou iguais a zero; 2) aplicar um padrão com seu respectivo valor desejado de saída (t j ) e verificar a saída da rede (s j ); 3) calcula o erro na saída E j = t j - s j ; 4) se E j = 0, volta ao passo 2; se E j 0, atualiza os pesos: w ij = ηx i E j ; 5) volta ao passo 2.

6 ALGORITMO DE APRENDIZADO IMPORTANTE não ocorre variação no peso se a saída estiver correta; caso contrario, cada peso é incrementado de η quando a saída é menor que o target e decrementado de η quando a saída é maior que o target. w ij = η x i e j

7 PROCESSO DE APRENDIZADO Processo de minimização do erro quadrático pelo método do Gradiente Descendente w ij E = η ww ij Cada peso sináptico i do elemento processador j é atualizado proporcionalmente ao negativo da derivada parcial do erro deste processador com relação ao peso.

8 Calcula w ij PROCESSO DE APRENDIZADO w ij E = η w p ij E = η x p j x w j ij E p = 1 2 ( t x ) j j j 2 x j = x i w ij + θ j 1 2 j j 2 ( t x )( 1) x i w ij = η ( t ) j x j x i

9 EXEMPLO Simulação do Operador Lógico AND AND x 0 x 1 x 2 t Entrada 1: Entrada 2: Entrada 3: Entrada 4: x 1 Estrutura da Rede s 0 s 1 w 1 Peso inicial: w 0 = 0, w 1 = 0, w 2 =0 Taxa de aprendizado: η = 0.5 x 2 s 2 w 2 sout

10 1 a Cicle EXEMPLO Entrada 1: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out = t Entrada 2: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out = t Entrada 3: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out = t Entrada 4: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out t w 0 = w 0 + η(t-s out )x 0 = (1-0) 1=0.5 w 1 = w 1 + η(t-s out )x 1 = (1-0) 1=0.5 w 2 = w 2 + η(t-s out )x 2 = (1-0) 1=0.5

11 EXEMPLO 2 a Ciclo Entrada 1: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0.5) = 1 s out t w 0 = w 0 + η(t-s out )x 0 = (0-1) 1 = 0 w 1 = w 1 + η(t-s out )x 1 = (0-1) 0 = 0.5 w 2 = w 2 + η(t-s out )x 2 = (0-1) 0 = 0.5 Entrada 2: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0.5) = 1 s out t w 0 = w 0 + η(t-s out )x 0 = (0-1) 1 = -0.5 w 1 = w 1 + η(t-s out )x 1 = (0-1) 0 = 0.5 w 2 = w 2 + η(t-s out )x 2 = (0-1) 1 = 0

12 EXEMPLO 2 a Ciclo Entrada 3: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out = t Entrada 4: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out t w 0 = w 0 + η(t-sη out )x 0 = (1-0) 1 = 0 w 1 = w 1 + η(t-s out )x 1 = (1-0) 1 = 1 w 2 = w 2 + η(t-s out )x 2 = (1-0) 1 = 0.5

13 EXEMPLO 3 a Ciclo Entrada 1: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out = t Entrada 2: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0.5) = 1 s out t w 0 = w 0 + η(t-s out )x 0 = (0-1) 1 = -1 w 1 = w 1 + η(t-s out )x 1 = (0-1) 0 = 1 w 2 = w 2 + η(t-s out )x 2 = (0-1) 1 = 0

14 EXEMPLO 3 a Ciclo Entrada 3: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out = t Entrada 4: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out t w 0 = w 0 + η(t-sη out )x 0 = (1-0) 1 = -0.5 w 1 = w 1 + η(t-s out )x 1 = (1-0) 1 = 1.5 w 2 = w 2 + η(t-s out )x 2 = (1-0) 1 = 0.5

15 EXEMPLO 4 a Ciclo Entrada 1: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(-0.5) = 0 s out = t Entrada 2: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out = t Entrada 3: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(1) = 1 s out t w 0 = w 0 + η(t-s out )x 0 = (0-1) 1 = -1 w 1 = w 1 + η(t-s out )x 1 = (0-1) 1 = 1 w 2 = w 2 + η(t-s out )x 2 = (0-1) 0 = 0.5 Entrada 4: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0.5) = 1 s out = t

16 EXEMPLO 5 a Ciclo Entrada 1: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(-1) = 0 s out = t Entrada 2: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(-0.5) = 0 s out = t Entrada 3: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0) = 0 s out = t Entrada 4: s out = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f( ) = f(0.5) = 1 s out = t w 0 = -1, w 1 = 1, w 2 = 0.5

17 INTERPRETAÇÃO GEOMÉTRICA Linha de Decisão: x 1 w 1 +x 2 w 2 = - θ (0,1) (1,1) x x 2 = 1 (0,0) (1,0) x x 2 =1

18 O PROBLEMA DO OU-EXCLUSIVO (XOR) PONTO X 1 X 2 Saída A A A A A A 3 2 x 1 x 2 w 1 w 2 F(y) saída x De acordo com a definição do neurônio: x = F(x 1 w 1 +x 2 w 2 +θ) θ Região de x = 1 -w 1 /w 2 y = x 1 w 1 + x 2 w 2 + θ se se y 0 x = 1 y < 0 x = 0 A 0 A 1 Região de x = 0 A rede perceptron divide o plano X 1 X 2 em duas regiões (através da reta y).

19 O PROBLEMA DO OU-EXCLUSIVO (XOR) Conclusão - mudando-se os valores de w 1, w 2 e θ, muda-se a inclinação e a posição da reta; - entretanto é impossível achar uma reta que divide o plano de forma separar os pontos A 1 e A 2 de um lado e A 0 e A 3 de outro - redes de 1 única camada só representam funções linearmente separáveis

20 O PROBLEMA DO OU-EXCLUSIVO (XOR) x 2 x 2 A 2 A 3 A 2 A 3 x 1 A 0 A x 1 1 x 2 A 0 A 1 x 1 A 2 A 3 A 0 A 1 x 1

21 O PROBLEMA DO OU-EXCLUSIVO (XOR) Minsky & Papert provaram que este problema pode ser solucionado adicionando-se uma outra camada intermediaria de processadores- Multi-Layer Perceptron (MLP)

22 O PROBLEMA DO OU-EXCLUSIVO (XOR)

23 O PROBLEMA DO OU-EXCLUSIVO (XOR)

24 UMA OBSERVAÇÃO - Redes Neurais de múltiplas camadas só oferecem vantagens sobre as de uma única camada se existir uma função de ativação nãolinear entre as camadas. Camada Escondida: y 1 = x 0 W 1 x 1 = k 1 y 1 Camada de Saída: x 2 = k 2 y 2 = k 2 (x 1 W 2 ) = k 2 ((k 1 y 1 )W 2 ) = k 2 ((k 1 x 0 W 1 )W 2 ) = k 2 k 1 (x 0 W 1 )W 2 = Kx 0 (W 1 W 2 ) = Kx 0 W Equivalente a uma única camada

25 MULTI-LAYER PERCEPTRON Redes de apenas uma camada só representam funções linearmente separáveis Redes de múltiplas camadas solucionam essa restrição O desenvolvimento do algoritmo Back-Propagation foi um dos motivos para o ressurgimento da área de redes neurais