SCC Capítulo 4 Perceptron de Camada Única

Transcrição

1 Perceptron LMS SCC Capítulo 4 Perceptron de Camada Única João Luís Garcia Rosa 1 1 SCC-ICMC-USP - joaoluis@icmc.usp.br 2011 João Luís G. Rosa c SCC-5809: Redes Neurais 1/45

2 Sumário Perceptron LMS 1 Perceptron Histórico Sistema Dinâmico 2 LMS LMS O perceptron Convergência do perceptron João Luís G. Rosa c SCC-5809: Redes Neurais 2/45

3 Sumário Perceptron LMS Histórico Sistema Dinâmico 1 Perceptron Histórico Sistema Dinâmico 2 LMS LMS O perceptron Convergência do perceptron João Luís G. Rosa c SCC-5809: Redes Neurais 3/45

4 História Perceptron LMS Histórico Sistema Dinâmico Nos primórdios das RNA ( ), vários pesquisadores contribuíram: McCulloch e Pitts (1943) introduziram a ideia de redes neurais como máquinas computacionais [3]. Hebb (1949) postulou a primeira regra para aprendizado auto-organizado [2]. Rosenblatt (1958) propôs o perceptron como o primeiro modelo para aprendizado com professor (supervisionado) [5]. O perceptron é a forma mais simples de uma RNA usada para classificar padrões linearmente separáveis. Basicamente, consiste de um único neurônio com pesos sinápticos e bias ajustáveis. A prova de convergência do procedimento de aprendizado proposto por Rosenblatt é conhecida como teorema de convergência do perceptron. João Luís G. Rosa c SCC-5809: Redes Neurais 4/45

5 História Perceptron LMS Histórico Sistema Dinâmico O perceptron construído em torno de um único neurônio é limitado a realizar classificação de padrões com apenas duas classes (hipóteses). Expandindo a camada de saída do perceptron para incluir mais que um neurônio, pode-se classificar mais de duas classes. Entretanto, essas classes devem ser linearmente separáveis para o perceptron funcionar: superfície de decisão tem a forma de um hiperplano entre as duas classes. A regra de decisão é designar x à classe C 1 se a saída for y = +1 e à classe C 2 se a saída for 1. Existem duas regiões separadas pelo hiperplano: wi x i θ = 0. Se o espaço for o R 2, a região de separação é uma reta. João Luís G. Rosa c SCC-5809: Redes Neurais 5/45

6 Sumário Perceptron LMS Histórico Sistema Dinâmico 1 Perceptron Histórico Sistema Dinâmico 2 LMS LMS O perceptron Convergência do perceptron João Luís G. Rosa c SCC-5809: Redes Neurais 6/45

7 Filtro adaptativo Perceptron LMS Histórico Sistema Dinâmico Considere um sistema dinâmico, uma caracterização matemática do que é desconhecido. O que está disponível é um conjunto de dados de entrada-saída rotulados gerados pelo sistema em instantes discretos de tempo a alguma taxa uniforme. Quando um estímulo m-dimensional x(i) é aplicado nos m nós de entrada do sistema, o sistema responde produzindo uma saída escalar d(i), onde i = 1, 2,..., n,..., como mostrado na figura 2 [1]. João Luís G. Rosa c SCC-5809: Redes Neurais 7/45

8 Filtro adaptativo Perceptron LMS Histórico Sistema Dinâmico O comportamento externo do sistema é descrito pelo conjunto de dados onde I : {x(i), d(i); i = 1, 2,..., n,...} (1) x(i) = [x 1 (i), x 2 (i),..., x m (i)] T (2) A figura 3 mostra um grafo de fluxo de sinal do filtro adaptativo. João Luís G. Rosa c SCC-5809: Redes Neurais 8/45

9 Filtro adaptativo Perceptron LMS Histórico Sistema Dinâmico A operação do filtro adaptativo consiste em 1 Processo de filtragem, que envolve a computação de dois sinais: Uma saída y(i) que é produzida em resposta aos m elementos do vetor estímulo x(i), ou seja, x 1 (i), x 2 (i),..., x m(i). Um sinal de erro e(i) obtido pela comparação da saída y(i) com a saída correspondente d(i) produzida pelo sistema desconhecido. d(i) age como uma resposta desejada ou sinal alvo. 2 Processo adaptativo, que envolve o ajuste automático dos pesos sinápticos do neurônio de acordo com o sinal de erro e(i). João Luís G. Rosa c SCC-5809: Redes Neurais 9/45

10 Filtro adaptativo Perceptron LMS Histórico Sistema Dinâmico Como o neurônio é linear, a saída y(i) é exatamente a mesma do campo local induzido v(i): y(i) = v(i) = m w k (i)x k (i) (3) k=1 onde w 1 (i), w 2 (i),..., w m (i) são os m pesos sinápticos do neurônio, medidos no tempo i. Na forma matricial pode-se expressar y(i) como o produto interno dos vetores x(i) e w(i): y(i) = x T (i)w(i) (4) onde w(i) = [w 1 (i), w 2 (i),..., w m (i)] T (5) João Luís G. Rosa c SCC-5809: Redes Neurais 10/45

11 Sumário 1 Perceptron Histórico Sistema Dinâmico 2 LMS LMS O perceptron Convergência do perceptron João Luís G. Rosa c SCC-5809: Redes Neurais 11/45

12 Algoritmo LMS O algoritmo LMS (least-mean-square) é baseado no uso de valores instantâneos para a função custo: ξ(w) = 1 2 e2 (n) (6) onde e(n) é o sinal de erro medido no tempo n. ξ(w) w = e(n) e(n) w Como o algoritmo LMS opera com um neurônio linear: (7) e(n) = d(n) x T (n)w(n) (8) portanto e(n) = x(n) (9) w(n) João Luís G. Rosa c SCC-5809: Redes Neurais 12/45

13 Algoritmo LMS E Pode-se escrever ξ(w) = x(n)e(n) (10) w(n) ĝ(n) = x(n)e(n) (11) onde ĝ(n) é uma estimativa do vetor gradiente avaliado no ponto w(n) Usando o vetor gradiente, pode-se formular o algoritmo LMS: ŵ(n + 1) = ŵ(n) + ηx(n)e(n) (12) João Luís G. Rosa c SCC-5809: Redes Neurais 13/45

14 Algoritmo LMS Sumário do algoritmo LMS Amostra de treinamento: Vetor do sinal de entrada: x(n) Resposta desejada: d(n) Parâmetro selecionado pelo usuário: η Iniciação: Faça ŵ(0) = 0 Computação: Para n = 1, 2,..., compute e(n) = d(n) ŵ T (n)x(n) (13) ŵ(n + 1) = ŵ(n) + ηx(n)e(n) (14) João Luís G. Rosa c SCC-5809: Redes Neurais 14/45

15 Sumário 1 Perceptron Histórico Sistema Dinâmico 2 LMS LMS O perceptron Convergência do perceptron João Luís G. Rosa c SCC-5809: Redes Neurais 15/45

16 Modelo de McCulloch-Pitts O perceptron é construído em volta de um neurônio não linear, o modelo de McCulloch-Pitts [1]. m v = w i x i + b (15) i=1 João Luís G. Rosa c SCC-5809: Redes Neurais 16/45

17 Classificador O objetivo do perceptron é classificar o conjunto de estímulos x 1, x 2,..., x m aplicados externamente, à classe C 1 se a saída for y = +1 ou à classe C 2 se a saída for 1. Na forma mais simples do perceptron, há duas regiões de decisão separadas por um hiperplano definido por Veja figura 4. m w i x i + b = 0 (16) i=1 João Luís G. Rosa c SCC-5809: Redes Neurais 17/45

18 Hiperplano [1] João Luís G. Rosa c SCC-5809: Redes Neurais 18/45

19 Sumário 1 Perceptron Histórico Sistema Dinâmico 2 LMS LMS O perceptron Convergência do perceptron João Luís G. Rosa c SCC-5809: Redes Neurais 19/45

20 Correção de erros Para derivar o algoritmo de aprendizado por correção de erro para o perceptron, considere a figura 2 [1]. Vetor de entrada (m + 1) por 1: x(n) = [+1, x 1 (n), x 2 (n),..., x m (n)] T (17) Vetor de pesos (m + 1) por 1: w(n) = [b(n), w 1 (n), w 2 (n),..., w m (n)] T (18) João Luís G. Rosa c SCC-5809: Redes Neurais 20/45

21 Combinador linear A saída do combinador linear é: m v(n) = w i (n)x i (n) = w T (n)x(n) (19) i=0 onde w 0 (n) representa o bias b(n). Para n fixo, a equação w T x = 0, plotada num espaço m-dimensional define um hiperplano, como a superfície de decisão entre duas classes diferentes de entradas. Para o perceptron funcionar adequadamente, as duas classes C 1 e C 2 devem ser linearmente separáveis [1]: João Luís G. Rosa c SCC-5809: Redes Neurais 21/45

22 Conjuntos de treinamento Seja X 1 = x 1 (1), x 1 (2),... o subconjunto de vetores de treinamento que pertencem à classe C 1 e X 2 = x 2 (1), x 2 (2),... o subconjunto de vetores de treinamento que pertencem à classe C 2. X = X 1 X 2. Dados os conjuntos X 1 e X 2 para treinar o classificador, o treinamento envolve o ajuste do vetor de pesos w tal que C 1 e C 2 sejam linearmente separáveis: w T x > 0 para todo vetor de entrada x pertencente à classe C 1. w T x 0 para todo vetor de entrada x pertencente à classe C 2. O problema do treinamento é, dados X 1 e X 2, achar um vetor de pesos w tal que as desigualdades acima sejam satisfeitas. João Luís G. Rosa c SCC-5809: Redes Neurais 22/45

23 Treinamento O algoritmo pode ser formulado assim: 1 Se o n-ésimo termo do conjunto de treinamento x(n) é corretamente classificado por w(n) computado na n-ésima iteração do algoritmo, nenhuma correção é feita ao vetor de pesos de acordo com a regra 1 w(n + 1) = w(n), se w T x(n) > 0 e x(n) pertence à classe C 1. 2 w(n + 1) = w(n), se w T x(n) 0 e x(n) pertence à classe C 2. 2 Caso contrário, o vetor de pesos é atualizado de acordo com a regra 1 w(n + 1) = w(n) η(n)x(n), se w T (n)x(n) > 0 e x(n) pertence à classe C 2. 2 w(n + 1) = w(n) + η(n)x(n), se w T (n)x(n) 0 e x(n) pertence à classe C 1. onde η(n) controla o ajuste aplicado ao vetor de pesos na iteração n. João Luís G. Rosa c SCC-5809: Redes Neurais 23/45

24 Convergência Se η(n) = η > 0, onde η é independente de n, tem-se uma regra de adaptação de incremento fixo para o perceptron. Prova-se a convergência para η = 1. Sejam w(0) = 0, w T (n)x(n) < 0 e x(n) X 1. Ou seja, o perceptron classifica incorretamente os vetores x(1), x(2),..., já que a condição w T x 0 para todo vetor de entrada x pertencente à classe C 2 é violada. Como η(n) = 1, pode-se escrever w(n + 1) = w(n) + x(n), para x(n) pertencente a classe C 1 (20) Dado que w(0) = 0, pode-se iterativamente resolver esta equação para w(n + 1), obtendo o resultado w(n + 1) = x(1) + x(2) x(n) (21) João Luís G. Rosa c SCC-5809: Redes Neurais 24/45

25 Convergência Como assume-se que C 1 e C 2 são linearmente separáveis, existe uma solução w 0 para o qual w T x(n) > 0 para os vetores x(1),..., x(n) pertencentes a X 1. Para uma solução fixa w 0, define-se α = min x(n) X1 w T 0 x(n) (22) Multiplicando ambos os lados da equação 21 pelo vetor linha w T 0 tem-se w T 0 w(n + 1) = wt 0 x(1) + wt 0 x(2) wt 0 x(n) (23) Retomando a equação 22 w T 0 w(n + 1) nα (24) João Luís G. Rosa c SCC-5809: Redes Neurais 25/45

26 Convergência Dados dois vetores w 0 e w(n + 1), a desigualdade de Cauchy-Schwarz estabelece que w 0 2 w(n + 1) 2 [w T 0 w(n + 1)]2 (25) onde. corresponde à norma Euclidiana do vetor argumento e o produto interno w T 0 w(n + 1) é escalar. Da equação 24, [w T 0 w(n + 1)]2 é maior ou igual a n 2 α 2. Da equação 25, w 0 2 w(n + 1) 2 é maior ou igual a [w T 0 w(n + 1)]2. Segue que ou equivalentemente w 0 2 w(n + 1) 2 n 2 α 2 (26) w(n + 1) 2 n2 α 2 w 0 2 (27) João Luís G. Rosa c SCC-5809: Redes Neurais 26/45

27 Convergência A equação 20 é re-escrita da seguinte forma w(k + 1) = w(k) + x(k), para k = 1,..., n e x(k) X 1 (28) Pegando a norma Euclidiana em ambos os lados da equação 28, obtém-se w(k +1) 2 = w(k) 2 + x(k) 2 + 2w T (k)w(k) (29) Partindo da assunção de que o perceptron classifica incorretamente um vetor de entrada x(k) pertencente ao subconjunto X 1, tem-se que w T (k)x(k) < 0. Deduz-se de 29 que ou equivalentemente w(k + 1) 2 w(k) 2 + x(k) 2 (30) w(k + 1) 2 w(k) 2 x(k) 2, k = 1,...n (31) João Luís G. Rosa c SCC-5809: Redes Neurais 27/45

28 Convergência Adicionando estas desigualdades para k = 1,..., n e invocando a condição inicial w(0) = 0, tem-se w(k + 1) 2 = n x(k) 2 ηβ (32) k=1 onde β é um número positivo β = max X(k) X1 x(k) 2 (33) A equação 32 estabelece que a norma Euclidiana ao quadrado do vetor de psos w(n + 1) cresce no máximo linearmente com o número de iterações n. Esta equação está em conflito com a equação 27 para valores grandes de n. João Luís G. Rosa c SCC-5809: Redes Neurais 28/45

29 Convergência Pode-se estabelecer que n não possa ser maior que um valor n max para o qual as equações 27 e 32 sejam satisfeitas com o sinal de igualdade. Isto é, n max é a solução da equação n 2 maxα 2 w 0 2 = n maxβ (34) Resolvendo para n max, dada um vetor solução w 0 : n max = β w 0 2 α 2 (35) Provou-se então que para η(n) = 1 para todo n, e w(0) = 0 e dado que um vetor solução w 0 existe, a regra para adaptar os pesos sinápticos deve terminar depois de no máximo n max iterações. Note que, das equações 22, 33 e 35, não há uma solução única para w 0 ou n max. João Luís G. Rosa c SCC-5809: Redes Neurais 29/45

30 Teorema da Convergência do Perceptron O teorema da convergência de incremento fixo para o perceptron pode ser enunciada: Sejam os subconjuntos dos vetores de treinamento X 1 e X 2 linearmente separáveis. Sejam as entradas apresentadas ao perceptron originárias desses dois subconjuntos. O perceptron converge depois de n 0 iterações, no sentido de que w(n 0 ) = w(n 0 + 1) = w(n 0 + 2) =... (36) seja um vetor solução para n 0 n max. João Luís G. Rosa c SCC-5809: Redes Neurais 30/45

31 Teorema da Convergência do Perceptron Considere agora o procedimento para correção de erro absoluto, para o qual η(n) é variável. Seja η(n) o menor inteiro para o qual η(n)x T x(n) > w T (n)x(n). Ou seja, se o produto interno w T (n)x(n) na iteração n tem um sinal incorreto, então w T (n + 1)x(n) na iteração n + 1 teria o sinal correto. Em outras palavras, cada padrão é apresdentado repetidamente ao perceptron até que o padrão seja classificado corretamente. João Luís G. Rosa c SCC-5809: Redes Neurais 31/45

32 Teorema da Convergência do Perceptron Sumário do Algoritmo de Convergência do Perceptron: Variáveis e parâmetros: Vetor de entrada: x(n) = [+1, x 1 (n), x 2 (n),..., x m(n)] T Vetor de pesos: w(n) = [b(n), w 1 (n), w 2 (n),..., w m(n)] T Bias: b(n) Resposta real: y(n) Resposta desejada: d(n): { +1, se x(n) pertence a classe C1 d(n) = 1, se x(n) pertence a classe C 2 Taxa de aprendizado: η Função signum: sgn(v) = { +1, se v > 0 1, se v < 0 João Luís G. Rosa c SCC-5809: Redes Neurais 32/45

33 Teorema da Convergência do Perceptron Sumário do Algoritmo de Convergência do Perceptron: 1 Iniciação: Faça w(0) = 0. Então realize as seguintes computações para o passo de tempo n = 1, 2,... 2 Ativação: No passo de tempo n, ative o perceptron aplicando os vetores de entradas contínuas x(n) e respostas desejadas d(n) 3 Computação da resposta real: y(n) = sgn[w T (n)x(n)] 4 Adaptação do vetor de pesos: w(n + 1) = w(n) + η[d(n) y(n)]x(n) 5 Continuação: Incremente o passo de tempo n e vá ao passo 2. João Luís G. Rosa c SCC-5809: Redes Neurais 33/45

34 Regra Delta Para um perceptron w i (n + 1) = w i (n) + η(d(n) y(n)).x i (n) (37) onde η = taxa (ou coeficiente) de aprendizado d(n) = saída desejada y(n) = saída real δ = d(n) y(n) = erro x i (n) = entrada i, 1 i m Regra Delta: w i = w i (n + 1) w i (n) = ηδx i (38) João Luís G. Rosa c SCC-5809: Redes Neurais 34/45

35 Exemplo [4] Simulação do operador lógico AND: João Luís G. Rosa c SCC-5809: Redes Neurais 35/45

36 Exemplo [4] Pesos iniciais: w 0 = 0, w 1 = 0, w 2 = 0. Taxa de aprendizado: η = 0.5. João Luís G. Rosa c SCC-5809: Redes Neurais 36/45

37 Exemplo [4] 1 o Ciclo Entrada 1: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out = t Entrada 2: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out = t Entrada 3: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out = t Entrada 4: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out t Pesos: w 0 = w 0 + (t s out)x 0 = (1 0) 1 = 0.5 w 1 = w 1 + (t s out)x 1 = (1 0) 1 = 0.5 w 2 = w 2 + (t s out)x 2 = (1 0) 1 = 0.5 João Luís G. Rosa c SCC-5809: Redes Neurais 37/45

38 Exemplo [4] 2 o Ciclo Entrada 1: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0.5) = 1 s out t Pesos: w 0 = w 0 + (t s out)x 0 = (0 1) 1 = 0 w 1 = w 1 + (t s out)x 1 = (0 1) 0 = 0.5 w 2 = w 2 + (t s out)x 2 = (0 1) 0 = 0.5 Entrada 2: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0.5) = 1 s out t Pesos: w 0 = w 0 + (t s out)x 0 = (0 1) 1 = 0.5 w 1 = w 1 + (t s out)x 1 = (0 1) 0 = 0.5 w 2 = w 2 + (t s out)x 2 = (0 1) 1 = 0 João Luís G. Rosa c SCC-5809: Redes Neurais 38/45

39 Exemplo [4] 2 o Ciclo (cont.) Entrada 3: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out = t Entrada 4: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out t Pesos: w 0 = w 0 + (t s out)x 0 = (1 0) 1 = 0 w 1 = w 1 + (t s out)x 1 = (1 0) 1 = 1 w 2 = w 2 + (t s out)x 2 = (1 0) 1 = 0.5 João Luís G. Rosa c SCC-5809: Redes Neurais 39/45

40 Exemplo [4] 3 o Ciclo Entrada 1: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out = t Entrada 2: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0.5) = 1 s out t Pesos: w 0 = w 0 + (t s out)x 0 = (0 1) 1 = 1 w 1 = w 1 + (t s out)x 1 = (0 1) 0 = 1 w 2 = w 2 + (t s out)x 2 = (0 1) 1 = 0 Entrada 3: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out = t Entrada 4: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out t Pesos: w 0 = w 0 + (t s out)x 0 = (1 0) 1 = 0.5 w 1 = w 1 + (t s out)x 1 = (1 0) 1 = 1.5 w 2 = w 2 + (t s out)x 2 = (1 0) 1 = 0.5 João Luís G. Rosa c SCC-5809: Redes Neurais 40/45

41 Exemplo [4] 4 o Ciclo Entrada 1: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f ( 0.5) = 0 s out = t Entrada 2: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out = t Entrada 3: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (1) = 1 s out t Pesos: w 0 = w 0 + (t s out)x 0 = (0 1) 1 = 1 w 1 = w 1 + (t s out)x 1 = (0 1) 1 = 1 w 2 = w 2 + (t s out)x 2 = (0 1) 0 = 0.5 Entrada 4: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0.5) = 1 s out = t João Luís G. Rosa c SCC-5809: Redes Neurais 41/45

42 Exemplo [4] 5 o Ciclo Entrada 1: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f ( 1) = 0 s out = t Entrada 2: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f ( 0.5) = 0 s out = t Entrada 3: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0) = 0 s out = t Entrada 4: s out = f (w 0 x 0 + w 1 x 1 + w 2 x 2 ) = f ( ) = f (0.5) = 1 s out = t Pesos Finais (solução): w 0 = 1 w 1 = 1 w 2 = 0.5 João Luís G. Rosa c SCC-5809: Redes Neurais 42/45

43 Exemplo [4]: Interpretação geométrica Linha de Decisão: x 1 w 1 + x 2 w 2 = θ = x x 2 = 1. João Luís G. Rosa c SCC-5809: Redes Neurais 43/45

44 Bibliografia I Apêndice Bibliografia [1] S. Haykin Neural networks - a comprehensive foundation. 2nd. edition. Prentice Hall, [2] D. O. Hebb The Organization of Behavior: A Neuropsychological Theory. Wiley, [3] W. S. McCulloch and W. Pitts A logical calculus of the ideas immanent in nervous activity Bulletin of Mathematical Biophysics, 5, pp , João Luís G. Rosa c SCC-5809: Redes Neurais 44/45

45 Bibliografia II Apêndice Bibliografia [4] R. A. F. Romero SCC-5809 Redes Neurais. Slides e listas de exercícios. Programa de Pós-Graduação em Ciência de Computação e Matemática Computacional. ICMC/USP, [5] F. Rosenblatt The Perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, vol. 65, pp , João Luís G. Rosa c SCC-5809: Redes Neurais 45/45