Primeiras Redes Neurais. Aluizio Fausto Ribeiro Araújo Universidade Federal de Pernambuco Centro de Informática

Transcrição

1 Prmeras Redes Neuras Aluzo Fausto Rbero Araújo Unversdade Federal de Pernambuco Centro de Informátca

2 Conteúdo. Modelo de McCullough and Ptts 2. Teora de Hebb 3. O Perceptron 4. Exemplos 2

3 Modelo de McCullough and Ptts Modelo proposto pelo neufsologsta amercano Warren Sturgs McCulloch (6//898-24/9/969) e um logístco Walter Ptts (23/4/923-4/5/969) em 943 que fo publcado como um modelo eletrônco de como neurônos atuaram. 3

4 Modelo de McCullough and Ptts Hpóteses do Modelo: O neurôno é b-estável (saída ou ); Há um número fxo de snapses exctatóras que precsam receber estímulos para atvar o neurôno; O atraso devdo à snapse é o únco sgnfcatvo; Atvação de uma snapse nbtóra mpede (nbe) atvação de um neurôno; A estrutura do neurôno não muda com o tempo. 4

5 Modelo de McCullough and Ptts Proposta de cálculo lógco para descrever neurônos e redes, onde: Todas as snapses exctatóras têm o mesmo peso. Todo neurôno é atvado por número fxo de snapses. Todo neurôno computa função lógca da entrada (função lmar). A rede pode ser construída para computar qualquer função arbtrára. 5

6 Teora de Hebb Modelo teórco de como os neurônos atuam fo porposto no lvro de Hebb (949), The Organzaton of Behavor. Donald Oldng Hebb Crescmento das Snapses: mudanças nos valores das conexões. Quando o axôno de uma célula A está próxmo o sufcente para exctar uma célula B e repetda e nsstentemente toma parte na emssão de snal elétrco da célula B, algum processo de crescmento ou mudança metabólca acontece em ambas células tal que a efcênca de A, para fazer a célula B dsparar, é aumentada. 6

7 O Perceptron Frank Rosenblatt (/7/928-97), um neuro-centsta amercano que estava vnculado à Cornell quando pesqusava sobre a operação do olho de uma mosca que realza a maor parte do processamento que determna para onde a mosca deve fugr. Em 957, o Perceptron, fo proposto durante esta pesqusa e fo mplementado em hardare, tornando-se o prmero modelo de rede neural artfcal. Um Perceptron de camada únca fo proposto como classfcador de conjunto de padrões com valores contínuos em uma de duas classes. 7

8 O Perceptron A arqutetura de mapeamento de padrões chamada Perceptron objetva aprender classfcações de padrões através de trenamento supervsonado. 8

9 O Perceptron As entradas x,, 2,..., n são bnáras; Os pesos j podem ser postvos ou negatvos; Regra de propagação: n net j j. x A saída bnára é determnada pela regra de atvação: y j se se net net j j < T j T j 9

10 O Perceptron Nesta parte dscute-se como trenar a rede. Isto é, dscute-se como construr um mecansmo que va absorver o conhecmento dentro da rede. Duas são as consderações báscas: Em temos cogntvos exste uma tendênca de se aprender o comportamento recompensado e se esquecer o comportamento penalzado. Em termos mcroscópos ou de mcrocognção é necessáro nclur o conceto de aprendzagem no mecansmo da rede.

11 O Perceptron O paradgma de aprendzagem pode ser descrto da segunte manera: Consdere valores de pesos e lmares (thresholds) ncas; Apresente uma entrada; Calcule o efeto da entrada na saída; Altere pesos para saídas ndesejáves; O Teorema da Convergênca dos Perceptrons (Rosenblatt, 958; Block, 962; Novkoff, 963) lmta o número de erros que o algortmo do perceptron pode cometer: Seja (x,y ),...,(x n,y n ) uma seqüênca de exemplos rotulados com n n x R, x R e y {, },. Seja u R, ε >, tal que y ( u x ) ε,. Então o perceptron comete no máxmo ( ) R u / ε erros nesta sequênca de exemplos.

12 O Perceptron Algortmo de aprendzagem: Incalze pesos e lmares: Atrbua valores aleatóros para ω j, ( n) e T j; Como j, índce some. Apresente as entradas e as saídas desejadas: Represente bnaramente os vetores de entrada e saída; Apresente a entrada (x, x,..., x n ) e a saída alvo [t(] Calcule a saída pela Função de Heavsde em t: y( n f h x Recalcule os Pesos: ( y( y( y(, t(, t( t( j j j j j j + x x 2

13 Adaptve Lnear Neurons A prmera modfcação consste de atenuar as modfcações nos pesos no período de trenamento. Isto é conseguda através da ntrodução de fator multplcatvo da varação do peso. Substtua o passo de ajustar pesos: y(, t( + η x y(, t( y( t( j j j j, j j η x < η. Wdro e Hoff (96) modfcaram a regra acma de manera que as varações nos pesos fossem proporconas às dferenças entre a saída real e a desejada. Os pesqusadores propuseram se calcular a dferença entre as saídas menconadas acma e chamá-la de ERRO. 3

14 Adaptve Lnear Neurons Em 959, Bernard Wdro (24/2/929) e Marcan Edard "Ted" Hoff, Jr. (28//937), de Stanford, desenvolveram modelos chamados ADALINE e MADALINE que receberam seus nomes devdo ao uso de elementos lneares e adaptatvos múltplos (Multple ADAptve LINear Elements). MADALINE fo a prmera RN usada em um problema do mundo real: fltro adaptatvo para elmnar ecos em lnhas telefôncas. 4

15 Adaptve Lnear Neurons Adalne fo uma versão modfcada do Perceptron, cuja propagação de Adalne é: n net x A regra de atvação (para uma representação bnára) é: y( n f h x ( j regra de Algortmo de trenamento proposto por Wdro-Hoff atualza os pesos com base em um erro entre a saída obtda e a desejada. 5

16 6 Adaptve Lnear Neurons Algortmo de trenamento proposto por Wdro-Hoff: Seja x p um padrão com saída desejada e obtda t p e y p. Defne-se o erro: Os pesos são ajustados para mnmzar o erro Este erro vara com relação a cada um dos pesos: A regra de Wdro-Hoff ou regra Delta ou regra Least-Means-Square (LMS): p p p y t δ 2 2 p δ p E p p p δ.x ) t (y E p x t ω t E δ η +η + ) ( ) (

17 Adaptve Lnear Neurons Varações do modelo ADALINE: HARDWARE: mplementada no computador analógco. SOFTWARE: smulações num IBM 62 até pesos. MADALINE: Conjunto de ADALINES que lançam suas respostas em uma ADALINE fxa. A ADALINE fxa atua com voto de maora: Se mas que a metade das saídas das ADALINEs são + a saída da MADALINE também o é. Pode resolver problemas complexos, mas não se provou convergênca. 7

18 Perceptron Pode-se entender o procedmento de aprendzagem do Perceptron observando a evolução do vetor peso no tempo. Comportamento do vetor de pesos no espaço de padrões Evolução da Lnha de Classfcação () 8

19 Perceptron Separabldade lnear: Separação lnear de dos conjuntos de padrões pertencentes a classe dferentes. Lmtação do perceptron com respeto à separabldade lnear. 9

20 Perceptron O perceptron não pode aprender exemplos que não sejam lnearmente separáves tas como a porta XOR. Marvn Lee Mnsky (9/8/927) Seymour Papert (29/2/928) 2

21 Exemplos EXEMPLO : Um Perceptron deve ser trenado para reconhecer a porta lógca OR. As condções ncas de trenamento são: ; ; ; T As amostras e as saídas da porta lógca OR são 2 3 AMOSTRA X X 2 T SAÍDA DESEJADA

22 Exemplos Seqüênca de trenamento: ESTÁG IO INST. DE TEMPO ENTRADAS (X, X 2, T) PESOS (W, W 2, W 3 ) SU M SAÍDAS REA L DE S. I 2 3 ( ) ( ) ( ) ( ) ( ) ( ) + ( ) 2 II 4 5 ( ) ( ) ( ) ( ) ( ) III ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) + ( ) 2 IV ( ) ( ) ( ) ( ) ( ) ( ) ( ) - ( ) ( ) ( ) ( ) 2 22

23 Exemplos EXEMPLO : Varação dos pesos durante o trenamento: 23

24 Exemplos EXEMPLO 2: Reconhecmento de dígtos comumente usados em dsplays dgtas. Tas dígtos são resultado de uma combnação aproprada de segmentos como em sete possbldades como mostrada na fgura ao lado. Um sstema de vsualzação dentfca os estados de atvação dos segmentos e estes estados são entradas para um perceptron como na fgura ao lado. 24

25 Representação das entradas: Exemplos X X X 2 X 3 X 4 X 5 X 6 Dígto

26 Exemplos EXEMPLO 2: Cada um dos dígtos é reconhecdo pela rede. Logo, para trenar um Perceptron reconhecedor de dígtos, só a últma lnha produzra saída, enquanto todas as demas produzram saída. Para dentfcar o número (zero) só duas mudanças são necessáras. Entrada Pesos Som Saída Resposta Correta ( ) ( ) ( ) ( ) 7 ( ) ( ) 7 ( ) (- ) Com dos segumentos ( natvo e 6 atvo) o zero é dentfcado. São observadas 65 mudanças para dentfcar o dígto 8, resultando nos pesos ( ). 26