Aula 23 Perceptrons, Lei de Hebb e o aprendizado de Rosenblatt Prof. Dr. Alexandre da Silva Simões

Transcrição

1 Aula 3 Perceptrons, Le e Hebb e o aprenzao e Rosenblatt Prof. Dr. Alexanre a Slva Smões Organzação Introução Perceptron Dscrmnaor lnear Poer e representação Arqutetura o perceptron Trenamento Por que trenar uma RNA? Le e Hebb Le e aprenzao e Rosenblatt Lmtações o moelo Alexanre a Slva Smões Introução Dscrmnaor lnear Frank Rosenblatt (98 969) Fnal a écaa e 5: Frank Rosenblatt (Unversae e Cornel) eu prossegumento às éas e McCulloch Desenvolveu o perceptron : ree e múltplos neurônos o tpo scrmnaor lnear Rees passam a ter topologa, com camaa e entraa, camaa e saía e camaas ocultas (emas camaas) x [,] {,} ou ou x [,] {, } x é a exctação e entraa na snapse ; k é a resposta (ou saía) o neurôno k; w k é o peso snáptco a entraa o neurôno k; g(.) é a função e atvação o neurôno (egrau) Alexanre a Slva Smões 3 Alexanre a Slva Smões 4

2 Exercíco Sejam os neurônos abaxo com entraas x e e saías e. Determne as saías para os valores ncaos, supono w =,66; w =,83; w =7; w =. Consere que ambos os neurônos têm lmar e sparo ϕ=. Exercíco Sejam os neurônos abaxo com entraas x e e saías e. Determne as saías para os valores ncaos, supono w =,66; w =,83; w =7; w =. Consere que ambos os neurônos têm lmar e sparo ϕ=. x w x,5 x w x,5 w w,3, w w,3, w,7,6,3,9 w,7,6,3,9 Alexanre a Slva Smões 5 Alexanre a Slva Smões 6 Poer e representação Arqutetura o perceptron O scrmnaor lnear consegue representar qualquer função lnearmente separável camaa e entraa camaa(s) oculta(s) camaa e saía,8,66. x +,833. x =,,,6 x 7. x +. x = x entraa x x n m saía Alexanre a Slva Smões 7 Alexanre a Slva Smões 8

3 Como confgurar a ree? Para poucos neurônos, é relatvamente trval escolher constantes para mplementar um mapeamento esejao Esta mesma tarefa em uma ree com mutas constantes bera o mpossível sem um métoo Sstemas bológcos possuem a propreae e aprener uma função. Poerase, portanto, magnar uma manera e ensnar a uma RNA até que esta aprenesse tal função Conjunto e trenamento Seja: Ψ um conjunto com L exemplos e trenamento Caa exemplo l consste em um par o tpo (X l, Y l ) X l ={x l,x l,...,x l n } são as entraas que evem gerar as saías Y l ={ l, l,..., l m } x l n [,], ou x l n [,] l n {,}, one: nca que o exemplo pertence à classe Φ nca que o exemplo pertence à classe Φ Logo: Ψ = {( )} L l Yl l X, = Alexanre a Slva Smões 9 Alexanre a Slva Smões Le e Hebb Moelo matemátco a le e Hebb Donal Olng Hebb (94985) 949: Hebb (bólogo que estuava o comportamento e anmas) propôs um moelo para o qual o aprenzao poera ser reuzo a um processo puramente local Postulao e Hebb: Quano um axôno e uma célula A está próxmo o sufcente para exctar uma célula B e repetamente ou persstentemente partcpa e seu sparo, algum processo e crescmento ou muança metabólca ocorre em uma ou nas uas células tal que a efcênca e A como uma as células que spara B é aumentaa. O prncípo e Hebb com as evas aaptações para o scrmnaor lnear poe ser expresso matematcamente na forma: w novo = w velho ( l ) x l w = η.. one: w é o ésmo peso snáptco e um neurôno w novo é o valor o ésmo peso snáptco no tempo t w velho é o valor o ésmo peso snáptco no tempo t η é a taxa e aprenzao, que reflete a taxa com que os ganhos são alteraos em conseqüênca os erros l + w Alexanre a Slva Smões Alexanre a Slva Smões 3

4 Le o aprenzao e Rosenblatt Exercíco Rosenblatt empregou o prncípo o aprenzao e Hebb para alterar os pesos snáptcos e um scrmnaor lnear Iéa básca:. Incalzar os pesos w e os lmares ϕ com valores ranômcos pequenos. Até que as saías l a ree concam com as saías especfcaas l para too o conjunto e trenamento, fazer:. Apresentar a entraa x l e a saía l esejaas. Calcular a saía atual l o neurôno 3. Utlzar a Le e Hebb para alterar os valores e pesos snáptcos Aplque o prncípo o aprenzao e Hebb para ensnar ao neurôno abaxo ncalmente com w =w =,7 e ϕ= a função AND. Utlze a taxa e aprenzao η=,. x w w x Alexanre a Slva Smões 3 Alexanre a Slva Smões 4 Atualzação os pesos Separação as classes Iteração x w w w.7 w.7,.7.7 Classe Φ 3, ,, ,7. x +,7. x =,7. x +,7. x =,85,97x +,97. x =,7. x +,97. x = ,7. x +,7. x = ,,85 Classe Φ x Alexanre a Slva Smões 5 Alexanre a Slva Smões 6 4

5 Exercíco Atualzação os pesos Repetr o problema anteror utlzano η=,7. Iteração 3 x w,7 w,7 w w ,7,7.7.7 x w w x ,7,7,7,7,7, ,7,7.7.7 Alexanre a Slva Smões 7 Alexanre a Slva Smões 8 Separação as classes Taxa e aprenzao,85,,85 x Conserações: Taxas pequenas fazem com que o neurôno precse e mutas terações e trenamento para convergr, mas sempre atngem o resultao Taxas granes poem fazer o neurôno convergr mas epressa, mas também poem nvablzar a convergênca Escolher a taxa e aprenzao é um problema a aboragem neural. η eve ser sempre uma constante pequena! Alexanre a Slva Smões 9 Alexanre a Slva Smões 5

6 Conclusões Prncpas contrbuções o moelo e Rosenblatt: Estene o moelo e McCulluch a estímulos que poem assumr valores contínuos, em oposção aos valores apenas bnáros Formalza uma le e trenamento para o perceptron, que começava a ser conserao como seno a base e uma possível ntelgênca artfcal Os anos e slênco Rosemblat não conseguu estener para rees a le e trenamento o perceptron 969: Marvn Mnsk e Semour Pappert publcam o texto perceptrons enfatzano as lmtações o moelo e ressaltam a mpossblae e se mplementar funções como o ou exclusvo (rees e perceptrons não eram possblaes reas na argumentação e Mnsk e Pappert) A écaa e 7 representa um períoo obscuro nas pesqusas com RNAs, que só fo encerrao na écaa e 8 Alexanre a Slva Smões Alexanre a Slva Smões Atvaes extraclasse Letura e exercícos: KOVÁCS, Z. L. Rees neuras artfcas. ª eção. São Paulo: Collegum cognto, 996. Capítulo 3. Bblografa KOVÁCS, Z. L. Rees neuras artfcas. ª eção. São Paulo: Collegum cognto, 996. HAYKIN, S. Rees Neuras: prncípos e prátca. ª eção. Tra: Paulo Martns Engel. São Paulo: Bookman companha etora,. RIBEIRO, C. H. C. Rees neuras artfcas. Notas e aula. Insttuto Tecnológco e Aeronáutca, São José os Campos, 5. NASCIMENTO JUNIOR, C. ; YONEYAMA, T. Intelgênca Artfcal em Controle e Automação. a Eção. São Paulo: Egar Blucher,. Alexanre a Slva Smões 3 Alexanre a Slva Smões 4 6