Aprendizado Competitivo e Auto-Organizado

Transcrição

1 Pscologa Conexonsta Antono Roque Aula 9 Aprendzado Compettvo e Auto-Organzado Uma característca mportante das redes neuras é a sua capacdade de aprender a partr de estímulos fornecdos pelo meo-ambente. Nas aulas anterores estudamos algortmos de aprendzado supervsonado, em que a cada padrão vndo do ambente é assocado um padrão de resposta deseado, dado por um professor, e o aprendzado da rede consste em aproxmar a relação entrada-saída subacente aos padrões fornecdos. Nesta aula, vamos estudar um algortmo para aprendzado não-supervsonado ou auto-organzado cuo obetvo é fazer com que a rede descubra característcas sgnfcantes nos padrões de entrada sem o auxílo de um professor. Para que um algortmo de aprendzado não-supervsonado sea mplementado ele deve se basear em um conunto de regras que levem em conta apenas nformação local, sto é, que façam com que as mudanças nos pesos snáptcos de um dado neurôno seam conseqüênca apenas de fenômenos que aconteçam nas vznhanças do neurôno. O algortmo de aprendzado auto-organzado que vamos estudar é chamado de Mapa Auto-Organzado de Kohonen (Self-Organzng Map, ou SOM, em nglês), desenvolvdo pelo fnlandês Teuvo Kohonen ( ) no começo dos anos O algortmo SOM está baseado no chamado aprendzado compettvo. Uma rede neural típca com aprendzado compettvo é uma rede de uma únca camada (un- ou b-dmensonal) em que todos os neurônos recebem a mesma entrada. Cada neurôno computa o seu nível de atvação multplcando o seu vetor de pesos pelo vetor de entrada, da manera usual. O neurôno que tver o maor nível de atvação é chamado de vencedor e apenas ele terá atvdade dferente de zero na saída da rede, ou sea, o padrão de entrada que estver sendo apresentado à rede provocará a atvação de apenas um neurôno da rede neural. 1

2 Pscologa Conexonsta Antono Roque Aula 9 Um exemplo de uma rede com aprendzado compettvo em duas dmensões está dado acma. Os padrões de entrada são vetores N dmensonas x, = 1,..., N. Vamos supor que exstam P desses padrões. A rede neural consste de M neurônos organzados em uma grade b-dmensonal. No nosso caso, M = 16. Quando um dos P padrões é apresentado na entrada, cada um dos M neurônos recebe este padrão e calcula o seu nível de atvação, N u = wkxk, = 1,, M k = 1 onde x é o vetor de entrada, é o índce que ndca o neurôno e w é o vetor de pesos entre o padrão de entrada e o neurôno (os pesos não estão mostrados na fgura para não congestona-la)., O neurôno vencedor quando o padrão x estver sendo apresentado é aquele que tver o maor valor de u. Vamos desgna-lo por *. Segundo a regra do aprendzado compettvo, apenas o neurôno vencedor terá saída dferente de zero após a apresentação do padrão x. A resposta da rede ao padrão x é, 2

3 Pscologa Conexonsta Antono Roque Aula 9 * 1para = y ( x ) = *. 0 para O únco neurôno atvo da rede em resposta ao padrão x (o neurôno vencedor) representa o padrão. É como se os M neurônos da rede competssem entre s para determnar quem va fcar mas atvo em resposta ao padrão de entrada e apenas o vencedor fcasse atvo, dexando todos os perdedores natvos. Por causa dsso, este tpo de rede é também chamada de rede do tpo o vencedor fca com tudo. Uma rede do tpo o vencedor fca com tudo mplementa um mapa entre um espaço N-dmensonal contínuo de vetores x e um espaço dscreto de M neurônos. Note que podemos ter mas de um vetor x sendo representado pelo mesmo neurôno vencedor. Neste caso, este neurôno é o representante do grupo de padrões x que o fazem ser vencedor. Desta forma, este tpo de rede neural mplementa um mecansmo de agrupamento (ou clusterng) de padrões: padrões com característcas smlares são representados pelo mesmo vetor da rede. Após a determnação do neurôno vencedor em resposta a um padrão de entrada x, ocorre a alteração nos pesos da rede. Pela regra do aprendzado compettvo, apenas os pesos do neurôno vencedor são modfcados. Chamando o vetor de pesos do neurôno vencedor de w *, a regra do aprendzado compettvo mplca em, e ( x( n) w ( )) w * ( n + 1) = w * ( n) + η * n * w ( n + 1) = w ( n) para, onde η é a constante de taxa de aprendzagem (um valor entre 0 e 1) que controla a rapdez com que as mudanças nos pesos são fetas. 3

4 Pscologa Conexonsta Antono Roque Aula 9 Pare entender melhor a regra do aprendzado compettvo, vamos analsa-la vetoralmente. O neurôno vencedor é aquele que tver o maor nível de atvação u. Como o nível de atvação de um neurôno é o produto nterno entre o vetor de entrada x e o vetor de pesos do neurôno, u = w.x, o crtéro para a escolha do neurôno vencedor é o de smlardade entre x e w tendo por medda de smlardade o produto nterno. Sabemos que este produto pode ser escrto como u = x cosθ, w onde θ é o ângulo entre os vetores x e w. Se os vetores de entrada e de pesos estverem normalzados, um valor grande de u ndca que o vetor de entrada x está próxmo do vetor de pesos w, ou sea, que x está nas vznhanças de w. Já um valor pequeno de u ndca que o vetor de entrada x é quase perpendcular ao vetor de pesos w. A fgura acma lustra o processo de escolha do neurôno vencedor em um caso em que os padrões de entrada são b-dmensonas, com uma rede neural com três neurônos e os vetores de peso e de entrada normalzados. O neurôno vencedor * é o que tver o valor máxmo de w.x. 4

5 Pscologa Conexonsta Antono Roque Aula 9 A normalzação dos padrões de entrada provoca alterações neles, o que nem sempre é deseável. Para evtar sto, costuma-se usar como crtéro de defnção do neurôno vencedor o cálculo da dstânca eucldeana entre o vetor x e o vetor de pesos w, N ( x w ) x w =, = 1 pos pode-se mostrar que maxmzar o produto nterno w.x é matematcamente equvalente a mnmzar a dstânca eucldeana entre x e w. Portanto, o neurôno vencedor * é aquele cuo vetor de pesos tver a menor dstânca eucldeana com o padrão de entrada. Este crtéro de escolha do neurôno vencedor fo utlzado pela prmera vez por Stephen Grossberg em Uma vez determnado o neurôno vencedor, o seu vetor de pesos é modfcado pela regra do aprendzado compettvo, Δw * = η(x w * ). Ela nos dz que o vetor de pesos do neurôno vencedor deve ser modfcado por um fator η na dreção de x w *. Geometrcamente, em duas dmensões, Esta regra de mudança de pesos faz com que o vetor de pesos do neurôno vencedor, que á era o mas próxmo do padrão de entrada, sea arrastado na dreção do padrão de entrada, fcando anda mas próxmo dele. 5

6 Pscologa Conexonsta Antono Roque Aula 9 A partr de uma população de padrões de entrada retra-se, a cada passo, um dos padrões e aplca-o à entrada da rede. O neurôno vencedor é determnado e o seu peso alterado conforme a regra do aprendzado compettvo. Repetndo-se este procedmento váras vezes, os pesos da rede acabam convergndo para uma stuação de relatva establdade em que eles fcam nos centros de massa de agrupamentos de padrões de entrada. A fgura abaxo lustra sso para um caso com 13 padrões de entrada tr-dmensonas e uma rede neural com 3 neurônos, onde por smplcdade os padrões de entrada e os vetores de peso têm todos módulo untáro, ou sea, podem ser representados por pontos na superfíce de uma esfera. A convergênca dos vetores de peso é controlada pelo valor de η. Se η for muto grande (próxmo de 1) as mudanças nos pesos serão grandes e a convergênca será rápda, mas os vetores de peso podem não se establzar. Se η for muto pequeno, a convergênca pode ser muto vagarosa. Uma técnca muto adotada é fazer η varar com o passo de teração t, começando com um valor próxmo de 1 e dmnundo à medda que o aprendzado progrde. A regra de aprendzado compettvo faz com que a rede neural represente grupos de padrões que esteam próxmos entre s por um vetor protótpo (por exemplo, os vetores ndcados por cruzes na fgura acma). O espaço de vetores de entrada fca dvddo em regões, ou vznhanças, tas que cada uma delas está assocada a um vetor protótpo que é o vetor de pesos de um dos neurônos da rede. 6

7 Pscologa Conexonsta Antono Roque Aula 9 Os vetores protótpos são representantes de todos os possíves vetores que estverem na sua vznhança. Se lgarmos os vetores protótpos por lnhas e as cortamos perpendcularmente nos seus pontos médos, as lnhas de corte vão se unr e formar uma dvsão do espaço que é chamada de mosaco de Vorono. O contínuo de pontos que pertence ao nteror de uma das regões do mosaco é representado pelo vetor protótpo correspondente (vea a fgura abaxo). Uma das aplcações mas mportantes do aprendzado compettvo está na quantzação de vetores. Por exemplo, em telecomuncações a redução na dmensonaldade dos dados envados é mportante pela redução de custos que ela provoca. Uma das maneras mas usadas de se reduzr a dmensão dos dados é por quantzação de vetores. Nesta técnca, os vetores (dados) a serem transmtdos por uma lnha de comuncação são agrupados em regões como a do desenho acma e cada vetor protótpo recebe um número. Um lvro de códgo é então crado de manera que dado um número o vetor protótpo a ele assocado pode ser obtdo. Então, quando se quer transmtr um dado vetor o que se faz é envar, ao nvés dele, apenas o número do grupo ao qual ele pertence. O recebedor da mensagem tem o lvro de códgo e consegue, a partr do número, construr o vetor protótpo que representa o vetor orgnal que se quera transmtr. Se a quantzação de vetores for feta com uma granulardade bem fna, de manera que a dstânca entre um vetor de um dado agrupamento e o seu protótpo sea pequena e, portanto, o erro ao se usar o protótpo para representar o vetor também sea pequeno, a fdeldade deste método pode ser bastante boa. 7

8 Pscologa Conexonsta Antono Roque Aula 9 O aprendzado compettvo é uma técnca de agrupamento de dados (clusterng). É mportante fazer uma dstnção entre agrupamento e classfcação de dados. Um agrupamento é um processo pelo qual amostras de dados de uma população são colocadas untas em um grupo de acordo com algum crtéro de vznhança espacal (no R N ). Uma classfcação envolve a atrbução de rótulos às amostras de uma população, de acordo com algum crtéro externo (em geral, baseado nas convenções e preconcetos humanos). Um agrupamento é um método não-supervsonado de se colocar padrões dentro de um mesmo grupo, enquanto que uma classfcação é um método supervsonado. A fgura abaxo (adaptada do lvro de Prncpe, J.C., Eulano, N.R., Curt Lefebvre, W. Neural and Adaptve Systems: fundamentals through smulatons. John Wley & Sons, New York, NY, 2000.) lustra a dferença entre agrupamento e classfcação. 8

9 Pscologa Conexonsta Antono Roque Aula 9 Na fgura do exemplo exstem duas classes e quatro agrupamentos. Como o agrupamento é determnado por um crtéro baseado apenas na proxmdade entre os dados, pode haver dferentes maneras de agrupá-los. Por exemplo, os dados dos agrupamentos 1 e 2 podem ser agrupados em um únco grupo, ou os do agrupamento 4 podem ser dvddos em dos, etc. Note que se os dados dos agrupamentos 1 e 2 forem colocados dentro de um mesmo agrupamento, este concdrá com a classe 1. Então, às vezes, uma dada manera de se agrupar um conunto de dados, baseada num crtéro natural de vznhança entre eles, acaba concdndo com um crtéro decddo antecpadamente para classfcá-los. Um estudo nteressante que deve ser feto sempre que se usa um método de agrupamento (não supervsonado) é verfcar se ele fornece uma dvsão dos dados em grupos que tenham alguma smlardade com as classes em que nós, humanos, os classfcamos. Em prncípo, pode não haver qualquer relação entre os agrupamentos e as classes, e então o agrupamento pode estar revelando assocações entre os dados completamente novas para nós (que podem ou não ser útes), mas se for possível nterpretar os agrupamentos em termos das classes usadas por nós, então o método de agrupamento pode á estar fazendo a tarefa de classfcação para nós. De um ponto de vsta teórco, o agrupamento é uma forma de estmação de densdade de pontos não-paramétrca. Na ausênca de um crtéro externo de classfcação de dados, que nos dga em que categoras eles devem ser arranados, o melhor que podemos fazer para dvd-los em grupos é usar a nformação sobre a dstrbução dos dados no espaço de entrada ( N) para separá-los em conuntos de elementos vznhos neste espaço. 9

10 Pscologa Conexonsta Antono Roque Aula 9 A déa básca das técncas de agrupamento é buscar regões de alta densdade de pontos no espaço de entrada, os agrupamentos (clusters) de dados, e escolher os seus centros para representar os pontos das regões. Portanto, o centro de cada uma dessas regões é o protótpo que representa todos os pontos da regão. No caso da rede neural trenada por aprendzado compettvo, os protótpos são os vetores de pesos dos M neurônos da rede. Uma técnca não baseada em redes neuras de se fazer agrupamento de dados é a que usa o chamado algortmo de agrupamento por K-médas (K-means clusterng). A déa deste algortmo é encontrar a melhor dvsão de P dados em K grupos C, = 1,..., K, de manera que a dstânca total entre os dados de um grupo e o seu respectvo centro, somada por todos os grupos, sea mnmzada. Mas concretamente, suponha que temos P pontos N-dmensonas, x, = 1,..., P, e queremos encontrar um conunto de K vetores protótpos µ, = 1,..., K. O algortmo deve separar os pontos {x } em K subconuntos dsuntos S, cada um contendo n pontos, de manera a mnmzar a função que dá a soma total das dstâncas entre os dados dos grupos e os seus respectvos centros, K J = x µ, = 1 S onde o centro µ é a méda dos n pontos no subconunto S, µ = 1 n Note que este método é parecdo com o de regressão lnear, só que lá o que se mnmza é a soma dos quadrados das dstâncas entre os pontos e a reta de regressão, e aqu o que se mnmza é a soma dos quadrados das dstâncas entre os pontos de um grupo e o centro do grupo, tomado como a méda dos pontos do grupo. S x. 2 10

11 Pscologa Conexonsta Antono Roque Aula 9 O algortmo de agrupamento por K-médas começa atrbundo aleatoramente os P pontos a K grupos e calculando as médas dos vetores de cada grupo. Depos, cada ponto é deslocado para o grupo correspondente ao vetor médo do qual ele está mas próxmo. Com este novo rearrano dos pontos em K grupos, novos vetores médos são calculados. O processo de re-alocação de pontos a novos grupos cuos vetores médos são os mas próxmos deles contnua até que se chegue a uma stuação em que todos os pontos á esteam nos grupos dos seus vetores médos mas próxmos. Pode-se mostrar matematcamente que durante esse processo teratvo o valor de J não aumenta; ele, ou permanece constante, ou dmnu até atngr um mínmo. A função J pode ser vsta como uma função custo e o seu mínmo pode ser obtdo usando-se o método do gradente descendente com as componentes dos vetores médos dos K grupos sendo as varáves em relação às quas as dervadas são calculadas. Se para calcular o gradente de J em relação às componentes dos vetores médos µ l ( = 1,...,K; l = 1,...,N) usarmos uma aproxmação parecda com a adotada por Wdrow e Hoff no cálculo da regra LMS da Adalne, obtemos uma regra on lne para a atualzação dos vetores médos dos K grupos. Esta regra é a segunte: Incalmente, escolhe-se aleatoramente K vetores µ para ser os vetores centras de cada grupo. Em seguda, os padrões x vão sendo apresentados, um por vez, e o vetor central mas próxmo do padrão sendo apresentado é modfcado pela regra, ( x( t) ( )) Δµ ( t) = η t. µ Note que esta é exatamente a regra de atualzação do aprendzado compettvo se consderarmos que cada vetor central de um agrupamento é o vetor de pesos de um nos neurônos da rede. Portanto, a aplcação do aprendzado compettvo a uma rede neural com K neurônos mplementa uma versão on lne (estocástca) do método de agrupamento por K-médas. 11

12 Pscologa Conexonsta Antono Roque Aula 9 Alguns problemas apresentados pelo aprendzado compettvo do tpo o vencedor fca com tudo são: 1. Precsa-se de uma undade de saída para cada agrupamento. Se a rede neural tem M neurônos ela pode agrupar os P dados em, no máxmo, M classes dstntas. Compare com o caso em que as M undades podem fcar atvas smultaneamente e são bnáras (0 ou 1): neste caso a rede pode representar 2 M classes dferentes; 2. Falta de robustez: se a undade responsável por determnado agrupamento falhar, todos os padrões do agrupamento fcam sem representação; 3. Não se pode representar conhecmento herárquco, com categoras dentro de categoras; 4. Undades que tenham o seu vetor de pesos w(0) longe de qualquer um dos padrões x podem nunca vencer e, portanto, nunca terem seu vetor de pesos modfcado. Elas fcam natvas por todo o aprendzado e, por sso, são chamadas de undades mortas. No entanto, é convenente dexar algumas dessas undades na rede para a eventualdade de aparecer um padrão novo que estea próxmo dos seus vetores de peso e longe dos demas (neste caso, será necessáro um novo trenamento da rede). Há maneras de se evtar o aparecmento de undades mortas em uma rede com aprendzado compettvo: - Pode-se ncalzar os pesos dos neurônos da rede com amostras dos própros padrões de entrada; - Pode-se atualzar os pesos dos neurônos perdedores também, mas com coefcentes η menores ( aprendzado vazado ); - Pode-se usar um termo de conscênca, mplementado como um termo de vés, proposto ncalmente por Grossberg em 1976 (vea a segur): A déa do termo de conscênca é que cada undade da rede deve ser penalzada se começar a ganhar demas (a sua conscênca a fara se sentr 12

13 Pscologa Conexonsta Antono Roque Aula 9 culpada de ganhar tanto, de manera que ela própra dfcultara as suas vtóras para dar mas chances às demas undades). Para mplementar o termo de conscênca, cada undade deve ter uma espéce de contador do número de vezes que ela ganha, [ r ( t) c ( )] c ( t + 1) = c ( t) + β t, onde c (0) = 0, r (t) é o resultado da competção no passo t (1 se a undade ganha, 0 se não) e β é uma constante postva pequena (por exemplo, 0,0001). Com o uso desta fórmula, cada vez que a undade ganha c aumenta e cada vez que ela perde c dmnu. O termo de conscênca do neurôno é um vés b que é subtraído da dstânca entre o seu vetor de pesos w e o padrão atual x, de manera que a smlardade entre w e x passa a ser calculada como, 2 ( x w ) b N w, x) = x b =, =1 D( w e b é atualzado a cada passo de tempo pela fórmula, ( 1 c ( )) b ( t) = γ t M, onde γ é uma constante postva (por exemplo, 10). Desta forma, se uma undade ganha muto o seu c cresce fazendo o seu b tornarse negatvo, dmnundo as chances de que ela ganhe de novo. Por outro lado, uma undade que ganha pouco tem c pequeno e b postvo, o que aumenta as suas chances de ganhar em um novo passo. O algortmo SOM de Kohonen esta baseado no aprendzado compettvo vsto acma. Uma rede SOM é do tpo da mostrada abaxo. A camada de entrada recebe padrões que são vetores N-dmensonas vndos de alguma população de 13

14 Pscologa Conexonsta Antono Roque Aula 9 de padrões e a rede SOM é uma camada b-dmensonal (como no caso do desenho) ou un-dmensonal. Quando um padrão x é apresentado na entrada da rede, a undade vencedora, *, é aquela cua dstânca eucldeana entre o seu vetor de pesos w * e o padrão x for a menor de todas (como no caso do aprendzado compettvo), * ( x) = mn x w A dferença é que agora não é só o neurôno vencedor que tem o seu vetor de pesos atualzado, mas todos os neurônos vznhos do neurôno vencedor. A regra de mudança de pesos do algortmo SOM é, w ( *. [ x( t) w ( )] t + 1) = w ( t) + Λ ( t) η ( t) t,, onde Λ,* (t) é a chamada função de vznhança centrada no neurôno vencedor * e η(t) é a taxa de aprendzagem. Em geral, tanto Λ,* (t) como η(t) varam com o passo de aprendzagem t. O efeto da ntrodução da função de vznhança Λ,* (t) é fazer com que não apenas o vetor de pesos do neurôno vencedor sea modfcado na dreção do padrão atual, mas que os vetores de pesos de todos os neurônos vznhos ao neurôno vencedor também seam arrastados na dreção do padrão atual, porém 14

15 Pscologa Conexonsta Antono Roque Aula 9 por um fator menor va dmnundo à medda que o neurôno correspondente va fcando mas dstante do vencedor. É como se todos os vetores de pesos dos neurônos da rede neural estvessem undos por elástcos sendo que os elástcos mas fortes unram os vetores de pesos dos neurônos que fossem prmeros vznhos, elástcos um pouco mas fracos unram os vetores de pesos dos neurônos que fossem segundos vznhos, elástcos mas fracos unram os vetores de pesos dos neurônos que fossem terceros vznhos etc. Quando o vetor de pesos de um neurôno vencedor em um dado passo for modfcado, por estar preso aos outros por elástcos, ele rá arrastar consgo os demas vetores de peso, e mas fortemente aqueles dos neurônos mas próxmos. Em geral, usa-se uma função gaussana para mplementar a função de vznhança, 2 d Λ *, = * ( t) exp, 2 2 ( t ), σ onde d,* é a dstânca entre um neurôno e o neurôno vencedor *. Se a rede neural for un-dmensonal, essa dstânca é smplesmente o módulo da dferença entre os índces de e *, d,* = índce_de_ índce_de_ * ; se a rede for bdmensonal essa dstânca é dada pela dstânca eucldeana entre os seus vetores de posção, d 2, * 2 = r r *, onde r é o vetor posção do neurôno e r * é o vetor posção do neurôno vencedor, os dos sendo meddos nos espaço dscreto defndo pelos nodos da rede neural. O desvo padrão da função de vznhança, σ,* (t), dmnu com o número de passos t. Uma manera comum de mplementar essa dmnução é por um decamento exponencal, t σ ( t ) = σ 0 exp, τ 1 15

16 Pscologa Conexonsta Antono Roque Aula 9 onde τ 1 é uma constante temporal (determnada emprcamente). Em geral, também faz-se a taxa de aprendzagem η(t) dmnur com o passo de teração de uma manera exponencal, t η( t ) = η 0 exp, τ 2 onde τ 2 é outra constante temporal (também determnada emprcamente). A função de vznhança dá ao algortmo SOM uma característca especal. Ele faz com que a representação dos padrões do espaço de entrada pela rede neural em grupos preserve a topografa do espaço de entrada. Isto quer dzer que padrões vznhos no espaço de entrada são representados por neurônos vznhos na rede neural. Além dsso, regões do espaço de entrada cuos padrões x tenham maor probabldade de ocorrer são representadas por um número maor de neurônos da rede neural, sto é, elas são representadas com uma resolução maor do que as regões cuos padrões ocorrem menos freqüentemente. Portanto, um mapa entre o espaço contínuo de entrada e o espaço dscreto da rede neural mplementado pelo algortmo SOM tende a preservar tanto a métrca como a dstrbução do espaço de entrada. É mportante lembrar que sto ocorre a partr apenas da nformação contda nos padrões de entrada; o mapa crado pelo SOM não é supervsonado. Durante o trenamento segundo o algortmo SOM ocorrem, em geral, duas fases dstntas: 1. Fase de auto-organzação ou de ordenamento: É nesta fase que o ordenamento topográfco dos vetores de pesos ocorre. Incalmente, os vetores de pesos têm valores aleatóros e não possuem qualquer tpo de ordenamento. À medda que a rede va sendo trenada, vetores de neurônos vznhos entre s no espaço da rede neural começam a se aproxmar uns dos outros, de manera que 16

17 Pscologa Conexonsta Antono Roque Aula 9 neurônos de uma mesma área da rede neural acabam representando padrões vndos de uma mesma regão do espaço de entrada. Esta fase pode levar mutas terações para termnar, em geral mas do que Algumas dcas útes para que ela ocorra da melhor manera possível, dadas por Haykn em seu lvro, são as seguntes: A taxa de aprendzagem η(t) deve começar com um valor próxmo de 0,1 e r dmnundo gradualmente, mas sem fcar abaxo de 0,01. Para um decamento exponencal como o dado pela fórmula acma, a constante τ 2 deve ser da ordem de Incalmente, a função de vznhança Λ,* (t) deve nclur pratcamente todos os neurônos da rede (ou sea, todo mundo sendo vznho do neurôno vencedor * ), mas depos ela deve r encolhendo com o passo de teração até que, após mas ou menos 1000 passos, apenas os quatro prmeros vznhos de * (no caso de uma rede b-dmensonal quadrada) façam parte da sua função de vznhança (e mesmo assm, um pouco mas tarde, somente o própro neurôno vencedor é que tenha o seu vetor de pesos modfcado, como no aprendzado compettvo do tpo o vencedor fca com tudo). Uma possível manera de mplementar sso é fazendo σ 0 ser gual ao rao da rede neural e τ 1 = 1000/logσ Fase de Convergênca: Nesta fase ocorre o refnamento do mapa, levando a uma representação mas acurada do espaço de entrada por parte da rede neural. Como regra geral, o número de terações nesta fase deve ser de pelo menos 500 vezes o número de neurônos na rede neural. Logo, o número de terações pode atngr dezenas de mlhares de passos. Nesta fase, a taxa de aprendzagem η deve permanecer pequena, da ordem de 0,01 e a função de vznhança de englobar apenas o própro neurôno vencedor e, no máxmo, os seus prmeros vznhos. Uma síntese do algortmo SOM de Kohonen é a segunte: 17

18 Pscologa Conexonsta Antono Roque Aula 9 1. Incalzação: Escolha valores aleatóros para as componentes ncas dos vetores de pesos w (0), = 1,..., M. A únca restrção é que os M vetores de pesos devem ser dferentes uns dos outros, mas é, em geral, convenente que os seus módulos seam pequenos; 2. Escolha do padrão de entrada: De acordo com alguma dstrbução de probabldades p(x), escolha um padrão x da população para ser colocado na camada de entrada da rede; 3. Determnação do neurôno vencedor: Use o crtéro de smlardade baseado na dstânca eucldeana entre o vetor de entrada e os vetores de peso para determnar o neurôno vencedor * para o passo atual, x = mn * ( ) x w 4. Atualzação dos pesos: Modfque os vetores de pesos dos neurônos da rede de acordo com a regra, w ( * ; [ x( t) w ( )] t + 1) = w ( t) + Λ ( t) η ( t) t, ; 5. Contnuação: Volte para o passo 2 e contnue até que não seam observadas mudanças sgnfcatvas no mapa formado. 18