Capítulo 8. Redes de Hopfield

Transcrição

1 Capítulo 8 Redes de Hopfeld O teto apresentado neste capítulo segue bascamente Haykn em [], sendo uma tradução e nterpretação lvres e resumdas dos conteúdos lá apresentados. Uma Rede de Hopfeld consste de um conunto de neurônos e um correspondente conunto de undades de atraso, formando um sstema de realmentação múltplo. A Fgura 8. apresenta a arqutetura de uma Rede de Hopfeld formada de N 4 neurônos. Observe que o número de laços de realmentação é gual ao número de neurônos. Bascamente, a saída de cada neurôno é realmentada através de um elemento de atraso, para cada um dos outros neurônos da rede, sem haver auto-realmentação. Fgura 8.: Arqutetura de uma Rede de Hopfeld formada de N 4 neurônos.

2 Ao estudar a dnâmca da Rede de Hopfeld utlza-se o modelo neurodnâmco adtvo, que é o modelo de neurôno sem ruído mostrado na Fgura 8.2. Fgura 8.2: Modelo adtvo de um neurôno. Em termos físcos, os pesos snáptcos,,!, N (mostrados na Fgura 8.2) representam condutâncas e as respectvas entradas () t () t, () t,, N! representam potencas (N é o número de entradas). Estas entradas são aplcadas a um nó somador de corrente que possu as seguntes característcas: Baa resstênca de entrada. Ganho de corrente untáro. Alta resstênca de saída. O fluo total de corrente entrando no nó v na Fgura 8.2 é: N + () t I onde o prmero termo da soma é devdo aos estímulos () t () t, () t, N,! atuando sobre os pesos snáptcos (condutâncas),,!, N, respectvamente, e o segundo termo é devdo à fonte de corrente I que representa um bas aplcado eternamente. 2

3 Sea v () t a função no tempo que descreve o campo local nduzdo no nó v. O fluo total de corrente sando do nó v é: onde o prmero termo é devdo à resstênca C. v R () t dv () t + C dt R e o segundo termo é devdo à capactânca Pela le de corrente de Krchoff, sabemos que o fluo de corrente total que entra em qualquer nó de um crcuto elétrco é zero. Aplcando a le de corrente de Krchoff ao nó v na entrada da não-lneardade mostrada na Fgura 8.2, teremos () t v () t dv N C + + dt R () t I (8.) O termo capactvo C dv ()dt t no lado esquerdo da Equação (8.) é a forma mas smples de modelar o comportamento dnâmco de um neurôno bológco vsto que, mplctamente, é adconada memóra ao modelo. Dado o campo local nduzdo v () t pode-se, então, determnar a saída do neurôno através do uso da relação não-lnear ( ) () t ϕ v () t (8.2) O modelo RC descrto pela Equação (8.) é comumente referdo como o modelo adtvo. Esta termnologa é usada para dscrmnar o modelo adtvo do denomnado modelo multplcatvo, onde é dependente de. Uma característca específca do modelo adtvo descrto pela Equação (8.) é que o snal () t aplcado ao neurôno pelo neurôno vznho é uma função que vara lentamente com o tempo t. Este modelo consttu a base da neurodnâmca clássca. Consderemos agora uma rede recorrente consstndo da nterconeão de N neurônos, cada um deles tendo o mesmo modelo matemátco descrto pelas Equações (8.) e (8.2). Então, gnorando os atrasos devdos ao tempo de propagação entre neurônos (no 3

4 conteto de uma rede de neurônos bológcos), pode-se defnr a dnâmca da rede pelo segunte sstema de equações dferencas de prmera ordem: C dv () t v () t N +! dt R o qual resulta da reordenação dos termos de (8.). () t + I,,,N, (8.3) Assume-se que a função de atvação ϕ () que relacona a saída () t do neurôno a seu campo local nduzdo v () t é uma função contínua e, portanto, dervável. Uma função de atvação comumente utlzada é a função logístca ϕ ( v ) ;,,,N + ep ( v )! (8.4) Uma condção necessára para que uma Rede de Hopfeld sea capaz de aprender é que a rede recorrente descrta pelas Equações (8.2) e (8.3) possua pontos estáves, denomnados Atratores. Reconhecendo que () t ( v () t ) C d dt v () t, pode-se reescrever a (8.3) sob a forma ϕ () t v N + ϕ ( v () t ) + I,,,..., N. (8.5) R Para prossegur a dscussão, façamos as seguntes consderações:. A matrz de pesos snáptcos é smétrca, conforme mostrado por (8.6), 2. Cada neurôno tem uma atvação não-lnear própra, daí o uso de ϕ () na Equação (8.5), no conteto de tentar reproduzr uma rede de neurônos bológcos. 3. O nverso da função de atvação não-lnear este, então pode-se escrever () - v ϕ (8.7) 4

5 Sea a função sgmóde ϕ () v defnda pela função tangente hperbólca, conforme ( av) ( a v) av ep ϕ () v tanh, (8.8) 2 + ep a qual tem uma declvdade de a 2 na orgem, conforme mostrado por onde 2 dv v a é denomnado o ganho do neurôno. a dϕ (8.9) A partr de (8.8), a relação nversa saída-entrada epressa na Equação (8.7) é v ϕ () ln (8.) a + A relação nversa saída-entrada padrão para um neurôno de ganho untáro é (8.) ϕ () ln + Podemos, então, reescrever a Equação (8.) como () ϕ () ϕ (8.2) a A Fgura 8.3a mostra o gráfco da não-lneardade sgmodal padrão ϕ () v, e a Fgura 8.3b mostra o gráfco correspondente da não-lneardade nversa ϕ (). Fgura 8.3: Gráfcos representatvos de (a) não-lneardade sgmodal padrão e (b) o seu nverso. 5

6 No conteto de Establdade de Sstemas Dnâmcos, a Função de Energa de Lyapunov [2] da Rede de Hopfeld mostrada na Fgura 8. é dada por E 2 N N + N R N () d ϕ I (8.3) A função defnda por (8.3) mede a energa armazenada no sstema e é uma superfíce hperdmensonal que pode apresentar mutos mínmos. A dnâmca da rede é tal que a traetóra do vetor de estado [ ] T N! (ver Fgura 8.) sempre movmenta-se na dreção dos mínmos de energa do sstema (Atratores). Dferencando E com respeto ao tempo, teremos de dt N N v d + I (8.4) R dt A quantdade entre parênteses, no lado dreto da Equação (8.4), é o termo como C dv dt da Equação (8.5). Pode-se, então, smplfcar a Equação (8.4) para de dt N dv C dt d dt Utlzando a relação nversa que defne v em termos de Equação (8.5), temos (8.5) (Equação 8.7) na de dt N C d dt 2 d N d d ϕ ( ) C ϕ ( ) (8.6) dt dt d A partr da Fgura 8.3b vemos que a relação saída-entrada nversa ( ) ϕ é uma função monotoncamente crescente da saída. Segue, portanto que d d ( ) para todo ϕ (8.7) 6

7 Observe também que d dt 2 para todo (8.8) Portanto, todos os fatores que consttuem o somatóro no lado dreto da Equação (8.6) são não-negatvos. Conseqüentemente, a varação no tempo da função de energa E defnda por (8.3), é tal que de dt t A partr da defnção da Equação (8.3), notamos que a função E é bounded E E ( mn ). De acordo com sso, podemos fazer duas afrmações:. A função de energa E é uma Função de Energa de Lyapunov do modelo contínuo da Rede de Hopfeld. 2. O modelo é estável de acordo com o Teorema de Lyapunov [2]. Em outras palavras, a evolução no tempo do modelo contínuo de Hopfeld, descrta pelo sstema de equações dferencas não-lneares de prmera ordem (Equação (8.5)) representa uma traetóra no espaço de estado, a qual movmenta-se na dreção de um dos mínmos da Função de Energa de Lyapunov e que acaba por termnar em um destes pontos. Daí, então, a denomnação de Atratores para as coordenadas do vetor de estado [ ] T N! quando E () Emn. A partr da Equação (8.6) pode-se observar também que a dervada de dt é nula (sto é, o sstema encontra-se em um nível de energa estável) somente se. d dt () t para todo Podemos, então, segur um passo adante e escrever de < eceto em um ponto fo (8.9) dt 7

8 A Equação (8.9) provê base para o segunte postulado: "A Função de Energa de Lyapunov E de uma Rede Hopfeld é uma função monotoncamente decrescente do tempo." Assm, a Rede de Hopfeld é global e assntotcamente estável com os mínmos de E ocorrendo para coordenadas do vetor de estado [ ] T às coordenadas dos Atratores da rede. N! que correspondam 8. Relação entre os Estados Estáves das Versões Contínua e Dscreta do Modelo de Hopfeld A rede de Hopfeld pode ser operada em um modo contínuo ou dscreto, dependendo do modelo adotado para descrever os neurônos. O modo contínuo de operação é baseado em um modelo adtvo, conforme prevamente descrto. O modo dscreto de operação é baseado no modelo de McCulloch-Ptts. Podemos prontamente estabelecer a relação entre os estados estáves do modelo contínuo de Hopfeld e os estados estáves do modelo dscreto de Hopfeld correspondente, através da redefnção da relação entrada-saída para um neurôno que satsfaça a duas smplfcações:. A saída de um neurôno tem os valores assntótcos + para para v v (8.2) 2. O ponto médo da função de atvação de um neurôno fca na orgem, conforme mostrado por ϕ () (8.2) De forma correspondente, pode-se fazer o bas I gual a zero para todo. 8

9 Ao formular a função de energa E para um modelo contínuo de Hopfeld, é permtdo que os neurônos tenham laços de auto-realmentação. Um modelo dscreto de Hopfeld, por outro lado, não necessta ter laços de auto-realmentação. Pode-se, portanto, smplfcar a dscussão fazendo para todos em ambos os modelos. A partr destas observações, podemos redefnr a função de energa de um modelo contínuo de Hopfeld dada pela Equação (8.3) conforme segue: E N N 2 + N R o () ϕ d (8.22) A função nversa ϕ () é defnda pela Equação (8.2). Podemos então reescrever a função de energa da Equação (8.22), conforme segue: A ntegral E N N 2 o ϕ + N () d a R o () ϕ (8.23) tem a forma padrão mostrada na Fgura 8.4. Seu valor é zero para e postvo em todos os outros casos. Anda, a ntegral assume um valor muto grande à medda que se aproma de ±. d Fgura 8.4: Gráfco representatvo da ntegral ϕ () d. o 9

10 Se, entretanto, o ganho a do neurôno se torna nfntamente grande (sto é, a não-lneardade sgmodal se aproma da função de transferênca de um hard lmter), o segundo termo da Equação (8.23) se torna desprezvelmente pequeno. No caso lmte, quando a para todo, os valores mámo e mínmo das componentes do vetor de estado [ ] T N! no modelo contínuo de Hopfeld se tornam dêntcos àqueles no modelo dscreto de Hopfeld. Para o caso do modelo dscreto, a Função de Energa de Lyapunov é defnda smplesmente por E N N 2 (8.24) onde o estado do -ésmo neurôno assume os valores ±. Conclu-se, portanto, que os pontos estáves (Atratores) do modelo determnístco contínuo de alto ganho de Hopfeld correspondem aos pontos estáves do modelo dscreto estocástco de Hopfeld. Quando, entretanto, cada neurôno tem um ganho a grande, porém fnto, o segundo termo do lado dreto da Equação (8.23) assume uma contrbução não nsgnfcante para a função de energa do modelo contínuo. Em partcular, esta contrbução é grande e postva prómo a todas as faces, bordas e cantos do hpercubo untáro que defne o espaço de estados do modelo. Por outro lado, a contrbução é desprezvelmente pequena em pontos que estão dstantes das faces. De acordo com sso, a função de energa de tal modelo tem seu mámo nos cantos, mas os mínmos estão levemente posconados em dreção ao nteror do hpercubo. A Fgura 8.5 mostra o mapa dos Contornos de Energa (energy landscape) para um modelo contínuo de Hopfeld usando dos neurônos.

11 Fgura 8.5: Mapa dos Contornos de Energa (lnhas sóldas) para uma Rede de Hopfeld composta de dos neurônos. A ordenada e a abscssa são as componentes do vetor de estado [ ] T, correspondendo respectvamente a cada um dos nós de saída dos dos neurônos que compõe a rede. Os dos Atratores desta rede estão localzados prómo ao canto esquerdo nferor e canto dreto superor da fgura. Os pontos nstáves localzam-se nos outros dos cantos. As setas defnem a traetóra de movmentação de [ ] T (state flo) a partr de qualquer coordenada ncal no mapa. O state flo na dreção dos Atratores é conseqüênca do processo de mnmzação da Função de Energa de Lyapunov, dada por (8.3), efetuado pela Rede de Hopfeld a medda que o tempo t T transcorre a partr de um estado ncal () t [ () t () t ] () [ () () ] T. t Observe que cada Atrator consttu um sumdouro (snk) para o campo vetoral formado pelas setas do state flo.

12 8.2 O Modelo Dscreto de Hopfeld Vsto como uma Content-Addressable Memory (CAM). As Redes de Hopfeld têm atraído muta atenção na lteratura como CAM. Neste tpo de aplcação, sabemos a pror os Atratores da rede, no sentdo de que eles correspondem a padrões a serem armazenados. Entretanto, os pesos snáptcos da rede que produzem os Atratores são desconhecdos, e o problema é como determná-los. A função prmordal de uma CAM é recuperar um padrão armazenado na memóra, em resposta à apresentação de uma versão ncompleta ou rudosa daquele padrão. Para lustrar o sgnfcado desta afrmatva, de uma forma sucnta, nada melhor podemos fazer do que ctar o própro Hopfeld (982): Suponha que um tem armazenado na memóra sea H. A. Kramers & G. H. Wanner Phys Rev.6, 252 (94). Uma CAM deve ser capaz de recuperar este tem ntero da memóra com base em uma nformação parcal. A entrada & Wanner (94) deve ser sufcente. Uma memóra deal pode ldar com erros e recuperar esta referênca mesmo a partr da entrada Wanner, (94). Uma propredade mportante de uma CAM é, portanto, a habldade de recuperar um padrão armazenado, dado um subconunto razoável do conteúdo de nformação daquele padrão. Mas anda, uma CAM permte correção de erro no sentdo de que ela pode gnorar nformações nconsstentes nas sugestões apresentadas a ela. A essênca de uma CAM é mapear uma memóra fundamental ξ μ em um Atrator µ de um sstema dnâmco, conforme lustrado na Fgura 8.6. Matematcamente, podemos epressar este mapeamento na forma µ µ. ξ 2

13 Fgura 8.6: Ilustração da codfcação-decodfcação desempenhada por uma rede recorrente. A seta da esquerda para a dreta descreve uma operação de codfcação, enquanto que a seta da dreta para a esquerda descreve uma operação de decodfcação. Os pontos fos atratores do espaço de estado da rede são as memóras fundamentas ou estados protótpos da rede. Suponha agora que sea apresentado à rede um padrão contendo nformação parcal mas sufcente sobre uma das memóras fundamentas. Podemos então representar aquele partcular padrão como ponto de partda no espaço de estados. Em prncípo, desde que o T ponto de partda (sto é, o estado ncal () t [ () t () t ] () [ () () ] T ) t sea prómo ao Atrator que representa a memóra a ser recuperada (sto é, desde que () estea dentro da baca de atração de um dos Atratores), o sstema deve evolur com o tempo e fnalmente convergr para o própro Atrator que representa a memóra. Neste nstante de tempo a memóra ntera é recuperado pela rede. Conseqüentemente, a Rede de Hopfeld tem uma propredade emergente, a qual a aula a recuperar nformação e a ldar com erros. Com o modelo de Hopfeld utlzando o neurôno formal de McCulloch e Ptts (943) como undade básca de processamento, cada neurôno tem dos estados determnados pelo nível do campo local nduzdo que atua sobre ele. O estado lgado do 3

14 neurôno é denotado pela saída +, e o estado deslgado é representado por. Para uma rede consttuída de N neurônos, o estado da rede é então defndo pelo vetor [ ] T N!. Com ±, o estado do neurôno representa um bt de nformação, e o vetor de estado R N, representa uma palavra bnára de N bts de nformação. O campo nduzdo local v do neurôno é defndo por onde modfca seu estado v N + b (8.25) b é um bas fo aplcado eternamente ao neurôno. Portanto, o neurôno de acordo com (neurôno de McCulloch e Ptts): + se se v v > < Esta relação pode ser reescrta na forma compacta sgn [ v onde sgn () retorna o snal do argumento. Se v é zero, o neurôno permanece em seu estado anteror, desconsderando se está lgado ou deslgado. O sgnfcado de assumr esta convenção é que o dagrama de fluo resultante é smétrco, como será lustrado posterormente. Há duas fases para a operação da rede dscreta de Hopfeld como uma CAM, chamadas:! Armazenagem (Storage phase) e! Recuperação (Retreval phase). ] 4

15 . Storage Suponha que deseamos armazenar um conunto de vetores N dmensonas (palavras bnáras), denotado por { µ,,..., M }. Chamamos estes M vetores de ξ µ memóras fundamentas, representando os padrões a serem memorzados pela rede. Sea ξ µ, o ésmo elemento da memóra fundamental ξ. µ De acordo com a regra do produto eterno de armazenamento, ou sea, a generalzação do postulado de aprendzado de Hebb, o peso snáptco do neurôno para o neurôno é defndo por N M µ ξ ξ µ, µ, (8.26) A motvação para usar N como constante de proporconaldade é smplfcar a descrção matemátca da recuperação da nformação. Note também que a regra de aprendzado da Equação (8.26) é um procedmento não-teratvo, sto é, os pesos snáptcos fcam totalmente determnados após a soma de M termos. Observe que o que sgnfca os neurônos da Rede de Hopfeld não têm auto-realmentação (ver Fgura 8.), de modo que para todo (8.27) Sea W a matrz de pesos snáptcos de dmensão [ N N] da rede, com sendo seu -ésmo elemento. Podemos então combnar as Equações (8.26) e (8.27) em uma únca equação escrta na forma matrcal, conforme segue: M T N ξ ξ µ µ µ W M I (8.28) T onde ξ ξ µ µ representa o produto eterno do vetor ξ com ele própro, e I denota a µ matrz dentdade. A partr destas defnções dos pesos snáptcos/matrz de pesos, podemos, mas uma vez, verfcar que:! A saída de cada neurôno na rede é realmentada para as entradas de todos os outros neurônos.! Não há elo de auto-realmentação na rede (sto é, ).! A matrz de pesos da rede é smétrca (ver Equação (8.6)), sto é, W T W (8.29) 5

16 2. Retreval Durante a Recuperação, um vetor N dmensonal ξ é mposto à Rede de Hopfeld sonda como seu estado. O vetor sonda tem os seus elementos guas a ±. Tpcamente, o vetor representa uma versão ncompleta ou rudosa de uma memóra fundamental da rede. A recuperação de nformação acontece de acordo com uma regra dnâmca teratva, na qual, a cada teração, um neurôno da rede é aleatoramente escolhdo e é eamnado o campo local nduzdo v (nclundo qualquer bas não nulo b ). Se, a qualquer nstante de tempo v > o neurôno rá trocar seu estado para +, ou permanecerá naquele estado se á estver lá. De forma smlar, se v <, o neurôno rá trocar seu estado para, ou permanecerá neste estado se á estver lá. Se v, o neurôno é deado no seu estado prévo, não mportando se estava lgado ( + ) ou deslgado ( ). A atualzação do estado de uma teração para a próma é, portanto, determnístca, mas a seleção de um neurôno para que sea eecutada a atualzação é aleatóra. O procedmento de atualzação assíncrona (seral) aqu descrto é contnuado até que não haa mas mudanças a reportar. Isto é, começando com o vetor sonda, a rede fnalmente produz um vetor de estado y nvarante no tempo, cuos elementos ndvduas satsfazem a condção para a establdade: N y sgn ou, sob a forma matrcal, y + b, ( y b) y sgn W +,, 2,..., N (8.3) (8.3) onde W é a matrz de pesos snáptcos da rede, e b é o vetor bas eternamente aplcado. A condção de establdade aqu descrta é também referda como a condção de alnhamento. O vetor de estado y que a satsfaz é chamado um estado estável ou Atrator do espaço de estados do sstema. Podemos, portanto, afrmar que a Rede de Hopfeld rá sempre convergr para um estado estável quando a operação de recuperação é conduzda de forma assíncrona. 6

17 8.3 Sumáro do Modelo de Hopfeld A Tabela 8. apresenta o sumáro dos passos envolvdos nas fases operaconas de Armazenagem e de Recuperação de uma Rede de Hopfeld. O passo é a fase de Armazenagem e os passos 2 a 4 consttuem a fase de Recuperação.. Aprendzado Sea { ξ, ξ,!, ξ } um conunto conhecdo de memóras M N-dmensonas fundamentas (Atratores). " Usa-se a regra do produto eterno (sto é, o postulado de aprendzagem de Hebb) para computar os pesos snáptcos da rede: M N µ, ξ µ ξ, µ, Onde é o peso snáptco do neurôno para o neurôno. Os elementos do vetor ξ são guas a ±. µ Uma vez determnados os pesos snáptcos fos., estes são mantdos 2. Incalzação Sea ξ sonda um vetor de entrada N dmensonal desconhecdo (sonda) apresentado à rede. " O algortmo é ncalzado fazendo-se () com,,, N ξ., sonda! Onde é o estado do neurôno no tempo n, e ξ é o ésmo elemento do vetor sonda, sonda ξ. sonda 7

18 3. Iteração até a convergênca " Os elementos do vetor de estados () n são atualzados de forma assíncrona (sto é, aleatoramente e um de cada vez), de acordo com a regra N ( + ) sgn n ( n),,,!, N. " A teração é repetda até que o vetor de estado permaneça nalterado. 4. Saída Sea snk o vetor que representa as coordenadas do Atrator computado ao fnal do passo três. " O resultante vetor de saída y da rede é dado por y snk 8.4 Referêncas Bblográfcas do Capítulo 8 [] S. Haykn, Neural Netorks, 2 nd ed., Prentce Hall, Upper Saddle Rver, Ne Jersey, 999. [2] C. T. Chen, Lnear System Theory and Desgn, Harcourt Brace College Publshers, 984. [3] M. H. Hassoun, Fundamentals of Artfcal Neural Netorks, MIT Press, 995. [4] J. Hertz, A. Krogh e R. G. Palmer, Introducton to the Theory of Neural Computaton, Addson-Wesley, 99. 8

19 Apêndce: Rede de Hopfeld - Codfcação Não - Lnear Funções aulares deste scrpt para MathCad 7.: Bn( HopfeldVector) ( HopfeldVector ) 2 Hop( BnWord) 2. BnWord Not( BnWord) BnWord SpectrDst( Code) nn cols( Code) CodSze cc for for acc for ros( Code) a.. CodSze 2 b a.. CodSze.. nn acc acc f Code a Dst cc acc, Code b, Dst cc cc Fgura : Rede de Hopfeld com 4 neurônos e respectvos hard lmters. O obetvo deste estudo é nvestgar a capacdade da Rede de Hopfeld codfcar e decodfcar (no conteto de Códgos Para Correção de Erros) um espaço de vetores bnáros (eceto o vetor, caracterzando a Codfcação Não-Lnear ). Sea, por eemplo, o espaço de vetores bnáros de dmensão 4 (eceto o vetor ): BnSpace

20 2 Normalzando as componentes dos vetores para +, -: ξo Hop( BnSpace) ξo Obtendo a matrz de pesos snáptcos W da Rede de Hopfeld para o conunto de vetores ξ o : Nota: W é o peso snáptco que conecta a saída do neurôno à respectva entrada no neurôno WeghtMatr( ξ ) N ros( ξ ) M W cols( ξ ). N return W M <>. ξ <>T ξ M. dentty( N) W WeghtMatr( ξo) W

21 3 Obtendo os estados estáves (Atratores) da Rede de Hopfeld para a matrz de pesos snáptcos W obtda do conunto de vetores ξ o : Nota: Um vetor de estado é estável se sgn(w ), (Condção de Alnhamento) onde sgn(u) representa o hard lmter. StableStates( ξ, W) M cols( ξ ) N for ros( ξ ).. M Y W. ξ for k.. N S k S k f Y k < S k f Y k > f S ξ <> Ss <> S return Ss Ss StableStates( ξo, W) Bn( Ss) Verfcando a consstênca dos Atratores: Nota: Se um conunto Ss de vetores de estado é um conunto de Atratores então os seus estados estáves são formados pelos própros vetores de Ss: W WeghtMatr( Ss) W Bn( StableStates( Ss, W) )

22 Calculando as dstâncas de Hammng entre os Atratores: Nota: Quanto maor a Dstânca de Hammng mínma maor a capacdade de correção de erro do decodfcador. SpectrDst Bn Ss ( ) T T Resultado que não é muto satsfatóro. Epermentemos determnar a Dstânca de Hammng entre os Atratores, só que TRANSPOSTOS, sto é: Bn Ss T SpectrDst Ss ( ) T O que é um resultado EXTREMAMENTE satsfatóro, á que consegumos mamzar a Dstânca de Hammng entre todos os vetores. Portanto estes vetores são palavras códgo bnáras com bom potencal para codfcação. Anda é necessáro verfcar se os Atratores transpostos formam um conunto de Atratores: ξ Ss T Bn ξ ( ) W WeghtMatr ξ ( ) W Ss_Ne StableStates ξ W, ( ) Bn Ss_Ne ( ) Bn ξ ( ) Portanto, os Atratores transpostos também formam um conunto de Atratores. 4

23 5 No entanto, a Rede de Hopfeld pode convergr para outros Atratores dferentes daqueles defndos pela matrz W obtda do conunto de vetores ξ. Tas Atratores são denomnados Atratores Espúros (estados espúros): No presente caso, o conunto de Atratores Espúros ξ espur são os vetores obtdos da negação lógca (NOT) das componentes do conunto de Atratores ξ : ξespur Hop( Not( Bn( ξ ))) Bn( ξespur) Bn( ξ ) Observe que o conunto de Atratores Espúros ξ espur também obedece a Condção de Alnhamento sgn(w ), onde é um dos vetores do conunto ξ espur : Bn( StableStates( ξespur, W) ) W Os Atratores Espúros ξ espur decorrem da stuação em que W possu autovalores muto prómos ou guas (nulos ou não), como é o caso em questão, para o qual temos 2 grupos de 3 autovalores guas: egenvals( W) T Nota: Atratores Espúros ocorrem também para o conunto orgnal ξ o : egenvals( WeghtMatr( ξo) ) T

24 6 Verfcando a capacdade de correção de erro da Rede de Hopfeld no conteto de Codfcação/Decodfcação: Nota: O pseudo-códgo Retreval(. ), abao especfcado, mplementa a fase de Recuperação de uma Rede de Hopfeld com matrz de pesos snáptcos W a partr do vetor sonda. O argumento CheckWndo especfca o número de terações durante as quas deve permanecer constante para que sea consderado que a rede convergu para um Atrator. Retreval(, W, CheckWndo) MaIter N ros( ) net < > for n.. MaIter floor( rnd( N) ) N v W., f v < f v > net < n> Test CheckWndo net < n k> net < n k > f n> CheckWndo k return net < n> f Test return net

25 7 Codfcando e decodfcando: Bn( Ss) Not( Bn( Ss) ) Observe do conunto de vetores Ss acma que a Rede de Hopfeld em questão gera um códgo bnáro NÃO LINEAR (não este a palavra-códgo ) e Sstemátco com mensagens de k2 bts e palavras-códgo resultantes de n6 bts. Vamos supor que a Rede de Hopfeld receba a segunte palavra-códgo: Receved ( ) T A rede pode convergr para o Atrator mas prómo em termos da Dstânca de Hammng: Decoded Bn( Retreval( Hop( Receved), W,. ros( Ss) )) Decoded T Ou pode convergr para o Atrator Espúro mas prómo em termos da Dstânca de Hammng: Decoded Bn( Retreval( Hop( Receved), W,. ros( Ss) )) Decoded T Uma possível solução para a ambgudade gerada pelos Atratores Espúros é, ocorrendo convergênca para um estado estável que não pertence ao conunto de Atratores ξ, eecuta-se novamente o processo até que ocorra convergênca para um estado estável pertencente a ξ. ξ. Uma outra possível solução para a ambgüdade gerada pelos Atratores Espúros é conduzr as terações na fase de Retreval da Rede de Hopfeld de modo que, se a dstânca de Hammng entre o vetor de estado e os vetores do conunto de Atratores Espúros ξ espur car abao de um valor d mn consderado seguro, a teração é descartada e o vetor não é atualzado.