Propriedades cognitivas em redes de neurônios não-monótonos

Transcrição

1 UIVERSIDADE FEDERAL DO RIO GRADE DO SUL ISTITUTO DE FÍSICA Propredades cogntvas em redes de neurônos não-monótonos Amanda de Azevedo Lopes Porto Alegre, Ro Grande do Sul, Brasl ovembro de 203

2

3 UIVERSIDADE FEDERAL DO RIO GRADE DO SUL ISTITUTO DE FÍSICA Propredades cogntvas em redes de neurônos não-monótonos Trabalho de conclusão de curso submetdo ao Insttuto de Físca da UFRGS como parte dos pré-requstos para a obtenção do grau de Bacharel em Físca: Pesqusa Básca. Realzado sob a orentação do Prof. Rubem Erchsen Junor Porto Alegre, Ro Grande do Sul, Brasl ovembro de 203

4

5 Agradecmentos Ao professor Rubem por todo o apoo e conselhos dados. À mnha famíla, por toda compreensão, apoo e carnho que receb. Aos meus amgos por todo o companhersmo durante o curso, com certeza estes cnco anos foram mas alegres junto de vocês.

6

7 Resumo Entender a orgem das propredades cogntvas do cérebro é uma das grandes questões centífcas da atualdade. Em especal, o estudo da capacdade de memóra assocatva é extremamente relevante para alcançar o entendmento de tas propredades. Tentando entender tal processo, elaborou-se um breve apanhado hstórco sobre redes neuras, fo feta uma revsão do modelo de Hopfeld e fo proposta uma alteração na função de atvação da rede de Hopfeld estocástca, a fm de determnar a capacdade crítca de aprendzado desta rede. Esta alteração fo estudada em uma rede recorrente totalmente conexa e a função de atvação escolhda fo uma não-monótona. Através de solução numérca pelo método de ewton-raphson este sstema pode ser resolvdo e ao varar um parâmetro de não-monotoncdade da rede, a capacdade pode ser analsada. Um aumento na capacdade da rede é observado em um certo ntervalo de valores deste parâmetro de não-monotoncdade.

8

9 Abstract To understand the orgn of the bran cogntve propertes s one of the major centfc ssues of our tme. In partcular, the study of assocatve memory s extremely relevant to acheve the understandng of these propertes. Tryng to understand ths process, a short revew on neural networks and a revew on the Hopfeld model were made and an alteraton n the actvaton functon of the stochastc Hopfeld network was proposed n order to establsh the learnng capacty of ths network. Ths modfcaton was studed n a totally connected recurrent network and solved through numerc ntegraton. Varyng a non monotoncty network parameter the capacty can be analsed. A network capacty ncrease s observed for a certan range of ths parameter.

10

11 Sumáro Introdução Modelo de Hopfeld O modelo Rede com um padrão Rede com p padrões Capacdade de armazenamento Redes estocástcas Capacdade de armazenamento da rede estocástca Rede não-monótona Capacdade da rede não-monótona Capacdade da rede no lmte de temperatura zero Resultados Conclusões Referêncas

12

13 Introdução O entendmento da orgem das propredades cogntvas do cérebro, como a capacdade de memóra assocatva, é um dos grandes desafos da pesqusa centífca atual. Para enfrentar este desafo, dferentes áreas centífcas, como físca, bologa e medcna têm undo esforços. Especfcamente na área da físca destaca-se, entre outros assuntos, o estudo de modelos elementares de neurônos e snapses. O cérebro é um sstema altamente complexo, composto de aproxmadamente 0 neurônos de város tpos. Os neurônos são as undades báscas de processamento de nformação no sstema nervoso e podem realzar certas tarefas de computação, como reconhecmento de padrões, de forma muto mas rápda do que o mas rápdo computador exstente. Uma rede neural é um modelo que pretende descrever o modo como o cérebro executa uma tarefa ou função de nteresse. Estamos, entretanto, muto longe de entender toda a dnâmca do cérebro e sua capacdade de computação. O uso de redes neuras proporcona a compreensão de algumas propredades, como capacdade de aprendzado, adaptatvdade e tolerânca a falhas. Um neurôno é uma undade de processamento de nformação que é fundamental para a operação de uma rede neural. Um modelo de neurôno é formado por um conjunto de snapses, que conecta os neurônos com um determnado peso para esta conexão, pela soma ponderada com os pesos snáptcos dos snas de entrada (nputs) e por uma função de atvação para lmtar a ampltude do snal de saída (output) do neurôno. Um dos prmeros modelos de neurônos fo proposto por McCulloch e Ptts em 943 (). McCulloch e Ptts mostraram, que uma rede com um número sufcente de "neurônos" com conexões snáptcas devdamente ajustadas e operando sncronzadamente, em prncípo, podera computar qualquer função que possa ser calculável. Chamado de Lnear Threshold Functon ou neurôno de McCulloch-Ptts, o modelo de neurôno proposto por McCulloch e Ptts computa uma soma ponderada dos valores de entrada (nput) dos outros neurônos e devolve o valor de saída (output) zero ou um, dependendo se a soma está acma ou abaxo de um lmar de dsparo. n (t + ) = Θ( j w j n j (t) µ ). (.) A função n retorna ou 0, representando os estados "dsparando" e "não dsparando" ou "quescente", respectvamente. O tempo t é dscreto, e Θ(x) é a função de Heavsde ou função degrau. w j representa o peso das snapses entre o neurôno j e o neurôno. µ é o valor do lmar do neurôno, a soma ponderada precsa alcançar ou exceder o lmar

14 2 Capítulo. Introdução para o neurôno poder dsparar. Porém, a função degrau Θ(x) podera ser substtuída por outra função não-lnear, que determna a complexdade do neurôno. Pesos Entrada # w Entrada #2 w 2 µ Saída w 3 Entrada #3 Fgura Dagrama esquemátco de um neurôno McCulloch-Ptts O próxmo grande desenvolvmento em redes neuras fo feto com a publcação do lvro de Hebb em 949 (2). o lvro The Organzaton of Behavour fo apresentada pela prmera vez uma regra de aprendzado fsológco para modfcação snáptca. Hebb propôs que os pesos das conexões entre os neurônos sejam ajustados de acordo com as correlações pré e pós-snáptcas. Se o neurôno pré-snáptco nfluenca no dsparo do neurôno pós-snáptco, ou seja, se eles dsparam smultaneamente, a conexão entre estes neurônos será fortalecda e se o neurôno pós-snáptco dsparar antes de o neurôno présnáptco dsparar, estes neurônos são atvados de forma não sncronzada e a conexão entre eles será dmnuída. O lvro de Hebb ncentvou o desenvolvmento de modelos de aprendzado, sstemas adaptatvos e memóra assocatva. Memóra assocatva sgnfca uma memóra localzável por conteúdo, no qual o conteúdo completo da nformação é recuperado a partr de uma nformação ncal ncompleta. Ou seja, dferentes valores de entrada poderam atvar uma mesma resposta correta da rede, se estes fossem sufcentemente smlares. A prncpal função deste tpo de memóra é de recuperar um padrão armazenado na memóra em resposta a uma versão ncompleta ou com ruído do padrão armazenado. Assm, uma memóra localzável por conteúdo é capaz de corrgr erros, no sentdo de que a memóra pode apagar nformações nconsstentes nas nformações fornecdas a ela. Algumas das aplcações de memóras assocatvas são em reconhecmento e reconstrução de magens. (3) Em 982, Hopfeld (4) usou a déa de uma função de energa para formular um novo modo de entender a computação feta por redes recorrentes com conexões snáptcas smétrcas. Além dsso, ele estabeleceu o somorfsmo entre esse tpo de rede e o modelo de Isng usado em mecânca estatístca. Assm, Hopfeld, usando o modelo de Isng, conseguu analsar o caso de redes recorrentes com conexões smétrcas garantndo, assm, sua convergênca para uma condção estável (5). O modelo de Hopfeld será estudado no próxmo capítulo.

15 3 2 Modelo de Hopfeld este capítulo será dado enfoque ao modelo de Hopfeld, que é o modelo base deste trabalho. 2. O modelo Uma rede de Hopfeld pode ser descrta da segunte forma: Um conjunto de neurônos de McCulloch-Ptts nterconectados aleatoramente com valores de atvação + (dsparando) e - (quescente). As snapses podem ser atualzadas segundo a regra de Hebb, com conexões smétrcas e pode-se defnr que um neurôno não pode estar conectado a ele mesmo, ou seja, defne-se que w = 0. Desta forma, pode-se escrever uma equação para a dnâmca da rede S = sgn ( ) w j S j θ. (2.) j S é o estado do neurôno, w j corresponde ao peso snáptco que conecta o neurôno ao e θ é o valor do potencal lmte. Para esta rede que será estudada, o termo θ é defndo como zero. A função snal é defnda da forma se x 0 ; sgn(x) = (2.2) se x < 0. Ou seja, o estado de um neurôno S pode assumr os valores + ou -. Um padrão ξ é um vetor de estados, cujo tamanho é gual ao número de neurônos da rede. Para que um padrão seja armazenado é necessáro que este seja estável. sgn(x) 0 x - Fgura 2 Função sgn(x) A atualzação da rede pode ser feta de duas formas: sncronzada, atualzando todos os neurônos smultaneamente a cada passo de tempo ou não sncronzada, atualzando

16 4 Capítulo 2. Modelo de Hopfeld um neurôno por passo de tempo. O caso não sncronzado é escolhdo por pratcdade para smulação e um neurôno da rede é atualzado a cada passo de tempo através da regra de dnâmca da rede (2.). Há duas fases de operação para a rede de Hopfeld enquanto memóra localzável por conteúdo: uma fase de armazenamento e uma fase de recuperação. a fase de armazenamento, é fornecdo para a rede um conjunto de valores de entrada que se quer memorzar. Os pesos snáptcos, conforme dto anterormente, são defndos pela regra de Hebb, w j = p ξ µ ξµ j (2.3) onde p é o número de padrões que se quer memorzar. A constante de proporconaldade é defnda como por smplcdade. Conforme menconado anterormente, w é defndo como zero, para todo. a fase de recuperação, uma entrada de teste é fornecda para a rede. Esta entrada pode ser uma versão com ruído do padrão armazenado, ou apenas uma entrada ncompleta. A recuperação de nformação segue conforme a regra de dnâmca da rede (2.). Se num dado nstante de tempo a soma dos produtos dos potencas dos neurônos pré-snáptcos com os pesos snáptcos for maor que zero, o neurôno mudará seu valor para +, ou contnuará nesse estado, caso já estvesse nele. Se a soma desses produtos for menor que zero, o neurôno mudará seu valor para, ou contnuará nesse estado, caso já estvesse nele. A atualzação não sncronzada da rede é feta de forma aleatóra e ela segue até que o sstema não tenha mas mudança alguma para regstrar. O sstema estará agora em um estado estável, ou em um ponto fxo no espaço de fases do sstema (5). o seu artgo em 982, Hopfeld defnu uma função de energa H = 2 µ = j= j w j S S j. (2.4) Esta fo uma das contrbuções mas mportantes deste artgo. Hopfeld ressalta que devdo a regra de dnâmca da rede, a função de energa H é uma função monotoncamente decrescente. A rede será atualzada até que ela venha a convergr para um mínmo (local) de energa (4). Ou seja, os pontos mínmos locas da função de energa são os atratores, ou os pontos fxos do sstema. Para caracterzar as propredades do modelo, estuda-se o problema genérco de um conjunto de padrões aleatóros. Consdera-se que os padrões podem assumr os valores + e com probabldades guas. Prmero é precso testar se os pesos snáptcos propostos são acetaves. Para tal, a establdade dos padrões memorzados é testada e é verfcado se a rede corrge pequenos erros nestes padrões conforme ela evolu.

17 2.. O modelo Rede com um padrão Antes de estudar o caso mas genérco com p padrões aleatóros, estuda-se o caso com apenas um padrão ξ. A rede é defnda como no níco do capítulo e a condção para a establdade da rede é ( ) sgn w j ξ j = ξ (para todo ) (2.5) j o que de acordo com a regra (2.) não causará nenhuma mudança na rede. Pode-se verfcar que esta regra é estável ao substtur-se nesta equação a regra de Hebb para os pesos snáptcos, equação (2.3). Aqu, a analoga com o modelo de Isng pode ser feta da segunte forma: O spn está orentado para "cma" se S = + e para "baxo" se S =. Ou seja, um neurôno dsparando corresponde a um spn para "cma" e um neurôno natvo a um spn para "baxo". As ntensdades das conexões na rede de Hopfeld correspondem à ntensdade das nterações de troca em um mã. A entrada de rede em um neurôno corresponde ao campo atuando em um spn, com um campo externo representando um lmar. Mesmo que a entrada da rede seja dferente do padrão armazenado, a rede anda será capaz de retornar o padrão armazenado se o número de bts errados ncal for menor que a metade do número total de bts, pos serão suprmdos pelos bts corretos na soma para a entrada da rede. A entrada da rede, que é o campo local no neurôno, pode ser escrta como h = w j S j. (2.6) j e aplcando a regra de Hebb nos pesos snáptcos w j tem-se h = ξ ξ j S j. (2.7) Se a maora dos bts são guas, S j = ξ j, o estado do neurôno é gual ao estado estável do padrão armazenado, ou seja, S j ξ j =. Sabendo que ξ j ξ j =, tem-se h = ξ ξ j ξ j = ξ = ξ. (2.8) j Logo, sgn(h ) é sgn(h ) = sgn(ξ ) = ξ, (2.9) ou seja, este padrão será recuperado. A rede corrgrá os erros conforme o desejado e pode-se dzer que ξ é um atrator. Se mas da metade do número total de bts de entrada estver errada S j ξ j, ou j seja, S j ξ j = h = ( ) ξ = ξ. (2.0) j j

18 6 Capítulo 2. Modelo de Hopfeld A rede convergrá para ξ, que é um outro atrator da rede, um estado reverso. O espaço de confgurações para este caso estará dvddo entre duas bacas de atração Rede com p padrões o caso com mas de um padrão, pode-se tomar w j como uma superposção de termos como em (2.3), uma para cada padrão. A condção de establdade (2.5) pode ser reescrta de um padrão para p padrões: sgn(h ν ) = ξ ν (2.) onde a entrada de rede h ν no neurôno no padrão ν é h ν w j ξj ν = j ξ µ ξµ j ξν j. (2.2) j µ Separa-se a soma em µ para o caso em que µ = ν, h ν = ξ ν + ξ µ ξµ j ξν j. (2.3) j µ ν Se o termo com o somatóro fosse zero, da equação (2.) podera ser dretamente concludo que o padrão ν é estável, uma vez que h ν = ξ ν. Este termo com o somatóro é chamado de termo cruzado (crosstalk term). O padrão também pode ser chamado de estável se este termo cruzado for pequeno o sufcente, ou seja, se o valor de p for fnto, já que é consderado tendendo a nfnto. Se sua magntude do termo cruzado for menor que, este termo não mudará o snal de h ν e a condção de establdade será mantda. este cenáro, todos os padrões armazenados serão estáves. Se uma destas entradas for fornecda para o sstema, a rede permanecerá neste estado. Isto também é váldo se os valores de entrada forem uma versão com ruído dos padrões armazenados, pos a rede será capaz de corrglos para o padrão estável mas próxmo do padrão de entrada. Assm, é possível conclur que os padrões armazenados são realmente atratores do sstema e o sstema funcona como uma memóra de conteúdo endereçável, conforme hava sdo prevsto (3). 2.2 Capacdade de armazenamento a últma seção foram estudadas condções de establdade para a rede de Hopfeld com um padrão e com p padrões. Agora, será analsada a capacdade da rede. Defne-se uma quantdade C ν C ν ξ ν ξ µ ξµ j ξν j. (2.4) que é o termo cruzado multplcado por ξ ν. A establdade pode ser analsada da segunte forma: se C ν é negatvo, o termo cruzado tem o mesmo valor de ξ ν e não modfcará o snal j µ ν

19 2.3. Redes estocástcas 7 de h ν. Se C ν é postvo e menor que, o snal de h ν anda será mantdo e o padrão anda será estável. Se h ν é postvo e maor que, o snal de h ν mudará e o neurôno no padrão ν será nstável. Se o sstema for ncado neste estado ξ ν, o sstema não permanecerá nele. Sabendo-se destas condções, pode-se estmar a probabldade de qualquer bt escolhdo ser nstável, calculando qual a probabldade do termo cruzado ser maor do que. P error = Prob(C ν > ) (2.5) A medda que tenta-se aumentar o número de padrões armazenados na rede, a probabldade de a rede retornar mas erros também deve aumentar. Ao defnr um crtéro de performance acetável para a rede pode-se calcular uma capacdade máxma de armazenamento da rede, p max. A probabldade de qualquer bt ser nstável dependerá do número de neurônos na rede e da quantdade de padrões p que se quer armazenar. Assume-se que ambos são grandes o sufcente quando comparados com, por smplcdade matemátca e porque geralmente este é o caso. Os padrões ξ µ j tem gual probabldade de serem + ou, para cada j e µ. Tendo defndo sto, o termo C ν é / vezes a soma de p termos aleatóros. Isto segue uma dstrbução bnomal com méda zero e varânca σ 2 = p/, mas ao assumr que e p são grandes o sufcente, por aproxmação, pode-se usar uma dstrbução gaussana com méda zero e mesma varânca (3). Então tem-se que P error é P error = e x2 /2σ 2 dx 2πσ onde a função erro erf(x) é defnda por = [ ( )] erf / 2σ 2 = ( )] erf /2p 2 2[ (2.6) erf(x) 2 x exp ( u 2) du. (2.7) π 0 O crtéro de nstabldade defndo determna a establdade ncal dos padrões, ou seja, a quantdade de bts errados que há ncalmente. Dependendo da quantdade de nformação errada ncalmente, o sstema pode evolur de forma a propagar este erro pela rede e convergr para um estado dferente do padrão ncal, que se quera encontrar. Se sto ocorre, a memóra será nutlzável, pos não será possível recuperar nformação correta desta rede. 2.3 Redes estocástcas Voltando à analoga com sstemas magnétcos, se a temperatura não for muto baxa, flutuações térmcas surgrão e tenderão a nverter a orentação dos spns. Os spns estarão nfluencados pelo campo e pelas flutuações térmcas, um tentando alnhar os spns e o outro tentando romper o alnhamento. As flutuações decrescem em temperaturas muto

20 8 Capítulo 2. Modelo de Hopfeld baxas e pratcamente desaparecem no zero absoluto, onde se recupera a rede de Hopfeld determnístca. Em temperaturas muto altas as flutuações térmcas domnam e o campo perde sua nfluênca sob o spn. As flutuações térmcas no estado dos neurônos podem ser descrtas através de uma regra estocástca: com probabldade g(h ); S = com probabldade g(h ); e a função g(h ) depende da temperatura e pode ser descrta da forma, g(h) = f β (h) (2.8) + exp( 2βh). (2.9) O parâmetro β está relaconado com uma pseudo-temperatura T por β T. (2.20) Como f β (h) = f β ( h), pode-se escrever a regra dnâmca em uma forma smétrca Prob(S = ±) = f β (±h ) = + exp( 2βh ). (2.2) Em um problema com mutos spns nteragndo é possível aproxmar o comportamento estocástco desta rede. Usa-se uma aproxmação de campo médo, que consste em substtur o campo local h em cada neurôno j, que tem flutuações, por um campo médo h h = w j S j = j j w j S j (2.22) o caso com um únco spn em um campo magnétco externo constante, S = ± e o campo h = h ext, S = Prob(+).(+) + Prob( ).( ) = + e 2βh + e = e βh 2βh e βh + e e βh βh e βh + e βh = tanhβh. (2.23) Para o caso com város spns é possível calcular S de forma análoga ao caso com um spn (2.23) S = tanh ( β h ) = tanh ( β w j S j ). (2.24) j Com esta aproxmação de campo médo, as varáves que antes eram estocástcas, agora são determnístcas, sendo agora possível ldar com este sstema de equações.

21 2.3. Redes estocástcas 9 Retorna-se a rede de Hopfeld e aplca-se a aproxmação de campo médo, prmeramente no caso em que p. Em analoga com (2.24) e usando a regra de Hebb, as equações de campo médo são ( β ) S = tanh ξ µ ξµ j S j. (2.25) Por hpótese é possível tomar S proporconal a um dos padrões armazenados, m = ξν S, onde m é uma magnetzação méda da rede, j,µ m = ( β ) ξ ν tanh ξ µ ξµ j S j j,µ (2.26) e assm como fo feto em (2.3), pode-se separar o termo em que µ = ν, resultando em um termo proporconal a ξ ν e um outro termo proporconal ao termo cruzado entre ξ ν e os outros padrões. m = tanh ( β = tanh ( mβξ ν + β ξ ν ξj ν S j + β j ξ µ ξµ j S j ) j,µ ν ξ µ ξµ j S j ) Como fo consderado que o número de padrões armazenados é muto menor que o número de neurônos, o termo cruzado pode ser desprezado. Usando a antssmetra da tangente j,µ ν hperbólca pode-se reescrever a equação acma como m = ξ ν tanh ( βm ) (2.27) que pode ser resolvda grafcamente, como uma função da temperatura (ver fgura 2.2 em (3)). Quando a temperatura é pequena, há a solução trval e duas soluções não trvas, que são estáves para pequenas pertubações em m. Então sabe-se que os estados de memóra serão estáves para temperaturas menores que e a temperatura crítca T c será para a rede estocástca com p <<. Após analsar o caso de uma rede em que p <<, é possível estudar o caso em que p é da mesma ordem que, o que, conforme comentado em (3) torna a análse consderavelmente mas dfícl. Uma análse de campo médo para p da mesma ordem de fo feta pela prmera vez por Amt, Gutfreund e Sompolnsky (6), (7) Capacdade de armazenamento da rede estocástca esta seção será vsta a capacdade de armazenamento de uma rede estocástca com o número de padrões armazenados p da ordem do número de neurônos da rede. Pode-se ncar esta análse com as equações de campo médo encontradas para a rede com p

22 20 Capítulo 2. Modelo de Hopfeld (2.25), porém agora o termo cruzado não pode ser desprezado, já que p é da ordem de. De modo análogo ao feto na seção anteror é possível escrever uma expressão para a magnetzação, onde o índce ν ndcará o padrão a que se refere m ν = ξ ν S. (2.28) A magnetzação méda está sendo calculada para todos os padrões e não apenas para o que será recuperado. Pode-se consderar que o padrão número será o recuperado, então m terá ordem de grandeza untára m ν= = ξ ν= S = mξ ν ξ ν = m enquanto os outros m ν com ν serão da ordem de. Defne-se um parâmetro de carga α, que é a razão do número de padrões que se tenta armazenar pelo número total de neurônos na rede, α = p. (2.29) Também é útl defnr uma méda quadrada do overlap da confguração do sstema com os padrões não-recuperados r = m 2 ν. (2.30) α ν O fator é ncludo para ajustar o valor da méda em, tendo consderado que no lmte α em que é grande pode-se gnorar qualquer dferença entre p e p. Usando r para reescrever (2.28), obtém-se m ν = ξ ν tanh ( β µ ξ µ m ) µ (2.3) consderando ν, separa-se os termos em que µ = e µ = ν e faz-se uso da antssmetra da tangente hperbólca tanh( x) = tanh(x), uma vez que os ξ ν = ±, resultando m ν = ξ ν ξ tanh [ β ( m + ξ ν ξ m ν + )] ξ µ ξ m µ. (2.32) Analsando os termos no argumento da função tanh pode-se notar que o prmero termo m, que é o padrão que se quer recuperar, é de ordem. O últmo termo ξµ ξ m µ também é grande, pos há em torno de p termos nele. Porém, o segundo termo ξ ν ξ m ν tem ordem de / e é possível expandr a tangente hperbólca em sére de Taylor para esse termo: m ν = β { tanh [ 2 β ( m + )] ξ µ ξ m µ }mν (2.33)

23 2.3. Redes estocástcas 2 O termo ξµ ξ m µ na equação acma, m µ, µ são os pequenos overlaps entre o campo médo e os padrões não recuperados, assumndo que estes são varáves aleatóras ndependentes com méda zero e varânca αr/p, como fo sugerdo na defnção de r em (2.30). Os produtos ξ µ ξ são aleatóros e ndependentes de m µ. O teorema do lmte central dz que a méda de um número sufcente grande de varáves aleatóras, cada uma com um valor esperado e uma méda bem defndos, pode ser aproxmado por uma dstrbução normal (8). Defne-se então uma varável x, que é um dos termos em (2.33) x = ξ µ ξ m µ (2.34) e calcula-se a méda desta varável, x = ξ µ ξ m µ = 0 (2.35) bem como a varânca, que hava sda defnda anterormente em (2.30), σ 2 = αr = x 2 x 2 = x 2. (2.36) Calcula-se a méda de x 2 para encontrar a varânca, x 2 = ξ µ ξν m µ m ν = [ m 2 µ + ] ξ µ ξν m µ m ν µ µ ν = m 2 µ = αr (2.37) µ Ou seja, consderando-se o teorema do lmte central, a méda / sobre os neurônos é a méda sobre um "ruído" gaussano ξµ ξ m µ de varânca αr. Então, pode-se reduzr a equação (2.33) a onde q fo defndo como q = m ν = ξν ξ tanh [ β ( m + ξµ ξ m µ )] β( q) (2.38) dz 2π e 2 z2 tanh 2 [ β ( m + αrz )]. (2.39) Sabendo-se m ν, pode-se calcular r. Elevando (2.38) ao quadrado, [ ] 2 m 2 ν = ξ β( q) 2 ν ξ ξj ν ξj tanh [ β ( m + ] ξ µ ξ m µ j tanh [ β ( m + ] ξ µ j ξ j m µ (2.40)

24 22 Capítulo 2. Modelo de Hopfeld e substtundo em r, r = [ α β( q) tanh [ β ( m + ] 2 2 ν ξ ν ξ ξj ν ξj tanh [ β ( m + )] ξ µ ξ m µ j ξ µ j ξ j m µ )] (2.4) Com um pouco de álgebra é possível reescrever r em uma forma mas compacta, pode-se defnr uma varável C como, e notando a segunte dentdade q = = [ ] 2 r = q. (2.42) β( q) C β( q) (2.43) dz 2π e z2 2 ( tanh 2 [β(m + αrz)] 2 π e a forma mas compacta de r será e m 2 2αr ; (2.44) αrβ r = q ( C) 2. (2.45) O processo feto para encontrar m ν pode ser repetdo para encontrar m. Partndo da equação (2.3) com ν =, de forma análoga aos cálculos anterores é encontrado dz m = e 2 z2 tanh [ β ( m + αrz )]. (2.46) 2π r e q. As equações (2.39), (2.45) e (2.46) podem ser resolvdas numercamente para m, É possível examnar em detalhes as equações para T 0 (ou β ). este lmte pode-se consderar q, já que tanh( ), e usar a segunte dentdade (como pode ser vsto em (3)) dz e z2 2 tanh[β(az + b)] 2π dz sgn[az + b] 2π T 0 = erf ( b 2a ). (2.47)

25 2.3. Redes estocástcas 23 Fazendo uso desta dentdade é possível reescrever m como ( ) m m = erf. (2.48) 2αr e pode-se escrever m sem o subscrto, m = erf ( ) m 2αr. (2.49) E reescrevendo para T 0 as equações de C e r calculadas anterormente, 2 m C = 2 παr e 2αr (2.50) r = ( C) 2. (2.5) A capacdade da rede pode ser encontrada resolvendo estas três equações (2.49), (2.50) e (2.5), usando y = m 2αr. Fazendo esta substtução em (2.49) erf(y) = m, em (2.50) e reescrevendo C em função de r C = 2y π m e y2 C = r 2. Reorganzando as equações em função de y, tem-se a equação secular ( ) 2α 2 y + π e y2 = erf(y) (2.52) que pode ser resolvda grafcamente. (ver a referênca (3) para solução gráfca). Ao resolver este sstema, um valor crítco de α c é encontrado, α c = Também é possível observar que há uma descontnudade na magnetzação quando α = α c, de valores m 0.97 a magnetzação ca a zero. Ou seja, há uma descontnudade entre uma memóra que funcona bem com poucos erros com α < α c e uma memóra nutlzável com α > α c.

26

27 25 3 Rede não-monótona este capítulo será analsada a dnâmca de uma rede completamente conexa com uma função de atvação não monótona. A motvação para tal análse está em estudos que mostram que redes neuras em camadas com uma função de transferênca não-monótona apresentam ganho na capacdade de armazenamento em relação a rede análoga monótona (9),(0),(). ão é possível comparar dretamente os resultados obtdos para a capacdade crítca α c entre os dferentes modelos: rede completamente conexa, rede dluída e rede em camadas, pos a defnção desta quantdade é dferente para cada caso. Entretanto é possível esperar que uma rede completamente conexa apresente um aumento na capacdade de armazenamento tal como na rede em camadas. Também é possível comparar redes de mesma arqutetura com funções de atvação dferentes, como as redes monótonas e as redes não-monótonas. Uma manera de ntroduzr a não-monotoncdade na rede é através da função de atvação, que pode ser defnda como ( S = tanh β ( µ )) ( ξ µ m µ +θ +tanh β µ ξ µ m µ ) ( tanh β ( µ )) ξ µ m µ θ (3.) que fo escolhda por semelhança com as equações de campo médo para uma função não-monótona. Os parâmetros β, ξ µ, r e m µ são os mesmos defndos anterormente. O parâmetro θ ntroduz a não-monotoncdade da rede. Se este parâmetro for grande o sufcente, recupera-se a rede monótona; se for zero, recupera-se o nverso da rede monótona. a S θ 0 θ x - Fgura 3 Função não-monótona de S com β fgura 3 há um gráfco da função usada para S no lmte em que β. Conforme fo vsto para a rede monótona, no lmte em que β a tangente hperbólca tende a função snal.

28 26 Capítulo 3. Rede não-monótona 3. Capacdade da rede não-monótona o níco do capítulo fo defnda uma função não-monótona para a função de atvação da rede, com o ntuto de verfcar se, usando este tpo de função, é possível consegur um ganho na capacdade de armazenamento. A capacdade da rede com esta função pode ser calculada de forma análoga ao caso monótono e os cálculos são ncados como na seção Em (2.28) a magnetzação méda fo calculada para todos os padrões, agora será calculada a magnetzação usando a nova defnção das equações de campo médo S em (2.28) m ν = ξ ν + tanh ( β µ [ ( ( tanh β ξ µ m µ + θ )) µ ξ µ m ) ( ( µ tanh β ξ µ m µ θ ))] (3.2) Conforme feto anterormente, o padrão é escolhdo como o de recuperação. Consderase que ν, separa-se os termos com µ = e µ = ν e, novamente, a antssmetra da tangente hperbólca é usada, colocando ξ em evdênca m ν = [ ( ( ξ ν ξ tanh β m + ξ ν ξ m ν + )) ξ µ ξ m µ + θξ + tanh ( β ( m + ξ ν ξ m ν + )) ξ µ ξ m µ tanh ( β ( m + ξ ν ξ m ν + µ ξ µ ξ m µ θξ ))]. (3.3) A equação (3.3) tem forma análoga a (2.32), porém com mas termos devdo a alteração nas equações de campo médo. Analsando os termos no argumento da tanh em (3.3) tem-se que: m tem ordem, pos é o padrão que quer-se recuperar; a soma ξµ ξ m µ também é grande, pos há em torno de p termos nela. Pode-se defnr θ de manera que o últmo termo, ±θξ também seja grande. O termo ξ ν ξ m ν tem ordem de / e como este valor é pequeno, pode-se expandr a tangente hperbólca para m ν em sére de Taylor em torno de zero: m ν = { ξ ν ξ tanh [ β ( m + ξ ν ξ m ν + )] ξ µ ξ m µ + θξ tanh [ β ( m + ξ ν ξ m ν + )] [ ( ξ µ ξ m µ + tanh β m + ξ ν ξ m ν + )] } ξ µ ξ m µ θξ β { [ m [ ν tanh 2 β ( m + )]] ξ µ ξ m µ + θξ [ tanh [ 2 β ( m + )]] [ ξ µ ξ m [ µ + tanh 2 β ( m + )]] } ξ µ ξ m µ θξ. (3.4)

29 3.. Capacdade da rede não-monótona 27 Pode-se defnr q σ q σ = dz 2π e z2 2 tanh 2 [β(m + αrz + σθξ )] (3.5) e reescrever a equação (3.4) para m ν { } [ m ν = ξ ν ξ tanh(β(m + ξ µ + β( q + + q 0 q ) ξ m µ + θξ )) + tanh(β(m + ξ µ ξ m µ )) tanh(β(m + ξ µ ξ m µ θξ )) ]. (3.6) A varável aleatóra ξ pode ser elmnada do termo ξ θ, sem alterar as equações, uma vez que ξ pode ser + ou e estamos consderando os casos ±θ, { } m ν = ξ ν ξ [ tanh(β(m + ξ µ + β( q + + q 0 q ) ξ m µ + θ)) + tanh(β(m + ξ µ ξ m µ )) tanh(β(m + ξ µ ξ m µ θ))]. (3.7) Ao elevar m ν ao quadrado, só sobram os termos em que = j, { } 2 m 2 { ν = tanh(β(m + β( q + + q 0 q ) tanh(β(m + ξ µ ξ m µ )) tanh(β(m + ξ µ ξ m µ + θ)) ξ µ ξ m µ θ))} 2 (3.8) e expandndo o termo ao quadrado dentro do somatóro, { } 2 = tanh2 [β(m + ξ µ ξ m µ + θ)] + tanh 2 [β(m + ξ µ ξ m µ )] + tanh 2 [β(m + 2 tanh[β(m + 2 tanh[β(m + +2 tanh[β(m + ξ µ ξ m µ θ)] ξ µ ξ m µ + θ)] tanh[β(m + ξ µ ξ m µ )] tanh[β(m + ξ µ ξ m µ + θ)] tanh[β(m + ξ µ ξ m µ )] ξ µ ξ m µ θ)] { } é possível reescrever 2 como { } 2 = q + + q 0 + q 2q +0 2q 0 + 2q + onde q σσ = ξ µ ξ m µ θ)] dz 2π e z2 2 tanh[β(m + αrz + σθ)] tanh[β(m + αrz + σθ )]. (3.9)

30 28 Capítulo 3. Rede não-monótona Assm, a equação (3.8) pode ser reescrta como, m 2 ν = { q+ + q 0 + q 2q +0 2q 0 + 2q } + [ + β( q + + q 0 q )] 2 (3.0) com q σ reescrto sem a varável aleatóra ξ no termo σθ dz q σ = e z2 2 tanh 2 [β(m + αrz + σθ)]. (3.) 2π É possível usar a defnção de uma méda quadrada do overlap da confguração do sstema com os padrões não recuperados que hava sdo feta no caso monótono. Substtuse então a equação (3.0) em (2.45), { q+ + q 0 + q 2q +0 2q 0 + 2q } + r =. (3.2) [ + β( q + + q 0 q )] 2 Pode-se defnr uma varável C, C + β ( q + + q 0 q ) (3.3) que ao ser reescrta pode-se notar que é possível ntegrar esta varável analítcamente C = β ( q + ) + β ( q0 ) β ( q ). (3.4) sendo assm é possível reescrever r, ( ) 2 ) r = (q + + q 0 + q 2q +0 2q 0 2q +. (3.5) C Para encontrar a expressão para m, é escolhdo ν = em (3.2). m = ξ + tanh(β µ [ tanh(β( ξ µ m µ + θ)) µ ξ µ m µ) tanh(β( µ ξ µ m µ θ)) ] (3.6) Os cálculos para m prosseguem de manera análoga a anteror. Separa-se os termos com µ = ν, m = [ tanh(β(m + ξ µ ξ µm µ + θ)) µ + tanh(β(m + µ ξ µ ξ m µ )) tanh(β(m + µ ] ξ µ ξ m µ θ)) (3.7) e usando novamente o teorema do lmte central, dz [ m = e z2 2 tanh ( β(m + αrz + θ) ) 2π + tanh ( β(m + αrz) ) tanh ( β(m + αrz θ) )] (3.8)

31 3.. Capacdade da rede não-monótona Capacdade da rede no lmte de temperatura zero A capacdade da rede pode ser encontrada resolvendo as equações para q em (3.9) e (3.), r em (3.2) e m em (3.8). Pode-se analsar estas equações no lmte em que T 0, ou seja, em que β. este lmte em que a temperatura tende a zero é possível smplfcar um pouco a forma das equações e ntegrá-las analtcamente, conforme será feto a segur. este lmte em que β as seguntes relações são váldas e lm [ β tanh2 β ( m + αrz + σθ )] (3.9) lm β tanh [ β(m + αrz + σθ) ] = sgn ( m + αrzσθ ). (3.20) Assm, pode-se reescrever as equações para q σ e q σσ ) dz q σ exp ( z2 = (3.2) 2π 2 e ) dz q σσ exp ( z2 sgn ( m + αrz + σθ ) sgn ( m + αrz + σ θ ). (3.22) 2π 2 Pode-se separar q σσ para os casos em que σ = 0, +, ) dz q +0 = exp ( z2 sgn ( m + αrz + θ ) sgn ( m + αrz ) (3.23) 2π 2 q 0 = q + = dz 2π exp dz 2π exp ( z2 ( z2 2 ) sgn ( m + αrz ) sgn ( m + αrz θ ) (3.24) 2 ) sgn ( m + αrz + θ ) sgn ( m + αrz θ ) (3.25) Estas ntegras possuem a mesma forma e podem ser calculadas de manera smlar. Aqu, será feto em detalhes o caso q +0. Separando em q +0 os ntervalos em que a função degrau é ou q +0 = m +θ αr + m αr dz 2π exp dz 2π exp ( z2 ( z2 2 ) m ) αr dz exp ( z2 2 m +θ αr 2π 2 ). (3.26) Estas ntegras em q +0 podem ser ntegradas analtcamente. Pode-se calcular em uma forma geral dz 2π exp ) ( z2 sgn ( az + b ) b/a = 2 [ = 2 = erf ) dz ) exp ( z2 dz + exp ( z2 2π 2 b/a 2π 2 ( )] b erf + + [ ( )] b + erf 2a 2 ( ) 2a b. (3.27) 2a

32 30 Capítulo 3. Rede não-monótona então o resultado de q +0 é q +0 = erf ( ) ( ) m + θ m + erf. (3.28) 2αr 2αr De forma análoga ao que fo feto para q +0, as ntegras em q 0 e q + podem ser calculadas. O resultado destas ntegras é q 0 = erf q + = erf ( ) ( ) m θ m erf 2αr 2αr (3.29) ( ) ( ) m + θ θ m erf. (3.30) 2αr 2αr A equação para m também pode ser reescrta no lmte em que β ) dz [ m exp ( z2 sgn ( m + αrz + θ ) 2π 2 + sgn ( m + αrz ) sgn ( m + αrz θ )]. (3.3) Esta ntegral pode ser resolvda como em (3.27) ( ) m + θ m = erf + erf 2αr Ao ntegrar a equação em (??) tem-se 2 [ C = exp ( (m ) + θ) 2 αrπ 2αr e é substtudo em r os valores de q σ e q σσ ( ) 2 { [ ( ) m + θ r = 3 2 erf + erf C 2αr [ ( ) m 2 erf erf 2αr ( m 2αr ) erf ( ) exp m2 + exp 2αr ( m 2αr ) ] ( ) θ m ] [ + 2 erf 2αr ( ) m θ. (3.32) 2αr ( (m ) θ) 2 ], (3.33) 2αr ( ) ( ) m + θ θ m ]} erf 2αr 2αr = ( ) 2 C (3.34) Agora, tem-se somente equações para m em (3.32), r em (3.35) e C em (3.33). Estas equações podem ser ntegradas numercamente e é possível analsar se o uso de uma rede não-monótona resultou em um ganho na capacdade da rede.

33 3 4 Resultados este capítulo serão apresentados e dscutdos os resultados obtdos ao ntegrar numercamente as equações para m, r e C. O método escolhdo para ntegração numérca fo ntegração pelo método de ewton-raphson, que pode ser encontrado no lvro umercal Recpes (2). Fornecendo condções ncas de m e C e para dferentes valores de θ, que é um parâmetro de não-monotoncdade da rede, fo varado os valores de α nas ntegrações, que correspondem a razão do número de padrões armazenados pelo número de neurônos. a fgura (4) é possível ver um gráfco de m em função de α para dferentes valores de θ. este gráfco, é possível observar que para valores grandes de θ os resultados da rede monótona são recuperados, o que já era esperado, uma vez que a função snal para θ muto grande se aproxmará da função monótona orgnal. Para valores menores de θ nota-se um aumento na capacdade de armazenamento da rede, ou seja, há um aumento no número de padrões que a rede consegue armazenar. Para θ = 4.0, a capacdade crítca α c da rede é 0.38, como na rede de Hopfeld monótona. Para θ = 2.0, o α c é 0.73, enquanto que para θ =.5, o α c é e quando θ =., o α c é θ = 4.0 θ = 2.0 θ =.5 θ =. 0.6 m α Fgura 4 Gráfco de α em função de m, com dferentes valores de θ

34 32 Capítulo 4. Resultados a fgura 5 que também apresenta um gráfco de m em função de α, mas com valores menores de θ é possvel observar que conforme o valor de θ dmnu, nota-se o aumento de α c com uma queda na magnetzação m. O esperado sera que em um determnado valor de θ sera encontrado um valor máxmo de α c e então ele voltara a decrescer conforme θ é dmnuído. Para valores de θ de até 0.55 fo observado este aumento em α c, porém para valores de θ menores, há muto ruído na magnetzação. Isto sugere que provavelmente há caos nesta regão com θ menor que θ =. θ =. θ = 0.4 θ = m α Fgura 5 Gráfco de α em função de m, com dferentes valores de θ

35 α c θ Fgura 6 Gráfco de α c em função de θ A fgura 6 mostra um gráfco de α c em função de θ. Para valores grandes de θ o valor de α c = 0.38 é recuperado e conforme a não-monotoncdade da rede aumenta, a capacdade da rede também aumenta, conforme já apresentado na fgura 4. Entretanto, na regão próxma a θ = 0.5 a magnetzação tem muto ruído e este resultado não é muto confável para esta regão, onde provavelmente a rede esteja sob um regme caótco, conforme já apresentado na fgura 5.

36

37 35 5 Conclusões este trabalho fo feta uma breve revsão sobre redes neuras, uma revsão do modelo de Hopfeld e fo proposta uma alteração neste modelo, através de uma modfcação na função de atvação com a ntrodução do parâmetro de não-monotoncdade θ. Esta alteração fo estudada em uma rede estocástca recorrente totalmente conexa com uma função de atvação não-monótona. A escolha da função de atvação não-monótona fo arbtrára, ao contráro da função de atvação para a rede monótona que tem justfcatva na mecânca estatístca de equlíbro. A motvação desta escolha não teve base bológca, mas sm por smplcdade matemátca. Entretanto, qualquer função não-monótona, dervável, sera aproprada. Para valores do parâmetro de θ grande, fo recuperado o resultado da rede com a função monótona. Para valores de θ menores que 2,5 observa-se um aumento na capacdade de armazenamento da rede. Observa-se solução estável com α c = 0, 294 para θ =, 5. Para valores de θ menores que,5 a solução não é estável. Para valores de θ menores que 0, 5, aparentemente, exste a ocorrênca de solução caótca. Entretanto, o estudo desta solução não faza parte do objetvo deste trabalho ncal. Uma contnudade para este trabalho sera tentar analsar soluções para esta regão através de métodos mas adequados. Há város artgos sobre comportamento caótco em redes neuras em camadas e em redes neuras dluídas (ver (),(3),(4)), entretanto não encontrou-se lteratura versando sobre caotcdade em redes totalmente conexas com uma função de atvação não-monótona, sendo este um campo em aberto para pesqusa.

38

39 37 Referêncas MCCULLOCH, W.; PITTS, W. A logcal calculus of deas mmanent n nervous actvty. Bulletn of Mathematcal Bophyscs, v. 5, p. 5 33, HEBB, D. The Organzaton of Behavour. [S.l.]: Wley, HERTZ, J.; PALMER, R.; KROGH, A. Introducton to the theory of neural computaton. [S.l.]: Addson Wesley, HOPFIELD, J. eural networks and physcal systems wth emergent collectve computatonal abltes. Proceedngs of the atonal Academy of Scences of the Unted States of Amerca, v. 79, p , HAYKI, S. eural etworks: A comprehensve foundaton. [S.l.]: Prentce Hall, AMIT, D.; GUTFREUD, H.; SOMPOLISKY, H. Storng nfnte numbers of patterns n a spn-glass model of neural networks. Physcal Revew Letters, v. 55, p , AMIT, D.; GUTFREUD, H.; SOMPOLISKY, H. Informaton storage n neural networks wth low levels of actvty. Physcal Revew A, v. 35, p , RICE, J. Mathematcal Statstcs and Data Analyss. [S.l.]: Thomson Brooks/Cole, EVES, F. S. Redes de neurônos não monótonos em camadas. Dssertação (Mestrado) Unversdade Federal do Ro Grande do Sul, Insttuto de Físca, Programa de Pós-Graduação em Físca, KATAYAMA, K.; SAKATA, Y.; HORIGUCHI, T. Layered neural networks wth non-monotonc transfer functons. Physca A, v. 37, n. 2, p , DOMIGUEZ, D. R. Interference and chaos by a network of nonmonotonc neurons. Phys Rev. E, v. 54, p , PRESS, W. et al. umercal Recpes n C: The Art of Scentfc Computng. [S.l.]: Cambrdge Unversty Press, DOMIGUEZ, D. R. C.; THEUMA, W. K. Generalzaton and chaos n a layered neural network. Journal of Physcs A: Mathematcal and General, v. 30, n. 5, p. 403, CAROPPO, D. et al. Chaos n neural networks wth a nonmonotonc transfer functon. Physcal Revew E, v. 60, n. 2, p. 286, 999.