Estudo e Aplicação de Redes Neuronais na Implementação de Memórias Associativas

Transcrição

1 Estudo e Alcação de Redes Neuroas a Imlemetação de Memóras Assocatas Eo R. Mars Deartameto de Iformátca e Cêca da Comutação Isttuto de Matemátca e Estatístca Uersdade do Estado do Ro de Jaero, Brasl eoromao@oelk.com.br Adré S. Lagker Deartameto de Iformátca e Cêca da Comutação Isttuto de Matemátca e Estatístca Uersdade do Estado do Ro de Jaero, Brasl alagker@lucet.com Abstract Este texto descree o modelo de Hofeld e lustra o seu fucoameto atraés de algumas alcações smles, ue facltam o etedmeto do modelo. O efoue das alcações é lustrar o uso da rede de Hofeld como memóra assocata, ue é um roblema clássco de redes euroas. Além dsso, o texto trata do asecto dstrbuído do rocessameto as redes de Hofeld. Rosel S. Wedema Deartameto de Iformátca e Cêca da Comutação Isttuto de Matemátca e Estatístca Uersdade do Estado do Ro de Jaero, Brasl rosel@me.uer.br Iês de Castro Dutra rograma de Egehara de Sstemas e Comutação COE/UFRJ, Brasl ês@cos.ufr.br, se y ; ode ste(y)= e w é o eso 1, se y sátco da lgação ue arte do eurôo (ó) ara o eurôo, e é uma etrada extera ara e é o otecal lmte de, como lustrado a Fgura 1. y = 1 1. Itrodução 1.1 Descrção da rede bára de Hofeld 1 x w e 1 Exstem dos modelos de redes euroas deseoldos or Hofeld: o aalógco e o báro. Au trataremos aeas o modelo báro de Hofeld ue, como eremos mas adate, é utlzado como um modelo de memóra assocata. O modelo cosste de uma rede autômata reresetada or um grafo G do to arcalmete cocorrete (C) com ós, lgados or E coexões. A cada ó assoca-se um estado ue deede dos estados dos outros ós coectados a ele. O estado de um ó de uma rede euroal o modelo báro de Hofeld está restrto ao couto {,1} e é dado ela exressão: := ste ( w e ) (1) 1 1 As sessões 1, 2, 3 e 4 foram baseadas em [BA93] Fgura 1. O estado de eurôo em uma rede bára de Hofeld é 1 se a etrada ara o eurôo for estrtamete maor ue, e é zero ara etradas meores ue. 2. Smulação das redes de Hofeld O comortameto coleto dos eurôos tercoectados etre s é em geral dfícl de ser aalsado. No etato, uma fução eerga ode ser defda ue edeca roredades muto teressates do comortameto dâmco da rede. A fução a segur defe a eerga em uma rede euroal bára de Hofeld: E 1 1 w 1 e 1. (2) A artr da fução eerga, odemos aalsar uma roredade mortate da rede euroal bára de

2 Hofeld ue é dada elo teorema a segur, cua roa se ecotra em [BA93]. Teorema 1 Suoha ue w = w ara todo, N, e sea N tal ue, se,, etão w =. Se E 1 e E 2 são, resectamete, os alores de E medatamete ates e deos ue os eurôos são atualzados cocorretemete como em (1), etão E 2 E 1. Ou sea, se dos eurôos tercoectados or um eso sátco dferete de zero ão atualzam seus estados cocorretemete, a eerga da rede dmu coforme os estados dos eurôos são atualzados Algortmo Seüecal O comortameto dâmco das redes euroas báras de Hofeld ão deede de um arâmetro de temo ertecete ao couto dos úmeros reas, dedo à fução degrau (E. 1 e Fg. 1), ue descree a atualzação dos estados dos eurôos. Seu comortameto deede etão essecalmete da cocorrêca da atualzação dos estados dos eurôos coforme eucado o Teorema 1 da seção ateror, ue defe uma codção sufcete ara ue a atualzação dos eurôos lee a uma sucessão ão crescete de alores da fução de eerga. Outro asecto ue determa o comortameto das redes báras de Hofeld é a freüêca relata com a ual os eurôos têm seus estados atualzados. Só é ossíel garatr ue mímos locas da fução eerga (2) serão atgdos se a cada eurôo é dada a oortudade de atualzar seu estado com alguma freüêca (er [BA93] ág. 122). Estes dos asectos do comortameto de redes báras de Hofeld, a cocorrêca relata e a freüêca com a ual os estados dos eurôos são atualzados, caracterzam estas redes como redes autômatas do to C. Esta rede é obtda escolhedo como arestas de G os ares, N tas ue w, de forma ue em G o couto K mecoado o Teorema 1 forma um couto deedete. A fução de atualzação f este caso é tal ue x (s) é dado elo alor cal de ara s =, e ara s > elo alor de obtdo aós o ulso mas recete o ual estaa o couto deedete. Esta rede autômata ode ser smulada or um algortmo seüecal ue em cada teração ercorre todos os eurôos em uma ordem ré-fxada e atualza seus estados de acordo com (1). Este algortmo smles (Fgura 2) é executado até ue os estados atualzados de todos os eurôos seam guas aos seus estados aterores, aós uma teração de atualzação comleta (.e. os estados ão mudam mas). for := 1 to do := ; reeat for := 1 to do beg ed : ; := ste ( 1 w utl for all N. e Fgura 2. Algortmo Seüecal. O algortmo seüecal (Fg. 2) ue smula a rede euroal aresetada a seção ateror é relatamete smles. Nele são utlzados três etores ue reresetarão os estados: cal, ateror e atual, dos eurôos. Estes etores são, resectamete,, - e. No rmero asso a rede será calzada, sto é, os estados dos eurôos terão seus alores cas guas à, osterormete, cada eurôo terá seu estado atualzado de acordo com a fução de atualzação da rede, até ue a rede se tore estáel, sto é, até ue cada eurôo teha seu estado atual costate ( ). ) 3. Uso da rede como uma memóra assocata Uma memóra assocata, também chamada de memóra edereçáel elo coteúdo, é um dsosto ue ermte armazear tes ue deos odem ser recuerados baseado-se aeas em formação comleta sobre o róro tem a ser recuerado. Memóras assocatas ossuem umerosas alcações e estas alcações os tes a serem armazeados são tcamete artcoados em camos, cada um com uma semâtca esecal. Um ou mas destes camos são as chaes ara o tem, e são aresetados ara a memóra uado o tem recsa ser recuerado. A recueração do tem dsoblza os outros camos ara uso.

3 A rede euroal de Hofeld ode ser usada como um modelo de memóra assocata. A déa básca é smles: como a eolução da rede lea a estados estáes, cada tem a ser armazeado ode ser assocado à um destes estados. Quado calzada em um estado róxmo ao estado ue rereseta o tem deseado, a rede eolu ara este estado estáel e o tem ode ser recuerado totalmete. Cofgurar a rede bára de Hofeld ara fucoar como uma memóra assocata eole elo meos três otos mortates: estabelecer uma medda de dstâca etre os estados; uma técca ara a determação dos arâmetros da rede (essecalmete os esos das sases); e a determação do úmero de tes ue oderão ser armazeados a rede (em fução do úmero de eurôos). 4. A Regra de aredzado de Hebb a calzação dos esos das coexões e roredades Em redes euroas, regras de aredzado cosstem os meos ara se cofgurar os esos das coexões etre os eurôos. A regra utlzada ara o armazeameto de um adrão de etrada o modelo báro de Hofeld é dada or: w 1, se (3), se ode é um adrão de etrada ara a rede. ara o armazeameto de adrões de etrada, ode-se utlzar a regra de Hebb dada a segur: 1, se ; w (4) 1, se ara todo, ertecete N. A exressão (4) acma descrta é cohecda como a regra de Hebb ara o aredzado. A cofguração dos esos sátcos ode ser sta como o rocesso atraés do ual a rede arede uas adrões serão armazeados. ara um adrão ara algum tal ue 1, a etrada ara é, ela exressão ateror: w = 1 1, (5) ara todo N. Agora cosdere o somatóro dulo a exressão ateror, freüetemete chamado de termo de crosstalk. Se este somatóro é meor ue ( - 1) / ara todo N, etão a etrada ara cada tem o sal de, de forma ue é estáel, á ue a codção de establdade de é dada or (er E. 1, ode os estados assumem os alores 1 e 1 e a fução ste fo substtuída ela fução sg): sg w, (6) 1 ara todo N com os w calculados coforme (4). Se o termo de crosstalk é maor ou gual a ( 1) / ara algum adrão em algum eurôo, etão é stáel. Certamete, esera-se um úmero maor de adrões stáes a medda ue aumeta, sto é, a medda ue tetamos armazear mas adrões a rede. Uma uestão fudametal é a determação da caacdade da rede, sto é, o úmero máxmo de adrões ue a rede ode armazear. Dto deste modo, o coceto de caacdade da rede é obamete mrecso, á ue ele deede tmamete da recsão deseada o rocesso de recueração dos adrões. Váras aálses têm sdo fetas a lteratura ara se determar a caacdade de uma rede bára de Hofeld. ara aálses fetas utlzado adrões aleatoramete gerados, com cada eurôo tedo gual robabldade de assumr o estado -1 ou 1, resummos as segutes coclusões. Se erros em uma euea fração de eurôos são tolerados, a caacdade da rede é roorcoal a, mas ão maor do ue,138 (este caso, uma fração de,36% de eurôos com estados errados uado a rede establza será tolerada). Se, or outro lado, é ecessáro ue todos os eurôos seam erfetamete recuerados, etão a caacdade da rede é roorcoal a / log() [HE91]. Quado uma rede bára de Hofeld é emregada como uma memóra assocata, o grafo G ue dá a estrutura da rede autômata do to C corresodete deede tmamete dos adrões a serem armazeados. Suoha, or exemlo, ue calculamos os esos sátcos a artr da euação 4. Se os adrões são gerados aleatoramete, como dscutmos aterormete, etão a robabldade de ue um eso sátco sea zero, se é ar (ehum eso sátco ode ser zero se é ímar), é de [BA93]: 1, se é ar / 2 2, se é mar. (7) ara = 138, ue é o maor úmero de adrões ue odem ser armazeados em uma rede com 1 eurôos, de acordo com um dos crtéros stos aterormete, temos uma robabldade aroxmada de

4 ,7 (7%) de um eso sátco ser gual a zero. Coforme aumetamos o úmero de adrões armazeados esta robabldade tede a dmur ada mas, torado G um grafo muto deso, fazedo assm com ue a smulação aralela e dstrbuída da rede autômata do to C teha muto ouca cocorrêca. Os esos sátcos gerados or alcações reas, or outro lado, odem se comortar de modo dferete, e odem etão ermtr uma cocorrêca razoáel durate a smulação aralela e dstrbuída. 5. Imlemetações ara lustrar o fucoameto da rede de Hofeld foram deseoldos três rogramas. O rmero rograma fo mlemetado ara a erfcação da caacdade da rede de memorzar adrões de estados de eurôos. O segudo e o tercero rogramas são adatações do rmero de modo a torar os exemlos mas suas. No segudo rograma, ue é uma mlemetação smles de uma memóra assocata, cada gruo de ses eurôos reresetam um caracter e, deste modo, a rede ode armazear e recuerar alaras ou frases. O tercero rograma trabalha com mages formadas or caracteres ue são maeados ara estados de eurôos, fazedo com ue a rede armazee e recuere (recostrua) estas mages Descrção das Alcações O rmero rograma é utlzado ara erfcação de dados estatístcos da rede. Ele ermte crar uma rede euroal com um úmero aráel de eurôos. É ossíel aresetar adrões ara ue a rede os armazee; estes adrões odem ser gerados tato maualmete (formados elo usuáro) ou elo róro rograma (geração aleatóra automátca). Uma ez cofgurados os esos das coexões (fase de aredzado), é ossíel aresetar a esta rede adrões a serem recuerados or ela. Estes adrões cotém algus estados corretos em relação a um dos adrões armazeados a rede, de forma ue euato os estados dos eurôos são atualzados ela rede, os estados corretos ão sedo corrgdos até ue um adrão muto róxmo ou gual a um dos armazeados é retorado, ou sea, a rede coerge ara um estado armazeado. Os dados estatístcos do rograma mostram uatos testes foram realzados, o úmero de acertos da rede e a taxa de acertos (orcetagem de adrões testados ue foram corretamete recuerados). Relatamos estes resultados a sessão 6. O segudo rograma, de forma bastate aroxmada, sa a fucoar como um corretor ortográfco. A déa é a mesma: cosste em aresetar frases a serem armazeadas ela rede e frases de teste a serem corrgdas ela rede. Assm, é ossíel armazear a alara roeto e uado a alara roet é aresetada como teste, a rede coerge ara um estado fal estáel e roeto é dado como resosta. O tercero rograma, mas uma ez, areseta a mesma roosta, mas utlzado um asecto mas sual: ele armazea mages smles. Assm, coforme mostrado a Fgura 3, se a magem 1 é armazeada a fase de treameto da rede. Quado a magem 2 é aresetada osterormete, a rede retora a magem 3. Desta forma, a rede ode ser utlzada como corretora de mages. * * Imagem 1 (etrada) * Imagem 2 (teste) * * Imagem 3 (saída) Fgura 3. Teste de fucoameto do tercero rograma. É dado como etrada a Imagem 1,.como teste a Imagem 2, tedo como resostea a Imagem Resultados Em rmero lugar, fo testada a caacdade de armazeameto da rede usado a mlemetação descrta em 5.1. Os testes foram fetos ara redes com 1, 2,... 1 eurôos. ara cada uma destas redes foram armazeados um úmero de adrões tal, 138 coforme descrto a sessão 4 ue [HE91]. Utlzado o rmero rograma descrto a sessão 5.1, erfcamos ue uado os róros adrões armazeados são forecdos à rede, sua caacdade obedece à regra de roorcoaldade mecoada este texto coforme mostra o gráfco da Fgura 4, cua reta ue rereseta os resultados das exerêcas tem um coefcete aroxmadamete gual a,138. Ou sea, a rede semre coerge ara um adrão correto uado aresetada um dos adrões armazeados. Nº de adrões armazeados Caacdade da rede de Hofeld Nº de eurôos da rede Fgura 4. Gráfco da caacdade da rede euroal de Hofeld. ara adrões de teste dferetes dos adrões armazeados, erfcou-se ue em semre a rede coerge ara um adrão armazeado. Na erdade,

5 mos ue a rede erra ara um úmero cosderáel de adrões de teste, rcalmete uado temos uma rede com um grade úmero de eurôos. Em relação a este fato, deemos ter em mete duas cosderações mortates. Em rmero lugar deemos lembrar ue uma rede euroal artfcal é um sstema baseado o aredzado assm como as redes euroas bológcas, ortato, ão se ode eserar ue estas redes foreçam semre resultados corretos. A recsão dos resultados eserados estará dretamete lgada à regra de aredzado e ao modelo adotado. Desse modo, modelos de redes dferetes com dferetes regras de aredzado forecerão resultados róxmos, orém ão guas. A outra cosderação adém de outras exerêcas realzadas com a rede. À medda ue a rede armazea oos adrões, estes tedem a atraalhar outros adrões ue á estão armazeados,.e., a rede tede a esuecer adrões á armazeados a medda ue ela arede oos adrões. Etretato, se forçarmos ue a rede areda oamete um adrão ue ela esueceu, erceberemos ue as chaces de ela retorar este adrão aumeta. Trata-se, ortato, de mas uma característca semelhate ao cérebro humao. or exemlo, uado temos ue estudar ara algum exame, temos ue ler a matéra duas, três ou mas ezes ara ue ossamos memorzá-la. 7. Coclusões e Trabalhos Futuros Neste trabalho, tetamos mostrar o fucoameto de uma memóra assocata baseada o modelo báro de Hofeld. Vmos ue o ael da rede euroal de Hofeld é fazer eolur o temo os estados dos eurôos até ue um alor mímo da fução de eerga assocada aos estados da rede sea atgdo. Atraés desta roredade, a rede ode ser adatada ara a solução de algus roblemas comutacoas, além da ossbldade de se modelar de forma exageradamete aroxmada o fucoameto da memóra humaa. Quato ao camo da modelagem cerebral, ercebemos ue a rede euroal bára de Hofeld tem algumas característcas semelhates à memóra humaa. A memóra humaa ode ser também cosderada uma memóra edereçada elo coteúdo, á ue, or exemlo, mutas ezes odemos lembrar de acotecmetos teros tedo aeas uma euea arte dos fatos. Além dsso, erfcamos outras característcas mortates da rede de Hofeld ue é a tolerâca a falhas e o rocesso de memorzação. Vmos ue a Regra de Hebb, aesar de sua smlcdade, se mostrou efcete ara adrões de testes ão aleatóros. Vale lembrar ue exstem outros algortmos de aredzado até mesmo mas recsos ue o descrto este trabalho, or exemlo os algortmos geétcos. Como desdobrameto deste trabalho odemos ctar a mlemetação do algortmo de escaloameto de eurôos a serem atualzados ara a smulação aralela e dstrbuída da Rede Neuroal Bára de Hofeld e a esusa e mlemetação de oos algortmos de aredzado. Referêcas Bblográfcas [BA93] Barbosa, V. C., Massely arallel Models of Comutato, Ells Horwood Lmted, West Sussex, Iglaterra, [HE91] Hertz, J., A. Krogh e R. G. almer, Itroducto to the Theory of Neural Comutato, Addso-Wesley ublshg Comay, [HO82] Hofeld, J. J., Neural Networks ad hyscal Systems wth Emerget Collecte Comutatoal Abltes, I roceedgs of the Natoal Academy of Sceces, USA 79, [JA96] Ja, A. K. e J. Mao, Artfcal Neural Networks: A tutoral, Comuter, Vol. 29, Nº 3, Mar 1996, [MC43] McCulloch, W. S. e W. tts, A Logcal Calculus of Ideas Immaet Nerous Actty, Bull. Mathematcal Bohyscs. Vol [A96] al, S. K. e. K. Srma, Neurocomutg. Motato, models, ad hybrdzato, Comuter, Vol. 29, Nº 3, Mar 1993, [RU86] Rumelhart, D. E. e J. L. McClelad, aralel Dstrbuted rocessg: Exlorato the Mcrostructure of Cogto, MIT, ress, Cambrdge, Mass., [SE96] Serbedza, N. B., Smulatg Artfcal Neural Networks o arallel Achtectures, Comuter, Vol. 29, Nº 3, Mar 1993, [SH93] Shag, Y. e B. W. Wah, Global Otmzato for Neural Network Trag, Comuter, Vol. 29, Nº 3, Mar 1993, [RO] Romao, E. e A. Lagker, Estudo de Redes Neuroas a Imlemetação de Memóras Assocatas, Moografa de Fal de Curso de Graduação aresetado ao Deartameto de Iformátca e Cêca da Comutação do Isttuto de Matemátca e Estatístca da Uersdade do Estado do Ro de Jaero, 2.