Rede de Hopfeld Rede de camada únca com realmentação x n x 2 x n n2 2 n 2n 2 - b - - n b 2 b n 2 Memóra (auto-assocata) assocata (terata) ou memóra de conteúdo endereçáel não lnear Cada undade lga com todos os outros Rede de Hopfeld Memóra assocata ou memóra de conteúdo endereçáel não lnear Função: recuperar um padrão armazenado como resposta a aprentação de uma ersão ncompleta ou rudosa deste padrão
Rede de Hopfeld Faz um mapeamento de uma memóra fundamental em um ponto fxo estáel de um sstema dnâmco (cuo estado muda com o tempo). x µ s µ codfcação x µ s µ Espaço de Memóras Fundamentas decodfcação Espaço de Vetores Armazenados Rede de Hopfeld Sstema dnâmco cuo espaço de estados contém um conunto de pontos fxos (estáes) que reprentam as memóras fundamentas do sstema. 2
Rede de Hopfeld Se a rede recebe um padrão contendo nformações parcas sufcentes sobre uma das memóras fundamentas, tal padrão pode r consderado como um ponto ncal no espaço de fa e, este ester próxmo de um ponto estáel que reprenta a memóra que está ndo recuperada, o sstema dee eolur no tempo e conergr para aquele estado de memóra. A rede de Hopfeld possu a propredade emergente que auda na recuperação de nformação Rede de Hopfeld Usa o modelo de neurôno de McCulloch e Ptts Cada neurôno tem dos estados determnados pelo níel de atação nterna. Ato (on) => = Inato (off) => = - Campo local nduzdo (ou níel de atdade nterna do neurôno) [ x x ] T x =... 2 x n n = = x b 3
Rede de Hopfeld Modfcação do estado do neurôno (modfcação determnístca) + = > 0 < 0 Obs.: Se = 0 A ação pode r arbtrára! Estratéga Hakn, 2000: O neurôno permanece com o estado atual! Operação da Rede de Hopfeld Fa de Aprendzagem Supondo um conunto de etores de dmensão N (bnáros), reprentando memóras fundamentas { x p p =,2,..., M } Regra de aprendzagem de Hebb (produto): M = x N p= x e = 0, Smplcdade matemátca 4
Operação da Rede de Hopfeld = 0, não há auto-realmentação Matrcalmente: W M = x N p= p x T p MI Saída de cada neurôno realmenta todos os outros neurônos Não há auto-realmentação A matrz de pesos é smétrca W T = W Operação da Rede de Hopfeld Fa de Recuperação Aprenta- um etor xteste Regra dnâmca: Um neurôno (escolhdo aleatoramente) da rede erfca u níel de atdade nterna (ou campo local nduzdo) e muda u estado. (Procedmento assíncrono!) O procedmento contnua até não haer mas mudança de estado no etor, ou a, para um etor de entrada a rede produz uma saída narante no tempo, satsfazendo a condção de establdade. 5
Operação da Rede de Hopfeld Fa de Recuperação Condção de establdade ou condção de alnhamento: = snal( W b ) estado estáel ou ponto fxo do espaço de estados do sstema A rede de Hopfeld mpre conerge para um estado estáel, mpre que a recuperação de nformação for assíncrona! Operação da Rede de Hopfeld Fa de Recuperação Condção de establdade ou condção de alnhamento: Se o etor de entrada é desconhecdo, os etores de atação produzdos na medda que a rede tera conergem para um etor que não é um das memóras fundamentas, ou a, a rede produz um etor espúro estáel 6
Operação da Rede de Hopfeld Fa de Recuperação A energa em uma rede de Hopfeld depende dos estados dos neurônos. Portanto pode r usada para medr a establdade do sstema. Energa: E = 2 x + b Se a energa não muda, durante a recuperação assíncrona, o sstema atngu a establdade Operação da Rede de Hopfeld Fa de Recuperação Quando a atação da rede muda, a energa muda na quantdade (consderando que apenas um neurôno tem o estado alterado por ez). E = [ + x b ] 7
Operação da Rede de Hopfeld Fa de Recuperação + = 0 > 0 < 0 Casos em ocorrem mudanças (consderando estados 0 e ) Se > 0 ( posto) muda para zero Se = + x > 0 muda para b < 0 = 0 Sgnfca uma mudança negata para < 0 Operação da Rede de Hopfeld Fa de Recuperação + = 0 > 0 < 0 Assm: Neste caso a aração da energa é negata. < 0 e = 0 < 0 E = [( E < 0 < 0)]( < 0) 8
Operação da Rede de Hopfeld Fa de Recuperação + = 0 > 0 < 0 Casos em ocorrem mudanças Se = 0 muda para posto Se = = 0 muda + x para b > 0 > 0 > 0 Sgnfca uma mudança posta para Operação da Rede de Hopfeld Fa de Recuperação + = 0 > 0 < 0 Assm: Se = 0 Neste caso a aração da energa é negata. > 0 e = 0 > 0 E = [( E < 0 > 0)]( > 0) 9
Operação da Rede de Hopfeld Fa de Recuperação > 0 ( posto) [ + x b ] > 0 < 0 ( negato) [ + x b ] < 0 => Energa é lmtada e a rede dee alcançar um estado estáel de equlíbro de forma que a energa não mude. Operação da Rede de Hopfeld Obrações: Os padrões podem r bnáros ou bpolares (não há nfluênca) A mudança de energa depende apenas da mudança na atação de um neurôno A matrz de pesos dee r smétrca com zeros na dagonal (não há auto-recorrentes) 0
Operação da Rede de Hopfeld Capacdade de armazenamento na rede Hopfeld: Resultado expermental de Hopfeld, onde n éo número de neurônos P = 0. 5n McElece et al, 987 apud Fautt, (994) para padrões bpolares P n 2log 2 n Algortmo da Rede de Hopfeld Obrações: Incalzação dos pesos com padrões bnáros M = (2x N p= )(2x e Incalzação dos pesos com padrões bpolares ), = 0, M = x N p= x, e = 0, Em geral: b = 0