APRENDIZADO EM MODELOS CONEXIONISTAS

Transcrição

1 APRENDIZADO EM MODELOS CONEXIONISAS Aprendizado é o processo pelo qual os parâmetros (os pesos das coneões entre os neurônios) de uma rede neural são austados através de uma forma continuada de estímulo pelo ambiente no qual a rede está operando. Aprendizado também é chamado como treinamento. APRENDIZADO EM MODELOS CONEXIONISAS O processo de aprendizado implica a seguinte seqüência de eventos:. A rede neural é estimulado por um ambiente. 2. A rede neural sofre modificações nos seus parâmetros livres como resultado desta estimulo. 3. A rede neural responde de uma maneira nova ao ambiente, devido às modificações ocorridas na sua estrutura interna. Um conunto de regras bem-definidas para a solução de um problema de aprendizagem é denominado um algorítmo de aprendizagem (ou algorítmo de treinamento)

2 PARADIGMAS PRINCIPAIS Aprendizado supervisionado Perceptron, MLP, RBF, etc. Aprendizado não supervisionado SOM, ICA, AR, Fuzz AR, Modelo de Hopfield, etc. Aprendizado por reforço Programação Dinâmica por Redes Neurais, etc. APRENDIZADO SUPERVISIONADO A entrada e saída deseadas para a rede são fornecidas por um supervisor. Obetivo é austar os parâmetros da rede, de forma a encontrar uma ligação entre os pares de entrada e saídas fornecidas. O professor indica eplicitamente um comportamento bom ou ruim para a rede, visando a direcionar o processo de treinamento. A técnica mais utilizada é chamada correção de erros. 2

3 APRENDIZADO SUPERVISIONADO Correção de Erros Professor Resposta deseada Entrada RNA Resposta da rede - + Erro APRENDIZADO SUPERVISIONADO Correção de Erros Processo de minimização do erro quadrático pode ser realizado pelo método do Gradiente Descendente w i E η w Cada peso sináptico i do elemento processador é atualizado proporcionalmente ao negativo da derivada parcial do erro deste processador com relação ao peso. i 3

4 APRENDIZADO SUPERVISIONADO Relembra um pouco conhecimento de Cálculo Gradiente: f (, ) f (, ), f (, ) Derivada direcional: f (, ) D u f (, ) f (, ) u f (, ) u cos γ f (, ) cos γ γ u P(, ) D u f(, ) é a taa de variação de f(, ) na direção definida por u. APRENDIZADO SUPERVISIONADO Relembra um pouco conhecimento de Cálculo (cont.) eorema do gradiente: Sea f uma função de duas variáveis, diferenciáveis no ponto P(, ). i) O máimo de D u f(, ) em P(, ) é f(, ). ii) O máimo da taa de crescimento de f(, ) em P(, ) ocorre na direção de f(, ). Corolário: Sea f uma função de duas variáveis, diferenciáveis no ponto P(, ). i) O mínimo de D u f(, ) em P(, ) é - f(, ). ii) O máimo da taa de decrescimento de f(, ) em P(, ) ocorre na direção de - f(, ). 4

5 APRENDIZADO SUPERVISIONADO Correção de Erros (n) w (n) 2 (n) w 2 (n) f m (n). w m (n) (n) s (n) e (n) d (n) s Valores de entrada e saída: binário > 0 f ( ) f iwi + θi i 0 0 APRENDIZADO SUPERVISIONADO Calcula w i w i E η w p i E η s p s w i E p ( d s ) 2 2 s w i i + θ ( d s )( ) 2 2 i w i η d ( ) i s i ηe 5

6 Se dois neurônios em ambos os lados de uma sinapse (coneão) são ativados simultaneamente (sincronamente), então a força daquela sinapse é seletivamente aumentada; Se dois neurônios em ambos os lados de uma sinapse são ativados assincronamente, então a força daquela sinapse é seletivamente enfraquecida ou eliminada (n) w (n) 2 (n) w 2 (n) f m (n). (n) w m (n) s (n) 6

7 Forma geral: Forma correlativa Forma covariância ( s ( n) ( n) ) w F, w w ηs η ( n) ( n) s s η: taa de aprendizado, s : valor médios, que constituem os limiares pré-sináptico e pós-sináptico Aprendizado Hebbiano em Associador Linear 2 m. w w 2 w m w 2 w 22 w 2m w m wm2 w mm 2 m 7

8 Aprendizado Hebbiano em Associador Linear W ( ) q w w w 2 m [, 2,..., m ] [,,..., ] 2 W m ( ) ( ) w2 ( )... w m( ) ( ) w ( )... w ( ) ( ) w ( )... w ( ) m2... 2m M W( ) M M + W( )... mm Aprendizado Hebbiano em Associador Linear Regra de Aprendizado: ^ M q Estimativa da matriz de memória M ^ M [,,..., ] 2 m ^ ^ M M m 8

9 9 Aprendizado Hebbiano em Associador Linear ( ) ( ) ( ) + m m m ^ M Recordação para entrada : Aprendizado Hebbiano em Associador Linear ( ) + m v v Inferência cruzada Assume

10 Aprendizado Hebbiano em Associador Linear cos v (, ) m cos (, ) A memória é perfeita (a resposta iguala ) se os vetores-chave pertencerem a um conunto ortonormal., 0, Não há um professor ou supervisor para acompanhar o processo de aprendizado; A partir do momento em que a rede estabelece uma harmonia com as regularidades estatísticas da entrada de dados, desenvolve-se nela uma habilidade de formar representações internas para codificar características de entrada; Este tipo de aprendizado só se torna possível quando eiste redundância nos dados de entrada. 0

11 Meio eterno Estado do meio eterno RNA Resposta A técnica mais utilizada é chamada aprendizado competitiva Aprendizado Competitiva (n) 2 (n). m (n) Camada de nós de fonte Camada de nós de saída

12 Aprendizado Competitiva Eiste três elementos básicos em uma regra de aprendizagem competitiva ) Um conunto de neurônios que são todos iguais entre si, eceto por alguns pesos sinápticos distribuídos aleatoriamente, e por isso respondem diferentemente a um conunto de padrões de entrada; 2) Um limite imposto sobre a força de cada neurônio; Aprendizado Competitiva 3) Um mecanismo que permite que pelo direito de responder a um dado subconunto de dados, de forma que somente um neurônio de saída, ou somente um neurônio por grupo, estea ativo em um determinada instante. O neurônio que vence a competição é denominado um neurônio vencedor leva tudo 2

13 0 se v > v para todos, caso contrário O neurônio é denominado como neurônio vencedor. Regra de aprendizagem competitiva: w η 0 ( w ) 0 APRENDIZADO POR REFORÇO Ambiente Vetor de entrada Crítico Reforço/Penalidade RNA 3

14 Se uma ação tomada pelo sistema de aprendizagem é seguida de estados satisfatórios, então a tendência do sistema de produzir esta ação particular é reforçada. Se não for seguida de estados satisfatórios, a tendência do sistema de produzir esta ação é enfraquecida. A aprendizagem por reforço é difícil ser realizada por duas razões básicas: Não eiste um professor para fornecer uma resposta deseada eata em cada passo do processo de aprendizagem; O atraso incorrido na geração do sinal de reforço implica que a RNA deve resolver um problema de atribuição de crédito temporal. 4

15 REFERÊNCIAS. S. Hain, Neural Networs, A Comprehensive Foundation, Prentice Hal, Upper Siddle River, New Jerse, 2nd Edition, A. P. Braga, et. al., Redes Neurais Artificiais, eoria e Aplicações, LC, Rio de Janeiro, RJ,