Redes Neurais Artificiais: Introdução - Parte 2 1/93

Transcrição

1 Redes Neurais Artificiais: Introdução - Parte 2 João Luís Garcia Rosa Departamento de Ciências de Computação Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo joaoluis joaoluis@icmc.usp.br 12 a. Semana da Computação - ICMC-USP - São Carlos, 22 de Outubro de 2009 Redes Neurais Artificiais: Introdução - Parte 2 1/93

2 Sumário 1 Aprendizado Conexionista O Aprendizado 2 Backpropagation Algoritmo LMS Backpropagation 3 Plausibilidade Biológica Considerações a respeito da plausibilidade O BP é considerado biologicamente implausível GeneRec 4 Sistemas Híbridos RNA Baseadas em Conhecimento 5 PLN Conexionista Representação para o PLN Solução conexionista Estrutura de Superfície e Estrutura de Caso Redes Neurais Artificiais: Introdução - Parte 2 2/93

3 Sumário 1 Aprendizado Conexionista O Aprendizado 2 Backpropagation Algoritmo LMS Backpropagation 3 Plausibilidade Biológica Considerações a respeito da plausibilidade O BP é considerado biologicamente implausível GeneRec 4 Sistemas Híbridos RNA Baseadas em Conhecimento 5 PLN Conexionista Representação para o PLN Solução conexionista Estrutura de Superfície e Estrutura de Caso Redes Neurais Artificiais: Introdução - Parte 2 3/93

4 O Aprendizado Sistemas Conexionistas são capazes de aprender Redes conexionistas aprendem: através da mudança dos pesos sinápticos, através da mudança da topologia da rede (em poucos modelos). Através da mudança dos pesos, a rede aprende, automaticamente, correlações estatísticas a partir do meio ambiente. Raciocínio probabilístico: sem um modelo estatístico do problema. Redes Neurais Artificiais: Introdução - Parte 2 4/93

5 O Aprendizado Sistemas Conexionistas são capazes de aprender Com o aprendizado Hebbiano, dois métodos são possíveis: Com o aprendizado não supervisionado não há professor: a rede tenta discernir regularidades nos padrões de entrada. Com o aprendizado supervisionado uma entrada é associada com uma saída. Se a entrada e a saída são iguais, trata-se de aprendizado auto-associativo. Se são diferentes é chamado de aprendizado hetero-associativo. Redes Neurais Artificiais: Introdução - Parte 2 5/93

6 O Aprendizado Exemplos de aprendizado Hebbiano Aprendizado competitivo (competitive learning) é uma forma de aprendizado não supervisionado. Aprendizado hetero-associativo nas redes de Willshaw é um exemplo de aprendizado supervisionado. Redes Neurais Artificiais: Introdução - Parte 2 6/93

7 O Aprendizado Exemplo de aprendizado competitivo estímulo at é apresentado: Redes Neurais Artificiais: Introdução - Parte 2 7/93

8 O Aprendizado Exemplo de aprendizado competitivo competição inicia no nível categoria: Redes Neurais Artificiais: Introdução - Parte 2 8/93

9 O Aprendizado Exemplo de aprendizado competitivo a competição resolve: Redes Neurais Artificiais: Introdução - Parte 2 9/93

10 O Aprendizado Exemplo de aprendizado competitivo acontece o aprendizado Hebbiano: Redes Neurais Artificiais: Introdução - Parte 2 10/93

11 O Aprendizado Exemplo de aprendizado competitivo A apresentação do to leva à ativação do nó categoria 1: Redes Neurais Artificiais: Introdução - Parte 2 11/93

12 O Aprendizado Exemplo de aprendizado competitivo A apresentação do to leva à ativação do nó categoria 1: Redes Neurais Artificiais: Introdução - Parte 2 12/93

13 O Aprendizado Exemplo de aprendizado competitivo A apresentação do to leva à ativação do nó categoria 1: Redes Neurais Artificiais: Introdução - Parte 2 13/93

14 O Aprendizado Exemplo de aprendizado competitivo A apresentação do to leva à ativação do nó categoria 1: Redes Neurais Artificiais: Introdução - Parte 2 14/93

15 O Aprendizado Exemplo de aprendizado competitivo A categoria 1 é estabelecida através do aprendizado Hebbiano: Redes Neurais Artificiais: Introdução - Parte 2 15/93

16 O Aprendizado Redes de Willshaw 1 Um peso tem o valor 0 ou 1. Um peso é colocado em 1 se a entrada e a saída são 1. Na recuperação a entrada da rede é dividida pelo número total de nós ativos no padrão de entrada. 1 David J. Willshaw and Christoph von der Malsburg. How patterned neural connections can be set up by self-organization. Proceedings of the Royal Society of London, Series B, Vol. 194, pp , Redes Neurais Artificiais: Introdução - Parte 2 16/93

17 O Aprendizado Redes de Willshaw Exemplo de uma memória hetero-associativa simples do tipo Willshaw: Redes Neurais Artificiais: Introdução - Parte 2 17/93

18 O Aprendizado Redes de Willshaw Exemplo de recuperação de padrão: Redes Neurais Artificiais: Introdução - Parte 2 18/93

19 O Aprendizado Redes de Willshaw Exemplo: completar o padrão (de forma bem sucedida) usando um subpadrão: Redes Neurais Artificiais: Introdução - Parte 2 19/93

20 O Aprendizado Redes de Willshaw Exemplo de degradação suave: pequenas lesões têm pequenos efeitos: Redes Neurais Artificiais: Introdução - Parte 2 20/93

21 Sumário 1 Aprendizado Conexionista O Aprendizado 2 Backpropagation Algoritmo LMS Backpropagation 3 Plausibilidade Biológica Considerações a respeito da plausibilidade O BP é considerado biologicamente implausível GeneRec 4 Sistemas Híbridos RNA Baseadas em Conhecimento 5 PLN Conexionista Representação para o PLN Solução conexionista Estrutura de Superfície e Estrutura de Caso Redes Neurais Artificiais: Introdução - Parte 2 21/93

22 Algoritmo LMS Algoritmo de aprendizagem LMS Algoritmo de aprendizagem usado por perceptrons de uma única camada. LMS = Least-Mean-Square. Seja um conjunto de treinamento composto de I padrões de entrada/saída desejada. Como a rede tem m unidades de entrada x e n unidades de saída desejada t, cada um dos I padrões é do tipo: ((x 1,..., x m ), (t 1,..., t n )) Uma vez que se apresenta à rede os I padrões de treinamento, pode-se obter uma medida do erro produzido pela rede. O erro é função: de cada padrão, e do erro produzido em cada unidade de saída, quando cada padrão é apresentado. Redes Neurais Artificiais: Introdução - Parte 2 22/93

23 Algoritmo LMS Treinamento Supervisionado: Regra delta Redes Neurais Artificiais: Introdução - Parte 2 23/93

24 Algoritmo LMS Algoritmo de aprendizagem LMS Se... a rede aprende perfeitamente os padrões de treinamento, e os padrões de treinamento refletem perfeitamente a tarefa que se quer aprender Então... após o treinamento, o erro será zero. A principal causa do erro vem das diferenças entre saída real e saída desejada, que decorre da saída produzida por pesos (e biases) incorretos. Aprender significa achar os pesos que tornem mínimo o erro. Redes Neurais Artificiais: Introdução - Parte 2 24/93

25 Algoritmo LMS Algoritmo de aprendizagem LMS O erro total E após o treinamento é: E(w) = l p=1 onde E p é o erro produzido quando o p-ésimo padrão de treinamento é apresentado à rede. O erro E p pode ser medido de várias maneiras, mas a medida mais usada é o erro quadrático médio: E p E p = 1 2 n (t k y k ) 2 k=1 Redes Neurais Artificiais: Introdução - Parte 2 25/93

26 Backpropagation Backpropagation A dificuldade de aplicar a regra delta: como calcular o erro para uma unidade da camada escondida? Solução: (Error) Backpropagation Generalização da regra delta. Backpropagation é um algoritmo supervisionado, que requer duas fases: propagação da ativação, e retropropagação do erro. permite calcular o erro baseado só em informação local: disponível nos pesos e unidades próximas ao peso que está sendo modificado (como no SNC). Redes Neurais Artificiais: Introdução - Parte 2 26/93

27 Backpropagation Error Backpropagation Redes Neurais Artificiais: Introdução - Parte 2 27/93

28 Backpropagation Backpropagation O algoritmo supervisionado backpropagation pode ser resumido: 1 Propague a ativação da camada de entrada para a escondida, da camada escondida para a de saída. 2 Calcule o erro. para as unidades de saída, Retropropague o erro para as unidades escondidas e para as de entrada. Os passos 1 e 2 constituem um ciclo de ativação (época). Redes Neurais Artificiais: Introdução - Parte 2 28/93

29 Backpropagation Backpropagation Os problemas do backpropagation: É bastante caro computacionalmente (lento), Não resolve bem problemas de grande porte, Às vezes, a solução encontrada é um mínimo local - um valor localmente mínimo para a função erro. Vantagens do backpropagation: poder de aproximação universal: dada uma função contínua, existe uma rede de duas camadas (uma escondida) que pode ser treinada por backpropagation de modo a aproximar o quanto se queira essa função. algoritmo mais usado. Redes Neurais Artificiais: Introdução - Parte 2 29/93

30 Sumário 1 Aprendizado Conexionista O Aprendizado 2 Backpropagation Algoritmo LMS Backpropagation 3 Plausibilidade Biológica Considerações a respeito da plausibilidade O BP é considerado biologicamente implausível GeneRec 4 Sistemas Híbridos RNA Baseadas em Conhecimento 5 PLN Conexionista Representação para o PLN Solução conexionista Estrutura de Superfície e Estrutura de Caso Redes Neurais Artificiais: Introdução - Parte 2 30/93

31 Considerações a respeito da plausibilidade Introdução Os modelos de RNA recentes: não contemplam muitas propriedades fisiológicas do neurônio, mais orientados à performance computacional que à credibilidade biológica. Proposta desta seção: tentar resgatar a inspiração biológica dos sistemas conexionistas. Uma abordagem conexionista biologicamente inspirada deve apresentar: um algoritmo de treinamento neurofisiologicamente motivado, uma arquitetura conexionista bi-direcional, várias outras características, como por exemplo, representações distribuídas. Redes Neurais Artificiais: Introdução - Parte 2 31/93

32 O BP é considerado biologicamente implausível Backpropagation (BP) BP é considerado implausível biologicamente. A razão baseia-se na retro-propagação do erro: o estímulo se propaga para frente (da entrada para a saída), o erro (diferença entre as saídas desejada e real) se propaga para trás (da saída para a entrada). No córtex cerebral: o estímulo gerado quando um neurônio dispara cruza o axônio em direção ao seu terminal para fazer sinapse em um outro neurônio de entrada. Suponha que o BP ocorra no cérebro: o erro deve se propagar de volta, dos dendritos do neurônio pós-sináptico para o axônio e depois para o dendrito do neurônio pré-sináptico. Parece um tanto irreal e improvável. Redes Neurais Artificiais: Introdução - Parte 2 32/93

33 O BP é considerado biologicamente implausível A implausibilidade biológica do Backpropagation Os pesos sinápticos devem ser modificados para permitir o aprendizado: mas certamente não da forma que o BP faz, A mudança de pesos deve usar apenas informação local da sinapse onde ocorre, Esta é a razão porque o BP parece ser tão biologicamente implausível! Redes Neurais Artificiais: Introdução - Parte 2 33/93

34 GeneRec Algoritmo GeneRec - Generalized Recirculation Algoritmo conexionista supervisionado baseado no backpropagation, Arquitetura bi-direcional, Biologicamente mais plausível, Consiste de duas fases: a fase menos e a fase mais. Redes Neurais Artificiais: Introdução - Parte 2 34/93

35 GeneRec GeneRec - fase menos Redes Neurais Artificiais: Introdução - Parte 2 35/93

36 GeneRec GeneRec - fase menos A C h j = σ( w ij x i (t) + w jk o k (t 1)) i=0 k=1 σ = função de ativação sigmóide B o k (t) = σ( w jk h j ) j=1 Redes Neurais Artificiais: Introdução - Parte 2 36/93

37 GeneRec GeneRec - fase mais Redes Neurais Artificiais: Introdução - Parte 2 37/93

38 GeneRec GeneRec - fase mais A C h + j = σ( w ij x i (t) + w jk y k (t)) i=0 k=1 w jk = η (y k (t) o k (t)) h j w ij = η (h + j h j ) x i (t) η = taxa de aprendizado Redes Neurais Artificiais: Introdução - Parte 2 38/93

39 GeneRec GeneRec - uma aplicação simples Redes Neurais Artificiais: Introdução - Parte 2 39/93

40 GeneRec Coffee break Redes Neurais Artificiais: Introdução - Parte 2 40/93

41 Sumário 1 Aprendizado Conexionista O Aprendizado 2 Backpropagation Algoritmo LMS Backpropagation 3 Plausibilidade Biológica Considerações a respeito da plausibilidade O BP é considerado biologicamente implausível GeneRec 4 Sistemas Híbridos RNA Baseadas em Conhecimento 5 PLN Conexionista Representação para o PLN Solução conexionista Estrutura de Superfície e Estrutura de Caso Redes Neurais Artificiais: Introdução - Parte 2 41/93

42 RNA Baseadas em Conhecimento A Inteligência Artificial A Inteligência Artificial divide-se basicamente em dois paradigmas em princípio opostos: simbólico, baseado na lógica, e conexionista, baseado na propagação da atividade de processadores elementares. Vantagens da abordagem simbólica: Facilidade de representação do conhecimento, Poder expressivo das representações lógicas gerais, Entendimento através da inferência lógica. Vantagens da abordagem conexionista (sub-simbólica): aprendizado, generalização, tolerância a falhas. Redes Neurais Artificiais: Introdução - Parte 2 42/93

43 RNA Baseadas em Conhecimento Abordagem Simbólica Baseada em regras: Implicação da lógica: Cláusula do Prolog: (A B) C C : A, B. Maiores críticas aos sistemas conexionistas: Falta de transparência (funciona mas não se sabe como), Demora no treinamento. Solução: Redes Neurais Baseadas em Conhecimento (abordagem híbrida simbólico-conexionista). Redes Neurais Artificiais: Introdução - Parte 2 43/93

44 RNA Baseadas em Conhecimento Abordagem Híbrida Vantagens da abordagem híbrida: Extração do conhecimento simbólico a partir da rede neural permite a troca de informação entre representações de conhecimento conexionista e simbólico, O conhecimento simbólico pode ser inserido na rede neural e depois refinado, Uma melhora significativa no tempo de aprendizado. Abordagem Híbrida: 1 Conhecimento inicial simbólico Pesos de conexão, 2 Aprendizado, 3 Pesos de conexão Conhecimento final simbólico. Redes Neurais Artificiais: Introdução - Parte 2 44/93

45 RNA Baseadas em Conhecimento Abordagem Híbrida ((W AC A) + (W BC B)) C As redes neurais podem aprender associações entrada-saída. As redes neurais são capazes de recuperar uma saída baseado em itens de entrada incompletos. As redes neurais mostram degradação suave. Na abordagem híbrida, a IA simbólica e a IA conexionista se encontram. Redes Neurais Artificiais: Introdução - Parte 2 45/93

46 Sumário 1 Aprendizado Conexionista O Aprendizado 2 Backpropagation Algoritmo LMS Backpropagation 3 Plausibilidade Biológica Considerações a respeito da plausibilidade O BP é considerado biologicamente implausível GeneRec 4 Sistemas Híbridos RNA Baseadas em Conhecimento 5 PLN Conexionista Representação para o PLN Solução conexionista Estrutura de Superfície e Estrutura de Caso Redes Neurais Artificiais: Introdução - Parte 2 46/93

47 Representação para o PLN Representação em RNA: Um Exemplo de PLN conexionista Uma boa solução depende de uma boa representação, Representação utilizada nos sistemas CPPro [20] e HTRP [23]: Microcaracterísticas Semânticas, de McClelland e Kawamoto (1986) 2. 2 J. L. McClelland and A. H. Kawamoto, Mechanisms of Sentence Processing: Assigning Roles to Constituents of Sentences. Parallel Distributed Processing - Explorations in the Microstructure of Cognition - Volume 2: Psychological and Biological Models - James L. McClelland and David E. Rumelhart (Eds.), A Bradford Book, The MIT Press, Chapter 19 (pages ). Redes Neurais Artificiais: Introdução - Parte 2 47/93

48 Representação para o PLN Papéis de caso temáticos Um aspecto da compreensão da sentença: a atribuição dos constituintes de uma sentença aos papéis de caso temáticos corretos. Várias sentenças com o verbo quebrar: 1. (O menino) SN quebrou (a vidraça) SN. 2. (A pedra) SN quebrou (a vidraça) SN. 3. (A vidraça) SN quebrou. 4. (O menino) SN quebrou a vidraça (com (a pedra) SN ) SP. 5. (O menino) SN quebrou (a vidraça) SN (com (a cortina) SN ) SP. O primeiro SN pode ser: o AGENTE (sentenças 1, 4 e 5), o INSTRUMENTO (sentença 2), o PACIENTE (sentença 3). O SN do SP pode ser: o INSTRUMENTO (sentença 4), modificador do segundo SN (sentença 5). Redes Neurais Artificiais: Introdução - Parte 2 48/93

49 Representação para o PLN Papéis de caso temáticos Ambigüidade da atribuição de papéis de com-sn: 6. O menino comeu o macarrão com molho. 7. O menino comeu o macarrão com garfo. Restrições da ordem da palavra 8. O vaso quebrou a vidraça. 9. A vidraça quebrou o vaso. 10. O lápis chutou a vaca. Restrições na ordem das palavras (como em 10) são muito fortes em português, mas não é universal. Restrições semânticas: é possível (no italiano) atribui o papel de AGENTE a a vaca em 10. Redes Neurais Artificiais: Introdução - Parte 2 49/93

50 Representação para o PLN Contexto Contexto global em que a sentença é apresentada: 11. O menino viu a menina com os binóculos. 1 o. Contexto: Um menino olha pela janela tentando descobrir quanto ele consegue ver com vários instrumentos ópticos, 2 o. Contexto: Duas meninas tentam identificar alguns pássaros quando um menino se aproxima. Uma menina tem um par de binóculos e a outra não. Redes Neurais Artificiais: Introdução - Parte 2 50/93

51 Representação para o PLN Um Exemplo de PLN conexionista Enquanto o fato de que a ordem da palavra e as restrições semânticas influenciam a atribuição de caso tem sido reconhecido, existem alguns poucos modelos que vão além e propõem um mecanismo para explicar a causa destes efeitos. Entretanto, existem alguns pesquisadores em PLN que têm tentado encontrar formas de trazer as considerações semânticas para o processamento sintático de uma forma ou outra. Redes Neurais Artificiais: Introdução - Parte 2 51/93

52 Representação para o PLN Preferência lexical Uma abordagem recente depende do léxico para influenciar o processamento sintático e a construção de representações funcionais básicas, que consideram casos como: 12. A mulher (queria (o vestido do armário) SN ) SV. 13. A mulher (colocou (o vestido) SN no armário) SV. A leitura preferida para a primeira destas sentenças (12) tinha do armário como um modificador de o vestido, enquanto que a leitura preferida para a segunda (13) tinha no armário como um argumento de local de colocou. Para explicar esta diferença na atribuição de caso, foi proposto dois princípios: preferência lexical, argumentos finais. Redes Neurais Artificiais: Introdução - Parte 2 52/93

53 Representação para o PLN Preferência lexical Basicamente, a preferência lexical estabelece uma estrutura de argumento esperada (por ex. Sujeito-Verbo-Objeto Direto no caso de querer; Sujeito-Verbo-Objeto Direto-Objeto Indireto no caso de colocar) consultando uma lista ordenada de possíveis estruturas de argumentos associadas com cada verbo. Se um constituinte que poderia preencher uma posição na estrutura de argumento esperada é encontrado, o mesmo é tratado como um argumento do verbo. Portanto, se um constituinte que aparece para satisfazer as condições do argumento final da estrutura de argumento esperada é encontrado, sua colocação na sentença é atrasada para permitir a incorporação dos constituintes subseqüentes. Redes Neurais Artificiais: Introdução - Parte 2 53/93

54 Representação para o PLN Preferência lexical Portanto, com querer, o SN o vestido é um candidato para argumento final e não é colocado diretamente como um constituinte do Sintagma Verbal (SV ); antes, uma estrutura SN superordenada contendo o vestido do armário é finalmente colocada no SV. Com colocar, entretanto, o vestido não poderia ser o argumento final, e portanto, ele é colocado diretamente ao SV. No armário está então disponível para a colocação como argumento final do SV. Redes Neurais Artificiais: Introdução - Parte 2 54/93

55 Representação para o PLN Um Exemplo de PLN conexionista De qualquer forma, está claro que um mecanismo é necessário no qual todos os constituintes de uma sentença possam trabalhar simultaneamente para influenciar a atribuição de casos aos constituintes. Este modelo toma como entrada uma análise parcial superficial e gera a partir disto uma representação de nível de caso. Redes Neurais Artificiais: Introdução - Parte 2 55/93

56 Solução conexionista Um Exemplo de PLN conexionista Meta principal: prover um mecanismo que considere o papel da ordem da palavra e restrições semânticas na atribuição de papel (de caso): que seja capaz de aprender a fazer isto baseado na experiência com sentenças e suas representações de caso. que seja capaz de generalizar o que aprendeu para novas sentenças construídas a partir de novas combinações de palavras. Redes Neurais Artificiais: Introdução - Parte 2 56/93

57 Solução conexionista Um Exemplo de PLN conexionista Outras metas: que seja capaz de selecionar contextualmente leituras apropriadas de palavras ambíguas, que selecione o verbo (verb frame) apropriado baseado no padrão de argumentos e em suas características semânticas, que preencha os argumentos ausentes em sentenças incompletas com valores plausíveis, que seja capaz de generalizar seu conhecimento de atribuição de papel correto a sentenças que contenham uma palavra nunca vista antes, dado apenas uma especificação de algumas das propriedades semânticas da palavra. Redes Neurais Artificiais: Introdução - Parte 2 57/93

58 Solução conexionista Arquitetura do Modelo O modelo consiste de dois conjuntos de unidades: um para representar a estrutura de superfície (ES) da sentença, um para representar a estrutura de caso (EC) da sentença. O modelo aprende através de apresentações de pares corretos ES/EC. Sentenças: um verbo e de um a três SNs. Há sempre um SN sujeito e opcionalmente, um SN objeto. Pode haver também um com-sn, isto é, um SN num SP começando com com. Formato de Entrada das Sentenças: representação canônica da sentença, forma produzida por um parser de superfície e um léxico simples. Redes Neurais Artificiais: Introdução - Parte 2 58/93

59 Solução conexionista Microcaracterísticas Semânticas No formato de entrada canônico, as palavras são representadas como listas de microcaracterísticas semânticas. Para verbos e substantivos, os traços (características) são agrupados em várias dimensões. Cada dimensão consiste de um conjunto de valores mutuamente exclusivos. Em geral, cada palavra é representada por um vetor no qual apenas um único valor em cada dimensão está ligado (representado por 1 ). Valores que estão desligados são representados por pontos (. ). Redes Neurais Artificiais: Introdução - Parte 2 59/93

60 Solução conexionista Microcaracterísticas Semânticas As dimensões e os valores em cada dimensão foram escolhidos para capturar dimensões importantes de variação semântica nos significados das palavras com implicação na atribuição de papel de caso. Dimensões e valores de características dos substantivos: Redes Neurais Artificiais: Introdução - Parte 2 60/93

61 Solução conexionista Microcaracterísticas Semânticas Dimensões e valores de características dos verbos: Redes Neurais Artificiais: Introdução - Parte 2 61/93

62 Solução conexionista Microcaracterísticas Semânticas: Exemplo Microcaracterísticas do substantivo bola: não humano; soft; neutro; pequeno; compacto; arredondado; inquebrável; brinquedo. Microcaracterísticas do verbo quebrar: ator; causa; toque instrumento; troca em pedaços; movimento agente participação; nenhum movimento paciente; intensidade alta. Redes Neurais Artificiais: Introdução - Parte 2 62/93

63 Solução conexionista Ambigüidade Umas das metas para o modelo é mostrar como ele pode selecionar o significado apropriado no contexto para uma palavra ambígua. Para palavras ambíguas (cravo, por exemplo) o padrão de entrada é a média dos padrões de características de cada uma das duas leituras da palavra. Isto significa que nos casos onde as duas concordam com o valor de uma dimensão de entrada particular, esta dimensão tem o valor acordado na representação de entrada. Nos casos onde os dois discordam, a característica tem o valor de 0.5 (representado por? ) na representação de entrada. Redes Neurais Artificiais: Introdução - Parte 2 63/93

64 Estrutura de Superfície e Estrutura de Caso Unidades de Estrutura de Superfície - ES Um dos objetivos das simulações é ver se o modelo pode corretamente preencher estes valores não especificados, efetivamente recuperando os valores perdidos do contexto no processo da atribuição da palavra ao caso apropriado. A representação do nível de Estrutura de Superfície de uma sentença de entrada não é o conjunto de vetores de características constituintes, mas sim o padrão de ativação que esses vetores produzem sobre as unidades que correspondem a pares de características. Estas unidades são chamadas unidades de estrutura de superfície (ES). Cada unidade ES representa a conjunção de duas microcaracterísticas do preenchedor de um caso de superfície particular. Redes Neurais Artificiais: Introdução - Parte 2 64/93

65 Estrutura de Superfície e Estrutura de Caso Unidades de Estrutura de Superfície - ES Como há quatro casos de estruturas de superfície, existem quatro conjuntos de unidades ES. Dentro de cada conjunto existe uma unidade que representa a conjunção de todo valor de microcaracterística em cada dimensão com todo valor de microcaracterística em qualquer outra dimensão. Considera-se vários esquemas para a ativação das unidades de ES. Um esquema possível seria usar uma regra de ativação determinística, tal que uma unidade ES particular seria ligada apenas se ambas as características que a unidade representa estivessem dentro do vetor de características. Redes Neurais Artificiais: Introdução - Parte 2 65/93

66 Estrutura de Superfície e Estrutura de Caso Unidades de Estrutura de Superfície - ES Este uso das unidades ES permitiria que o modelo aprendesse a responder de uma forma mais apurada a determinadas conjunções de microcaracterísticas. Entretanto, deseja-se ver o quão bem o modelo poderia funcionar usando uma representação de entrada com ruídos. Contudo sabe-se que a generalização é facilitada quando as unidades que unificam apenas parcialmente com a entrada têm alguma chance de serem ativadas. No presente caso, considera-se isto importante para ser capaz de generalizar para palavras com significados similares. Portanto, as unidades ES são tratadas como unidades binárias estocásticas. Redes Neurais Artificiais: Introdução - Parte 2 66/93

67 Estrutura de Superfície e Estrutura de Caso Unidades de Estrutura de Superfície - ES Cada unidade ES recebe entrada excitatória de cada uma das duas características que ela representa e a polarização e a variância das unidades é colocada de tal forma que quando ambas as características das unidades ES estão ativas, a unidade liga com probabilidade 0.85; e quando nenhuma está ativa, ela liga com probabilidade Estes casos são representados na tabela por 1 e., respectivamente. As unidades que recebem apenas uma entrada excitatória liga com probabilidade.5; estas unidades são representadas por?. Redes Neurais Artificiais: Introdução - Parte 2 67/93

68 Estrutura de Superfície e Estrutura de Caso Unidades de Estrutura de Superfície - ES Enquanto o modelo funciona bem com esta simulação, presume-se que simulações que usem um léxico maior requeiram maior diferenciação de algumas representações de substantivos e verbos. Para trabalhar com tais casos, acredita-se que seria necessário permitir o ajuste das conexões de entrada às unidades ES através do algoritmo backpropagation de tal forma que uma diferenciação maior possa ser obtida quando necessário. Redes Neurais Artificiais: Introdução - Parte 2 68/93

69 Estrutura de Superfície e Estrutura de Caso Unidades de Estrutura de Caso - EC A representação de caso tem uma forma levemente diferente da representação de estrutura de sentença. Para entender esta representação, é útil voltar a um ponto de vista mais abstrato e considerar mais geralmente como se deve representar uma descrição estrutural numa representação distribuída. Em geral uma descrição estrutural pode ser representada por um conjunto de triplas da forma (A R B) onde A e B correspondem aos nós na descrição estrutural e R representa a relação entre os nós. Por exemplo, uma hierarquia de inclusão de classes pode ser representada por triplas da forma (X É-UM Y ), onde X e Y são nomes de categorias. Redes Neurais Artificiais: Introdução - Parte 2 69/93

70 Estrutura de Superfície e Estrutura de Caso Unidades de Estrutura de Caso - EC Qualquer outra descrição estrutural, seja uma estrutura de constituinte sintático, uma estrutura de constituinte semântico ou qualquer outra coisa, pode ser representada desta forma. Especificamente, a atribuição de caso dos constituintes da sentença O garoto quebrou a vidraça com o martelo pode ser representada como: Quebrou AGENTE Garoto, Quebrou PACIENTE Vidraça, Quebrou INSTRUMENTO Martelo. A estrutura constituinte de uma sentença tal como O garoto comeu o macarrão com molho poderia ser representada por: Comeu AGENTE Garoto, Comeu PACIENTE Macarrão, Macarrão Modificador Molho. Redes Neurais Artificiais: Introdução - Parte 2 70/93

71 Estrutura de Superfície e Estrutura de Caso Unidades de Estrutura de Caso - EC Numa representação local, poder-se-ia representar cada uma destas triplas por uma unidade única. Cada unidade destas representaria então a conjunção de uma determinada cabeça ou lado esquerdo de uma tripla, uma determinada relação, e uma determinada cauda ou lado direito. Nesta abordagem mais distribuída seriam alocados grupos de unidades para representar cada uma das possíveis relações (ou casos), que seriam o AGENTE, PACIENTE, INSTRUMENTO e Modificador, e teriam unidades dentro de cada grupo representando conjunções de microcaracterísticas do primeiro e terceiro argumentos (a cabeça e a cauda) da tripla. Redes Neurais Artificiais: Introdução - Parte 2 71/93

72 Estrutura de Superfície e Estrutura de Caso Unidades de Estrutura de Caso - EC Portanto, a tripla é representada não por uma única unidade ativa, mas por um padrão de ativação sobre um conjunto de unidades. Nesta implementação, existe um grupo de unidades para cada uma das quatro relações permitidas na estrutura de caso. Os grupos do AGENTE, PACIENTE, INSTRUMENTO e Modificador são colocados da esquerda para a direita. Dentro de cada grupo, as unidades individuais representam conjunções de uma microcaracterística da cabeça de cada relação com uma microcaracterística da cauda de cada relação. Redes Neurais Artificiais: Introdução - Parte 2 72/93

73 Estrutura de Superfície e Estrutura de Caso Unidades de Estrutura de Caso - EC Então, por exemplo no slide 11, Quebrou-AGENTE-Garoto é representado por um padrão de ativação. A unidade na i-ésima linha e j-ésima coluna representa a conjunção da característica i do verbo com característica j do substantivo. Então, todas as unidades com a mesma característica de verbo estão alinhadas na mesma linha, enquanto que todas as unidades com a mesma característica de substantivo estão alinhadas na mesma coluna. Para o grupo do Modificador, a unidade na i-ésima linha e j-ésima coluna representaria a conjunção da característica i do SN modificado e a característica j do SN modificador. Redes Neurais Artificiais: Introdução - Parte 2 73/93

74 Estrutura de Superfície e Estrutura de Caso Microcaracterísticas Semânticas As letras indicando as especificações de dimensão das unidades são colocadas ao longo das bordas lateral e superior. Exemplo de uma unidade de ES para o verbo quebrar e EC para Quebrou-AGENTE-Garoto é mostrada abaixo. A matriz do verbo é diferente das matrizes dos três SNs pois características diferentes são juntadas nas representações de verbo e de SN. Redes Neurais Artificiais: Introdução - Parte 2 74/93

75 Estrutura de Superfície e Estrutura de Caso Microcaracterísticas Semânticas Redes Neurais Artificiais: Introdução - Parte 2 75/93

76 Estrutura de Superfície e Estrutura de Caso Experimentos de Simulação Geradores para sentenças usadas no treinamento e testes: o humano quebrou o objeto-frágil. Categorias de substantivos para preencher a tabela do gerador: humano: homem, mulher, menino, menina. objeto-frágil: prato, vidraça, vaso. Resultado: Número médio de microcaracterísticas incorretas produzidas como uma função da quantidade de experiência de aprendizado. Redes Neurais Artificiais: Introdução - Parte 2 76/93

77 Estrutura de Superfície e Estrutura de Caso Resultados Básicos Redes Neurais Artificiais: Introdução - Parte 2 77/93

78 Estrutura de Superfície e Estrutura de Caso Métodos para Formar Representações Distribuídas Uma abordagem popular para formar representações distribuídas é a codificação de características (traços) semânticos usadas por McClelland e Kawamoto [11]. Este tipo de representação é significativo por si só. É possível extrair informação apenas examinando a representação, sem necessidade de treinar uma rede para interpreta-la. Vários sistemas diferentes podem processar as mesmas representações e se comunicar usando-as. Redes Neurais Artificiais: Introdução - Parte 2 78/93

79 Estrutura de Superfície e Estrutura de Caso Métodos para Formar Representações Distribuídas Por outro lado, tais padrões devem ser pré-codificados e mantidos fixos. A performance não pode ser otimizada adaptando as representações às tarefas e dados reais. Porque todos os conceitos são classificados ao longo das mesmas dimensões, o número de dimensões se torna muito grande, e muitas delas são irrelevantes ao conceito particular (em Inglês, o gênero de substantivos). Redes Neurais Artificiais: Introdução - Parte 2 79/93

80 The End Obrigado! João Luís Garcia Rosa Redes Neurais Artificiais: Introdução - Parte 2 80/93

81 Bibliografia Bibliografia I [1] A. E. Bryson and Y.-C. Ho Applied Optimal Control. Blaisdell, New York, [2] F. Crick and C. Asanuma Certain Aspects of the Anatomy and Physiology of the Cerebral Cortex. in J. L. McClelland and D. E. Rumelhart (eds.), Parallel Distributed Processing, Vol. 2, Cambridge, Massachusetts - London, England, The MIT Press, Redes Neurais Artificiais: Introdução - Parte 2 81/93

82 Bibliografia Bibliografia II [3] A. S. d Avila Garcez, K. Broda, and D. M. Gabbay Symbolic knowledge extraction from trained neural networks: a sound approach. Artificial Intelligence 125, , [4] L. M. Fu Knowledge Base Refinement by Backpropagation. Data and Knowledge Engineering 7, 35-46, [5] L. M. Fu Knowledge-Based Connectionism for Revising Domain Theories. IEEE Trans. on Systems, Man, and Cybernetics, Vol. 23, No.1, , Redes Neurais Artificiais: Introdução - Parte 2 82/93

83 Bibliografia Bibliografia III [6] S. Haykin Neural networks - a comprehensive foundation, 2nd. edition. Prentice Hall, [7] G. E. Hinton and J. L. McClelland Learning Representations by Recirculation. in Neural Information Processing Systems, D. Z. Anderson (Ed.), American Institute of Physics, New York, , [8] A. K. Jain, J. Mao, and K. M. Mohiuddin Artificial Neural Networks: A Tutorial. IEEE Computer, March 1996, pp Redes Neurais Artificiais: Introdução - Parte 2 83/93

84 Bibliografia Bibliografia IV [9] E. R. Kandel, J. H. Schwartz, and T. M. Jessell Principles of Neural Science. Fourth Edition. McGraw-Hill, [10] G. G. Matthews Neurobiology Molecules, Cells and System Blackwell Science Inc., Cambridge, Massachusetts - London, England, 2 edition, Figures: matthews/figures.html. Acc. February, Redes Neurais Artificiais: Introdução - Parte 2 84/93

85 Bibliografia Bibliografia V [11] J. L. McClelland and A. H. Kawamoto Mechanisms of Sentence Processing: Assigning Roles to Constituents of Sentences. in Parallel Distributed Processing, Volume 2 - Psychological and Biological Models, J. L. McClelland and D. E. Rumelhart (Eds.), A Bradford Book, MIT Press, [12] J. L. McClelland and D. E. Rumelhart (Eds.) Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 2: Psychological and Biological Models. A Bradford Book - The MIT Press, Redes Neurais Artificiais: Introdução - Parte 2 85/93

86 Bibliografia Bibliografia VI [13] MUN - Memorial University of Newfoundland Canada. Biology: Accessed in February, [14] J. Murre Introduction to Connectionism. Universiteit van Amsterdam en Universiteit Utrecht, http: // introduction-to-connectionism/ Redes Neurais Artificiais: Introdução - Parte 2 86/93

87 Bibliografia Bibliografia VII [15] C. W. Omlin and C. L. Giles Rule Revision with Recurrent Neural Networks. IEEE Transactions on Knowledge and Data Engineering, 8(1): , [16] C. W. Omlin and C. L. Giles Extraction of Rules from Discrete-time Recurrent Neural Networks. Neural Networks, 9(1): 41 52, Redes Neurais Artificiais: Introdução - Parte 2 87/93

88 Bibliografia Bibliografia VIII [17] R. C. O Reilly Biologically Plausible Error-driven Learning Using Local Activation Differences: the Generalized Recirculation Algorithm. Neural Computation, 8(5), , [18] R. C. O Reilly Six principles for biologically-based computational models of cortical cognition. Trends in Cognitive Science, 2, , Redes Neurais Artificiais: Introdução - Parte 2 88/93

89 Bibliografia Bibliografia IX [19] T. Orrú, J. L. G. Rosa, M. L. Andrade Netto SABio: A Biologically Plausible Connectionist Approach to Automatic Text Summarization. Applied Artificial Intelligence. Volume 22, Issue 9 October 2008, pages Taylor & Francis. [20] J. L. G. Rosa A Thematic Connectionist Approach to Portuguese Language Processing. Proceedings of the IASTED International Conference on Artificial Intelligence and Soft Computing, July 27-August 1, Banff, Canada, , Redes Neurais Artificiais: Introdução - Parte 2 89/93

90 Bibliografia Bibliografia X [21] J. L. G. Rosa An Artificial Neural Network Model Based on Neuroscience: Looking Closely at the Brain. in V. Kurková, N. C. Steele, R. Neruda, and M. Kárný (Eds.), Artificial Neural Nets and Genetic Algorithms - Proceedings of the International Conference in Prague, Czech Republic, ICANNGA April 22-25, Springer-Verlag, , Redes Neurais Artificiais: Introdução - Parte 2 90/93

91 Bibliografia Bibliografia XI [22] J. L. G. Rosa Biologically Plausible Artificial Neural Networks. Tutorial de duas horas, ministrado no IJCNN International Joint Conference on Neural Networks, Montréal, Canada, em 31 de julho de Disponível em contributors.htm. [23] J. L. G. Rosa and E. Françozo Hybrid Thematic Role Processor: Symbolic Linguistic Relations Revised by Connectionist Learning. in Proceedings of IJCAI 99 - Sixteenth International Joint Conference on Artificial Intelligence, Stockholm, Sweden, Redes Neurais Artificiais: Introdução - Parte 2 91/93

92 Bibliografia Bibliografia XII July 31-August 6, Volume 2, Morgan Kaufmann, , [24] D. E. Rumelhart and J. L. McClelland (Eds.) Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 1: Foundations. A Bradford Book - The MIT Press, [25] S. Russell and P. Norvig Artificial Intelligence - A Modern Approach. 2nd. edition. Prentice Hall, Inc., [26] R. Setiono and H. Liu Symbolic Representation of Neural Networks. IEEE Computer, Vol. 29, No. 3, 71 77, Redes Neurais Artificiais: Introdução - Parte 2 92/93

93 Bibliografia Bibliografia XIII [27] M. O. Schneider and J. L. G. Rosa Application and Development of Biologically Plausible Neural Networks in a Multiagent Artificial Life System. Neural Computing & Applications [28] R. Sun Hybrid connectionist/symbolic systems. in The Handbook of Brain Theory and Neural Networks, 2nd. edition, M. A. Arbib (Ed.), A Bradford Book, MIT Press, , Redes Neurais Artificiais: Introdução - Parte 2 93/93

94 Bibliografia Bibliografia XIV [29] G. G. Towell and J. W. Shavlik Extracting Refined Rules from Knowledge-based Neural Networks. Machine Learning, 13, , [30] Wikipedia, the Free Encyclopedia. Redes Neurais Artificiais: Introdução - Parte 2 94/93