Modelo neural hierárquico para obtenção de comportamento adaptativo em um agente robótico

Transcrição

1 Modelo neural hierárquico para obtenção de comportamento adaptativo em um agente robótico Eduardo W. Basso Semana Acadêmica 2005 PPGC UFRGS

2 Motivação Desenvolvendo sistemas inteligentes Comportamento adequado mesmo em situações não previstas Adaptar-se às alterações no ambiente Emprego em diferentes contextos sem ser alterado significativamente Ambas características são alcançadas quando o comportamento emerge da interação com o ambiente

3 Motivação Corporificação Corporificação é inerente à emergência do comportamento por interação Aprendizado dá-se pela experimentação no ambiente Conhecimento definido pelas relações sensório-motoras Estudos de Piaget amparam a corporificação e a aprendizagem por experimentação

4 Motivação Epistemologia Genética Formação da inteligência é dividida em estágios Aprendizado sensório-motor é o primeiro Operações de assimilação e acomodação Nos demais estágios o conhecimento é construído sobre esquemas desenvolvidos no estágio sensório-motor

5 Modelo Neural Modelo neural sendo desenvolvido Corresponde ao estágio sensório-motor Construção da representação do mundo Emprego em diferentes contextos Aprendizado pela interação com o ambiente Adaptar-se a mudanças Modelo é hierárquico pela divisão de o que fazer e como fazer Comportamento complexo emerge de comportamentos simples

6 Sistema Neural Adaptativo Comportamento simples Sistema neural adaptativo Baseado na rede de modo de atenção e no aprendizado com professor distal Aprende através da sensação que o agente obtém do estado do ambiente Aprendizado por reforço Formado por dois MLPs (ator e previsor)

7 Sistema Neural Adaptativo Redes do sistema neural adaptativo Ator é o circuito neural que define a ação do agente Treinamento pela retro-propagação da sensação distal Sinal da sensação é modulado pela derivada do previsor Previsor é a representação interna do ambiente e do avaliador Prevê a próxima sensação Aprende pela imitação do ambiente-avaliador Avaliador obtém as sensações (reforços) para cada estado do ambiente Projeto do avaliador determina o comportamento a ser aprendido

8 Sistema Neural Adaptativo Sistema neural adaptativo

9 Protótipo Protótipo simplificado Validação por simulação Robô simples com 2 rodas Objetivo é seguir o alvo (ex.: sinal luminoso) Variáveis centradas no agente Capacidade de ação e complexidade de percepção reduzidas

10 Modelo Hierárquico Modelo hierárquico Comportamento simples é facilmente aprendido Muito difícil aprender um comportamento complexo Usar rede de comportamentos Comportamento complexo emerge de comportamentos simples Separação hierárquica de o que fazer e como fazer

11 Modelo Hierárquico Modelo hierárquico

12 Modelo Hierárquico Construção incremental Cria novos comportamentos quando necessário Se comportamentos atuais não resolvem o problema Inspiração na Epistemologia Genética Assimilação: ajusta comportamento Acomodação: adiciona novo comportamento

13 Protótipo Validação do modelo hierárquico Navegação segura Seguir o alvo evitando obstáculos Comportamento de caça Seguir a presa e fugir do predador Validação final do trabalho

14 Cronograma Cronograma

15 Cronograma Detalhamento do cronograma Pesquisa modelos rede o que Estudo inicial sobre redes ART e SOM - Realizado Pesquisa de outras alternativas - A realizar Implementação comportamento único Implementação sistema neural adaptativo - Realizado Validação com ambiente simplificado - Realizado Aprimoramentos - Sendo realizado

16 Considerações Características do modelo até o momento Constrói a própria representação de mundo, podendo ser empregado em diferentes contextos Adapta-se a mudanças no ambiente, aprendendo por experimentação Falta torná-lo hierárquico, emergindo comportamento complexo

17 Considerações Considerações finais Aprendizado com reduzida interferência do projetista no processo Validado apenas com problemas muito simples Aposta-se na escalabilidade para resolver problemas mais complexos