Modelo neural hierárquico para obtenção de comportamento adaptativo em um agente robótico Eduardo W. Basso ewbasso@inf.ufrgs.br Semana Acadêmica 2005 PPGC UFRGS
Motivação Desenvolvendo sistemas inteligentes Comportamento adequado mesmo em situações não previstas Adaptar-se às alterações no ambiente Emprego em diferentes contextos sem ser alterado significativamente Ambas características são alcançadas quando o comportamento emerge da interação com o ambiente
Motivação Corporificação Corporificação é inerente à emergência do comportamento por interação Aprendizado dá-se pela experimentação no ambiente Conhecimento definido pelas relações sensório-motoras Estudos de Piaget amparam a corporificação e a aprendizagem por experimentação
Motivação Epistemologia Genética Formação da inteligência é dividida em estágios Aprendizado sensório-motor é o primeiro Operações de assimilação e acomodação Nos demais estágios o conhecimento é construído sobre esquemas desenvolvidos no estágio sensório-motor
Modelo Neural Modelo neural sendo desenvolvido Corresponde ao estágio sensório-motor Construção da representação do mundo Emprego em diferentes contextos Aprendizado pela interação com o ambiente Adaptar-se a mudanças Modelo é hierárquico pela divisão de o que fazer e como fazer Comportamento complexo emerge de comportamentos simples
Sistema Neural Adaptativo Comportamento simples Sistema neural adaptativo Baseado na rede de modo de atenção e no aprendizado com professor distal Aprende através da sensação que o agente obtém do estado do ambiente Aprendizado por reforço Formado por dois MLPs (ator e previsor)
Sistema Neural Adaptativo Redes do sistema neural adaptativo Ator é o circuito neural que define a ação do agente Treinamento pela retro-propagação da sensação distal Sinal da sensação é modulado pela derivada do previsor Previsor é a representação interna do ambiente e do avaliador Prevê a próxima sensação Aprende pela imitação do ambiente-avaliador Avaliador obtém as sensações (reforços) para cada estado do ambiente Projeto do avaliador determina o comportamento a ser aprendido
Sistema Neural Adaptativo Sistema neural adaptativo
Protótipo Protótipo simplificado Validação por simulação Robô simples com 2 rodas Objetivo é seguir o alvo (ex.: sinal luminoso) Variáveis centradas no agente Capacidade de ação e complexidade de percepção reduzidas
Modelo Hierárquico Modelo hierárquico Comportamento simples é facilmente aprendido Muito difícil aprender um comportamento complexo Usar rede de comportamentos Comportamento complexo emerge de comportamentos simples Separação hierárquica de o que fazer e como fazer
Modelo Hierárquico Modelo hierárquico
Modelo Hierárquico Construção incremental Cria novos comportamentos quando necessário Se comportamentos atuais não resolvem o problema Inspiração na Epistemologia Genética Assimilação: ajusta comportamento Acomodação: adiciona novo comportamento
Protótipo Validação do modelo hierárquico Navegação segura Seguir o alvo evitando obstáculos Comportamento de caça Seguir a presa e fugir do predador Validação final do trabalho
Cronograma Cronograma
Cronograma Detalhamento do cronograma Pesquisa modelos rede o que Estudo inicial sobre redes ART e SOM - Realizado Pesquisa de outras alternativas - A realizar Implementação comportamento único Implementação sistema neural adaptativo - Realizado Validação com ambiente simplificado - Realizado Aprimoramentos - Sendo realizado
Considerações Características do modelo até o momento Constrói a própria representação de mundo, podendo ser empregado em diferentes contextos Adapta-se a mudanças no ambiente, aprendendo por experimentação Falta torná-lo hierárquico, emergindo comportamento complexo
Considerações Considerações finais Aprendizado com reduzida interferência do projetista no processo Validado apenas com problemas muito simples Aposta-se na escalabilidade para resolver problemas mais complexos