Arquiteturas Cognitivas em Robótica

Transcrição

1 Arquiteturas Cognitivas em Robótica Ricardo R. Gudwin DCA-FEEC-UNICAMP DCA-FEEC-UNICAMP

2 Introdução Objetivo Visão introdutória sobre o uso de arquiteturas cognitivas aplicadas ao controle de robôs. Conceito de Arquitetura Cognitiva Arquiteturas computacionais de uso geral que provêm a infraestrutura básica para a construção de agentes artificiais, tais como robôs ou "players" em jogos de computador. Modelos cognitivos da mente humana implementar versões computacionais de habilidades cognitivas, tais como percepção, emoções, memória, tomada de decisão, comportamento reativo e deliberativo, motivações, e em alguns casos até mesmo consciência e emergência de linguagem. Neste mini-curso: 4 das mais populares arquiteturas cognitivas: ACT-R, SOAR, Clarion e LIDA

3 O Problema: Controle de Robôs Autônomos Inteligentes

4 Propostas de Solução Arquiteturas Embarcadas Controle do Robô embarcado junto com o hardware do robô Sistemas de Controle mais simples Restrições do hardware embarcado Arquiteturas Cliente-Servidor Hardware do Robô possui somente algum tipo de conexão de rede, exportando os dados dos sensores e recebendo os comandos dos atuadores Sistemas de Controle mais Sofisticados Algoritmos de controle são implementados em máquinas remotas, mais poderosas Arquiteturas Híbridas Layers embarcados + controlador remoto

5 Arquitetura Cliente-Servidor Rede Cliente: Algoritmo Inteligente Servidor de Sensores e Atuadores Hardware do Robô ou Robô Simulado

6 Cliente: Algoritmo Inteligente Aplicações Customizadas Sistemas Especialistas Redes Neurais Lógica Fuzzy Computação Evolutiva Frameworks Gerais para Sistemas Inteligentes JESS (Sistema Especialista) CLIPS (Sistema Especialista) Joone, Encog and Neuroph (Redes Neurais) FANN e FANNJ (Redes Neurais) JFuzzyLogic, Fuzzy Framework (Lógica Fuzzy) ECF, JEAF, JCLEC (Computação Evolutiva)

7 Arquiteturas Cognitivas Definição Estruturas e processos essenciais de um modelo cognitivo computacional de domínio genérico, utilizado em uma análise ampla, em múltiplos níveis e múltiplos domínios, dos fenômenos da cognição e do comportamento. Vantagens framework concreto para uma modelagem mais detalhada do fenômeno cognitivo Características estruturas essenciais, divisão em módulos, relações entre módulos, além de outros aspectos

8 Arquiteturas Cognitivas Diferentes Frameworks Pressuposições cognitivas básicas o que há de comum nas diferentes propostas? Dicotomias Essenciais implícito x explícito, procedural x declarativa, automática x controlada? Módulos de Memória quais os subsistemas de memória essenciais? Abordagens Metodológicas fitting de dados quantitativos, demonstrações qualitativas, argumentos teóricos, experimentos mentais filosóficos, etc.

9 Arquiteturas Cognitivas Processos Componenciais da Cognição facilitar a modelagem detalhada dos vários componentes e processos que envolvem a mente conjunto inicial de pressuposições para o desenvolvimento de modelos futuros Estruturas Essenciais Estruturas Iniciais: Mínimas Aprendizagem Modelos Completos x Modelos Desenvolvimentais Objetivos Interação com o ambiente Interação com outros agentes

10 Tipos de Arquiteturas Cognitivas Tipos de Arquiteturas Simbólicas, Conexionistas ou Híbridas Centralizadas ou Distribuídas Representação uniforme do conhecimento, representações heterogêneas, sem representação explícita Exemplos de Arquiteturas ACT-R, SOAR, CLARION, LIDA, EPIC, PRODIGY, DEM, COGNET, Copycat, DUAL, Apex, Psi, Subsumption, ATLANTIS, Theo, ICARUS, AIS, MAX, Homer, Teton, RALPH-MEA, ERE

11 Evolução das Arquiteturas Cognitivas

12 Evolução das Arquiteturas Cognitivas

13 Evolução das Arquiteturas Cognitivas

14 Evolução das Arquiteturas Cognitivas

15 Evolução das Arquiteturas Cognitivas

16 Evolução das Arquiteturas Cognitivas

17 Evolução das Arquiteturas Cognitivas

18 Evolução das Arquiteturas Cognitivas

19 Principais Frameworks para Arquiteturas Cognitivas ACT-R SOAR Clarion LIDA

20 ACT-R ACT-R Atomic Components of Thought Rational Adaptive Control of Thought - Rational Carnegie Mellon University - John R. Anderson Arquitetura Híbrida Estruturas Simbólicas sistema de produção Estruturas Sub-simbólicas conjunto massivo de processos paralelos, sumarizados por meio de equações matemáticas podem controlar processos simbólicos funções de utilidade processos de aprendizagem

21 ACT-R

22 Histórico do Desenvolvimento Predecessor Versões Teóricas HAM (Anderson & Bower 1973) ACT-E ACT* ACT-R ACT-R 4.0 ACT-R 5.0 (Anderson, 1976) (Anderson, 1978) (Anderson, 1993) (Anderson & Lebiere, 1998) (Anderson & Lebiere, 2001) Implementações GRAPES PUPS ACT-R 2.0 ACT-R 3.0 ACT-R 4.0 ACT-R/PM ACT-R 5.0 Windows Environment Macintosh Environment ACT-R 6.0 (Sauers & Farrell, 1982) (Anderson & Thompson, 1989) (Lebiere & Kushmerick, 1993) (Lebiere, 1995) (Lebiere, 1998) (Byrne, 1998) (Lebiere, 2001) (Bothell, 2001) (Fincham, 2001) (Bothell 2004)

23 ACT-R Conhecimento Declarativo coisas que somos consciente de que sabemos e que podemos usualmente descrever para outras pessoas representado em termos de chunks configurações de elementos que codificam as diversas coisas que sabemos Conhecimento Procedural conhecimento que exibimos por meio de nosso comportamento, mas do qual não somos conscientes regras de produção especificam como buscar e utilizar o conhecimento declarativo para resolver problemas

24 ACT-R Memória Declarativa Memória Procedural Simbólico Chunks: fatos declarativos Produções: SE (cond) ENTÃO (ação) Sub-simbólico Ativação de chunks (probabilidade de seleção) Utilidade: Resolução de Conflitos (probabilidade de uso)

25 ACT-R Exemplos de Chunks Definindo tipos de chunks (categorias) (chunk-type (chunk-type (chunk-type (chunk-type (chunk-type name slot-name-1 slot-name-2 slot-name-n) bird species color size) column row1 row2 row3) count-order first second) count-from start end) Definindo chunks (add-dm (b ISA count-order first 1 (c ISA count-order first 2 (d ISA count-order first 3 (e ISA count-order first 4 (f ISA count-order first 5 (first-goal ISA count-from second 2) second 3) second 4) second 5) second 6) start 2 end 4))

26 ACT-R Buffers Interface entre a memória procedural e os outros módulos do sistema Buffer 'goal': interface para o módulo 'goal' Buffer 'retrieval': interface para o módulo 'retrieval' Cada buffer só pode ter um único chunk a cada instante de tempo Valores dos buffers podem ser alterados por produções Resolução de Conflitos Somente uma produção pode disparar a cada instante Escolher a produção é uma resolução de conflitos

27 ACT-R Exemplos de Produções (P counting-example =goal> isa count state incrementing number =num1 =retrieval> isa count-order first =num1 second =num2 ==> =goal> number =num2 +retrieval> isa count-order first =num2 ) English Description If the goal chunk is of the type count the state slot is incrementing there is a number we will call =num1 and the chunk in the retrieval buffer is of type count-order the first slot has the value =num1 and the second slot has a value we will call =num2 Then change the goal to continue counting from =num2 and request a retrieval of a count-order chunk to find the number that follows =num2

28 ACT-R Ações sobre os buffers =retrieval> Modifica valores dos slots do buffer +retrieval> Faz uma requisição ao módulo em questão -retrieval> Limpa o buffer em questão?retrieval> Efetua 'queries' ao módulo Modelo ACT-R Programa em LISP contendo os comandos ACT-R

29 ACT-R 5.0 Intentional Module (not identified) Productions (Basal Ganglia) Goal Buffer (DLPFC) Declarative Module (Temporal/Hippocampus) Retrieval Buffer (VLPFC) Matching (Striatum) Selection (Pallidum) Execution (Thalamus) Visual Buffer (Parietal) Visual Module (Occipital/etc) Manual Buffer (Motor) Manual Module (Motor/Cerebellum) Environment

30 ACT-R ACT-R 6.0 Ambiente ACT-R Ferramentas de depuração e teste de modelos

31 ACT-R Versão 6.0 Novos módulos Novos buffers

32 ACT-R Integração com Software Versão Original Lisp Dificuldade de integração com outras linguagens jactr.org (versão em Java) Não tão atualizada Para saber mais... Download do software no site Tutoriais Explicando o uso dos diferentes modules Manual de Referência

33 SOAR SOAR (State, Operator And Result) John Laird, Allen Newell, Paul Rosenbloom (1987) Carnegie-Mellon University University of Michigan Arquitetura cognitiva Sistema de Símbolos Físicos Sistemas de Produção Busca em espaços de problemas estrutura de controle automática/deliberativa em dois níveis Aprendizagem contínua, determinada por impasses

34 SOAR

35 SOAR Estados e Operadores estruturas básicas suportadas pela arquitetura Estados: toda informação sobre a situação corrente, incluindo a percepção e a descrição de metas correntes e espaços de problemas Operadores: ocasionam passos no espaço de problemas Memória de Trabalho percepções e hierarquia de estados e seus operadores associados conteúdo pode acionar a memória de longo prazo ou ações motoras

36 SOAR Memória de Longo Prazo Repositório do conteúdo processado pela arquitetura capaz de produzir comportamento Memória Procedural: Regras acessada automaticamente durante os ciclos de decisão Memória Semântica: Estruturas Declarativas Memória Episódica: Episódios Memórias de longo prazo são impenetráveis não podem ser examinadas diretamente certos procedimentos recuperam informações nas memórias de longo prazo e armazenam na memória de trabalho

37 SOAR Interface Perceptiva/Motora Mapeamentos do mundo externo para representações internas na memória de trabalho e de representações internas para o mundo externo Percepção e Ação podem acontecer em paralelo com o processo de cognição Ciclo de Decisão Processo arquitetural básico suportando a cognição Seleção e Aplicação de Operadores Três fases Elaboração, Decisão, Aplicação

38 SOAR Fase de Elaboração Acesso paralelo à Memória de Longo Prazo para elaborar o estado Sugestão de novos operadores Avaliação dos operadores Fase de Decisão Procedimento de Decisão Linguagem de Preferência por operadores Resultado Operador selecionado Impasse Preferências incompletas ou conflito

39 SOAR Fase de Aplicação regras são disparadas de forma a modificar os estados Seleção de um único operador por ciclo de decisão impõe um gargalo cognitivo à arquitetura limite no trabalho cognitivo por ciclo Impasses sinalizam uma falta de conhecimento oportunidade para aprendizagem Acontecem automaticamente quando o conhecimento elicitado pelo estado corrente não é suficiente para o procedimento de decisão selecionar um operador

40 SOAR Linguagem de Impasses Independente de domínio Quando ocorre um Impasse arquitetura automaticamente inicia a criação de um novo subestado cuja meta é resolver o impasse impõe uma hierarquia de metas/sub-estados no contexto da memória de trabalho Quatro Mecanismos de Aprendizagem Chunking, Aprendizagem por Reforço, Aprendizagem Episódica, Aprendizagem Semântica

41 SOAR Chunking cria automaticamente novas regras na memória de longo prazo utilizando-se dos resutados gerados de um impasse previnem que um impasse ocorra em situações similares no futuro Aprendizagem por Reforço ajusta os valores das preferências por operadores Aprendizagem Episódica armazena a história das experiências Aprendizagem Semântica captura asserções declarativas mais abstratas

42 SOAR

43 SOAR Working Memory Elements (WME) (identifier ^attribute value) (identifier ^attribute-1 value-1 ^attribute-2 value-2 ^attribute-3 value-3... ^attribute-n value-n) (O43 ^isa apple ^color red ^inside O53 ^size small ^X44 200) (O87 ^isa ball ^color red ^inside O53 ^size big) (O53 ^isa box ^size large ^color orange ^contains O43 O87) (X44 ^unit grams ^property mass)

44 SOAR Preferências (S1 ^operator O3 +) (S1 ^operator O3 > O4) Produções sp {blocks-world*propose*move-block (state <s> ^problem-space blocks ^thing <thing1> {<> <thing1> <thing2>} ^ontop <ontop>) (<thing1> ^type block ^clear yes) (<thing2> ^clear yes) (<ontop> ^top-block <thing1> ^bottom-block <> <thing2>) --> (<s> ^operator <o> +) (<o> ^name move-block ^moving-block <thing1> ^destination <thing2>)}

45 SOAR Debugger

46 Visual SOAR

47 SOAR Integração com Software Bindings para C++, Java, Tcl Conexão via Sockets (outras linguagens) SML (SOAR Markup Language) É uma interface com a qual é possível integrar o SOAR com uma vasta variedade de ambientes permitindo a realização de diversos tipos de simulações e a depuração dos seus resultados. Baseado no envio e recebimento de pacotes XML Exemplo: <sml smlversion= 1.0 doctype= call soarversion= id= 1234 > <command name= cmdline output= raw > <arg param= agent >test-agent</arg> <arg param= line >source towers.soar</arg> </command> </sml>

48 SML Um cliente pode comunicar-se diretamente com a arquitetura enviando e recebendo pacotes XML através de um socket mantido pelo SOAR na porta (porta padrão). Entretanto, existe um conjunto de classes que fornecem uma interface de comunicação mais simples, ocultando todos os detalhes do envio e recebimento de pacotes XML's. É conhecido como o módulo ClientSML ClientSML Disponível para as linguagens: C++, Java e Tcl

49 SOAR: Principais Classes do Framework

50 Passo-a-passo Iniciar Kernel do Soar Iniciar Agente Carregar Produções Atualizar o SOAR com os dados do ambiente Rodar iterações no SOAR Obter e decodificar comandos Atualizar agente no ambiente

51 Exemplo em Java // Create Soar kernel And Agent Kernel kernel = Kernel.CreateKernelInNewThread(); Agent agent = kernel.createagent(agentname); // Load some productions agent.loadproductions(productionpath.getabsolutepath()); // Get Soar input link in order to provide environment data Identifier inputlink = agent.getinputlink(); // Setting Creature Position Identifier creatureposition = agent.createidwme(inputlink, "Position"); agent.createfloatwme(creatureposition, "X", 32); agent.createfloatwme(creatureposition, "Y", 50);

52 Exemplo em Java // Commit the data. Ready to run. agent.commit(); // Run Soar until it generates output or 15 decision cycles have passed agent.runselftiloutput(); // Go through all the commands we've received int numbercommands = agent.getnumbercommands() ; for (int i = 0 ; i < numbercommands ; i++) { // Update environment to reflect agent's command string speed = agent.getcommand(i).getparametervalue("action"); }

53 Maiores Informações Para saber mais... Download do software no site Tutoriais Explicando o uso do SOAR em diferentes situações SOAR Manual SOAR-RL Manual SML Outros documentos

54 A Arquitetura Cognitiva Clarion Ron Sun University of Missouri-Columbia EUA Clarion Cognição Implícita e Explícita Interação Cognição-Motivação-Ambiente Monitoramento Metacognitivo e controle do processamento cognitivo Módulos Action Centered Sybsystem: comportamento Non-Action Centered Subsystem: conhecimento Supervisão Motivational Subsystem Metacognitive Subsystem

55 A Arquitetura Cognitiva Clarion

56 Representação: Top-Level x Bottom-Level Action-centered Action-centered Explicit Explicit Representation Representation Non-action-centered Non-action-centered Explicit Explicit Representation Representation Action-centered Action-centered Implicit Implicit Representation Representation Non-action-centered Non-action-centered Implicit Implicit Representation Representation ACS NACS Toplevel Bottomlevel

57 ACS Representação Explícita ( Top Level ) Chunks e Rules Representação Implícita ( Bottom Level ) Redes Neurais (Hopfield, BackPropagation) Ciclo Operacional do Módulo ACS Observa o estado corrente Computa o bottom level e determina uma ação Computa o top level e determina uma ação Seleciona uma ação apropriada combinando as ações do bottom level e do top level Executa a ação selecionada e observa o próximo estado Executa aprendizado no bottom level e no top level

58 ACS No bottom level IDNs: Implicit Decision Networks Estado corrente é representado por pares Dimensão-Valor (dim1, val1) (dim2, val2) (dimn, valn) Cada par corresponde a um nó de entrada da rede Três tipos de entradas Sensory Input (visual, auditory,., etc.) Working Memory Items Goal Structure Item Ações são representadas como nós no layer de saída Três tipos de ações: WorkingMemoryActions, GoalActions, ExternalActions Cada ação consiste de um ou mais ActionDimensions (dim1, val1) (dim2, val2) (dimn, valn)

59 ACS O nível de ativação de um nó (em uma Implicit Decision Network) é calculado segundo a seguinte função de ativação 1 o= n wi x i 1+ e i =0 Onde xi é o valor da entrada l (do nó), wi é o peso da entrada I e n é o número de entradas do nó

60 ACS Uma ação é escolhida baseada na distribuição de Boltzman de ativações dos nós do layer de saída A probabilidade de se selecionar uma ação particular I no bottom level é (de acordo com a distribuição de Boltzman): Ai / t e p ( i x ) = A /t e j j Onde Ai é a ativação da ação i e t é o parâmetro de ruído (temperatura)

61 Escolha da Ação de Saída no Bottom Level Working Working Memory Memory WM action WM WM Action Action Network Network WM content External action External External Action Action Network Network Sensory input Goal Goal Structure Structure GS action GS GS Action Action Network Network Current goal

62 ACS No Top Level Regras explícitas Pares Condição Ação Chunks Podem vir de diversas fontes Regras Extraídas e Refinadas (RER Rules) Regras Aprendidas de Maneira Independente (IRL Rules) Regras Fixas (FR Rules) Chunks são coleções de pares Dimensão-Valor que representam ou condições ou ações no top level Chunk-idi: (dimi1, vali1) (dimi2, vali2) (dimini, valini) e.g., table-1: (size, large) (color, white) (number-of-legs, 4) Cada chunk é representado por um nó no top level Cada par Dimensão-Valor é representado por um nó no bottom level

63 ACS Uma regra top level contém uma condição e uma ação (possivelmente com múltiplas dimensões) A ação está associada com os seguintes fatores: Base-Level Activation (BLA) Mede o quão recente uma regra foi utilizada (necessidade de uso) Utilizada para determinar RTs (Response Times) e destacar regras pertinentes Ativação de decaimento gradual Utilidade (U) Mede a utilidade de uma regra, baseada no custo/benefício da mesma (suporte de uma regra) Utilizada para selecionar as regras Seleção da Regra no top level Baseada em uma distribuição de Boltzman da utilidade da regra

64 ACS Aprendizagem No bottom level Utiliza Backpropagation para realizar a correção do erro na IDN Três métodos de aprendizagem: Standard Backpropagation Q-Learning (reinforcement learning) Simplified Q-Learning No top level Três métodos: Bottom-up rule extraction and refinement (RER) Pares condição ação são extraídos do bottom level e refinados Independent Rule Learning (IRL) Regras de várias formas são geradas de maneira independente e então refinadas ou deletadas Fixed Rule (FR) Regras são obtidas de experiências passadas, ou fornecidas por fontes externas

65 ACS Integração entre níveis Diversos métodos de integração: Seleção Estocástica Combinação Retificação Bottom-Up Orientação Top-Down (TD-Guidance) Assumem uma rede no bottom level e um grupo de regras no top level Conclusões positivas atingidas no top level podem inserir recomendações de ação no bottom level Conclusões negativas atingidas no top level podem vetar ações no bottom level

66 ACS Retificação Bottom-Up Saída do bottom level é enviada para o top-level Top level retifica e utiliza a saída do bottom level em conjunto com o conhecimento do top level e.g. combinação por soma ponderada Guidance Top-Down Saída do top level é enviada para bottom level O bottom level utiliza a saída do top level, junto com seu próprio conhecimento, de forma a decidir a ação final

67 ACS Working Memory Armazenamento de informações para uso temporário Prover suporte aos mecanismos de inferência e tomada de decisão Uso da memória envolve Codificação deliberada da informação Esvanecimento gradual da informação no tempo Atualização temporal da informação Capacidade limitada de armazenamento Múltiplos locais de armazenagem Seções específicas dependendo dos sensores Acesso à memória pode ser feito por ambos os níveis

68 Working Memory Working Memory e o NACS WM pode ser utilizada para transmitir informações entre os subsistemas ACS e o NACS Uso mínimo pelo NACS Informações declarativas adicionais sobre o estado corrente e ação corrente (incluindo-se episódios passados relacionados, que são armazenados no NACS

69 NACS Non-Action Centered Subsystem Representação equivalente e semelhante à ACS Consequentes das regras não são Actions, mas sim Chunks Processamento iterativo e potencialmente bi-direcional Representação Conhecimentos gerais: Memória Semântica Conhecimentos sobre experiências específicas do mundo: Memória Episódica Vários tipos de buscas e inferências com esse conhecimento Controlado pelo ACS, por meio de suas ações

70 NACS General General Knowledge Knowledge Store Store (GKS, (GKS, i.e. i.e. semantic semantic memory) memory) Episodic Episodic Memory Memory (EM) (EM) Associative Associative Memory Memory Networks Networks (AMN) Auto-associative (AMN) Auto-associative Associative Associative Memory Memory Networks Networks (AMN) Hetero-associative (AMN) Hetero-associative Abstract Abstract Episodic Episodic Memory Memory (AEM) (AEM)

71 GKS: General Knowledge Store Nível Top Codifica conhecimento explícito Chunks: armazenam conceitos co-ocorrência de microcaracterísticas (do nível bottom ) Chunk-idi table-1 (dimi1, vali1) (dimi2, vali2) (dimin, valin) (type, table) (size, large) (color, white) (number-of-legs, 4) Cada chunk é representado simultaneamente por um nó no nível top e uma micro-característica no nível bottom Links entre chunks armazenam associações explícitas entre chunks (unidirecionais ou bi-direcionais) Condições: um ou mais chunks Conclusão: um único chunk Ativação de Chunks Oriunda de uma entrada, regra associativa do nível top ou por raciocínio baseado em similaridade da interação top-bottom

72 AMN: Associative Memory Networks Nível bottom Conhecimento implícito (redes neurais) Cada chunk no nível top é representado por uma microcaracterística no nível bottom Ativação Bottom-up Por mapeamentos associativos ou processos baseados em similaridade Várias possibilidades em capturar associações implícitas Auto-associativas (Redes de Hopfield) Hetero-associativas (Redes MLP com BP) Ativação Top-down ou Bottom-up

73 NACS - Raciocínio Começa com uma ação do ACS Ativações bottom-up ou top-down podem então acontecer No nível bottom Começa com os nós de micro-características ativados, ativando outras micro-características No nível top Inferências começam a partir de todos os chunks ativados, aplicando-se as regras simultaneamente Novos chunks são inferidos Integração entre níveis Ativação bottom-up

74 NACS - Raciocínio Tipos de Raciocínio Forward Chaining Forward Chaining baseado em Similaridade Threshold determina se uma conclusão é aceitável ou não Coordenação entre NACS e ACS Usualmente o NACS é controlado pelo ACS Uma ação ACS comanda um passo de raciocínio no NACS A saída do NACS é enviada novamente para o ACS

75 EM e AEM: Memória Episódica EM: Memória Episódica Parte especial da GKS Experiências orientadas a ações Estímulos, respostas e consequências + TimeStamps Experiências não-orientada a ações Chunks e regras associativas + TimeStamps AEM: Abstract Episodic Memory Informação sumarizada dos episódios da EM AFN: Action Frequency Network Mapeia os estados na distribuição de frequência das ações SFN: State Frequency Network Mapeia os estados/ações na distribuição de frequência dos estados sucessivos, bem como de reforços

76 MS: O Subsistema Motivacional Goal action from MCS, ACS Sensory input Goal GoalStructure Structure Low-level Low-levelPrimary PrimaryDrives Drives High-level High-levelPrimary PrimaryDrives Drives Secondary SecondaryDrives Drives Goal to MCS, ACS Drive strengths to MCS, etc.

77 MS: O Subsistema Motivacional Motivação em Sistemas Inteligentes Sustentabilidade : Um agente precisa atender a suas necessidades básicas, tais como fome e sede, evitar perigos, etc. Propósito: A ação de um agente deve ser orientada a um propósito, e não aleatória. O propósito do agente está relacionado com sua sustentabilidade Foco: Um agente deve ser capaz de focar em diferentes propósitos em diferentes instantes de tempo, e eventualmente mudar seu foco, momentaneamente ou de maneira permanente Adaptabilidade: Um agente deve ser capaz de adaptar seu comportamento (ou seja, aprender), para melhorar seu desempenho

78 MS: O Subsistema Motivacional Como representar Drives, necessidades, desejos, propósitos? Representações explícitas ou implícitas? Subsistema Motivacional Permite a modelagem de drives e sua interação Provê o contexto e as metas para o ACS Representação Dual: Explícita x Implícita Representação Explícita Metas específicas do agente Baseadas em estados de drives internos (oriundos do MCS)

79 MS: O Subsistema Motivacional Especificações Ativação Proporcional: a ativação de um drive deve ser proporcional a existência (ou ausência) de recursos Oportunismo: o agente deve considerar a oportunidade de se mudar o comportamento diante do surgimento de um recurso Contiguidade das ações: o agente não deve ficar mudando de objetivo o tempo todo. Persistência: após satisfazer um drive, o agente deve persistir durante um tempo, até um certo nível de satisfação Interrupção em urgências: drives mais urgentes podem interromper outros de menor prioridade Combinação de Preferências: Satisfazer diversos drives simultaneamente, com menos efetividade deve ser preferível a satisfazer um único drive com maior efetividade

80 MS: O Subsistema Motivacional Drives Primários Baixo nível: Buscar comida, buscar bebida, evitar perigo, dormir, reproduzir, evitar saturação, curiosidade, evitar aborrecimento Alto nível: Buscar proximidade com outros iguais, auto-estima, desejo de evolução Drives Secundários Derivados dos drives primários Condicionamento, a partir de drives primários Drives assumidos de outros agentes, por meio de instruções ou o desejo de agradar outros agentes

81 MS: O Subsistema Motivacional Goal Structure Múltiplos drives podem estar ativados ao mesmo tempo, mas apenas uma meta pode ser perseguida a cada instante Ações escolhidas no ACS dependem do estado corrente e da meta corrente Goal Chunk Dimensão e parâmetros da dimensão Organizados em Estruturas Lista de Metas (Goal List) Posição do Goal não é importante Pilha de Metas (Goal Stack) Somente o Goal no topo do stack é acessado Novos Goals podem ser inseridos ou removidos do topo da pilha

82 MCS: O Subsistema Metacognitivo Reinforcement Evaluation/Reinforcement Evaluation/Reinforcement State Goal Drives Goal Goal Setting Setting Goal Action Level Level Selection Selection Reasoning Reasoning Selection Selection Learning Learning Selection Selection Input Input Selection Selection Monitoring Monitoring Buffer Buffer Output Output Selection Selection etc. etc. Parameter Parameter Setting Setting Filtering, Selection and Regulation

83 MCS: O Subsistema Metacognitivo Meta-Cognição Conhecimento do próprio processamento cognitivo Monitoramento e regulação de parâmetros dos processos cognitivos Usualmente em serviço de algum objetivo concreto Equivalente a um ACS, mas operando sobre variáveis internas Módulos Set-up de Goals, reforço, filtragem, aprendizagem e raciocínio, seleção de nível, set-up de parâmetros, monitoramento de desempenho, e outros

84 Classes Principais do Framework

85 O Framework de Software A partir do final 2011 ocorreu uma reformulação na arquitetura e atualmente encontra-se na versão (Beta) Totalmente reescrita em C# utilizando.net Framework Segundo os próprios autores: we found it much easier to build all of the new features and capabilities for version 6.1 of the CLARION Library in C#. This is owing to several language constructs in which Java is either lacking or (in our opinion) less proficient. Para o desenvolvimento em Linux, existe o projeto Mono:

86 O Framework de Software A arquitetura nada mais é que uma biblioteca (arquivo.dll) que provê um conjunto de classes e métodos para a sintetização de comportamentos cognitivos em agentes artificiais. Para a sua utilização, basta criar um típico projeto em C# (Visual Studio ou Mono) e adicionar essa biblioteca como referência ao projeto. Finalmente, basta prover à arquitetura um conjunto de entradas sensorias de modo que ao final de um ciclo de cognição, esta consiga especificar uma ação para o agente.

87 Exemplo em C# // Input Sensorial Types DimensionValuePair hi = World.NewDimensionValuePair("Salutation", "Hello"); DimensionValuePair bye = World.NewDimensionValuePair("Salutation", "Goodbye"); // Output Types ExternalActionChunk sayhi = World.NewExternalActionChunk("Hello"); ExternalActionChunk saybye = World.NewExternalActionChunk("Goodbye"); // Initialize Agent Agent John = World.NewAgent("John");

88 Exemplo em C# // Create Decision Action Net SimplifiedQBPNetwork net = AgentInitializer.InitializeImplicitDecisionNetwork(John, SimplifiedQBPNetwork.Factory); net.input.add(hi); net.input.add(bye); net.output.add(sayhi); net.output.add(saybye); // Associate net to the agent John.Commit(net);

89 Exemplo em C# // Input Sensorial Signal si.add(hi, John.Parameters.MAX_ACTIVATION); // Perceive the sensory information John.Perceive(si); // Choose an action chosen = John.GetChosenExternalAction(si); // Give positive feedback. John.ReceiveFeedback(si, 1.0);

90 Maiores Informações R. Sun, A Detailed Specification of CLARION 5.0 Technical Report (2003) Addendum 1: The enhanced description of the motivational subsystem Addendum 2: The enhanced description of similaritybased reasoning. Addendum 3: The properties of the CLARION-H implementation.

91 A Arquitetura Cognitiva LIDA Stan Franklin (Artificial Minds) CCRG: Cognitive Computing Research Group Universidade de Memphis - EUA Conscious Mattie (CMattie CM ) Baseada na Teoria de um Workspace Global de Baars IDA Intelligent Distribution Agent (2002) Suporta o modelo de consciência (framework) de Crick & Koch (2003) LIDA Learning IDA (2006) Novos modelos de aprendizagem Situação em 2012: Versão 1.2 disponível para download: Framework Java

92 A Arquitetura Cognitiva LIDA

93 LIDA Framework É uma library Java que constitui um esqueleto para o desenvolvimento de sistemas cognitivos baseado no Modelo LIDA. Para a criação de agentes com comportamentos inteligentes, é necessário a implementação de interfaces e classes específicas do framework e algumas configurações devem ser feitas através de arquivos XML. Possui uma GUI (Graphical User Interface) que permite uma visualização em tempo real do conteúdo de cada módulo, valores associados a parâmetros, tasks e valores associados a variáveis.

94 LIDA GUI