VINÍCIUS ALVES SILVA MODELAGEM E DESENVOLVIMENTO DE UM MECANISMO DE CONDICIONAMENTO PARA A ARQUITETURA ARTÍFICE

Transcrição

1 VINÍCIUS ALVES SILVA MODELAGEM E DESENVOLVIMENTO DE UM MECANISMO DE CONDICIONAMENTO PARA A ARQUITETURA ARTÍFICE Belo Horizonte MG Outubro de 2008

2 VINICIUS ALVES SILVA MODELAGEM E DESENVOLVIMENTO DE UM MECANISMO DE CONDICIONAMENTO PARA A ARQUITETURA ARTÍFICE Dissertação apresentada ao Curso de Mestrado em Modelagem Matemática e Computacional do Centro Federal de Educação Tecnológica de Minas Gerais, como requisito parcial à obtenção do título de Mestre em Modelagem Matemática e Computacional. Linha de pesquisa: Sistemas Inteligentes Orientador: Prof. Dr. Henrique Elias Borges Centro Federal de Educação Tecnológica de Minas Gerais MESTRADO EM MODELAGEM MATEMÁTICA E COMPUTACIONAL CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DE MINAS GERAIS DIRETORIA DE PESQUISA E PÓS-GRADUAÇÃO Belo Horizonte MG Outubro de 2008

3 Dedico este trabalho aos meus pais João e Maria das Graças pelo amor, motivação e apoio que sempre me deram no curso de toda a minha vida. Obrigado, sem vocês isto não seria possível.

4 Agradecimentos Ao meu orientador, Prof. Dr. Henrique Elias Borges, pelas diretrizes de pesquisa, pelo incentivo, amizade e paciência durante a realização deste trabalho. Agradeço mais ainda pelo apoio e pela confiança em mim depositada em vários momentos conturbados que passei durante essa caminhada. Serei eternamente grato. À DEUS pela saúde, força e proteção. À minha namorada Patrícia, pelo carinho, paciência e compreensão pelos momentos em que estive ausente. À minha família que sempre me incentivou e me apoiou. Aos meus amigos da minha terrinha (a pequenina Pimenta/MG) pelo apoio e momentos de descontração. À PRODEMGE - Companhia de Tecnologia da Informação do Estado de Minas Gerais pelo incentivo a mim concedido. Aos professores e colegas do Grupo de Pesquisa em Sistemas Inteligentes - GPSI, do CEFET-MG. Aos amigos da Diretoria de Pesquisa e Pós-Graduação do CEFET-MG, que sempre me apoiaram nos bons momentos em que convivemos durante parte desse meu trabalho. Ao Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG).

5 Educai as crianças e não será preciso castigar os homens. Pitágoras (582a.C - 497a.C)

6 Resumo Agentes autônomos vêm sendo freqüentemente definidos como agentes capazes de se adaptarem às mudanças que ocorrem em seu ambiente. Contudo, para exercer tal autonomia um agente artificial inspirado biologicamente deverá possuir um mecanismo que o permita aprender, em sua ontogenia e a partir de suas próprias experiências, como se comportar em cada situação. Dos processos de aprendizagem os mais basais, e que estão presentes para boa parte dos seres vivos, são aqueles envolvendo aprendizagem por associação. Essa forma de aprendizagem ocorre via processos de condicionamento clássico e operante. No primeiro, são forjadas associações entre estímulos neutros advindos do ambiente e estímulos não-condicionados, responsáveis por disparar respostas reflexas inatas, de modo que a presença do estímulo neutro antecipa o disparo da resposta reflexa. Já o condicionamento operante possibilita ao agente associar uma ação voluntária realizada à conseqüência imediata dessa ação, de modo que, em experiências futuras e sob a mesma situação, seu comportamento seja modulado pelas suas experiências passadas, após serem valoradas cognitivo-emocionalmente. Neste contexto, o presente trabalho propôs um modelo de mecanismo de condicionamento, tanto clássico como operante, para a arquitetura ARTÍFICE, concebida para a criação de linhagens de Agentes de Software Cognitivos e Situados (ASCS). Para avaliar a funcionalidade dos mecanismos de aprendizagem associativa desenvolvidos e incorporados à arquitetura Artífice, foi utilizada uma aplicação de vida artificial em 2D, na qual foram realizados alguns experimentos computacionais visando comprovar a capacidade de aprendizagem, auto-regulação e adaptação do ASCS. Nestes experimentos, um ASCS mostrou-se capaz de construir um repertório de comportamentos aprendidos no curso de sua vida por meio de processos de condicionamento clássico e operante, que o manteve vivo e adaptado ao seu ambiente. Para tanto, o ASCS manteve a regulação emocional de suas necessidades corpóreas de fome e sono, encontrando comida e comendo-a e dormindo quando tinha sono, ao mesmo tempo em que evitava interações com os objetos presentes no seu ambiente que o faziam sentir dor. PALAVRAS-CHAVE: Condicionamento Clássico, Condicionamento Operante, Aprendizagem Associativa, Agentes Autônomos, Cognição Incorporada.

7 Abstract Autonomous agents are frequently defined as entities which are capable to adapt to changes occurring in their environment. However, in order to exercise this autonomy, a biologically inspired artificial agent must embody some mechanism that allows it to learn, from its own experiences, how to behave properly in each situation. Associative learning is one of the simplest forms of learning processes, being present in most of living beings. This form of learning occurs through processes known as classical and operant conditioning. In the first case, associations are established between an unconditioned stimulus, responsible for triggering innate reflex responses, and an initially neutral stimulus, such that the presence of this neutral stimulus, under suitable conditions, is enough to elicit the reflex response. So, classical conditioning plays the role of an anticipatory mechanism for involuntary responses. On the other hand, operant conditioning refers to the process of association of a voluntary action taken with its immediate outcome. Hence, the living being can learn how to select his next action guided by his own past experiences, after they was cognitive and emotionally evaluated. Within this context, the present work proposes a model of the classic and operant conditioning mechanism and implements it in the Artífice architecture for the construction of Cognitive and Situated Software Agents (CSSA). To evaluate the mechanisms of associative learning developed, a 2D artificial life application was instantiated from the Artífice architecture, and some computational experiments has been made to show the CSSA s new capabilities of associative learning, self-regulation and adaptation. In these experiments, a CSSA was able to build a repertoire of behaviours learned in his ontogeny, through processes of classical and operant conditioning, which kept it alive and adapted to its environment. In order to do this, the CSSA kept the emotional regulation of its bodily needs of hunger and sleep, finding and eating food and getting some sleep periodically, while wandering in its environment and avoiding interactions with some objects that make it feel pain. KEYWORDS: Classical Conditioning, Operant Conditioning, Associative Learning, Autonomous Agents, Embodied Cognition.

8 Lista de Figuras 1 Abordagem cognitiva tradicional p Abordagem cognitiva contemporânea p Modelo conceitual inicial da arquitetura ARTÍFICE p ASCS em seus domínios fenomênicos p Diagrama de blocos do modelo proposto por Campos (2006) p Circularidade da relação emoção-cognição p Equipamento usado por Pavlov para captar informações fisiológicas sobre o sistema gastrointestinal p Procedimento de aquisição do condicionamento clássico p Curva Aquisição-Extinção do aprendizado p Curva Aquisição-Extinção do aprendizado em simulação e em condições reais p Procedimento de aquisição do condicionamento de ordem mais elevada p Alterações na ativação de neurônios dopaminérgicos em experimentos de condicionamento clássico p Relação da contiguidade temporal no condicionamento clássico.... p Thorndike e a lei do efeito p Repetidos pareamentos entre um determinado estado e a conseqüência recebida no mesmo permite ao organismo antecipar a conseqüência denotada quando o estado for novamente vivenciado no futuro... p O reforço das associações entre um estado, ação e conseqüência: Se uma ação é executada enquanto o organismo se encontra em um determinado estado leva a uma conseqüência prazerosa, então esse cenário é reforçado p. 48

9 17 O Modelo da Amídala p Representação temporal de um estímulo condicionado e a manutenção e uso do erro de predição p Darwin VII em seu ambiente p Esquema do sistema nervoso de Darwin VII p Procedimento de aquisição do condicionamento clássico pela Darwin VII p O mecanismo de seleção de ação baseado em comportamentos. Com base nas entradas sensoriais e nos drives, cada comportamento indica sua motivação para atuar, aquele que tiver o maior valor será selecionado e suas ações irão para os atuadores p Aprendizado associativo, dos sensores à memória associativa. Os sensores recebem os estímulos externos que são mantidos na memória de trabalho, e usados pela memória associativa para criar diferentes relações entre estímulos p Reforço e Enfraquecimento de associações. (a) Quando co-ocorrem a existência de um estímulo visual e de um estímulo auditivo nas memórias de trabalho, a associação entre eles é reforçada e então inibida contra alterações. (b) Quando estes estímulos saem da memória de trabalho, as associações da qual fazem parte na memória associativa são enfraquecidas se não estiverem inibidas p Diagrama de classes do mecanismo de condicionamento clássico... p Diagrama de blocos do mecanismo de condicionamento clássico... p Interações entre componentes da arquitetura na resposta não-elaborada. p Captação de estímulos neutros pareados com estímulos não-condicionados por componentes Reflex p Curva de aquisição do condicionamento em função do número de experiências vivenciadas. Parâmetros α = 0,5; β = 1; λ = p Curva de aquisição do condicionamento em função do número de experiências vivenciadas. Parâmetros α = 0,5; β = 0,5; λ = p. 77

10 31 Curvas de aquisição/extinção do condicionamento em função do número de experiências vivenciadas. A diferença entre os processos de aquisição e extinção no modelo de Rescorla e Wagner (1972) é controlada pelo valor da variável λ. A variável β representa o peso do estimulo não-condicionado na variação da taxa do condicionamento.. p O reforço/inibição das associações entre um estímulo, ação e conseqüência p Diagrama de classes do mecanismo de condicionamento operante.. p Probabilidade de seleção das ações para os objetos do mundo em que o ASCS esteja inserido p Ajuste das probabilidades de seleção das ações ao longo do tempo. p Circularidade da relação entre a avaliação parcial e completa no condicionamento operante p ASCS-em-seu-ambiente p Momento em que o ASCS percebe o estímulo olfativo emitido por Green Apple p Aquisição do condicionamento clássico p Deslocamento da resposta reflexa p Extinção do condicionamento clássico p Curva de condicionamento clássico em condições naturais - Maçã vermelha p Curva de condicionamento clássico em condições naturais - Maçã Verde p Curva de condicionamento clássico em condições naturais - Pedra.. p Curva de condicionamento clássico em condições naturais - Totem.. p Tempo médio para o ASCS comer maçãs para 3 níveis iniciais distintos de condicionamento operante p Intervalo de tempo médio gasto para encontrar e comer maçãs para os 3 níveis iniciais de condicionamento p. 106

11 48 Alteração das probabilidades das ações no experimento Condicionamento x seleção de ações - Condicionamento inicial baixo p Alteração das probabilidades das ações no experimento Condicionamento x seleção de ações - Condicionamento inicial médio p Alteração das probabilidades das ações no experimento Condicionamento x seleção de ações - Condicionamento inicial alto p Gráfico da função arousal p Tempo médio de sobrevivência do ASCS num ambiente aleatório para 3 níveis de condicionamento p Expectativa esperada pela interação com os componentes de software.p. 111

12 Lista de Tabelas 1 Contingências do reforçamento p Componentes reflexos p Affordances consideradas na aplicação p Nível de condicionamento operante inicial para os experimentos.... p. 104

13 Lista de Abreviaturas e Siglas ASCS Agente de Software Cognitivo e Situado CR Conditioned Response CS Conditioned Stimulus CSSA Cognitive and Situated Software Agent GPSI Grupo de Pesquisa em Sistemas Inteligentes LSI Laboratório de Sistemas Inteligentes NS Neutral Stimulus UML Unified Modeling Language UR Unconditioned Response US Unconditioned Stimulus

14 Sumário 1 Introdução p O Projeto ARTÍFICE p Relevância p Objetivos p Escopo do trabalho de pesquisa p Metodologia p Estrutura da dissertação p O papel dos condicionamentos clássico e operante na aprendizagem associativa p Condicionamento Clássico p Inspiração da Psicologia para a modelagem do mecanismo de condicionamento clássico p Condicionamento de ordem mais elevada p Inspiração da Biologia para a modelagem do mecanismo de condicionamento p Deslocamento da resposta reflexa p Contigüidade temporal para a aquisição do condicionamento p Condicionamento Operante p Inspiração da psicologia para a modelagem do mecanismo de condicionamento operante p Contingências de reforçamento p. 43

15 Modelagem e o processo de aprendizagem p Extinção p Inspiração da biologia para a modelagem do mecanismo de condicionamento operante p Considerações Finais p Alguns modelos computacionais envolvendo aprendizagem associativa p O modelo da Amígdala p Algumas considerações sobre o modelo p Modelo de diferença temporal baseado na ativacão dos neurônios popaminérgicos p Algumas considerações sobre o modelo p A arquitetura Darwin p Algumas considerações sobre o modelo p Comunicação simbólica entre criaturas p Algumas considerações sobre o modelo p Considerações Finais p Proposta de modelo conceitual para o mecanismo de condicionamento p O mecanismo de condicionamento clássico p Sobre a modelagem do mecanismo de condicionamento clássico p A dinâmica de operação do mecanismo de condicionamento clássico p O mecanismo de condicionamento operante p Sobre a modelagem do mecanismo de condicionamento operante p A dinâmica de operação do mecanismo de condicionamento operante p. 83

16 4.3 Considerações finais p Experimentos computacionais, análise e discussão dos resultados p A aplicação ALifeWorld p A aplicação ALifeWorld p Experimentos envolvendo o condicionamento clássico p Experimentos envolvendo o condicionamento operante p Experimentos envolvendo a modelagem do comportamento.. p Condicionamento x seleção de ações p Condicionamento x sobrevivência p Considerações finais p Conclusão p Principais contribuições deste trabalho p Perspectivas de trabalhos futuros p Considerações finais p. 115 Referências p. 117 Anexo A -- Diagrama de classes da arquitetura Artífice 0.9 p. 120

17 16 1 Introdução Um dos grandes desafios das ciências cognitivas é conseguir mapear os processos que permitem agentes autônomos aprender a se adaptar às mudanças que ocorrem em seu ambiente. Entretanto, para tentar explicar e modelar tais processos, vale destacar que os termos envolvidos, como aprendizado, cognição, autonomia, entre outros, não têm um significado em si, mas que os conceitos expressos por tais termos são construções históricosócio-culturais. Assim, antes de se começar a explicar e modelar como ocorre o aprendizado e como surge a autonomia de um agente, é imprescindível que se deixe claro e explícito qual é o pano de fundo sobre o qual esta temática será desenvolvida. Fundamentalmente, levando-se em consideração questões de natureza ontológica e epistemológica, as ciências cognitivas podem ser divididas, de um modo geral e amplo, em abordagens tradicionais e contemporâneas (doravante abordagens situacionistas) (SANTOS, 2003). Em relação às abordagens tradicionais, o estatuto ontológico da realidade têm como princípio básico a dicotomia entre sujeitos (epistêmicos) e objetos, em que o mundo dos objetos existe independentemente de um sujeito, conforme mostrado na Figura 1. Quanto à questão epistemológica, de vez que o sujeito epistêmico pertence a um mundo (o da mente) que é diferente do mundo real (o dos objetos), cabe ao sujeito apenas, e tão somente, representá-lo em sua mente. O aprendizado, portanto, consiste em capturar informações e propriedades intrínsecas dos objetos, construir representações delas em sua mente (i.e., criar símbolos), estabelecer associações entre estas representações e manipular simbolicamente tais representações, inclusive criando recursivamente representações de representações, para apreender o mundo real e, assim, conhecê-lo. Neste contexto, o conhecimento é algo substantivo (símbolos que representam). Já as ciências cognitivas situacionistas contestam essa separabilidade e defendem como questão ontológica que sujeitos e objetos compõem de forma inseparável um

18 1 Introdução 17 mundo único e indivisível; é o que mostra a Figura 2. Quanto à questão epistemológica, os situacionistas argumentam que, sendo o mundo indissociável, não há o que ser representado na mente dos sujeitos, portanto, sujeitos e objetos co-existem e co-evoluem, cada qual modulando e sendo modulado pelo outro, no curso de suas interações (MATURANA; VARELA, 2001). Desta maneira, o aprendizado ocorre mediante as experiências do sujeito com o resto-do-mundo, i.e., o conhecimento não é composto por um conjunto de símbolos manipuláveis, mas por um conjunto de experiências vivenciadas do sujeito-em-seu-ambiente. Neste sentido o conhecimento não é substantivo, sendo que o que se pode falar é do ato de conhecer, Figura 1: Abordagem cognitiva tradicional. Figura 2: Abordagem cognitiva contemporânea.

19 1.1 O Projeto ARTÍFICE 18 verbo, ação, ou melhor, inter-ação. Em síntese, o processo cognitivo é compreendido como uma co-evolução do sujeito e seu ambiente. Para maiores detalhes acerca das abordagens tradicionais e situacionistas das ciências cognitivas, refira-se a Santos (2003) e referências lá citadas. De acordo com a abordagem situacionista e contestando as ciências cognitivas tradicionais, que adotam uma perspectiva um tanto quanto mecanicista para um sistema tão dinâmico como a cognição, vista de um ponto biológico, o GPSI - Grupo de Pesquisa em Sistemas Inteligentes do CEFET/MG iniciou o desenvolvimento do projeto ARTÍFICE - Arquitetura Flexível para a Criação de Linhagens de Agentes de Software Cognitivos e Situados (BORGES, 2002), no contexto do qual o presente trabalho está inserido. Para uma melhor contextualização do trabalho, a próxima seção apresentará brevemente alguns conceitos do Projeto Artífice. 1.1 O Projeto ARTÍFICE O projeto ARTÍFICE foi concebido por Borges (2002) com o objetivo de ser uma arquitetura flexível para criação de Agentes de Softwares Cognitivos e Situados (doravante ASCS). Como dito, este projeto está fundamentado na perspectiva situacionista, por esse motivo o mesmo integra conceitos da cognição situada (CLANCEY, 1997) e busca principalmente na biologia e psicologia inspiração para definir o processo cognitivo de seus agentes inteligentes. Desde a criação da arquitetura, vários trabalhos foram desenvolvidos para compor sua estrutura. Dentre eles, dois são fundamentais para o entendimento e desenvolvimento do projeto proposto. O primeiro deles foi feito por Santos (2003) que tomou como inspiração o processo cognitivo dos organismos biológicos multicelulares com sistema nervoso e concebeu um modelo conceitual inicial da arquitetura (Figura 3). Em seu trabalho, Santos (2003) proporcionou um arcabouço teórico e consistente sobre as ciências cognitvas, elucidando em seguida os detalhes que a abordagem situada impõe ao desenvolvimento de sistemas inteligentes. Dentre esses detalhes, podemos destacar a modelagem da arquitetura considerando dois domínios fenomênicos (Figura 4): domínio das interações e relações e domínio da dinâmica interna (estrutural). O primeiro se refere ao agente como uma totalidade interagindo com o seu meio e o segundo ao funcionamento interno do agente, ou seja, seus componen-

20 1.1 O Projeto ARTÍFICE 19 Figura 3: Modelo conceitual inicial da arquitetura ARTÍFICE. Fonte: Santos (2003).

21 1.1 O Projeto ARTÍFICE 20 tes internos e relacionamentos entre eles. Mantendo a plausibilidade biológica, Santos (2003) representa os principais aspectos Figura 4: ASCS em seus domínios fenomênicos. Fonte: Santos (2003). da cognição humana embutindo no agente dois sub-sistemas, denominados cognitivo e não-cognitivo. Esses sub-sistemas dão ao agente a característica de agente de software cognitivo e situado, ou simplesmente, ASCS. O sistema cognitivo compõe o sistema nervoso do agente e o não-cognitivo os demais órgãos que compõem o organismo, e que não têm função cognitiva. A interação entre os componentes do agente, que agora podem ser classificados de acordo com sua função cognitiva ou não-cognitiva, ocorre através de componentes sensores e efetores pela troca de estímulos. A organização do sistema nervoso do ASCS é baseada na Teoria de Seleção de Grupos Neuronais (TNGS) de Eldeman (EDELMAN, 1987). Cada componente do sistema cognitivo possui uma estrutura física que funcionalmente está em analogia com um conjunto de grupos neuronais. Esta estrutura, uma vez acoplada com outra estrutura de outro componente produz outro tipo de estrutura que pode ser categorizado como um mapa local. Estes por sua vez poderão ser categorizados como um mapa global, composto por um conjunto de mapas locais. Ao possibilitar categorizações simples e categorizações de categorizações, pretendeu-se embutir na arquitetura ARTÍFICE a proposta de Eldeman para a organização funcional do córtex dos humanos. Para maiores detalhes sobre o modelo inicial da arquitetura, ver Santos (2003).

22 1.1 O Projeto ARTÍFICE 21 No segundo trabalho, Campos (2006) elaborou o modelo conceitual para o processo cognitivo-emocional da arquitetura, espinha-dorsal do processo de aprendizado do agente. O presente trabalho estenderá a versão da arquitetura resultante da pesquisa de Campos (2006), portanto o mesmo será explicado com mais detalhes. O modelo desenvolvido compreende a dinâmica interna entre os componentes da arquitetura, baseado nas características do aprendizado situado (MATURANA; VARELA, 2001); (SANTOS, 2003); (CLANCEY, 1997), destacando a influência das emoções neste processo. O foco principal é a dinâmica das interações externas (domínio do comportamento) e internas (domínio estrutural interno) do ASCS, que fazem surgir o aprendizado. A modelagem possui como fundamento básico a interação entre os componentes do ASCS e o não-determinismo destas interações, onde cada uma delas apenas desencadeia mudanças nos componentes envolvidos. As mudanças desencadeadas são determinadas pela estrutura interna dos componentes e não pela interação em si. As interações entre os componentes ocorrem pela troca de estímulos, que foram divididos em dois grupos: estímulos puramente internos ao ASCS e estímulos advindos do ambiente. Segundo Maturana (1997), toda ação ocorre sob uma certa emoção, ou seja, não há nada que o organismo faça sem que esse esteja imerso sobre um domínio emocional 1. Em consonância com essa definição, Campos (2006) caracterizou a interação circular entre homeostase, emoção e cognição. Essa relação pode ser observada quando se analisa uma seqüência de ações do ASCS. Na Figura 5 tem-se um diagrama em blocos do modelo desenvolvido onde é possível verificar as relações previstas entre as funções cognitivas e emocionais. Essa relação é intermediada pela memória de longo prazo e a memória de trabalho. Cabe destacar que as emoções modulam o comportamento do ASCS por meio de suas tendências para ações, considerando as possibilidades para ação em um determinado momento e em certa situação. Vale lembrar que o comportamento não será determinado exclusivamente pela emoção, pois serão consideradas as possibilidades para ação em cada momento ou situação (affordances). Para melhor esclarecer esta modulação, deve-se considerar um conjunto hipotético de emoção, situação, affordance e ação. Por exemplo, sob a emoção de fome, que tem associadas as tendências para ação: comer, vaguear e aproximar; dada a situação em que o organismo está em contato com um objeto, as possibilidades para ação (affordances) então se 1 Por emoção Maturana (1997) compreende uma pré-disposição corporal, precisa e defnida, para a realização de uma ação

23 1.1 O Projeto ARTÍFICE 22 Mundo artificial ASCS Sistema Nervoso Córtex sensório Sistema periférico Affordance Ação Função emocional Tendências para ação Córtex efetor Sistema sensóriomotor Arousal Função cognitiva Eficiência comportamental Avaliação completa Sistema auxiliar Componentes de software Avaliação reflexo/instinto Avaliação parcial Sistema valoracional Memória de trabalho Memória de longo prazo Sistema de persistência Estrutura Figura 5: Diagrama de blocos do modelo proposto por Campos (2006). Fonte: Campos (2006)

24 1.1 O Projeto ARTÍFICE 23 restringem a comer ou evitar esse objeto. De acordo com o referencial utilizado por Campos (2006), as emoções foram classificadas sob a perspectiva evolutiva, permitindo desta maneira a interação entre cognição e emoção em níveis mais básicos, presentes até mesmo em organismos pouco evoluídos. No contexto do modelo atual, as emoções mais simples referem-se à manutenção do equilíbrio homeostático do ASCS. Isto significa que cada emoção terá um nível de arousal (ativação), e a variação desses níveis afetam o comportamento do ASCS via mecanismo de adequação de sua eficiência comportamental, em prol do seu objetivo maior, neste caso, que é restaurar seu equilíbrio homeostático. Conforme pode ser visto na Figura 5, o modelo realiza uma avaliação das experiências do ASCS, tanto na função emocional, quanto na função cognitiva. Em consonância com a perspectiva situada, essa avaliação não depende somente da experiência em si, mas sim do estado interno do organismo na situação corrente. Como resultado das avaliações realizadas, o modelo contempla também três níveis de resposta (ao longo do eixo neural) para cada interação ocorrida no domínio do comportamento, sendo elas: não-elaborada, semi-elaborada e elaborada. A resposta não-elaborada ocorre a nível da medula espinhal e compreende reações de maior relevância no aspecto interno, embora existam comportamentos externos observáveis relacionados a ela, como os reflexos automáticos. Já a resposta semi-elaborada, que ocorre a nível sub-cortical, corresponde a uma resposta emocional da situação vivenciada pelo agente. A resposta elaborada, que ocorre a nível cortical, corresponde a uma resposta emocional-cognitiva voluntária. Após a resposta não-elaborada, o appraisal emocional gera uma gestalt (ainda parcial) semi-elaborada, e num segundo momento o appraisal emocional-cognitivo gera uma nova gestalt (completa) mais elaborada, pois é voluntária e envolve raciocínio e escolhas, é capaz de corrigir ou coordenar o resultado do appraisal imediatamente anterior, proporcionando uma característica importante no comportamento final: a autoregulação emocional. A interação entre o appraisal emocional (parcial) e o appraisal emocional-cognitivo (completo), além de ocorrer através da troca de estímulos, utiliza os recursos da memória de curto prazo e memória de longo prazo (IZQUIERDO, 2002). Estes dois tipos de memória estão hoje modelados de forma simplificada, mas obedecendo ao conceito principal que as distingue. Sendo assim, na memória de curto prazo será possível verificar a última ação recémexecutada pelo agente e na memória de longo prazo aquelas que foram valoradas con-

25 1.1 O Projeto ARTÍFICE 24 forme um significado emocional. Por meio da memória de curto prazo será possível ao appraisal parcial valorar a ação recém-executada. Uma vez valorada emocionalmente, esta ação torna-se uma experiência e passa a fazer parte da memória de longo prazo, esta entendida como um conjunto de experiências anteriormente valoradas. Vale ressaltar que o appraisal completo se utiliza dessas experiências anteriormente valoradas para decidir a melhor ação, dentre as possíveis, para executar naquela situação. A Figura 6 demonstra a circularidade da relação emoção-cognição presente no modelo. As setas contínuas demonstram o acesso direto às memórias e a seta pontilhada a Figura 6: Circularidade da relação emoção-cognição. Fonte: Campos (2006) interação através de estímulo entre o appraisal parcial e o appraisal completo. Em (A), a ação escolhida pelo appraisal completo é executada pelos efetores e imedia-

26 1.2 Relevância 25 tamente esta ação é registrada na memória de trabalho. O appraisal parcial já pode então valorar esta ação, segundo o estado emocional atual, identificando se a ação foi boa ou ruim, avaliando, para isto, seu estado emocional anterior e subseqüente à ação (B). Caso ocorra a valoração, uma experiência é registrada na memória de longo prazo (C), compondo mais um critério de avaliação a ser consultado pelo appraisal completo nas próximas decisões (D). O appraisal parcial envia um estímulo ao appraisal completo (E), correspondente à uma nova situação, para que o appraisal completo possa definir a nova ação a executar e o ciclo se repete. Vale destacar que o agente não é deliberativo, ou seja, as ações mencionadas correspondem a ações selecionadas e executadas, pois o agente não realiza um planejamento para o seu comportamento. 1.2 Relevância O condicionamento tem sido estudado em vários contextos e áreas. O condicionamento clássico envolve a aprendizagem em que estímulos neutros puramente sensoriais vem a despertar respostas reflexas inatas. O condicionamento operante, por sua vez, lida com a aprendizagem em que a frequência das respostas voluntárias emitidas pelo organismo mudam em função de suas consequências. Em relação à área de sistemas inteligentes, vários trabalhos utilizam os conceitos do condicionamento clássico e operante para tentar modelar e construir mecanismos de software e/ou hardware capazes de conceber e ajustar alguns padrões de comportamento em prol das suas necessidades e de acordo com as transformações ocorridas em seu ambiente (MO- RéN, 2002), (KRICHMAR; EDELMAN, 2002). Esse trabalho se torna relevante ao apresentar um referencial teórico do condicionamento de abrangência interdisciplinar, utilizando aspectos da biologia, psicologia, neurociência e utilizar os conceitos levantados para conceber novas estratégias de implementação de mecanismos artificiais, sempre buscando dar maior plausibilidade biológica ao modelo proposto. No âmbito do GPSI este trabalho se apresenta relevante pelos seguintes motivos: 1. constitui o agente de processos de aprendizagem associativa, baseados nos princípios do condicionamento clássico e operante;

27 1.3 Objetivos permite ao agente associar estímulos neutros puramente sensoriais advindos do ambiente a estímulos não-condicionados que disparam uma resposta reflexa inata. 3. permite ao agente associar a conseqüência emocional decorrente de uma ação, aumentando a freqüência futura de ações que tenham levado a conseqüências apetitivas e diminuindo a freqüência de ações que tenham levado a conseqüências aversivas; 4. permite ao agente a constituição dos construtos básicos para a formação da sua memória, associando estímulos e também conseqüências recebidas mediante suas interações com o ambiente em que vive. 1.3 Objetivos O objetivo geral deste trabalho é desenvolver um mecanismo de condicionamento, tanto clássico como operante, que possibilite o reforço/inibição das ações executadas pelo ASCS permitindo que o mesmo tenha capacidade de adaptar seu comportamento em prol de suas necessidades e frente às mudanças que ocorrem no meio em que esteja inserido. Para tanto, este trabalho se propõe aos seguintes objetivos específicos: 1. compor um referencial teórico consistente sobre o condicionamento clássico e operante e a implicância do mesmo na construção e modelagem de Agentes de Software Cognitivos e Situados; 2. modelar o Mecanismo de Condicionamento para os Agentes de Software Cognitivos e Situados com base no referencial teórico obtido, visando tanto quanto possível, uma maior plausibilidade biológica; 3. implementar o Mecanismo de Condicionamento, conforme a modelagem proposta; 4. acoplar o mecanismo à Arquitetura Artífice; 5. desenvolver uma prova de conceito, instanciando uma aplicação de vida artificial em duas dimensões com intuito de verificar os comportamentos emergentes do

28 1.4 Escopo do trabalho de pesquisa 27 ASCS, influenciados pelos processos de aprendizagem associativa associados ao agente Escopo do trabalho de pesquisa O objeto de pesquisa deste trabalho é realizar um levantamento bibliográfico sobre o condicionamento em uma perspectiva da psicologia e da biologia para fundamentar a modelagem e implementação de um mecanismo de condicionamento composto de dois subsistemas referentes aos condicionamentos clássico e operante. O mecanismo de condicionamento clássico permitirá ao agente criar um repertório básico comportamental associando estímulos neutros puramente sensoriais advindos do ambiente a estímulos não-condicionados que disparam respostas reflexas inatas, ou seja, respostas de origem filogenética. O mecanismo de condicionamento operante, por sua vez, proverá ao agente a capacidade de criar um repertório de ações mais elaborado, realizando a inibição/reforço das ações executadas mediante as conseqüências recebidas pelas suas experiências. Como prova de conceito, propõe-se acoplar o mecanismo de condicionamento na versão da arquitetura produzida com o trabalho de Campos (2006), com intuito de verificar a associação de estímulos neutros puramente sensoriais advindos do ambiente a estímulos com uma importância inata e o aumento/diminuição da freqüência das ações executadas decorrente das conseqüências recebidas pelas interações do agente com o meio em que vive. 1.5 Metodologia O desenvolvimento deste trabalho envolveu conceitos que perpassam várias áreas do conhecimento, fazendo-se necessário o levantamento bibliográfico para sua fundamentação e o estudo das tecnologias envolvidas para a modelagem e implementação do mesmo. Estas etapas são apresentadas a seguir: 1. revisar a literatura referente às ciências cognitivas, condicionamento clássico e operante sob a perspectiva da biologia e da psicologia e a utilização do condicionamento para modelagem e construção de agentes autônomos;

29 1.6 Estrutura da dissertação estudar a arquitetura ARTÍFICE, em sua versão 0.7.5, que será o ponto de partida para este trabalho; 3. abstrair processos de condicionamento de comportamento que unifique, tanto quanto possível, os pontos de vista da biologia e da psicologia; 4. modelar em software a abstração feita, levando em consideração o formato arquitetônico da Artífice versão 0.7.5; 5. implementar o mecanismo resultante da modelagem realizada e acoplá-lo à nova versão da arquitetura ARTÍFICE produzida; 6. executar experimentos computacionais com a aplicação de vida artificial em 2D produzida por Campos (2006), visando comprovar a viabilidade e o correto funcionamento da arquitetura para a criação de ASCS; 7. analisar criticamente a nova versão da arquitetura produzida Estrutura da dissertação A dissertação está organizada da seguinte forma: Capítulo 2: esse capítulo é utilizado para detalhar os conceitos de condicionamento, tanto clássico como operante, vistos sob pontos de vista da biologia e psicologia, pois o entendimento destes conceitos será relevante para a compreensão do restante do trabalho. Capítulo 3: neste capítulo serão apresentados trabalhos que utilizam o condicionamento para modelagem e construção de agentes de software e robôs. Capítulo 4: apresenta o modelo conceitual proposto para o mecanismo de condicionamento em detalhes, destacando as opções de modelagem. Capítulo 5: esse capítulo é dedicado à análise e discussão dos resultados dos experimentos computacionais realizados em uma aplicação de vida artificial em 2D.

30 1.6 Estrutura da dissertação 29 Capítulo 6: neste capitulo são apresentadas as conclusões e dadas sugestões para possíveis trabalhos a serem realizados posterior a este, também são destacadas as principais contribuições do trabalho.

31 30 2 O papel dos condicionamentos clássico e operante na aprendizagem associativa O presente trabalho almeja acoplar à arquitetura Artífice um mecanismo que permitirá ao ASCS aprender a adaptar-se às mudanças que ocorrem no ambiente em que está inserido. Conforme discutido no capítulo 1, o termo aprendizado não tem um significado em si, carregando consigo várias conotações que são empregadas nas mais diversas áreas e níveis. No âmbito do projeto Artífice (BORGES, 2002), a aprendizagem é compreendida sob um ponto de vista biológico e, mais especificamente, sob uma perspectiva etológica (MATURANA; VARELA, 2001). Para qualquer ser vivo, aprender a se comportar para se adaptar ao meio em que vive é uma característica crucial para a sua sobrevivência. Alguns comportamentos são inatos, resultantes do processo de evolução da espécie (filogenia). Embora na maioria das espécies simples (do ponto de vista filogenético) tais comportamentos sejam plenamente suficientes para assegurar a sobrevivência do organismo, no que diz respeito às espécies mais evoluídas (e.g. mamíferos), tal repertório de comportamentos é insuficiente. Por outro lado, outros comportamentos são aprendidos e forjados a partir da interação do organismo com o seu ambiente (ontogenia). Estes comportamentos são constantemente ajustados e modificados levando em consideração o estado interno do organismo e as conseqüências resultantes das suas interações com o seu ambiente, naquele instante (CATANIA, 1999). Aprendizado é, mesmo neste contexto específico, um conceito não muito facilmente definido. Ocorre quando um comportamento passa a ter uma maior probabilidade de ser selecionado, face alguma circunstância, na forma de imprinting, na adaptação de comportamento motor para as mudanças do corpo (isto incluiria mudanças no tamanho do corpo e proporções da fase de infância para adulto, bem como ferimentos ou

32 2.1 Condicionamento Clássico 31 deficiências), entre outros (CATANIA, 1999) (MORéN, 2002). Todos estes são, sem sombra de dúvida, casos de adaptação do comportamento às circunstâncias, embora nem todos os autores considerem esses processos como aprendizagem. Entre os processos de aprendizado que consideram o ato de aprender como um ajuste do comportamento às circunstancias, possivelmente o que apresenta maior coerência com o arcabouço teórico-situacionista são os condicionamentos clássico e operante. 2.1 Condicionamento Clássico O condicionamento começou a ser estudado de uma maneira sistemática no início do século XX pelo fisiologista russo Ivan Pavlov (PAVLOV, 1927), durante suas pesquisas relacionadas com o entendimento do processo da digestão, que lhe valeram o Prêmio Nobel de Pavlov realizava experimentos com cães utilizando um equipamento para observar como o corpo regula a produção de ácido gástrico e saliva, sob a apresentação de comida (Figura 7). Com os progressos da pesquisa, Pavlov registrou um fenômeno que iria conduzi-lo Figura 7: Equipamento usado por Pavlov para captar informações fisiológicas sobre o sistema gastrointestinal. Fonte: Morén (2002). a uma nova e inesperada direção. Pavlov percebeu um fenômeno e o rotulou de salivação psíquica - o cão começava a salivar antes mesmo de visualizar o alimento.

33 2.1 Condicionamento Clássico 32 Descobriu-se eventualmente que o cão reagia a um som provocado pelo equipamento utilizado na pesquisa (Figura 7), que era percebido pelo animal. Para isolar o fenômeno, ele gradualmente eliminou todos os estímulos estranhos e indesejáveis que poderiam afetar o processo, simplificando o experimento ao ponto de ser capaz de apresentar um único estímulo, ao qual o animal reagiria a ele exclusivamente. Essa correlação entre um estímulo (som) e uma resposta (salivação) foi denominada por ele de condicionamento Inspiração da Psicologia para a modelagem do mecanismo de condicionamento clássico O que Pavlov havia descoberto tornou-se a base do que é comumente conhecido hoje como Condicionamento Clássico - o processo de aprendizagem que envolve respostas reflexas, em que um estímulo neutro passa a eliciar uma resposta reflexa já existente (GLASSMAN, 2006). Os estudos originais de Pavlov tornaram-se tão conhecidos a ponto de serem objetos de piada (como o psicólogo que salivava ao ouvir o nome Pavlov ). Em síntese, ele descobriu que tocando um sino e imediatamente dando ao cão alguma comida, o sino passava a evocar a mesma resposta reflexa que a própria comida, ou seja, a salivação. Como mostraram os extensos estudos da digestão realizados por Pavlov, a salivação diante da presença de comida é uma resposta reflexa neural básica que não requer aprendizagem, isto é, são inatas. Respostas reflexas (e elas existem em todas as espécies, desde vermes até humanos) são tidas no condicionamento clássico como respostas não-condicionadas (doravante UR - do inglês, unconditioned response). Para todo reflexo, há algum estímulo que eliciará a resposta reflexa (como a comida para a salivação, a luz para a contração da pupila, etc...). Esse estímulo que elicia uma resposta não-condicionada é denominado estímulo não-condicionado (US - do inglês, unconditioned stimulus). Como o termo condicionado se refere a aprendido, o termo não-condicionado refere-se à natureza não aprendida dos reflexos. Se os reflexos são involuntários (não são aprendidos), então que tipo de aprendizagem ocorre no condicionamento clássico? Pavlov notou que a aprendizagem é baseada na criação de uma associação entre dois estímulos - no caso do cão, entre o sino e a comida. Tocar o sino inicialmente não tinha efeito sobre o reflexo de salivação, era um estímulo neutro (NS - do inglês, neutral stimulus), ou seja, um estímulo que não

34 2.1 Condicionamento Clássico 33 produz uma resposta específica além de provocar atenção, comportamento definido por alguns autores por reação do que é isto? (IZQUIERDO, 2002). Para criar ou constituir esta associação entre NS (som do sino) e US (comida), os estímulos devem ser apresentados emparelhados. Dito de outra forma, o NS deve ser apresentado e logo em seguida (dentro de uma curta janela de tempo) o US deve ser apresentado. Caso NS seja apresentado após ou muito antes (fora dos limites da janela de tempo) de US não ocorrerá a associação, significando que o condicionamento está intimamente ligado à capacidade de um estímulo atuar como um sinal de que US irá ocorrer. Depois de repetidos emparelhamentos entre a comida colocada na boca do cão e o som do sino, este passou a eliciar a salivação. Neste ponto, o som tornou-se um estímulo condicionado (CS - do inglês, conditioned stimulus) e a salivação resultante tornou-se a resposta condicionada (CR - do inglês, conditioning response), de forma que o som prediz a ocorrência de comida e antecipa a resposta reflexa, no caso a salivação, associada a ela. A aprendizagem não envolve uma nova resposta, consiste apenas em criar uma associação entre os dois estímulos (CS e US). O processo relatado anteriormente é a fase de Aquisição do aprendizado e pode ser descrito esquematicamente como apresentado na Figura 8: Como descrito anteriormente, a aquisição do aprendizado ocorrido com o condiciona- Figura 8: Procedimento de aquisição do condicionamento clássico. mento clássico pode conduzir a uma aprendizagem que é, com freqüência, altamente adaptativa. No entanto, as conexões criadas entre um estímulo não-condicionado e

35 2.1 Condicionamento Clássico 34 um estímulo condicionado não são persistentes. Caso fossem, elas poderiam transformar o organismo em um museu de antiguidades levando-o a ter um comportamento baseado em situações passadas e, consequentemente, poderia não ser mais útil ou até prejudicial ao atual momento. Por exemplo, uma pessoa que quebrou o braço pode continuar a protegê-lo (devido a dor associado a lesão original) muito depois de a cura ter sido estabelecida. Esse comportamento seria mal adaptativo, pois a resposta seria inadequada para a atual situação (CATANIA, 1999). Interessado no grau de permanência do condicionamento, Pavlov depois de condicionar um cão a salivar diante do som do sino (CS), continuou a tocar somente o sino, mas não fornecer a comida (US). Sob essas condições, a resposta condicionada foi tornando-se cada vez mais fraca, até que finalmente cessou. Ele então denominou essa cessação da resposta condicionada quando o CS é apresentado repetidamente sem estar associado a um US de extinção. Um gráfico do nível da resposta apresentada ao CS em relação ao tempo/experiências (curva Aquisição-Extinção) é demonstrado na Figura 9. Vale frisar que as curvas apresentadas na Figura 9 são apenas para fins de explica- Figura 9: Curva Aquisição-Extinção do aprendizado. Adaptado de Morén (2002). ção, ou atingidas em experimentos cuidadosamente preparados em laboratório. Em condições naturais, o organismo vivencia várias situações em que estímulos condicionados e não-condicionados são percebidos em determinadas experiências empa-

36 2.1 Condicionamento Clássico 35 relhados e em outras desemparelhados, resultando em uma constante oscilação da curva de condicionamento, como pode ser visto na Figura 10. De um modo geral, o processo de condicionamento clássico parece ser bem simples. Figura 10: Curva Aquisição-Extinção do aprendizado em simulação e em condições reais. Adaptado de Rescorla e Wagner (1972). Mas se analisarmos que esse mecanismo ainda vem sendo pesquisado e contestado mesmo depois de quase cem anos do seu descobrimento, nos leva a crer que esse simples mecanismo não é tão simples assim Condicionamento de ordem mais elevada Como visto anteriormente, os princípios do condicionamento proporcionam um mecanismo em que estímulos neutros podem vir a eliciar uma resposta reflexa (após o condicionamento), servindo como um sinal que permite a antecipação de um estímulo não-condicionado, que pode ser útil para o organismo. Porém, às vezes encontramos situações em que o estímulo condicionado parece não ter uma conexão direta com um estímulo não-condicionado. Por exemplo, uma criança apenas escuta a palavra bolo e começa a salivar. Pavlov propôs um mecanismo para essas associações e o chamou de Condiciona-

37 2.1 Condicionamento Clássico 36 mento de Ordem mais Elevada, em que um estímulo condicionado previamente estabelecido é usado como se fosse um estímulo não-condicionado para criar condicionamento a um novo estímulo (GLASSMAN, 2006). No experimento, depois de treinar o cão a salivar com o som de um sino (CS), ele introduziu um novo estímulo, um quadrado negro, que foi repetidas vezes associado ao som do sino (mas não a comida). Depois de vários emparelhamentos, o quadrado negro apresentado sozinho tendeu a eliciar a salivação (Figura 11). Pavlov denominou esse evento de Condicionamento de Segunda Ordem. Figura 11: Procedimento de aquisição do condicionamento de ordem mais elevada Inspiração da Biologia para a modelagem do mecanismo de condicionamento Ao longo da história de evolução de um determinado organismo (filogenia), uma série de padrões de respostas reflexas vão sendo fixadas para a sua espécie levando em consideração os estímulos que possuem uma relevância direta para sua melhor adaptação com o meio em que vive. Para qualquer organismo, conseguir associar as características do seu nicho a esses estímulos é crucial para a sua sobrevivência. Desempenhando essa função, o Condicionamento Clássico é considerado um mecanismo de aprendizado associativo básico e pode ser encontrado em quase todas, senão todas, as espécies. Ele desenvolve um papel importante no desenvolvimento

38 2.1 Condicionamento Clássico 37 do organismo, permitindo-o associar estímulos neutros puramente sensoriais advindos do ambiente a estímulos com uma significância biológica inata determinada pela sua estrutura interna, como por exemplo estímulos que podem machucá-lo ou fazer com que o mesmo perca ou adquira recursos que alterem o seu equilíbrio homeostático (BALKENIUS; MORéN, 1998). Duas características notáveis do Condicionamento Clássico vem sendo abordadas pela Biologia e servindo de inspiração para modelagem e construção de agentes autônomos artificiais (SCHULTZ, 1997), (KRICHMAR; EDELMAN, 2002): deslocamento da resposta reflexa provocada pelo estímulo condicionado e a contiguidade temporal para aquisição do condicionamento. Os dois assuntos serão discutidos nas seções seguintes Deslocamento da resposta reflexa O trabalho de (SCHULTZ, 1997) tem sido utilizado como inspiração para a modelagem do deslocamento da resposta reflexa provocada pelo estímulo condicionado em vários trabalhos referentes ao desenvolvimento de agentes artificiais bio-inspirados, com destaque para a arquitetura Darwin de Gerald Edelman, vencedor do prêmio Nobel de medicina em 1972 (KRICHMAR; EDELMAN, 2002). Em seu trabalho, Schultz (1997) verificou que o processo de ativação dos neurônios dopaminérgicos estão diretamente relacionados com a significância inata denotada pelos estímulos não-condicionados. Esses neurônios enviam seus axônios para as estruturas do cérebro envolvidas na motivação e atenção, como por exemplo, núcleo acumbens e córtex frontal. Vários trabalhos de pesquisa suportam a idéia de que esses neurônios constroem e distribuem informações sobre recompensa de eventos (SQUIRE; KANDEL, 2003). Schultz (1997) observou em seus experimentos como neurônios dopaminérgicos respondem com curtas fases de ativação quando macacos recebem estímulos apetitivos, como um pequeno pedaço de maçã ou uma pequena quantidade de suco de fruta na boca. Já estímulos aversivos como baforada de ar na mão ou sal na boca não causam essas mesmas ativações provisórias, significando que esse tipo de neurônio está envolvido somente com estímulos apetitivos. Na primeira fase do conhecido experimento, antes da aprendizagem, um estímulo nãocondicionado (suco de fruta) é dado ao macaco causando a ativação dos neurônios, como pode ser observado na Figura 12 - A. Na segunda fase do experimento, uma luz (NS) é apresentada ao macaco imediatamente antes do recebimento do suco de fruta (US) ser ingerido pelo animal. Nas fases iniciais do treinamento, ou seja, antes

39 2.1 Condicionamento Clássico 38 Figura 12: Alterações na ativação de neurônios dopaminérgicos em experimentos de condicionamento clássico. Adaptado de Schultz (1997).

40 2.1 Condicionamento Clássico 39 da aprendizagem, a maioria dos neurônios dopaminérgicos mostram um curto disparo de impulsos depois da entrega do CS. Surpreendentemente, após vários dias de treinamento, ocorre uma notável mudança na saída dos neurônios dopaminérgicos. A ativação neuronal provocada anteriormente pelo suco de fruta (US) é deslocada para o momento em que a luz (CS) é apresentada (Figura 12 - B). As mudanças na atividade dopaminérgica assemelham fortemente a predição de US indicada por CS. Em um terceiro cenário, CS é apresentado causando o deslocamento da ativação neuronal para imediatamente após a apresentação do mesmo, porém, US é omitido. A atividade dos neurônios dopaminérgicos é deprimida exatamente no momento em que US deveria ter ocorrido, de acordo com a predição indicada por CS. A depressão ocorre mais de 1s após o CS, revelando um erro interno de representação do tempo da predição da recompensa (Figura 12 - C) Contigüidade temporal para a aquisição do condicionamento O Condicionamento Clássico realizado entre um estímulo neutro (como um som) e a resposta reflexa de piscar de olhos talvez seja o melhor exemplo de aprendizagem associativa, automática, reflexiva e não consciente (independente de hipocampo) em vertebrados (CLARK; SQUIRE, 1998). Portanto, para que ocorra a associação entre um estímulo neutro e um estímulo não condicionado de acordo com as características citadas anteriormente, estudos revelam que tanto em condições naturais quanto em laboratório, é imprescindível que o estímulo neutro ocorra imediatamente antes da apresentação do estímulo não-condicionado (SQUIRE; KANDEL, 2003). No paradigma tradicional do condicionamento clássico, denominado por alguns autores como condicionamento clássico com retardo, um estímulo condicionado (CS), como um som, é apresentado imediatamente antes de um sopro de ar - estímulo nãocondicionado (US.) e os dois estímulos terminam exatamente juntos (Figura 13, A e B). Após repetidos emparelhamentos US-CS, a resposta condicionada (CR) é eliciada pelo CS, antes mesmo da apresentação de US. Portanto, a resposta reflexa de piscar os olhos que ocorreria somente após a apresentação do sopro de ar (US) é antecipada para imediatamente após a apresentação do som, tal que o piscar de olhos serve como um comportamento adaptativo, ou seja, uma resposta defensiva ao sopro de ar. Em uma versão experimental ligeiramente diferente do paradigma tradicional do condicionamento clássico, denominada condicionamento de traço, o CS e é apresentado

41 2.1 Condicionamento Clássico 40 e rescindido e, em seguida, um curto intervalo de tempo é imposto antes da apresentação de US. (Figura 13, C e D). O nome vem do fato de o CS tem de deixar alguns vestígios no sistema nervoso para que a associação CS-US seja estabelecida. Para verificar a influência do tempo entre a apresentação de um estímulo neutro e um estímulo não-condicionado na aquisição do condicionamento clássico, Clark e Squire (1998) realizaram um experimento submetendo pacientes amnésicos ou com deficiências no hipocampo e voluntários normais em ambos os tipos de treinamento de condicionamento. Conforme demonstrado na Figura 13 para o condicionamento com retardo, em A um Figura 13: Relação da contiguidade temporal no condicionamento clássico. Fonte: Clark e Squire (1998). CS de duração de 800 ms era apresentado 700 ms antes da apresentação de um US de 100 ms de duração. Em B, um CS de 1350 era apresentado 1250 ms antes da apresentação de US de 100 ms de duração. É importante destacar que, para os experimentos envolvendo o condicionamento por retardo, CS e US se sobrepunham e terminavam no mesmo instante (emparelhados). Para o condicionamento de traço, um intervalo de 500 ms e 1000 ms era interposto entre a apresentação de CS e US para os experimentos C e D respectivamente, ou seja, CS e US ocorriam desemparelhados. Os resultados da pesquisa mostraram que voluntários normais adquiriram o condicionamento utilizando ambos os paradigmas de treinamento do condicionamento. Já os pacientes amnésicos ou com deficiências no hipocampo, nenhum foi capaz de adquirir o condicionamento de traço, embora tenham adquirido o condicionamento com retardo a uma taxa normal. Dessa forma, os resultados confirmam a importância da contigüidade temporal na aquisição do condicionamento, sendo que, quando CS e US

42 2.2 Condicionamento Operante 41 são percebidos emparelhados pelo organismo, a associação forjada entre eles não envolve a consciência (SQUIRE; KANDEL, 2003). Já o condicionamento de traço exige o hipocampo e requer consciência do intervalo de tempo entre o CS e US. Dessa maneira, pacientes amnésicos não ou com deficiências no hipocampo não conseguem estabelecer uma associação entre CS e US nessas condições. A seção 2.1 buscou esclarecer alguns pontos importantes do condicionamento clássico que serão usados como inspiração para a modelagem do mecanismo proposto no trabalho. Para uma discussão mais aprofundada sobre o condicionamento clássico bem como para uma discussão de outros aspectos como: generalização de estímulos, recuperação espontânea da associação entre CS e US, força da resposta condicionado, bloqueio, refira-se a (GLASSMAN, 2006); (IZQUIERDO, 2002); (SQUIRE; KANDEL, 2003). 2.2 Condicionamento Operante No condicionamento clássico, o resultado da ação executada diante de uma determinada situação, seja ela de recompensa ou punição, não influencia no reforço que será atribuído ao episódio vivenciado. Tudo que ele faz é aprender a predizer quando algo está por vir e, preparar o agente para o inevitável (MORéN, 2002). Ele lida apenas com o modo como novos estímulos vêm a controlar respostas involuntárias já existentes. Embora esse aprendizado seja extremamente importante para o organismo, a maior parte do comportamento é autogerada, ou seja, comportamento voluntário gerado pelo indivíduo como uma maneira de influenciar o ambiente que o cerca. O condicionamento operante, por sua vez, é um processo em que a conseqüência da ação escolhida tem participação ativa no condicionamento. Ele lida com a maneira como as respostas voluntárias (emitidas) mudam no decorrer do tempo como função de suas conseqüências. O agente aprende a relação entre as ações realizadas em resposta a um determinado estímulo e a recompensa ou punição que essas ações trouxeram (BALKENIUS, 2000).

43 2.2 Condicionamento Operante Inspiração da psicologia para a modelagem do mecanismo de condicionamento operante Foi Thorndike quem iniciou os estudos sobre o condicionamento operante, por volta de O cenário utilizado para realizar seus experimentos era uma caixa experimental (Figura 14), um aparato semelhante a uma gaiola, em que alguma ação executada, como pressionar uma alavanca, libertaria o animal que estivesse preso dentro da caixa. Dentro dessa caixa foi preso um gato e como qualquer dono de gato pode atestar, os gatos em geral detestam o confinamento; por isso, os gatos ficavam ansiosos para fugir. Quando o gato era posto dentro da caixa, ele imediatamente começava a explorar o ambiente, sempre buscando executar alguma ação que o levaria ao seu objetivo, sair da caixa. Não surpreendentemente, o gato aprendeu a pressionar a alavanca, obtendo assim uma situação de recompensa, fugir da caixa. Duas conclusões importantes emergiram desse experimento. A primeira foi que, após Figura 14: Thorndike e a lei do efeito. colocar o gato na caixa repetidamente, Thorndike observou que o tempo necessário para que ele conseguisse abrir a caixa caia gradativamente (como pode ser visto no gráfico da Figura 14), com a ação que foi executada para abrir a caixa sempre tendo uma maior probabilidade de ser efetuada (MORéN, 2002). Essa melhora no desempenho representava uma mudança no comportamento como resultado da experiência - em outras palavras, da aprendizagem. A segunda conclusão diz respeito ao comportamento do gato e suas conseqüências. Fugir da caixa parecia desejável para o gato, o que levou Thorndike a concluir que o resultado satisfatório era o que conduzia à repetição do comportamento. Ao contrário, bater nas paredes e outros comportamentos que não conduziam à fuga declinaram. Baseado nesses resultados, Thorndike formulou o que seria o núcleo do condiciona-

44 2.2 Condicionamento Operante 43 mento operante, a lei do efeito : se uma ação foi seguida por uma experiência prazerosa, a probabilidade dela ser executada aumenta, e se, caso contrário, a ação foi seguida por experiência desprazerosa, a probabilidade dela ser executada decresce (MORéN, 2002). Nesse tipo de sistema, as respostas são voluntariamente iniciadas pelo organismo como parte do ato para lidar com o seu ambiente, e não como um reflexo desencadeado por um estímulo ambiental. A conseqüência dessa escolha, afeta a probabilidade desse comportamento vir a acontecer no futuro. Embora o trabalho de Thorndike tenha sido amplamente reconhecido e tenha estimulado várias pesquisas posteriores, não resultou em um sistema coerente comparável ao paradigma de Pavlov. Tal sistema só foi alcançado com as pesquisas de B.F. Skinner relacionadas ao comportamento aprendido e voluntário dos organismos. Desde então, o condicionamento operante tornou-se um arcabouço teórico-conceitual-experimental consistente e altamente utilizado nos dias de hoje. Em seus trabalhos, Skinner buscava tornar as observações mais científicas, assim dedicou-se à definição e criação de conceitos, métodos de observação e mensuração do comportamento. Umas das primeiras questões que Skinner tentou lidar foi a lei do efeito. Embora seja intuitivamente óbvio que uma resposta que conduz a um resultado satisfatório tende a ser repetida, Skinner estava incomodado com o sentido vago de satisfatório. Para evitar isso, ele cunhou um novo termo, reforçador - um estímulo que, quando segue uma resposta, altera a probabilidade da mesma tornar a ocorrer. Skinner distinguiu os reforçadores entre reforçador positivo - um estímulo que, quando segue uma resposta, serve para aumentar a probabilidade desta ocorrer no futuro. E o reforçador negativo - um estímulo aversivo que, quando segue uma resposta, serve para reduzir a probabilidade desta ocorrer no futuro (GLASSMAN, 2006) Contingências de reforçamento Em geral, as respostas operantes são livremente produzidas pelo indivíduo, mas a probabilidade de se produzir uma resposta é determinada por suas conseqüências em ocasiões anteriores. Por exemplo, se José ganhou um doce por ter comido todas as suas ervilhas no jantar, é provável que ele coma suas ervilhas no futuro. Assim, há uma relação entre o comportamento (a resposta de comer ervilhas) e sua conseqüên-

45 2.2 Condicionamento Operante 44 cia (o doce como reforçador positivo). Segundo Skinner, a relação entre uma resposta e um reforçador é chamado de contingência de reforçamento (Tabela 1). Um tipo de contingência é o reforçamento, processo pelo qual um reforçador au- Tabela 1: Contingências do reforçamento. Fonte: Glassman (2006). menta a probabilidade de ocorrência de uma resposta (ao se falar sobre as probabilidades, está-se implicitamente referindo-se ao quão frequentemente uma resposta ocorre - isto é, à freqüência). O reforçamento sempre resulta em um aumento na probabilidade de ocorrência de uma resposta. No exemplo anterior é fácil reconhecer que o doce é um reforçador positivo e que a probabilidade de comer ervilhas vai aumentar. Assim, quando uma resposta é imediatamente seguida por um reforçador positivo, ela se torna mais provável. Skinner denominou esse processo como reforçamento positivo, porque é o reforçamento usando um reforçador positivo. Uma segunda contingência possível é quando uma resposta é imediatamente seguida por um reforçador negativo. Por exemplo, João de 3 anos, enfia o dedo em uma tomada e toma um choque. No futuro, não é provável que João execute novamente essa ação. A esse processo, Skinner denominou de punição, em que a resposta é seguida de um reforçador negativo, que resulta em uma redução na probabilidade da resposta. O reforçamento e a punição representam as contingências mais comuns no condicionamento operante. Entretanto, os reforçadores também podem estar relacionados de outras maneiras, mais indiretas. Por exemplo, é possível produzir um aumento de um certo comportamento suprimindo ou retirando um reforçador negativo (estímulo aversivo); este processo é chamado de reforçamento negativo - um processo para aumentar a probabilidade de uma resposta que conduz imediatamente ao término ou

46 2.2 Condicionamento Operante 45 a retirada do estímulo aversivo (reforçador negativo). Cabe chamar a atenção para o fato de que, desde que há um aumento na freqüência da resposta, ela não é equivalente à punição. Por exemplo, uma adolescente é importunada pela mãe para arrumar seu quarto que está uma bagunça. Nesta situação, a reclamação é desagradável - um reforçador negativo. Quando a adolescente finalmente arruma o quarto, a mãe pára de reclamar. No exemplo que acaba de ser dado, a adolescente reage para eliminar a reclamação - ou seja, para fugir de um reforçador negativo já existente. Assim, o reforço negativo nesse caso tem duas variações, fuga e esquiva. Normalmente a aprendizagem inicial requer que se apresente o reforçador negativo até que se ocorra a resposta (isto é, a fuga). Mais tarde, o individuo antecipa a seqüência e responde antes de o reforçador negativo ser apresentado, ou seja, a esquiva (GLASSMAN, 2006). Existe ainda uma quarta possibilidade de contingência, baseada na extinção ou retirada de um reforçador positivo. Por exemplo, um adolescente chega em casa muito tarde e, como resultado disso, perde o privilégio de dirigir o carro dos pais. Como podemos imaginar, quando uma resposta conduz à extinção ou à retirada de um reforçador positivo, o comportamento torna-se menos provável. Esta contingência é denominada de omissão - processo em que uma resposta é seguida pelo término ou pela retirada de um reforçador positivo, o que resulta em uma redução na probabilidade da resposta. Vale salientar que o valor do reforçador é determinado pelo organismo, e não pelo ambiente. Imagine que lhe oferecerão um bombom se você cantar uma canção. Supondo-se que você goste de bombons, provavelmente você cantará, assim, o bombom funcionará como um reforçador positivo. Baseados em seu desempenho e entusiasmo, oferece-lhe um segundo bombom se você cantar outra canção. Você o faz, mas come o segundo bombom mais lentamente. Quando termina oferecem-lhe um terceiro, em troca de mais uma canção. Nesta altura, a opção de comer mais um bombom não é nem um pouco mais atrativa, e você se recusa a cantar. Assim, o que começou como um reforçador positivo agora se tornou um reforçador negativo. Os bombons não mudaram, mas seu valor para o organismo mudou - e esse é um ponto crucial. Devido a isso, deve-se observar como o comportamento muda para identificar a contingência envolvida. Como disse Skinner, o organismo sempre se comporta corretamente - é nosso entendimento que às vezes, está errado.

47 2.2 Condicionamento Operante Modelagem e o processo de aprendizagem A modelagem é definida como o processo de condicionamento de uma resposta desejada por meio do reforçamento por aproximações sucessivas. O processo presume que alguém (um pai, experimentador, etc...) tem em mente um objetivo comportamental e pode controlar o oferecimento de um reforçador correspondente a esse objetivo (GLASSMAN, 2006). Por exemplo, a maior parte da pesquisa behavorista envolve animais (como um rato branco) pressionando uma alavanca em uma caixa de Skinner. Embora os ratos sejam capazes de pressionar uma alavanca, essa não é uma resposta natural no mundo animal. Consequentemente, o rato deve ser modelado para adquirir a resposta. Caracteristicamente, quando se coloca um rato não treinado na caixa de Skinner, ele começa a explorar esse novo ambiente, olhando em torno e farejando tudo. Em um canto do compartimento há um distribuidor de comida que pode liberar bolinhas de ração, uma de cada vez, até o rato associar o clique do mecanismo com a chegada de uma bolinha de ração. Uma vez estabelecido esse padrão, uma bolinha de ração só é liberada quando o rato se volta na direção da alavanca (uma primeira aproximação da resposta desejada de pressionamento da barra). Depois de comer, o rato provavelmente vai voltar-se na direção da alavanca. Se ele se aproxima mais ou ergue uma pata na direção da alavanca (uma maior aproximação da resposta desejada), outra bolinha é liberada e, neste ponto, a modelagem desejada foi alcançada Extinção A modelagem usa a variabilidade inerente na resposta para produzir uma resposta desejada. Quando a resposta ocorre, ela pode ser reforçada, como visto anteriormente. Mas, o que acontece se o reforçamento for interrompido? Uma resposta intuitiva, corroborada pela pesquisa, seria que o comportamento pode continuar por um tempo curto, mas, uma vez que seja comprovado que os reforçadores não mais virão, diminuirá a probabilidade de o comportamento ocorrer. Essa queda na freqüência da resposta quando o reforçamento é interrompido é chamada extinção (GLASSMAN, 2006). Observe que no condicionamento operante, tanto a extinção quanto a punição produzem redução na resposta, entretanto elas o fazem de maneira muito diferentes: a extinção pode ser considerada um processo passivo, pois diminui o valor da resposta eliminando o reforçador apetitivo que a estimulava. A punição, por outro lado, usa um estímulo aversivo para suprimir ativamente o comportamento (indesejado).

48 2.2 Condicionamento Operante Inspiração da biologia para a modelagem do mecanismo de condicionamento operante A habilidade de orientar as ações praticadas em direção a determinados objetivos no ambiente e controlar a flexibilidade das ações na busca desses objetivos é a principal característica do comportamento adaptativo. O condicionamento operante, forma mais básica que permite tal comportamento, possibilita um organismo a aprender contingências entre suas ações e as recompensas ou punições recebidas. Consequentemente, ações que levam a recompensas serão executadas mais frequentemente no futuro, entretanto as ações que levam a punições terão uma probabilidade menor de serem executadas. É importante ressaltar que a dinâmica do comportamento não é determinada pelo ambiente, mas pelo estado atual do organismo como um todo. Num contexto situacionista o estado de um organismo é compreendido como a sua situação interna e a situação do seu ambiente em um determinado instante (MATU- RANA, 2001). Neste sentido, o estado já envolve um domínio emocional subjacente, que influencia as ações do organismo fazendo com que o seu comportamento não seja apenas definido pelo seu ambiente. Para comprovar os conceitos apresentados acima, em uma perspectiva mais biológica, uma das técnicas mais utilizadas pelos pesquisadores é danificar determinadas áreas do cérebro e submeter os animais lesionados a treinamentos operantes, para analisar a influência da parte lesionada no aprendizado. Apesar dos avanços nas pesquisas, que auxiliadas pelas imagens geradas por ressonância magnética permitem identificar os mecanismos e partes do cérebro envolvidas no condicionamento operante, cientistas ainda encontram grandes dificuldades para compreender como ocorre a cooperação entre as partes que fazem surgir o aprendizado como um todo. Várias evidências resultantes das pesquisas realizadas sobre o tema sugerem que a aprendizagem operante e o comportamento decorrente da mesma surgem via interação de dois diferentes processos cerebrais: um subsistema que aprende a predizer recompensas futuras para um determinado estado e um outro subsistema que envolve o aprendizado sobre a recompensa advinda de uma determinada ação, possibilitando o aumento/diminuição da freqüência da mesma no futuro. Esses subsistemas são respectivamente denominados na literatura1 como Sistema de expectativa e Sistema de valoração (LAHNSTEIN, 2005), (LEWIS, 2005).

49 2.2 Condicionamento Operante 48 O subsistema de expectativa possibilita ao organismo aprender sobre as predições de recompensa (expectativas) associadas a um determinado estado, utilizando uma forma baseada em controle de erro denotado pela diferença de ativação temporal dos neurônios dopaminérgicos. Conforme demonstrado na Figura 15, a conseqüência recebida é pareada com o estado atual do organismo, possibilitando o organismo resgatar a conseqüência (expectativa) quando esse estado for revivenciado no futuro e utilizá-lo para direcionar o curso de suas ações para maximizar as recompensas e minimizar as punições (DAYAN; BALLEINE, 2002), (SEYMOUR; SINGER, 2007). O subsistema de valoração usa um sinal semelhante dos neurônios dopaminérgicos Figura 15: Repetidos pareamentos entre um determinado estado e a conseqüência recebida no mesmo permite ao organismo antecipar a conseqüência denotada quando o estado for novamente vivenciado no futuro. para modificar as associações entre um estado -> ação -> conseqüência. Conforme demonstrado na Figura 16, a conseqüência recebida reforça a associação entre o estado que o organismo se encontra, a ação executada e a especifica conseqüência recebida no episódio vivenciado, de forma que as ações associadas a uma boa recompensa são escolhidas com mais freqüência futuramente (SEYMOUR; SINGER, 2007), (LEWIS, 2005). Existe uma suposta correlação entre os subsistemas apresentados anteriormente e Figura 16: O reforço das associações entre um estado, ação e conseqüência: Se uma ação é executada enquanto o organismo se encontra em um determinado estado leva a uma conseqüência prazerosa, então esse cenário é reforçado. o sinal de ativação dos neurônios dopaminérgicos que projetam-se sobre as regiões

50 2.3 Considerações Finais 49 ventral e dorsal estriada. Lesões e imagens de estudos realizados com humanos sugerem que as regiões ventral e dorsal estriada possuem funções distintas no aprendizado operante. O primeiro está implicado no papel abstraído pelo subsistema de expectativa (predições de recompensa) e o último está implicado no papel referente ao subsistema de valoração (modulação das associações estado -> ação -> conseqüência) (ODOHERTY, 2004). Odoherty (2004) submeteram participantes de sua pesquisa a várias tarefas de condicionamento operante, em que as pessoas realizavam escolhas que resultavam em recompensas, ou não. Durante os testes foram colhidos dados imagens por ressonância magnética (FRMI) para avaliar as partes do cérebro envolvidas a cada fase das tarefas, separadas em dois tipos: tarefas que envolvem as predições indicadas por um determinado estímulo, sem que seja realizada a seleção de uma ação e tarefas em que seria necessário realizar a escolha de uma ação a ser executada. Imagens revelaram que Ventral estriado corresponde ao subsistema de expectativa, mostrando que essa região do cérebro atua ativamente sobre as predições de recompensa (expectativas) associadas a um determinado estado, utilizando uma forma de erro denotado pela diferença de ativação temporal dos neurônios dopaminérgicos para atualizar sucessivas predições futuras (DELGADO; MILLER, 2005). Já o dorsal estriado corresponde ao subsistema de valoração, pois as imagens mostraram atividade neural intensa para as tarefas em que os participantes necessitavam tomar decisões. 2.3 Considerações Finais Durante todo o capítulo, o condicionamento clássico e o condicionamento operante foram apresentados como se fossem aspectos totalmente separados no comportamento. Entretanto, é notório que há inter-relações entre os dois; afinal, os organismos estão constantemente produzindo muitas respostas, tanto reflexas quanto operantes. Neste sentido, a distinção entre os dois tipos de aprendizagem é apenas uma maneira de simplificar a análise do comportamento, dividindo-o em sistemas de origem reflexa e operante. Pelo que vimos o condicionamento clássico é um processo de aprendizagem associativa envolvendo respostas reflexas inatas e involuntárias presentes na grande maioria dos seres vivos. A aprendizagem envolvida no processo consiste em criar um repertó-

51 2.3 Considerações Finais 50 rio básico de comportamentos forjando associações entre estímulos neutros advindos do ambiente e estímulos não-condicionados, responsáveis por disparar respostas reflexas fixadas ao longo da história de evolução da espécie. Essa associação ocorre em experiências bem específicas vivenciadas pelo agente, em que um NS deve ser apresentado e logo em seguida (numa curta janela de tempo - aproximadamente 1 segundo) o US deve ser apresentado, caso contrário não ocorrerá a aprendizagem, como observado nas descrições feitas por SQUIRE e KANDEL (2003). Depois de forjada a associação entre US e CS, a resposta reflexa, antes disparada automaticamente pela apresentação de US, é deslocada para exatamente após a apresentação de CS, de modo que a resposta reflexa antecipe a presença de US (SCHULTZ, 1997). Um fenômeno também muito importante para que essa associação seja altamente adaptativa é a fase de extinção. Caso o CS não mais preceda a apresentação de US, ou seja, eles sejam percebidos desemparelhados pelo organismo, a associação entre eles vai se tornando cada vez mais fraca, até que seja cessada. Isso significa que a associação entre dois estímulos forjada pelo condicionamento clássico não é persistente e que vai sendo modulada de acordo com as experiências do organismo em que CS e US são apresentados emparelhados (fase de aquisição) ou CS é apresentado desemparelhado do US (fase de extinção). Vale frisar que o nível de variação da associação entre CS e US não depende somente do número de experiências (aquisição/extinção) em que os mesmos são apresentados emparelhados, ou não, mas também pela importância biológica relacionada aos estímulos envolvidos na associação. Estímulos primitivos relacionados à sobrevivência são mais facilmente associados do que outros estímulos, ou seja, a associação entre CS e US é forjada com um número menor de experiências do que para outros tipo de estímulos não relacionados diretamente com a sobrevivência do animal. Já o condicionamento operante é um processo de aprendizagem envolvendo respostas voluntárias que possibilita ao organismo criar um repertório de comportamentos mais elaborado, associando uma ação voluntária executada à conseqüência recebida após a execução da mesma, de modo que, em experiências futuras e sob a mesma situação, seu comportamento seja modulado pelas suas experiências passadas, após serem valoradas cognitivo-emocionalmente. No âmbito da psicologia, para o condicionamento operante, o trabalho de Skinner tornou-se um arcabouço teórico-conceitual amplamente conhecido e utilizado nos estudos referentes ao comportamento voluntário. A classificação dos estímulos quanto à influência que eles exercem no comportamento e as contingências de reforçamento

52 2.3 Considerações Finais 51 (seção ) fornecem parâmetros importantes para analisar, observar e mensurar o comportamento resultante da aprendizagem do organismo. Também relacionado ao trabalho de Skinner, o processo de modelagem do comportamento permite influenciar o comportamento do organismo controlando o oferecimento de reforçadores correspondentes ao comportamento desejado. No âmbito da biologia, o condicionamento operante tem sido tratado como composto de dois diferentes processos cerebrais: um sistema de expectativas que aprende a predizer recompensas futuras para um determinado estado e um subsistema de valoração, que possibilita o aumento/diminuição da freqüência de uma determinada ação pela conseqüência recebida após a sua execução. É importante destacar que, no contexto do presente trabalho, o estado de um organismo engloba a sua situação interna e a situação do seu ambiente em um determinado instante (MATURANA, 2001). Neste sentido, o estado já envolve uma emoção subjacente, que influencia o comportamento do organismo e faz com que as suas ações não sejam definidas apenas pelo seu ambiente, mas também pela sua situação emocional no episódio vivenciado. Por exemplo, vamos supor que um organismo aprenda a empurrar um determinado obstáculo para receber comida. Se o organismo estiver com fome, a ação de empurrar o obstáculo será selecionada mais frequentemente, porém, caso o organismo esteja saciado, a ação de empurrar será executada menos frequentemente quando o organismo for exposto ao obstáculo novamente. Neste capítulo, foram então detalhados aspectos relevantes das duas perspectivas (psicologia e biologia) visando entender e modelar a aprendizagem do agente via condicionamento. Tais aspectos contribuíram para formar um arcabouço teórico-conceitual que pretende-se retratar no modelo proposto e apresentado no capítulo 4.

53 52 3 Alguns modelos computacionais envolvendo aprendizagem associativa O condicionamento tem sido amplamente utilizado nas pesquisas referentes à modelagem e construção de agentes artificiais autônomos psicobiologicamente inspirados. Embora nenhum trabalho seja relacionado à concepção de um mecanismo de condicionamento propriamente dito, pesquisadores utilizam os princípios do condicionamento sempre com o mesmo objetivo: conceber um mecanismo de aprendizagem associativa que permita o agente ampliar e ajustar o seu repertório comportamental visando a maximização de recompensas e a minimização de punições. Este capítulo tem como objetivo analisar alguns modelos computacionais de agentes de software/hardware que sejam inspirados biologicamente e utilizem o condicionamento para conceber os processos de aprendizagem desses agentes. 3.1 O modelo da Amígdala O trabalho descrito na tese de doutorado de Morén (2002) propõe um mecanismo de aprendizado baseado na teoria de Mowrer (1973), que trabalha conjuntamente com o condicionamento clássico e operante, denominada por ele Modelo dois-processos. Segundo Mowrer (1973), o aprendizado é suposto ocorrer em duas etapas. Primeiro, os estímulos percebidos pelo organismo são emocionalmente avaliados via condicionamento clássico. Na segunda etapa, o sistema faz uso da avaliação realizada e do contexto (estrutura interna e ambiente) propiciado pelo episódio experimentado para reforçar/inibir o comportamento executado. O Condicionamento Clássico é compreendido aqui como um mecanismo que atribui uma valoração emocional para cada estímulo ou combinação de estímulos percebidos

54 3.1 O modelo da Amígdala 53 pelo agente. Já o condicionamento operante é compreendido como um condicionamento secundário de uma resposta para um conjunto de estímulos específicos, em que todas as propriedades do condicionamento clássico são utilizadas no condicionamento operante. Seguindo a base arquitetural descrita anteriormente, Morén (2002) concebeu o Modelo da Amígdala, formado conceitualmente pela amídala e pelo córtex orbitofrontal (COF), que implementa a primeira etapa de aprendizado do modelo dois-processos, sendo portanto, um sistema que atribui uma valoração emocional a estímulos. De um modo geral, a função da amídala abstraída para o modelo é a de associar a significância emocional de um estímulo não-condicionado a um estímulo neutro percebido pelo agente, seguindo o princípio básico da contigüidade temporal descrito no capítulo 2 para que essa associação seja forjada, isto é, o estímulo neutro e o estímulo não-condicionado devem ser apresentados emparelhados. Como pode ser percebido, o subsistema da amígdala implementa a fase de aquisição do condicionamento clássico. Já o COF trabalha para inibir essa associação emocional indicada pela amígdala quando o estímulo condicionado é apresentado isoladamente, sem a presença do estímulo não-condicionado. Dessa forma, o subsistema COF realiza a fase de extinção do condicionamento clássico. Maiores detalhes sobre a fundamentação biológica do modelo podem ser encontrados em Morén (2002). Conforme ilustra o esquema da Figura 17, o subsistema da amídala recebe estímulos neutros percebidos através do tálamo e áreas corticais e também o sinal da valoração emocional inata dos estímulos não-condicionados. Já o COF recebe o sinal de entrada das áreas corticais, o sinal de valoração emocional produzido pela amídala para os estímulos e o sinal da valoração inata dos estímulos não-condicionados. Para o subsistema da amígdala, existe um nodo A para todo estímulo neutro S percebido pelo agente. Para cada nodo A, existe um peso de conexão V (valoração emocional do estímulo). O peso das conexões V são ajustadas proporcionalmente pela significância emocional indicada pelo estímulo não-condicionado, quando os mesmos forem apresentados emparelhados. A principal característica existente neste modelo é que o peso das conexões V não decresce. Sendo assim, se uma valoração emocional é aprendida (associada a um estímulo condicionado), ela torna-se permanente. Inibir essa valoração quando inapropriada, isto é, quando o estímulo condicionado é apresentado isoladamente (sem que o estímulo não-condicionado seja também apresentado) é tarefa do COF.

55 3.1 O modelo da Amígdala 54 Figura 17: O Modelo da Amídala. Fonte: Morén (2002).

56 3.1 O modelo da Amígdala 55 Os nodos O do subsistema COF funcionam analogamente aos nodos A da amídala, com peso da conexão W aplicados como sinal para minimizar ou inibir a valoração emocional associada ao estimulo condicionado. O resultado do modelo contemplando o sinal de valoração dos estímulos condicionados (dado pelo subsistema da amígdala) e o sinal de inibição da valoração indicada para tais estímulos (indicado pelo subsistema COF) é dado pelo nodo E, sendo que este sinal será utilizado pelo condicionamento operante para direcionar o comportamento do agente Algumas considerações sobre o modelo O trabalho de Morén (2002) acopla outros subsistemas e características, porém somente os aspectos relacionados ao condicionamento foram abordados no presente trabalho. Como limitação de seu trabalho, reconhecida pelo próprio autor, a ausência de um sistema de contexto (restante do sistema nervoso central e de um corpo), de um sistema motor que pudesse exibir a saída do modelo proposto e também um sistema de condicionamento operante que atuasse na escolha das ações executadas, fez com que o seu sistema ficasse incompleto, ou melhor dizendo, ainda por ser completado. Conforme descrito anteriormente, o conceito de condicionamento clássico abstraído pelo modelo da amígdala consiste em associar uma valoração emocional inata disparada por um estímulo não-condicionado a um estímulo neutro percebido pelo agente. Essa valoração realizada será utilizada pelo condicionamento operante para direcionar a seleção das ações a serem executadas. Como visto no capítulo 2, o conceito utilizado guarda pouca correlação com o que se denota por condicionamento clássico na psicobiologia, em que estímulos neutros, quando associados a um estímulo não-condicionado, disparam respostas reflexas inatas existentes.

57 3.2 Modelo de diferença temporal baseado na ativacão dos neurônios popaminérgicos Modelo de diferença temporal baseado na ativacão dos neurônios popaminérgicos Schultz (1997), fundamentando-se nos resultados obtidos em seus experimentos (que identificaram basicamente uma correlação entre a percepção de estímulos não - condicionados / condicionados e a ativação dos neurônios dopaminérgicos) descritos no capítulo 2 e no algoritmo TD (do inglês, Temporal Difference Algorithm) concebido por Sutton e Barto (1986), elaborou um modelo computacional que capacita o agente a aprender e manter predições de recompensa associadas a um determinado estímulo do ambiente (definido por ele de sugestão do ambiente ) e a utilizar essas predições para influenciar na escolha das ações executadas pelo agente. É imprescindível ressaltar que a concepção de recompensa adotada por Schultz (1997) em seu trabalho é a percepção de um estimulo não-condicionado. O objetivo do modelo, portanto, consiste em aprender a usar os estímulos sensoriais neutros percebidos no ambiente para predizer a ocorrência de futuras recompensas (estímulos não - condicionados) indicadas por eles. Neste modelo (apresentado na Figura 18), um estímulo condicionado é representado por um vetor X(t) = x 1 (t), x 2 (t),... que indica a predição de ocorrência do estímulo condicionado no tempo. Cada x i (t) está associado a um peso de recompensa w i, que é justamente a valoração (recompensa) de um estímulo não-condicionado quando apresentado emparelhado com o x i (t). Por exemplo, se um estímulo condicionado, como uma luz, é apresentado no instante s, então X(s+1) = 1, X2(s+2)=1 representam a ocorrência da luz nos tempos 1 e 2 ciclos no futuro, enquanto w 1 e w 2 são os respectivos pesos de recompensa associados a ele. A rede de predição ˆV para um determinado estímulo ao longo do tempo é alcançada pela expressão da Figura 18, que consiste no somatório dos pesos das recompensas associadas aos estímulos condicionados: Com base na rede de predição ˆV recuperada para um estímulo condicionado apresentado e a recompensa r(t) realmente recebida (apresentação do estimulo não - condicionado), o erro de predição δ (conhecido na literatura como TD Error - do inglês Temporal Difference Error) é calculado em VTA, componente que abstrai o conceito da área tegmental ventral (do inglês, Ventral Tegmental Area) responsável por calcular o erro (TD Error) da predição de recompensa esperada em relação à recompensa realmente recebida para o ciclo. O erro calculado é usado para melhorar as estimativas de ˆV e, consequentemente, ajudar o agente escolher ações mais apropriadas. Com

58 3.2 Modelo de diferença temporal baseado na ativacão dos neurônios popaminérgicos 57 Figura 18: Representação temporal de um estímulo condicionado e a manutenção e uso do erro de predição. Adaptado de Schultz (1997). essa realimentação, a predição esperada para um determinado estímulo condicionado converge para a recompensa realmente recebida ao longo do tempo Algumas considerações sobre o modelo O mecanismo apresentado baseou-se no sinal dos neurônios dopaminérgicos para aprender e manter predições de ocorrência de um estímulo não-condicionado (tratado como recompensas) para um determinado estímulo condicionado ao longo do tempo. O objetivo do modelo é utilizar as predições aprendidas para que o agente possa identificar a expectativa de recompensas futuras vinculadas a um determinado estímulo e utilizá-las para escolher a ação que será executada e guiar o comportamento. Uma limitação crítica do trabalho é o conceito de representação do estímulo condicionado através do tempo. De acordo com o próprio autor, não é possível identificar e demarcar o quão distante no tempo as predições relacionadas a apresentação de um estimulo condicionado podem e devem ser feitas. A concepção adotada no trabalho para o condicionamento clássico é de um sistema de expectativa e não um processo de aprendizagem associativa que envolve respostas reflexas inatas.

59 3.3 A arquitetura Darwin 58 Na nossa concepção, um sistema de expectativas influencia e faz parte de um processo que envolve respostas voluntárias escolhidas pelo agente, ou seja, fazem parte de processos de condicionamento operante, como será visto no modelo proposto no capítulo A arquitetura Darwin Um exemplo do condicionamento aplicado à robótica é a arquitetura Darwin, que vem sendo desenvolvida no Neuroscience Institute (KRICHMAR; EDELMAN, 2003). A despeito do projeto contemplar a construção de um mecanismo de aprendizado, há também uma motivação biológica. Tal mecanismo pertence há uma classe chamada brain-based-devices, em que sua operação é analisada de maneira a obter indícios da operação de um sistema nervoso real. Após quase 17 anos de pesquisa, a arquitetura encontra-se na versão XI. Entretanto, discutiremos apenas a versão VII disponibilizada em 2002, que incorporou os mecanismos de condicionamento clássico e operante à arquitetura. Darwin VII foi implementada em um robô que consiste de uma base móvel equipada com câmeras para o sistema de visão, microfones para o sistema de audição, sensores de condutividade para degustação (avaliação de um estimulo recebido) e componentes efetores para movimentar a base, a cabeça e a garra, como pode ser visto na Figura 19. O comportamento de Darwin VII é guiado por um sistema nervoso (cujo modelo foi inspirado no sistema nervoso dos vertebrados) composto por seis sistemas que fazem a simulação do cérebro artificial (conforme esquema apresentado na Figura 20): um sistema de audição (LCoch e RCoch, A1), um sistema de visão (R, VAp, IT), um sistema de degustação (T app, T ave ), um conjunto de neurônios motores capazes de disparar o comportamento, um sistema de rastreamento visual (C) e um sistema de valoração (S). O sistema nervoso completo contém neurônios, compondo aproximadamente sinapses entre as unidades neuronais. A simulação é baseada em ciclos de aproximadamente 200 milissegundos, período em que as captações sensoriais são processadas, a atividade das unidades neuronais é computada, os pesos das conexões são atualizados e, por fim, a resposta motora é gerada. Darwin VII possui um conjunto de comportamentos pré-definidos pela equipe que o

60 3.3 A arquitetura Darwin 59 Figura 19: Darwin VII em seu ambiente. Fonte: Krichmar e Edelman (2002). Figura 20: Esquema do sistema nervoso de Darwin VII. Adaptado de Krichmar e Edelman (2002).

61 3.3 A arquitetura Darwin 60 projetou: evitar obstáculo, exploração visual, aproximar, agarrar e degustar e duas classes de respostas reflexas inatas (Apetitivas e Aversivas) despertadas ao agarrar os cubos. A seleção dos comportamentos fica sob controle da simulação do sistema nervoso. O ambiente de Darwin VII (Figura 19) consiste em um área plana fechada com 6 cubos metálicos cobertos por tiras ou bolhas dispostos no ambiente. Cubos com bolhas na superfície apresentam baixa condutividade elétrica e emitem um som de 3khz e cubos com tiras na superfície apresentam alta condutividade elétrica e emitem um som de 3.9 khz. Nos experimentos de condicionamento clássico, Darwin VII é treinado para associar a valoração dos objetos (apetitivo ou aversivo) com as suas características visuais ou auditivas. Objetos com baixa condutividade são associados de maneira inata a valores aversivos, já objetos que possuem alta condutividade são associados de maneira também inata a valores apetitivos. Darwin VII, através de sua experiência, aprende a associar os estímulos visuais de bolha e som a 3 khz com a valoração aversiva e os estímulos visuais de tiras e som de 3,9 khz com valoração apetitiva. Durante os treinamentos de condicionamento (Figura 21), Darwin VII agarra os blocos e ao medir sua condutividade elétrica dispara respostas reflexas apetitivas ou aversivas, conforme o caso. Durante esse período, as unidades neuronais de degustação acionam o sistema de valoração (S) que, em seguida, atua nas unidades neuronais motoras (M app e M ave ) causando a resposta motora conforme a valoração elicitada. Depois de condicionado, o sistema de valoração e, posteriormente, as unidades neuronais motoras são imediatamente ativadas pelo sistema visual após o aparecimento de um estimulo condicionado visual ou pelo sistema auditivo, após a percepção de um estimulo condicionado sonoro. A atividade do sistema de valoração que era disparada nos treinamentos pelo estimulo não-condicionado (condutividade elétrica) passa a ser disparada pelo estímulo condicionado, bolha/tira ou som mais grave/agudo. Krichmar e Edelman (2002) destacam que esse deslocamento é análogo ao deslocamento de ativação dos neurônios dopaminérgicos de Schultz (1997). Depois de associar as características visuais com a valoração disparada pela condutividade elétrica dos blocos do ambiente, Darwin VII continuava a pegar blocos com valoração apetitiva (tiras), mas evitava blocos com valoração aversiva (bolhas). Como demonstrado anteriormente na Figura 21, estímulos visuais neutros são associados com a degustação (respostas apetitivas ou aversivas), onde a resposta condicionada é eliciada por aproximadamente 70% a 90% das vezes em que o estímulo

62 3.3 A arquitetura Darwin 61 Figura 21: Procedimento de aquisição do condicionamento clássico pela Darwin VII. condicionado é apresentado, portanto, nunca alcança a perfeição e ocasionais erros ocorrem. Em relação ao condicionamento operante, a incorporação de tal mecanismo na arquitetura permitiu o desenvolvimento de categorias de respostas voluntárias através das alterações nos pesos das conexões sinápticas da simulação do cérebro. A ativação do sistema de valoração (S) sinaliza a ocorrência de eventos sensórios que contribuem para a modulação dos pesos entre as conexões sinápticas. Por exemplo, degustar um bloco agarrado pela Darwin VII contribui para reforçar ou inibir o comportamento através da alteração dos pesos sinápticos, como conseqüência do comportamento realizado. Como já mencionado, Darwin VII possui um conjunto pré-definido de comportamentos que são selecionados pela simulação do sistema nervoso. Respostas apetitivas e aversivas são selecionadas inicialmente pela degustação, mas depois dos treinamentos de condicionamento clássico, essas respostas são disparadas pelos estímulos visuais e auditivos. Depois de condicionado, Darwin VII continua a agarrar blocos apetitivos, mas aprende a evitar blocos aversivos em até 90% dos casos. Desse modo, Darwin VII consegue desenvolver um repertório comportamental, que consiste basicamente em aumentar a probabilidade de executar as ações que o levam a uma valoração apetitiva e a diminuir a probabilidade de executar ações que o levam a con-

63 3.4 Comunicação simbólica entre criaturas 62 seqüências aversivas, levando em consideração os estímulos percebidos no ambiente Algumas considerações sobre o modelo Como descrito anteriormente, os conceitos do condicionamento clássico e operante foram utilizados para a construção da arquitetura Darwin VII. Na concepção adotada para o condicionamento clássico, as respostas reflexas são valorações (apetitivas ou aversivas) inatas disparadas pela condutividade elétrica dos objetos e a aprendizagem consiste em associar estímulos neutros advindos do ambiente (visuais e auditivos) a essas valorações, de modo que um estímulo condicionado dispare a valoração inata após a sua apresentação. Para o condicionamento operante, a concepção adotada consiste em utilizar a aprendizagem forjada mediante o condicionamento clássico, ou seja, a valoração (apetitiva ou aversiva) associada aos objetos do ambiente, para desenvolver um repertório comportamental que o leva a aproximar e interagir com objetos que disparam uma resposta reflexa inata apetitiva e a evitar objetos que disparam respostas reflexas inatas aversivas. A arquitetura apresentada não compreende uma valoração completa de um episódio vivenciado, conforme princípios básicos do condicionamento operante. A freqüência das ações executadas é ajustada conforme valoração inata reflexa, embutida na arquitetura e não por uma avaliação resultante do episódio vivenciado. A arquitetura também não visa a auto-regulação do sistema, portanto as ações estão sempre voltadas para a busca de recompensas, independente das necessidades do agente. Neste sentido, a arquitetura não envolve uma emoção subjacente, que influencia o comportamento do robô. 3.4 Comunicação simbólica entre criaturas O trabalho de Loula (2004) apresenta uma nova abordagem sobre os processos de fundamentação de representações simbólicas em que agentes/criaturas autônomas artificiais conseguem interagir e aprender a comunicar-se via aprendizagem associativa. Segundo Loula (2004), o conceito de símbolos utilizado pelo trabalho se difere do

64 3.4 Comunicação simbólica entre criaturas 63 conceito de representações intrínsecas de objetos captados pelo agente e representados em sua mente, fim atribuído pelas ciências cognitivas tradicionais. A pesquisa contempla uma rica discussão acerca dos problemas referentes à interpretação dos símbolos enfrentados pela inteligência artificial e apresenta uma proposta para uma nova conceitualização dos símbolos inspirando-se na biologia e na etologia, porém o presente trabalho destacará apenas a estratégia de aprendizagem associativa utilizada pelos agentes. Para maiores informações, refira-se a Loula (2004) e referências lá citadas. Como inspiração para a pesquisa, foi utilizado o caso etológico da comunicação dos macacos vervets. Esses animais possuem 3 tipos principais de predadores, sendo eles: terrestre (como o tigre), aéreo (Águia) e rastejante (cobras). Para fugir de seus predadores, os macacos desenvolveram fugas específicas para cada tipo de ataque. Um fato a ser ressaltado é que os macacos emitem diferentes sons para cada tipo de predador percebido no ambiente, desencadeando assim o comportamento de fuga referente ao tipo de predador indicado pelo som. De acordo com o autor, estudos mostram que essa comunicação realizada entre os macacos não é inata, mas pelo contrário, é resultante de um aprendizado associativo ontogenético. Baseado no arcabouço teórico da etologia e da teoria semiótica de Peirce, Loula (2004) construiu uma aplicação de Vida Artificial para simular a emergência de comunicação para alerta de predação entre as criaturas via aprendizagem associativa. O mundo virtual é composto de criaturas (presas e predadores) e objetos do mundo (árvores e arbustos). As presas são divididas em instrutores e aprendizes, sendo que os instrutores conseguem emitir alarmes e já conhecem quais alarmes usar para cada tipo de predador. Os predadores correspondem aos mesmos tipos identificados anteriormente para os vervets. A capacidade sensorial das presas inclui um sistema de audição e visão, já os predadores possuem somente o sistema de visão. Além de entradas sensoriais, as criaturas possuem também saídas correspondentes a ações motoras. Após cada iteração, as criaturas selecionam as ações que serão executadas, sendo elas: ajustar sensor de visão, movimentar-se, atacar, subir em árvore, esconder-se em arbusto e vocalizar alarme, sendo que as três últimas são especificas das presas, enquanto os ataques são específicos para os predadores. A seleção das ações é realizada levando em consideração três elementos: comportamentos, motivações e drives, como pode ser visto na Figura 22. O mecanismo de seleção de comportamentos se baseia na motivação que define a relevância de cada comportamento para um determinado estado. O estado que de-

65 3.4 Comunicação simbólica entre criaturas 64 Figura 22: O mecanismo de seleção de ação baseado em comportamentos. Com base nas entradas sensoriais e nos drives, cada comportamento indica sua motivação para atuar, aquele que tiver o maior valor será selecionado e suas ações irão para os atuadores. Fonte: Loula (2004). fine a motivação é influenciado pelos dados sensoriais captados pela criatura e nos drives internos (necessidades básicas), como a fome e o medo. Como pode ser visto na Figura 22, as tendências para as ações da criatura estão pré-definidas para um determinado estado da criatura. Como discutido anteriormente, os macacos aprendizes não conseguem interpretar e muito menos emitir os alarmes referentes à presença de predadores. Essa comunicação, portanto, não é uma capacidade inata da criatura, ela é aprendida ao longo da vida da criatura via aprendizado associativo. O aprendizado associativo permite aos macacos aprendizes a associar estímulos externos advindos do ambiente aos estímulos sonoros emitidos pelos macacos instrutores referentes a cada tipo de predador. Quando um instrutor emite um alarme, o aprendiz realiza um escaneamento visual em direção ao instrutor responsável pela emissão do estimulo sonoro. Caso um estímulo visual, como a imagem do predador, seja detectada, a associação entre o alarme e o estímulo visual do predador será incrementada. Os processos envolvendo os estímulos e a associação entre eles foram descritos no modelo em termos de ícones, índices e símbolos, fundamentados pela semiótica de Peirce. Os ícones estão relacionados simplesmente com o reconhecimento sensorial de um estímulo externo e pertencente ao domínio representacional primário dos estímulos captados pela criatura (RD1). Já os índices resultam da associação entre os

66 3.4 Comunicação simbólica entre criaturas 65 dois estímulos (auditivo e visual) quando eles co-ocorrem em RD1, como pode ser visto no esquema de aprendizagem associativa do modelo, apresentado na Figura 23. Caso a aprendizagem/associação atinja um nível ótimo, o estímulo condicionado Figura 23: Aprendizado associativo, dos sensores à memória associativa. Os sensores recebem os estímulos externos que são mantidos na memória de trabalho, e usados pela memória associativa para criar diferentes relações entre estímulos. Fonte: Loula (2004). torna-se um símbolo, definido no trabalho como uma regra de ação, que permite inclusive predizer o futuro. Nesse caso, quando o alarme tornar-se uma regra, esse estímulo assume uma ligação direta com o predador, fazendo com que a resposta de fuga vinculada ao predador seja imediatamente emitida. No modelo, os dados sensoriais são recebidos pelas respectivas memórias de trabalho, tidas como um repositório de estímulos sensoriais temporários. Os itens disponíveis nas memórias de trabalho são usados pela memória associativa para forjar a associação entre estímulos visuais e auditivos. Quando os estímulos são percebidos emparelhados pela criatura, a memória cria/reforça uma associação entre eles, como pode ser visto na Figura 24. As associações forjadas passam por ciclos de ajuste positivo e negativo variando em conseqüências das experiências da criatura com os estímulos, fazendo com que o estímulo visual convirja para o estímulo auditivo que ele representa, contendo assim,

67 3.4 Comunicação simbólica entre criaturas 66 Figura 24: Reforço e Enfraquecimento de associações. (a) Quando co-ocorrem a existência de um estímulo visual e de um estímulo auditivo nas memórias de trabalho, a associação entre eles é reforçada e então inibida contra alterações. (b) Quando estes estímulos saem da memória de trabalho, as associações da qual fazem parte na memória associativa são enfraquecidas se não estiverem inibidas. Fonte: Loula (2004). as relações referenciais mais apropriadas. As relações formadas na memória associativa são responsáveis por produzir um comportamento emergente na criatura fazendo com que um comportamento de fuga seja desencadeado simplesmente ao ouvir o alarme. Essas associações também influenciam os drives e consequentemente os comportamentos resultantes de uma realimentação da memória associativa. Essa realimentação ocorre quando um alarme é ouvido, e este está associado com um estímulo visual de predador. Nesse caso, a memória associativa envia um estímulo interno para alterar o drive de medo, fazendo com que o comportamento de fuga seja emitido como se o predador tivesse sido apresentado para a criatura. A associação entre os estímulos (alarme e predador) é utilizada para atualizar o drive de medo da presa, portanto, quanto maior a força da associação, maior será o medo sentido pela criatura Algumas considerações sobre o modelo Embora o trabalho de Loula (2004) não implemente processos de condicionamento de maneira explícita, ele apresenta um rico modelo de aprendizagem associativa mostrando que é possível aos agentes forjarem símbolos lingüísticos (isto é, construir conotações para símbolos) a partir da formação de um domínio consensual

68 3.5 Considerações Finais 67 de condutas (MATURANA, 2001) no seu ambiente, o que é equivalente a dizer que a linguagem, numa comunidade de agentes, não é inata, mas surge a partir da reificação dos objetos e da formação de um domínio consensual, o qual é constituído a partir de processos de aprendizagem associativa (estabelecimento de relações indiciais). 3.5 Considerações Finais Como pode ser claramente notado com os modelos apresentados nesse capítulo, pesquisadores da área da IA têm buscado se apropriar e recontextualizar uma série de concepções sobre o condicionamento clássico e operante, de modo a utilizá-los para modelagem de agentes artificiais biologicamente inspirados. Em essência, a maioria deles reconhece a importância do condicionamento como mecanismo primitivo e basal para a aprendizagem associativa. Ainda assim, embora exista referenciais teóricos coerentes para a criação de agentes artificiais que incorporem os processos de condicionamento, não nos foi possível identificar tal corpo de conhecimento de forma consolidada, pois estão dispersos na literatura de várias áreas. Como visto, a concepção adotada nos trabalhos para o condicionamento clássico despreza completamente a resposta reflexa automática e inata (como salivação, piscar de olhos) existente na grande maioria das espécies e crucial para a sobrevivência. Tanto Krichmar e Edelman (2002) quanto Morén (2002) adotam a definição de que a resposta provocada por um estímulo não-condicionado desperta apenas uma valoração emocional interna no agente. Já a concepção adotada para o condicionamento operante, no que diz respeito a freqüências das ações executadas pelo agente, Schultz (1997) utiliza as predições aprendidas para um determinado estímulo para influenciar na escolha das ações executadas. Krichmar e Edelman (2003) utilizam uma valoração inata (apetitiva ou aversiva) associada aos objetos do ambiente (via condicionamento clássico), para desenvolver um repertório comportamental que aumente a probabilidade do agente aproximar e interagir com objetos que disparam uma resposta reflexa inata apetitiva e, por outro lado, aumente a probabilidade do agente evitar objetos que disparam uma resposta reflexa inata aversiva. No entanto, na literatura referente à área de teoria da emoções e mesmo, abrindo o leque, na literatura das ciências cognitivas, há sérias restrições quanto à possibilidade de se caracterizar o fato de uma resposta ser apetitiva ou aversiva como respostas componentes de um par estímulo -resposta reflexa,

69 3.5 Considerações Finais 68 como proposto por Krichmar e Edelman (2003). De fato, não se pode confundir uma resposta não-condicionada (inata) presente no processo de condicionamento - que deve ser uma ação motora, corporal - com a valência dessa ação, que é definida com a avaliação cognitivo-emocional que a mente faz da ação reflexa recém-executada, no sentido de avaliar (appraisal) se aquela ação foi, em algum sentido, boa para o organismo (caso em que a valência será positiva, ou apetitiva) ou ruim para o organismo (caso em que a valência será negativa, ou aversiva). Em síntese,o apetitivo ou aversivo refere-se a uma avaliação de uma ação motora, e não à ação motora de fato, e para o condicionamento, o que deve ser tomado como reflexo não-condicionado deve ser uma ação motora e não uma avaliação dessa ação motora.

70 69 4 Proposta de modelo conceitual para o mecanismo de condicionamento Tomando por base o estudo sobre o condicionamento descrito no capítulo 2, e a dinâmica interna da versão da arquitetura Artífice (CAMPOS, 2006) discutida no capitulo 1, será apresentado neste capítulo o modelo proposto para o mecanismo de condicionamento. Como veremos, este modelo compreende dois subsistemas, inspirados conceitualmente no condicionamento clássico e operante, respectivamente. O foco principal do modelo foi conceber um mecanismo que permita ao agente construir um repertório básico de comportamentos visando sua melhor adaptação ao ambiente em que esteja inserido, e a auto-reajustar esse repertório frente às mudanças que porventura ocorrerem nesse ambiente. Para melhorar a legibilidade deste e dos capítulos seguintes, convencionou-se escrever os nomes de classes de software em negrito, iniciando sempre com letras maiúsculas (e.g., ClasseSoftware). Já os métodos serão sempre escritos em negrito porém iniciados com letras minúsculas, seguidos de () ao final (e.g., metododeclasse()). Os pacotes de software, quando citados, serão referenciados com seus nomes escritos em itálico (e.g., PacoteSoftware). 4.1 O mecanismo de condicionamento clássico Os aspectos discutidos no capítulo 2 abstraídos para a modelagem e desenvolvimento do mecanismo de condicionamento clássico abordam, de um modo geral, a forma com que estímulos neutros puramente sensoriais advindos do ambiente vêm a eliciar respostas reflexas pré-definidas quando da instanciação ou criação do agente. Como já relatado no capitulo 1, a dinâmica interna de interações presentes na ar-

71 4.1 O mecanismo de condicionamento clássico 70 quitetura contempla três níveis de resposta, sendo elas: não-elaborada ou automática ou reflexa, semi-elaborada ou emocional e elaborada ou cognitiva. A resposta não-elaborada contempla as ações reflexas embutidas no agente e pré-definidas por ocasião de sua construção, sendo fundamentada nos reflexos desenvolvidos durante a história de evolução dos seres vivos. Assim como na biologia, essas ações são disparadas de maneira automática por estímulos específicos advindos do ambiente (estímulos não-condicionados). Como pode ser percebido, o mecanismo de condicionamento clássico atuará justamente nesse primeiro nível de resposta da arquitetura, permitindo ao ASCS associar estímulos neutros advindos do ambiente a estímulos não-condicionados que disparam automaticamente respostas reflexas embutidas no agente. Vale destacar que o processo englobado pelo mecanismo de condicionamento clássico não envolve nenhum tipo de valoração emocional, ou seja, a conseqüência obtida posteriormente ao acionamento da resposta reflexa não é levada em consideração no processo. Muito embora, como veremos no modelo proposto para o condicionamento clássico, um dos parâmetros envolvidos é relacionado ao nível de atenção despertado por um certo estímulo. Na próxima seção será discutido o modelo conceitual proposto para o mecanismo de condicionamento clássico Sobre a modelagem do mecanismo de condicionamento clássico O modelo estático do mecanismo de condicionamento clássico proposto pode ser visualizado na Figura 25. Ele está representado por um diagrama de classes e foi desenvolvido utilizando a Linguagem Unificada de Modelagem - UML (LARMAN, 2004). O mecanismo de condicionamento (encapsulado pela classe ClassicalConditioning) ao ser incorporado à arquitetura, permitirá ao ASCS criar um repertório básico comportamental associando estímulos neutros a estímulos não-condicionados que disparam automaticamente respostas reflexas hard-wired 1. Para isso, o agente deverá possuir componentes reflexos inatos e sem nenhuma flexibilidade, que estão sempre associados a uma resposta fixa não-condicionada associada (UR - do inglês, unconditioned response), análoga ao circuito rápido de respostas corporais (CAMPOS, 2006). 1 rigidamente codificada, i.e., não passíveis de serem aprendidos na ontogenia do organismo.

72 4.1 O mecanismo de condicionamento clássico 71 Figura 25: Diagrama de classes do mecanismo de condicionamento clássico. Essa função é abstraída no modelo pela classe Reflex. Para todo componente Reflex existe um estímulo não-condicionado (US - do inglês, unconditioned stimulus) que eliciará a resposta reflexa (UR) associada a ele. É importante salientar que o par US e UR deve ser definido na construção do agente, ou seja, para cada resposta reflexa embutida no agente, deve-se definir qual estímulo não-condicionado irá dispará-la. Essa função de agrupar os UR e US é realizada no modelo pela classe US_UR_Pair. A aprendizagem provida pelo mecanismo consiste em associar os estímulos neutros (NS - do inglês, neutral stimulus; representados no modelo pela classe Stimulus) captados pelo agente durante sua exploração do ambiente aos US que, por sua vez disparam as respostas reflexas pré-definidas na classe US_UR_Pair. A cada experiência vivida pelo agente (registrada na classe Experience) em que US e NS são percebidos em conjunto (i.e., emparelhados), a associação entre eles vai sendo reforçada e ajustada em conformidade com uma expressão matemática definida na classe ConditioningIntensity. O cálculo da intensidade do condicionamento durante as experiências será explicado na seção seguinte. Observe que, após forjada a associação pelo mecanismo de condicionamento clássico, o estímulo NS que anteriormente era neutro (daí seu nome), deixa de sê-lo, passando a ser um estímulo condicionado, daí sua nova designação de CS (do inglês - conditioned stimulus).

73 4.1 O mecanismo de condicionamento clássico 72 Assim como ocorre com organismos vivos, o agente pode possuir vários componentes US_UR_Pair, podendo associar a eles diversos NS ambientais, compondo, assim, um conjunto de condicionamentos de primeiro nível que são alocados e gerenciados no modelo pela classe PrimaryLevelCCList. Como já apontado no capítulo 2, os organismos conseguem elaborar condicionamentos de ordem mais elevada, em que o estímulo neutro não é associado diretamente a um estímulo não-condicionado. No condicionamento de segunda ordem um estímulo condicionado previamente estabelecido é usado como se fosse um estímulo nãocondicionado para criar condicionamento a um novo estímulo neutro. Dessa forma, um estímulo neutro ao ser emparelhado repetidas vezes com um novo estímulo condicionado, ficará fortemente associado a ele, de forma que a apresentação do estímulo neutro (agora estímulo condicionado) eliciará a resposta reflexa da mesma forma que o estímulo não-condicionado e o estímulo condicionado do condicionamento de primeira ordem o fazem. O condicionamento de segunda ordem faz uso dos condicionamentos de primeira ordem estabelecidos disponíveis em PrimaryLevelCCList para realizar as novas associações indiretas de estímulos neutros a uma UR. A cada experiência em que um NS e um CS (pertencente a um condicionamento de primeira ordem) são percebidos emparelhados, a associação entre eles é reforçada exatamente do mesmo modo utilizado no condicionamento de primeiro nível. Assim, ao forjar a associação entre NS e CS 2 1, NS se tornará um CS de segunda ordem (CS 2 ), de modo que a apresentação de CS2 eliciará a UR associada ao condicionamento de primeira ordem. Como pode ser percebido, o mecanismo de condicionamento clássico funciona agrupando camadas de modo hierárquico, como pode ser visto na Figura 26. Na próxima seção será discutido em detalhes a dinâmica de operação do mecanismo de condicionamento clássico A dinâmica de operação do mecanismo de condicionamento clássico Como já destacado no capítulo 1 do presente trabalho, o ASCS é composto por componentes periféricos externos e internos ao agente que interagem entre si de forma não-determinística. Todas as interações entre os componentes ocorrem apenas me- 2 O prefixo em CS 1 indica que tal estímulo já passou por um condicionamento de primeira ordem.

74 4.1 O mecanismo de condicionamento clássico 73 Figura 26: Diagrama de blocos do mecanismo de condicionamento clássico. diante troca de estímulos, que foram divididos em dois grupos: estímulos puramente internos ao ASCS e estímulos advindos do ambiente. A técnica adotada para troca de estímulos entre os componentes foi a utilização de buffers compartilhados. Considerando que os estímulos foram diferenciados em interoceptivos e ambientais, foram implementados dois buffers compartilhados para troca de estímulos entre os componentes, denominados InteroceptiveStimuliPool e EnvironmentalStimuliPool. Como dito, a dinâmica de operação do mecanismo de condicionamento clássico está inserida no primeiro nível de resposta da arquitetura 3. Devido a isso, a interação entre os componentes da arquitetura para o primeiro nível de resposta será descrita a seguir e também demonstrada na Figura 27: O componente do sistema periférico PeripheralSystem capta um estímulo externo EnviromentalStimuls no ambiente. O PeripheralSystem executa sua operação interna, gerando e emitindo um estímulo interno InteroceptiveStimulus ao pool interno (InteroceptiveStimuliPool). O componente Sensor correspondente ao componente periférico que captou o 3 O diagrama completo da arquitetura pode ser visto no Anexo A: Arquitetura Artífice 0.9.

75 4.1 O mecanismo de condicionamento clássico 74 estímulo recebe o InteroceptiveStimulus e ao executar sua operação interna gera e emite um estímulo adrenérgico IntStiAdrenergic ao buffer. O IntStiAdrenergic é, então, recebido pelo componente reflexo Reflex que aciona a resposta reflexa associada a ele emitindo um IntStiSympathetic ao pool. O IntStiSympathetic é recebido pelo componente Effector correspondente ao componente Reflex que, através de sua operação, gera um IntStiSomatic para exibir o reflexo do ASCS. O IntStiSomatic é recebido por um componente pertencente ao PeripheralSystem que na sua operação interna executa a resposta reflexa. Figura 27: Interações entre componentes da arquitetura na resposta não-elaborada. Fonte: Campos (2006). Para maiores detalhes sobre a dinâmica interna entre os componentes da arquitetura, refira-se a Campos (2006). Os componentes descritos acima são generalizações modeladas na arquitetura que devem ser especializadas englobando as especificidades desejadas, como por exemplo, a especialização do componente Reflex em um componente Shock que recebe um estímulo não-condicionado que dispara uma resposta reflexa a ser implementada e definida na construção do agente. O mecanismo de condicionamento clássico atua justamente nos componentes Reflex da arquitetura, pois são esses componentes que controlam o momento em que a resposta reflexa será emitida.

76 4.1 O mecanismo de condicionamento clássico 75 Uma alteração realizada nos componentes do tipo Reflex com o trabalho atual é que os mesmos buscam no InteroceptiveStimuliPool, além de estímulos não-condicionados (abstraídos internamente por estímulos IntStiAdrenergic), estímulos neutros, puramente sensoriais, captados pelo agente via PeripheralSystem (Figura 28), como, por exemplo, sistema visual, auditivo, entre outros. O mecanismo de condicionamento clássico monitora os estímulos recebidos pelo Figura 28: Captação de estímulos neutros pareados com estímulos não-condicionados por componentes Reflex. Adaptado de: Campos (2006). componente Reflex visando criar associações entre estímulos não-condicionados e estímulos neutros captados pelo agente. Para criar ou constituir esta associação entre NS e US, um fator crucial, discutido no capítulo 2, é a contigüidade temporal. Dito de outra forma, para que ocorra o condicionamento um NS deve ser apresentado e logo em seguida (numa curta janela de tempo) o US deve ser apresentado, o que irá disparar automaticamente UR. Após repetidos emparelhamentos, NS ficará fortemente associado ao US. Essa característica foi contemplada pelo modelo. Durante a sua execução, o componente reflexo busca no InteroceptiveStimuliPool um US e também verifica a presença de estímulos neutros percebidos pelo ASCS. Caso o componente Reflex encontre, naquela varredura do pool, um US e um NS, o mecanismo de condicionamento reforça a associação entre eles acionando o método acquisition() da classe Primary- LevelCC. O método acquisition() contempla cada experiência vivenciada pelo agente

77 4.1 O mecanismo de condicionamento clássico 76 em que um estímulo neutro é percebido emparelhado com um estímulo não condicionado. O seu papel é justamente criar/aumentar o nível de associação/condicionamento entre os estímulos envolvidos acionando a classe Experience e informando a ocorrência de aquisição de condicionamento. A classe Experience, por sua vez, incrementa o número de experiências com os componentes envolvidos e aciona a classe ConditioningIntensity para aumentar a associação entre CS e US através do modelo encapsulado pela classe para ajustar a curva de condicionamento. O modelo utilizado foi o modelo de Rescorla e Wagner (1972). O cálculo é inicialmente baseado em duas variáveis: V = intensidade do acoplamento ou da associação entre um estímulo não-condicionado (US) e um estímulo condicionado (CS). V = valor de incremento de V a cada experiência ocorrida. Após uma nova experiência, o valor da associação V será o valor da antiga associação ajustado com o valor de alteração calculado: V new = V old + V (eq. 1) A fórmula apresentada por Rescorla e Wagner (1972) mostra basicamente como ocorrem as alterações da associação entre US e CS durante as experiências. O incremento V é dado por: V = αβ acq (λ acq - V), onde: (eq. 2) α: representa o nível de atenção despertado pelo estímulo, podendo variar entre 0 a 1. β: representa o peso do estímulo não-condicionado na variação da taxa do condicionamento. O seu valor pode variar de 0 a 1, influenciando diretamente na taxa de crescimento ou decaimento do nível de condicionamento. λ: representa o valor máximo da taxa de condicionamento, isto é, o valor que será atingido assintoticamente. Assim como descrito no capítulo 2, cada US_UR_Pair possui um valor para a variável β (dado pela sua importância na sobrevivência do agente), resultando em diferentes curvas de aquisição para cada par estímulo-resposta. Na Figura 29 os valores foram:

78 4.1 O mecanismo de condicionamento clássico 77 α = 0,5; β = 1; λ = 100. O eixo x representa o numero de experiências vivenciadas em que o estímulo condicionado e o estímulos não-condicionado foram apresentados emparelhados e o eixo y representa a taxa de condicionamento. Na Figura 30 os valores foram: α = 0,5; β = 0,5; λ = 100. Figura 29: Curva de aquisição do condicionamento em função do número de experiências vivenciadas. Parâmetros α = 0,5; β = 1; λ = 100. Conforme simulação realizada anteriormente, após repetidos emparelhamentos, CS Figura 30: Curva de aquisição do condicionamento em função do número de experiências vivenciadas. Parâmetros α = 0,5; β = 0,5; λ = 100. ficará fortemente associado a US. Após isso, ao receber um CS sozinho (i.e., desemparelhado do US), o mecanismo de condicionamento clássico aciona o método checkconditioning() da classe PrimaryLevelCC. A função do método é justamente

79 4.1 O mecanismo de condicionamento clássico 78 decidir se a resposta reflexa CR será disparada ou não. A decisão não é tomada levando em consideração um limiar associado à intensidade do condicionamento, como por exemplo, caso o nível de condicionamento seja superior ao limiar de 70% a UR sempre será disparada, como é feito em boa parte da literatura mais voltada para a área da engenharia. Em vez disso, a decisão é probabilística, possibilitando que a mesma seja tomada de maneiras diferentes para uma mesma configuração do modelo. Assim sendo, um número de 0 a 100 é gerado randomicamente e, caso o número gerado seja menor que a intensidade do condicionamento, checkconditioning() decidirá pelo disparo da resposta não-condicionada (CR). Dito de outra forma, caso a taxa de condicionamento para um certo estímulo condicionado seja X, então sob a presença de CS, haverá uma probabilidade de X% de a resposta reflexa ser disparada e (100 - X)% de não ser disparada. Caso checkconditioning() decida por disparar a resposta reflexa CR, o mecanismo de condicionamento faz que com o componente Reflex libere um estímulo para disparar a resposta reflexa, como se um estímulo não-condicionado tivesse sido apresentado. Vale ressaltar que a resposta reflexa, antes disparada reflexivamente pelo US definido na construção do agente, foi deslocada para exatamente após a apresentação de CS. Dessa forma, o ASCS consegue aprender que um determinado estímulo (CS) do seu ambiente antecipa a apresentação de um outro estímulo (US), sendo que este último possui uma significância inata e causa o disparo de uma resposta reflexa UR. Conforme descrito no capítulo 2, esse deslocamento da resposta reflexa é altamente adaptativo, sendo que a sua implementação no modelo foi inspirado no trabalho de Schultz (1997), em que o disparo do reflexo é indicado pela ativação dos neurônios dopaminérgicos. Tal como ocorre com organismos vivos, a associação entre CS e US forjada pelo mecanismo de condicionamento não é persistente. Como visto no capítulo 2, caso somente CS seja percebido pelo agente (na mesma varredura do buffer InteroceptiveStimuliPool) sem que US seja também apresentado, a associação entre eles vai se tornando cada vez mais fraca. Portanto, ao receber um CS, o mecanismo de condicionamento pode fazer com que o componente Reflex emita um estímulo para eliciar a resposta reflexa, porém a associação entre um CS e US sofre um decaimento (Figura 31) pelo acionamento do método extinction() da classe PrimaryLevelCC. Caso esse cenário se repita várias vezes a ligação entre CS e US acaba por ser desfeita. O método extinction() contempla cada experiência vivenciada pelo agente em que um estímulo condicionado é percebido pelo agente de modo isolado, sem que o estímulo

80 4.1 O mecanismo de condicionamento clássico 79 não-condicionado seja apresentado. O seu papel é justamente diminuir o nível de associação/condicionamento entre os estímulos envolvidos acionando a classe Experience e informando a ocorrência de extinção da curva de condicionamento. A classe Experience, por sua vez, incrementa o número de experiências com os componentes envolvidos e aciona a classe ConditioningIntensity para diminuir a associação entre CS e US através do modelo de Rescorla e Wagner (1972) utilizado na aquisição. A diferença entre os processos de aquisição e extinção é controlada pelo valor da variável λ (eq. 3). De vez que a taxa de condicionamento tende a aproximar do valor dessa variável a cada experiência vivenciada pelo agente, caso o valor de λ seja 0, ocorrerá um decréscimo ( V) na intensidade do condicionamento para cada iteração, conforme apresentado na eq. 3. V = αβ ext (λ ext - V), onde: (eq. 3) βext: representa o peso do estímulo não-condicionado na variação da taxa do condicionamento. O seu valor pode variar de 0 a 1, influenciando diretamente na taxa de decaimento do nível de condicionamento. λext: representa o valor mínimo da taxa de condicionamento, isto é, o valor que será atingido assintoticamente. Figura 31: Curvas de aquisição/extinção do condicionamento em função do número de experiências vivenciadas. A diferença entre os processos de aquisição e extinção no modelo de Rescorla e Wagner (1972) é controlada pelo valor da variável λ. A variável β representa o peso do estimulo não-condicionado na variação da taxa do condicionamento.

81 4.2 O mecanismo de condicionamento operante O mecanismo de condicionamento operante Enquanto o mecanismo de condicionamento clássico trata de ações involuntárias (inatas), o mecanismo de condicionamento operante irá tratar com as ações voluntárias. Tal mecanismo permite ao agente forjar padrões de comportamento decorrentes das conseqüências advindas da execução de suas ações no ambiente, aumentando a ocorrência futura de ações que tenham levado a conseqüências apetitivas e diminuindo a ocorrência de ações que tenham levado a conseqüências aversivas. O processo encapsulado pelo mecanismo também gera os episódios vivenciados pelo agente, constituídos pelo estímulo desencadeante, a ação executada no episódio e a conseqüência do episódio, que será atribuída pelo Sistema de Valoração da arquitetura. Portanto, o processo estabelece a associação de um estímulo do ambiente, a ação voluntária executada e a referência específica de qual foi a conseqüência recebida. O processo se inicia quando o agente recebe via seus componentes sensores, estímulos desencadeantes emitidos pelos objetos existentes em seu mundo. Para cada ação a ser selecionada, o agente recorre aos episódios vivenciados e consequentemente valorados para verificar qual é a expectativa esperada pela interação com o objeto do mundo emissor do estímulo captado pelo agente. Após a execução da ação, o Sistema de Valoração compara a recompensa esperada com a recompensa realmente recebida e realiza um ajuste caso a recompensa esperada tenha sido melhor ou pior que a recompensa recebida. Nesse processo ocorre uma avaliação completa da situação. A conseqüência é que define a associação (reforça/inibe) entre o par estímulo - ação e também reforça a ação e uma conseqüência específica, como pode ser observado na Figura 32. Na próxima seção será discutido o modelo conceitual proposto para o mecanismo de Figura 32: O reforço/inibição das associações entre um estímulo, ação e conseqüência. condicionamento operante, enquanto que seu funcionamento será discutido na seção

82 4.2 O mecanismo de condicionamento operante Sobre a modelagem do mecanismo de condicionamento operante O modelo estático proposto do mecanismo de condicionamento operante representado por um diagrama de classes utilizando a Linguagem Unificada de Modelagem - UML (LARMAN, 2004) pode ser visualizado na Figura 33. Como dito, o mecanismo de condicionamento operante permitirá ao ASCS aprender Figura 33: Diagrama de classes do mecanismo de condicionamento operante. a criar padrões comportamentais alterando a freqüência das suas ações voluntárias. Para permitir tal aprendizado, o mecanismo atua em dois níveis de resposta da arquitetura: semi-elaborada e elaborada, modeladas nas classes PartialAppraisal e Full- Appraisal, respectivamente. Como definido no capitulo 1, a resposta semi-elaborada é responsável por gerar uma gestalt (parcial) num primeiro momento, ainda que semielaborada, e num segundo momento a resposta elaborada gera uma nova gestalt (completa), que seleciona a ação que será executada pelo agente. O ASCS possui um conjunto de ações pré-definidas quando de sua construção, que constitui a capacidade motora do agente. Para cada objeto do mundo identificado pelo agente, existe um conjunto de ações - cada qual com a sua probabilidade de ser selecionada (encapsuladas no modelo pela

83 4.2 O mecanismo de condicionamento operante 82 classe ActionProbability) - que podem ser selecionadas pelo mesmo (levando em consideração a sua capacidade motora). A seleção da ação é baseada nas suas experiências com o objeto (ExperienceBasedSelection), como pode ser visto na Figura 34. Ao receber via componentes sensores os estímulos emitidos pelos objetos do mundo Figura 34: Probabilidade de seleção das ações para os objetos do mundo em que o ASCS esteja inserido. em que esteja situado, o PartialAppraisal, responsável pela resposta semi-elaborada da arquitetura, elege (seleciona) a emoção a ser atendida naquele momento e associa cada estímulo à expectativa de regulação emocional que o agente receberá caso venha a interagir com o objeto que emitiu aquele estímulo. A avaliação semi-elaborada realizada pelo PartiallAppraisal é recebida pelo FullAppraisal, que realiza uma avaliação mais completa da situação e seleciona primeiramente o objeto a ser levado em consideração no episódio e posteriormente a ação a ser executada. O aspecto importante a ressaltar é que a ação que será executada é selecionada, dentre as ações possíveis, tomando-se por base os padrões de comportamento que emergem com o mecanismo de condicionamento operante. A ação é então executada e colocada em WorkingMemory para que o componente Valuation possa valorar esta ação recém-executada levando em consideração o estado do agente antes e após a execução da ação. Inicialmente (i.e., antes de qualquer condicionamento), antes de interagir com um objeto do mundo, a probabilidade de seleção de uma ação é a mesma para todas as

84 4.2 O mecanismo de condicionamento operante 83 ações. À medida que o agente for interagindo com o mundo em que esteja inserido, a freqüência das ações vão sendo alteradas pelo componente OperantConditionig com base na conseqüência das interações do agente com as coisas do mundo indicada pelo componente Valuation. Dessa forma, o comportamento do agente vai sendo modulado pelas conseqüências de suas próprias ações. Essas interações do agente com o seu ambiente formam os construtos básicos (abstraídos na classe Experience) para a formação da sua memória de longo prazo (abstraídas na classe LongTermMemory). Esta memória é entendida como o conjunto de experiências vivenciadas pelo agente e emocionalmente valoradas. A memória do agente (juntamente com seus processos de formação, evocação, esquecimento, etc...) foi modelada de modo simplista, pois não faz parte do escopo do presente trabalho. 4 Na próxima seção será explicado com detalhes o funcionamento do mecanismo de condicionamento operante e sua influência na arquitetura A dinâmica de operação do mecanismo de condicionamento operante A dinâmica de operação do mecanismo de condicionamento operante engloba todos os processos envolvidos nos episódios emocionais vivenciados pelo ASCS. Esses episódios formarão a memória de longo prazo do agente, que será composta não por representações do ambiente, mas por episódios vivenciados e emocionalmente valorados mediante interações do agente com o seu ambiente. Um episódio emocional inicia-se quando o ASCS recebe um ou mais estímulos do ambiente através de seus componentes sensores. Os estímulos percebidos são recebidos pelo PartialAppraisal, que em sua operação verifica qual das emoções está mais desregulada no momento - levando em consideração o nível de arousal das emoções (como descrito no capítulo 1) - e a elege para ser atendida no corrente episódio emocional. O PartialAppraisal, além de eleger a emoção a ser atendida, recupera a expectativa de regulação emocional esperada para o objeto do mundo emissor de cada estímulo em LongTermMemory, associando assim, a valoração emocional recebida pela interação com o objeto levando em consideração as experiências passadas com o mesmo. O PartialAppraisal envia para o FullAppraisal a emoção eleita para ser atendida no episódio e os estímulos juntamente com a expectativa esperada para a interação com 4 A modelagem de um sistema completo de memória mais em conformidade com os recentes avanços da neurociência e integrado ao presente trabalho vem sendo desenvolvido por Mapa (2007)

85 4.2 O mecanismo de condicionamento operante 84 os objetos que emitiram os estímulos a serem atendidos no episódio. O FullAppraisal recebe a emoção e os estímulos a serem atendidos. Em um primeiro momento da execução, o FullAppraisal elege, dentre os estímulos recebidos, o que possui uma melhor expectativa para regular a emoção eleita para o episódio. Após selecionado o estímulo desencadeante mais adequado, o FullAppraisal aciona o mecanismo de condicionamento operante (OperantConditioning) para selecionar a ação que será executada no episódio em andamento, com base na emoção e estímulo a serem atendidos. A escolha da ação a ser executada é realizada probabilisticamente, com as ações que resultaram em recompensas para o objeto em questão tendo uma probabilidade maior de serem escolhidas frente às ações que resultaram em punições para o agente. Para cada objeto do ambiente com o qual o ASCS interagiu (ProbabilityBased Experience) existe uma coleção de ações (conforme sua capacidade motora) passíveis de serem executadas (ActionProbability) e cada ação possui uma probabilidade de ser executada para um determinado objeto, probabilidade esta resultante das conseqüências recebidas pelas interações com esse objeto. Caso o objeto captado pelos componentes sensores do ASCS seja um objeto desconhecido, a probabilidade de executar uma das possíveis ações será a mesma para todas. Para eleger a ação a ser executada, é realizado um sorteio levando em consideração as probabilidades das ações envolvidas (Affordances). A ação sorteada é então executada pelos componentes efetores do agente. A ação escolhida é registrada na memória de trabalho. Caso haja interação com o objeto emissor do estímulo desencadeante, o HomeostaticRegulation recebe os estímulos simpáticos/parassimpáticos e desempenha a sua função, que é basicamente a de variar o arousal das emoções (CAMPOS, 2006) conforme estímulos recebidos, enviando em seguida um IntStiValuation (contendo informações das emoções variadas com a interação com o objeto) para o InteroceptiveStimuliPool. O componente Valuation recebe o IntStiValuation e valora o episódio vivenciado, com base no estado do agente antes, e posterior à ação executada. É importante destacar que a valoração realizada pelo componente Valuation leva em consideração o arousal da emoção para realizar a valoração, e não o estímulo recebido pelo agente. Assim, como destacado no capítulo 2, a valoração do episódio é determinada pelo agente, e não pelo estímulo recebido do ambiente. Portanto, caso o agente interaja com um determinado objeto do ambiente que auxilie na regulação de uma

86 4.2 O mecanismo de condicionamento operante 85 emoção, porém a mesma já esteja regulada, o componente Valuation irá valorar o episódio como desprazeroso. Um bom exemplo é a emoção de fome. Supondo que o agente interaja consecutivamente com objetos do seu ambiente que regulem o nível de arousal dessa emoção até ficar completamente saciado (nível de arousal igual a zero), cada interação do agente com tais objetos será considerado um episódio desprazeroso. O Valuation compara a expectativa esperada para o objeto escolhido e a valoração realmente recebida após a execução da ação e atualiza a diferença na memória de longo prazo. Após valorar o episódio vivenciado pelo agente, o componente Valuation aciona o mecanismo de condicionamento operante para alterar a probabilidade das ações passíveis de serem executadas para o objeto com base na conseqüência da interação com o objeto em questão. A atualização é realizada pelo método adjustprobability() da classe OperantConditioning. Primeiramente, a probabilidade da ação executada é atualizada conforme valoração recebida pelo componente Valuation. Caso a valoração dada seja positiva (experiência apetitiva) para a ação executada, a probabilidade da ação aumenta, crescendo assim a chance da ação ser selecionada para o objeto do ambiente percebido pelo agente. Caso contrário (experiência aversiva), a probabilidade vinculada à ação diminui, fazendo com que a mesma tenha uma probabilidade menor de ser selecionada futuramente. Após atualizar a probabilidade da ação executada, método atualiza a probabilidade das ações que não foram selecionadas para serem executadas naquela ocasião, conforme apresentado na Figura 35. Em A, antes de interagir com um dado objeto do mundo, a probabilidade de seleção de uma certa ação é a mesma para todas elas. À medida que o agente for interagindo com o mundo em que esteja inserido, a freqüência das ações vão sendo ajustadas pelo componente. Como pode ser observado em B, C e D, a Ação 4 foi selecionada repetidas vezes recebendo logo em seguida uma conseqüência prazerosa, implicando uma maior probabilidade dela ser selecionada novamente. Entretanto, e a despeito de ser menos provável, em E a Ação 2 foi selecionada (e seu resultado foi apetitivo), implicando num aumento da probabilidade de seleção da Ação 2 e diminuição das demais. O esquema da Figura 35 ilustra vários aspectos: 1. Uma das ações é sempre selecionada; o somatório das probabilidades é sempre

87 4.2 O mecanismo de condicionamento operante 86 Figura 35: Ajuste das probabilidades de seleção das ações ao longo do tempo. 100%. 2. Nem sempre a ação mais provável será selecionada, confira e compare D e E; 3. Inicialmente, antes do condicionamento entrar em ação, todas as ações são igualmente prováveis, indicação que no início o comportamento do agente poderá ser um tanto esquizofrênico mas que após um certo número de episódios emocionais vivenciados ele tende a seguir um certo padrão de comportamento que o leva à regulação emocional. A Figura 36 tenta resumir a dinâmica envolvida no condicionamento operante modelado para a arquitetura. (A) O Agente recebe um ou mais estímulos (A) do seu ambiente através de seus componentes sensores que os transduzem para estímulos internos (A ). Os estímulos internos são recebidos pelo PartialAppraisal, que elege a emoção mais desregulada a ser atendida no episódio vivenciado. A emoção mais desregulada é a que apresenta o mais alto nível de arousal. (B) O PartialAppraisal busca na Memória de Longo Prazo a expectativa de regulação da emoção eleita para cada um dos estímulos percebidos pelo agente. (C) O PartialAppraisal envia para o FullAppraisal a emoção selecionada e os estímulos percebidos, juntamente com a expectativa esperada para interação com cada

88 4.2 O mecanismo de condicionamento operante 87 Figura 36: Circularidade da relação entre a avaliação parcial e completa no condicionamento operante. Fonte: Campos (2006).

89 4.3 Considerações finais 88 um dos objetos que emitiram os estímulos percebidos pelo ASCS. (D) O FullAppraisal recebe a emoção e seleciona o estímulo a ser atendido (aquele que apresenta uma maior expectativa de regulação da emoção selecionada) e, com base nas probabilidades da coleção de ações referentes ao estímulo selecionado, realiza um sorteio e seleciona a ação para ser executada pelos componentes efetores do agente. A ação escolhida é registrada na memória de trabalho. (E) Caso haja interação com o objeto emissor do estímulo, o HomeostaticRegulation recebe os estímulos simpáticos/parassimpáticos e ajusta o arousal das emoções, enviando em seguida um IntStiValuation para o pool interno. (F) O Valuation valora o episódio vivenciado, comparando o estado do agente antes e depois da ação executada, e ajusta, com base nesta valoração, a probabilidade das ações envolvidas no episódio. Também nesse ponto, o componente Valuation compara a expectativa esperada pela interação com o objeto atendido e a valoração realmente recebida após a execução da ação, e atualiza a diferença na Memória de Longo Prazo. 4.3 Considerações finais Neste capítulo o foco foi mostrar como foram modelados e incorporados os condicionamentos clássico e operante na arquitetura Artífice. A abstração realizada para o condicionamento clássico pelo modelo consiste em criar um repertório básico de comportamentos em que estímulos neutros vêm a eliciar respostas reflexas embutidas no agente. A abstração realizada para o condicionamento operante no modelo consiste em criar padrões de comportamento alterando a freqüência das ações no ambiente com base nas conseqüências obtidas durante as experiências do agente no ambiente. O presente trabalho tomou como ponto de partida a versão da arquitetura Artífice (CAMPOS, 2006), brevemente discutida no capítulo 1. Em seu trabalho, Campos (2006) propôs um modelo para a dinâmica de todas as interações dos componentes do ASCS, distribuídos em três níveis de resposta. A adição do mecanismo de condicionamento trouxe modificações nos três níveis de resposta da arquitetura, incorporando os conceitos abstraídos do condicionamento clássico e operante e resultando, dessa forma, na versão 0.9 da arquitetura. O primeiro nível de resposta foi modificado (em relação ao trabalho de Campos (2006))

90 4.3 Considerações finais 89 incorporando o mecanismo de condicionamento clássico. A versão previa apenas a resposta reflexa emitida por um estímulo específico. Como descrito anteriormente, o mecanismo de condicionamento clássico permitirá ao ASCS elaborar um repertório básico comportamental, associando estímulos do ambiente a estímulos nãocondicionados, característica presente na grande maioria dos seres vivos, que são a inspiração principal na construção da arquitetura. O modelo implementado para o condicionamento clássico incorpora a possibilidade de se fazer condicionamentos de primeira e segunda ordens, além de deixar uma metodologia e um ponto de extensão na arquitetura para facilitar a implementação de condicionamentos de terceira ordem e superiores, caso venha a ser necessário. Também, o modelo de condicionamento clássico utiliza as expressões matemáticas desenvolvidas por Rescorla e Wagner (1972) para os processos de aquisição e extinção do condicionamento, deixando livres os parâmetros para serem ajustados caso a caso. O que proporciona grande flexibilidade na implementação dos agentes. Por fim, diferentemente de outros autores, que trabalham com um limiar de condicionamento, acima do qual a resposta reflexa é sempre disparada, e de acordo com o que se verifica nos experimentos de psicobiologia, damos uma interpretação estatística à taxa de condicionamento. Assim, mesmo que a taxa de condicionamento seja muito baixa, há a possibilidade do mecanismo disparar a resposta reflexa. Por outro lado, ainda que a taxa de condicionamento seja próxima da saturação, nem sempre a resposta reflexa será disparada. A implementação probabilista que vê a taxa de condicionamento como a freqüência de eliciação da resposta reflexa Glassman (2006) é a mais adequada para o nosso modelo que compreende o sistema nervoso como um sistema dinâmico não-determinístico, no nosso caso, um sistema discreto (para uma discussão mais detalhada deste aspecto veja Campos (2006)). O segundo nível de resposta da versão implementava o conceito de tendências para ação. As tendências para ação são aquelas ações que sob uma determinada emoção terão maior probabilidade de serem executadas. Porém, as tendências para ação eram rigidamente vinculadas a uma emoção na construção do agente (filogenia), e não formadas mediante as interações do agente com o ambiente (ontogenia). Na nova versão da arquitetura, foram retiradas as tendências para ação, sendo que o ASCS poderá selecionar uma ação para ser executada, conforme a sua capacidade motora, e aprender a modular o seu comportamento com base nas valorações recebidas, fazendo surgir uma tendência comportamental resultante das suas próprias experiências. Nesse sentido, as tendências para ação do ASCS rigidamente codifica-

91 4.3 Considerações finais 90 das na versão irão emergir mediante suas interações com o seu ambiente, ao invés de serem pré-definidas na construção do agente. Reiterando, o mecanismo de condicionamento operante faz o papel dos mecanismos biológicos que fazem surgir as tendências para ação extensivamente referidas na literatura de psicologia e psicobiologia. No terceiro nível de resposta da arquitetura, em sua versão 0.7.5, uma ação era selecionada com base na história de interação do agente com os objetos captados em um determinado episódio vivenciado pelo agente e nas tendências para ação rigidamente definidas para a emoção eleita para ser atendida no episódio. Na versão atual, a seleção da ação incorpora os conceitos apresentados no capítulo 2 sobre o condicionamento operante, em que a seleção da ação a ser executada é realizada probabilisticamente, com as ações que resultaram em recompensas para o objeto em questão tendo uma probabilidade maior de serem escolhidas frente às ações que resultaram em punições para o agente. No capítulo seguinte, serão apresentados, analisados e discutidos alguns experimentos computacionais realizados em uma aplicação de vida artificial em 2D. Os experimentos buscam comprovar se a arquitetura, tal como projetada, funciona corretamente de acordo com o arcabouço teórico-conceitual utilizado.

92 91 5 Experimentos computacionais, análise e discussão dos resultados Este capítulo apresenta uma análise e discussão dos experimentos realizados com intuito de avaliar o comportamento emergente do ASCS influenciado pelos processos de aprendizagem associativa providos pelos mecanismos de condicionamento clássico e operante incorporados à arquitetura Artífice. Para tal, foi criada a versão 0.9 da aplicação ALifeWorld, que será apresentada na próxima seção. 5.1 A aplicação ALifeWorld A aplicação AlifeWorld 0.9 foi criada estendendo a versão 0.7.5, desenvolvida por Campos (2006), adicionando comandos de controle para simulação do condicionamento clássico e operante e também a inclusão de gráficos para exibição dos níveis de condicionamento do ASCS. A aplicação pode ser resumida como uma aplicação de vida artificial em duas dimensões, onde ASCS e meio co-evoluem por meio de interações mútuas. O ambiente é formado por 880 x 470 posições. Não existem bordas no ambiente, sendo que a lateral esquerda se liga à direita e a superior, à inferior. O ASCS busca interagir com os objetos existentes em seu ambiente a fim de manter seu equilíbrio homeostático. No mundo artificial podem existir nutrientes, pedras e totens com os quais o ASCS interage. Cada interação caracterizará uma experiência na medida que o ASCS a valora, segundo os critérios embutidos de valoração cognitivoemocional, que consistem em qualificar a variação dos níveis de arousal das emoções verificada após cada interação. Para caracterizar a experiência hedônica do ASCS, foi considerado que interações que aumentam o nível da dor terão conseqüência desprazerosa. Já interações que

93 5.1 A aplicação ALifeWorld contribuem para diminuir o nível de arousal da fome ou sono terão uma conseqüência prazerosa. Não foi prevista nenhuma interação para diminuir o nível de arousal da emoção dor, sendo que o nível arousal da mesma será continuamente diminuído ao longo do tempo, isto é, a dor irá se desvanecendo. A variação do nível de arousal das emoções do ASCS será exibida na interface através de três barras de progressão nomeadas Hunger, Sleep e Pain, como pode ser visto na Figura 37. Nos quatro gráficos do canto inferior direito pode ser vista a intensidade do condi- Figura 37: ASCS-em-seu-ambiente. cionamento clássico para cada componente de software com o qual o ASCS pode interagir no seu ambiente. O gráfico do canto inferior esquerdo exibe a distribuição de freqüência das ações a serem executadas para cada componente de software do ambiente. A freqüência das ações executadas é alterada pela valoração emocionalcognitiva da interação do agente com cada componente de software. Em relação aos comandos de controle disponibilizados para o condicionamento clássico, a caixa de seleção Aquisition automatiza o processo de aquisição do condicionamento clássico. Com essa opção ativada, basta selecionar qual componente de software será utilizado para conceber uma experiência que envolva a aquisição do condicionamento e incluí-lo no ambiente. O componente será incluído no ambiente em uma determinada posição que o ASCS consiga captar um estímulo neutro emparelhado com um outro não-condicionado emitidos pelo componente selecionado, sendo

94 5.1 A aplicação ALifeWorld possível criar mais facilmente um experimento para que o ASCS associe os dois estímulos. Já a caixa de seleção Extinction ativa a função extinção do mecanismo de condicionamento clássico, fazendo com que a intensidade do condicionamento sofra um decrescimento a cada experiência em que o ASCS perceba apenas um estímulo condicionado, sem que o estímulo não-condicionado seja apresentado. Em relação aos comandos de controle do condicionamento operante, destaque para a parte que realiza a modelagem do comportamento do agente. A funcionalidade foi inspirada nos processos de modelagem descritos pela psicologia, onde um observador influencia o comportamento de um ser vivo, como um rato, injetando estímulos (reforçadores) no ambiente. Maiores detalhes sobre as funcionalidades descritas para o condicionamento clássico e operante serão descritas nas próximas seções, juntamente com os experimentos realizados. Os comandos Play, Pause e Stop executam as funções de continuar, pausar e terminar a execução da aplicação, respectivamente A aplicação ALifeWorld Os comportamentos emergente do ASCS podem ser divididos em dois grupos: respostas automáticas involuntárias de origem reflexa e respostas voluntárias selecionadas com base nas suas experiências de vida. As respostas reflexas são definidas na construção do ASCS (hard-coded). Nessa versão, foram embutidos dois componentes reflexos nomeados Shock e Salivation. O reflexo Shock é caracterizado pela resposta não-condicionada em que a cor da pele do ASCS é alternada para um tom rosado e logo em seguida esse comportamento é inibido, fazendo com que a pele retorne à sua cor azulada original. O estímulo nãocondicionado do ambiente que dispara essa resposta reflexa é o estímulo de choque elétrico, esse estímulo é emitido toda vez que o agente executa a ação de tocar no Totem. Dessa forma, todas as vezes que o ASCS tocar um Totem, receberá deste um estímulo de choque, ativando automaticamente a resposta reflexa de alternância da cor da pele. Já o reflexo Salivation é caracterizado pela resposta não-condicionada em que a cor da boca do ASCS (originalmente vermelha) é alternada para um tom azulado na presença de elementos comestíveis apetitivos ou esverdeada para o caso de elementos aversivos, sendo que logo em seguida esse comportamento é inibido, fazendo com

95 5.1 A aplicação ALifeWorld que a pele retorne à sua cor original vermelha. O estímulo não-condicionado do ambiente que dispara a resposta reflexa é o estímulo olfativo. Esse estímulo é emitido por Maças e Pedras, de modo que maçãs correspondem a elementos comestíveis apetitivos e pedras a elementos comestíveis aversivos. A tabela 2 mostra os reflexos embutidos no ASCS, a descrição da resposta reflexa gerada e o estímulo não-condicionado que a dispara automaticamente. Já as respostas voluntárias emitidas pelo ASCS são selecionadas em função das con- Tabela 2: Componentes reflexos. seqüências recebidas anteriormente pelas interações do agente com o seu ambiente na busca por permanecer adaptado a ele, isto é, manter o seu equilíbrio homeostático. Para manter seu equilíbrio homeostático, o ASCS precisa atender suas necessidades corpóreas (drives) de fome e sono e evitar a interação com objetos que causam dor. A variação do nível de arousal das emoções citadas será positiva ou negativa conforme as interações do ASCS com as coisas do seu mundo, a saber: será positiva para a fome, i.e., a fome terá seu nível de arousal aumentado quando o ASCS não receber estímulos energéticos, os quais contribuem para a diminuir a fome; será positiva para o sono quando o ASCS mover-se e será positiva para a dor quando o ASCS selecionar a ação de tocar o componente de software Totem e receber um estímulo de choque elétrico. Para diminuir o sono, o ASCS deverá deixar de se mover por alguns instantes, o que caracteriza, portanto, a ação de dormir. Já a diminuição da dor ocorre ao longo do tempo, isto é, a dor se esvai por si só, desde que o ASCS não receba estímulos de choque elétrico. Para diminuir a fome o ASCS precisa comer maçãs, recebendo assim, estímulos energéticos que diminuirão o arousal da emoção. As ações ou comportamentos voluntários do ASCS serão escolhidos em tempo de

96 5.2 Experimentos envolvendo o condicionamento clássico 95 execução conforme estímulos captados do ambiente, a emoção a ser atendida, a situação (affordances) em que o agente se encontra e o nível de condicionamento operante. Na Tabela 3 constam as affordances que foram previstas na aplicação. De acordo com uma situação de interação com um objeto, as affordances caracterizam as possíveis ações a serem executadas em um determinado instante. Sob tal situação, são estas ações que, uma vez executadas, poderão ser valoradas em LongTermMemory. Após descrever de um modo geral a aplicação AlifeWorld 0.9, nas próximas seções serão apresentados alguns experimentos realizados para verificar e validar a influência do mecanismo de condicionamento no comportamento do ASCS. Tabela 3: Affordances consideradas na aplicação. 5.2 Experimentos envolvendo o condicionamento clássico Os experimentos envolvendo o condicionamento clássico visam comprovar que o ASCS é capaz de criar um repertório comportamental básico associando estímulos neutros do ambiente a estímulos não-condicionados (hard-coded na arquitetura) que dispa-

97 5.2 Experimentos envolvendo o condicionamento clássico 96 ram automaticamente respostas reflexas definidas no primeiro nível de resposta do agente. Vale lembrar que os comportamentos apresentados com a ativação das respostas reflexas descritas anteriormente (Tabela 2) são inatos, ou seja, foram embutidos no ASCS na sua construção. Já os estímulos visuais emitidos pelos componentes de software e captados pelo agente são considerados estímulos neutros do ambiente e não provocam, a princípio, nenhuma reação imediata (este comportamento pode ser comprovado no vídeo mostrando a execução do experimento, disponível em http: // Durante as primeiras interações do ASCS com os componentes de software, como Green apple, por exemplo, o ASCS aproxima do componente e percebe um estímulo olfativo emitido pelo componente de software. O estímulo olfativo liberado por Green Apple no ambiente consiste de um estímulo não-condicionado, que dispara automaticamente o reflexo Salivation, caracterizado pela resposta não-condicionada de alternar a cor da boca do agente para azul, como pode ser visto na Figura 38. Como dito, o mecanismo de condicionamento clássico permite ao ASCS ampliar o Figura 38: Momento em que o ASCS percebe o estímulo olfativo emitido por Green Apple. repertório comportamental inato associando os estímulos neutros existentes em seu ambiente aos estímulos não-condicionados que disparam os reflexos embutidos no agente. Para criar ou constituir essa associação entre um estímulo neutro do ambiente (no caso, estímulo visual emitido pelos componentes de software) e o estímulo não-condicionado (estímulo olfativo emitido pela Maçã ou estímulo de choque elétrico emitido pelo To-

98 5.2 Experimentos envolvendo o condicionamento clássico 97 tem) os estímulos devem ser apresentados emparelhados. Por exemplo, se o ASCS vir uma Maçã e estiver muito próximo dela (de modo a sentir o seu cheiro, como na Figura 38), então o ASCS receberá dois estímulos emparelhados, um neutro (estímulo visual da maçã) e outro não-condicionado (cheiro da maçã) e, portanto, irá disparar a resposta reflexa Salivation e também reforçar a associação entre os dois estímulos. Se este experimento for repetido diversas vezes, então o estímulo condicionado ficará fortemente associado ao estímulo não-condicionado. A intensidade da associação entre os estímulos pode ser vista nos gráficos no canto inferior direito da interface com o usuário, referente ao condicionamento do componente Green Apple (Figura 39) e também no vídeo disponível em Depois de associar o estímulo visual (agora estímulo condicionado) ao estímulo ol- Figura 39: Aquisição do condicionamento clássico. fativo emitido pelo componente Green Apple (estímulo não-condicionado), apenas a apresentação do estímulo visual do componente é suficiente para eliciar a resposta reflexa, antes disparada única e exclusivamente pelo estímulo olfativo da maça, ou seja, a simples apresentação do estímulo visual da maçã, ainda que o ASCS não esteja próximo o suficiente dela para sentir seu cheiro irá disparar a salivação. Este fenômeno de antecipação da resposta reflexa é o conhecido deslocamento da resposta reflexa discutido nas seções e , reconhecido tanto na psicologia quanto na biologia como um fenômeno crucial para adaptação dos seres vivos ao seu

99 5.2 Experimentos envolvendo o condicionamento clássico 98 ambiente. O comportamento discutido anteriormente pode ser visto na figura 40 e no vídeo disponível em Assim como ocorre com organismos vivos, a associação forjada entre os estímulos Figura 40: Deslocamento da resposta reflexa. (visual de maçã e cheiro de maçã) não é persistente. Caso somente o estímulo condicionado seja percebido pelo agente, isto é, sem que o estímulo não-condicionado seja apresentado, a associação entre eles vai se tornando cada vez mais fraca, até a extinção. Assim, ao receber o estímulo visual emitido por Green Apple, o ASCS dispara automaticamente a resposta reflexa de alternar a cor da boca, porém, caso o estímulo olfativo não seja também apresentado, a associação entre os dois estímulos sofre um decaimento, como pode ser visto na Figura 41. Caso esse cenário se repita várias vezes, a associação forjada entre eles é cessada, e o estímulo condicionado não mais eliciará a resposta reflexa. Esse comportamento pode ser visto no vídeo disponível em É importante destacar que as curvas apresentadas para a aquisição do condicionamento são apenas para fins de explicação. De fato, na maior parte da literatura de condicionamento clássico, o foco dos experimentos conduzidos (in vivo ou na simulação) é mostrar os processos de formação ou aquisição de um condicionamento e o de sua extinção. Ressaltando que em ambos os tipos de experimentos, o cientista que os conduz é diretamente responsável por apresentar o estímulo neutro no momento

100 5.2 Experimentos envolvendo o condicionamento clássico 99 Figura 41: Extinção do condicionamento clássico. oportuno: junto com o estímulo não-condicionado (na aquisição) ou sozinho (na extinção). Porém, em condições naturais não há a figura do cientista que intervém na apresentação dos estímulos. Em vez disso, o agente passa por várias experiências em que estímulos condicionados e não-condicionados são percebidos no ambiente ora emparelhados, ora desemparelhados, resultando em uma constante oscilação da curva de condicionamento, como relatado no capítulo 2. Para simular o condicionamento clássico em condições naturais foi realizado um experimento com intuito de verificar se o ASCS conseguiria forjar os condicionamentos clássicos. O ambiente era composto por 12 maçãs vermelhas, 12 maçãs verdes, 12 pedras e 12 Totens dispostos aleatoriamente no ambiente. Foram realizadas 10 sessões do experimento com duração de 8 minutos cada sessão. A cada sessão novas sementes de números aleatórios eram geradas para posicionar os componentes de software ao ambiente. O nível de condicionamento operante inicial para o experimento foi de 55% para a ação approach e 15% para as demais ações (avoid, sleep e as ações de interação previstas na aplicação, touch para o Totem e eat para os demais componentes). Para esse experimento específico, optou-se por desativar a função do mecanismo de condicionamento operante referente à alteração da freqüência das ações, isto é, as probabilidades das ações não eram alteradas conforme as interações do agente com o

101 5.2 Experimentos envolvendo o condicionamento clássico 100 ambiente, elas permaneciam constantes durante o experimento. Vale frisar que ao interagir com os componentes de software (comer maçãs e pedras ou tocar no Totem) o ASCS envia um estímulo destrutivo para o componente, que recebe esse estímulo e desaparece do ambiente. Para ajustar a curva dos condicionamentos foi utilizado o modelo de Rescorla e Wagner (1972) explicado no capítulo 4. Para a aquisição do condicionamento os valores dos parâmetros foram: α = 0.3; β = 1 ; λ = 100. Para a extinção os valores foram: α = 0.5; β = 0.7; λ = 0. Esses valores foram utilizados tanto para o reflexo Salivation quanto para reflexo Shock. As figuras 42, 43, 44, 45, representam as curvas do condicionamento médio (nas 10 sessões) extraídas do experimento para cada componente de software. Tais figuras representam as mesmas informações mostradas nos gráficos do canto inferior direito da interface gráfica da aplicação (Figura 37). Tais experimentos deixam claro que, a partir de alguns pares de estímulos-resposta Figura 42: Curva de condicionamento clássico em condições naturais - Maçã vermelha. inatos, o ASCS consegue produzir um repertório básico de comportamentos antecipatórios de respostas reflexas, como o faz um organismo vivo dotado de sistema nervoso. Como dito, tal repertório é fundamental para a sobrevivência de qualquer organismo.

102 5.2 Experimentos envolvendo o condicionamento clássico 101 Figura 43: Curva de condicionamento clássico em condições naturais - Maçã Verde. Figura 44: Curva de condicionamento clássico em condições naturais - Pedra.

103 5.3 Experimentos envolvendo o condicionamento operante 102 Figura 45: Curva de condicionamento clássico em condições naturais - Totem. 5.3 Experimentos envolvendo o condicionamento operante Os experimentos envolvendo o condicionamento operante visam comprovar que o ASCS consegue elaborar padrões de comportamentos voluntários aumentando a probabilidade de seleção de ações que o levaram a conseqüências apetitivas e diminuindo a probabilidade de selecionar ações que o levaram a conseqüências aversivas Experimentos envolvendo a modelagem do comportamento Conforme discutido no capítulo 2, o processo de modelagem do comportamento consiste na intervenção externa visando a desenvolver o condicionamento operante de uma resposta voluntária desejada por meio de aproximações sucessivas com o oferecimento de estímulos positivos ou negativos correspondentes a essa resposta. A aplicação ALifeWorld 0.9 permite modelar o comportamento do ASCS reforçando / inibindo respostas voluntárias injetando estímulos no agente que correspondam ao comportamento desejado. Os estímulos são formados pelo componente de software que o ASCS interagiu, a ação executada e o estímulo de reforço recebido pelo agente resultante da interação com o componente de software. O estímulo decorrente da

104 5.3 Experimentos envolvendo o condicionamento operante 103 interação pode se tratar de um reforçador positivo, que é o caso dos estímulos energéticos, ou um reforçador negativo, caracterizado pelo choque elétrico na aplicação. Após a seleção dos parâmetros nas caixas disponíveis na lateral direita da interface com o usuário, o comando Execute manipula o estímulo com os parâmetros selecionados e o injeta diretamente no ASCS. O estímulo é então valorado como se o agente tivesse vivenciado a experiência formada. Esse procedimento é análogo ao que o adestrador/modelador faz quando coloca comida na boca do animal quando este realiza a ação que o modelador deseja. Utilizando o esquema de modelagem da aplicação descrito anteriormente, podemos simular duas contingências de reforçamento definidas por Skinner: o reforçamento positivo e a punição. O reforçamento positivo é um processo para aumentar a probabilidade de uma resposta, seguindo imediatamente à resposta de um estímulo desejável (um reforçador positivo). O experimento utilizando esse tipo de contingência na aplicação consiste em aumentar a probabilidade do ASCS selecionar uma ação qualquer para um determinado objeto do mundo. É possível, portanto, selecionar a ação approach e o componente de software Totem e um reforçador positivo, fazendo com que a ASCS aumente a probabilidade de se aproximar de Totens (este comportamento pode ser comprovado no vídeo mostrando a execução do experimento, disponível em Já a punição é um processo em que a resposta é seguida de um reforçador negativo, que resulta em uma redução na probabilidade de ocorrer aquela resposta novamente. O experimento utilizando esse tipo de contingência na aplicação consiste em diminuir a probabilidade do ASCS selecionar uma ação para um componente de software apresentando reforçadores negativos para uma determinada situação. É possível, portanto, selecionar a ação approach e o componente de software Maçã Vermelha e um reforçador negativo, fazendo com que a ASCS diminua a probabilidade de aproximar de Maçãs vermelhas (este comportamento pode ser comprovado no vídeo mostrando a execução do experimento, disponível em http: // Conforme definido por Skinner, a modelagem é um conceito relativamente simples, mas muito poderoso para analisar e compreender as correlações entre o comportamento e o meio. Conforme demonstrado, a aplicação permite modelar o comportamento do ASCS usando reforçadores positivos e negativos, fazendo com que o ASCS tenha preferência por selecionar um comportamento idealizado.

105 5.3 Experimentos envolvendo o condicionamento operante 104 Por meio das técnicas de modelamento, é possível ensinar, por condicionamento operante, o ASCS a ter medo de pedra ou qualquer outro objeto presente no ambiente dele Condicionamento x seleção de ações Este experimento teve como objetivo verificar a influência dos níveis de condicionamento operante na freqüência das ações selecionadas pelo ASCS. O ambiente utilizado para realização do experimento consistiu em distribuir 30 maçãs vermelhas em posições aleatórias do ambiente para que pudesse colher informações sobre o tempo que o ASCS gastou para comer 10 das 30 maçãs. O experimento foi conduzido em 3 níveis distintos de condicionamento operante inicial, que se traduzem nas probabilidades de seleção das ações descritas na tabela 4. Para cada nível inicial de condicionamento operante foram realizadas 20 sessões do experimento, sendo que a cada sessão novas posições aleatórias eram geradas para os componentes de software. O estado emocional inicial do agente era sempre o mesmo para todas as sessões realizadas, sendo o nível de arousal de fome e sono igual a 0.18 e dor igual a 0. O gráfico da Figura 46 mostra o tempo médio gasto para que o ASCS conseguisse Tabela 4: Nível de condicionamento operante inicial para os experimentos. comer 10 maçãs para cada nível inicial de condicionamento operante. A linha verme-

106 5.3 Experimentos envolvendo o condicionamento operante 105 lha representa o tempo médio gasto nas 20 seções com condicionamento inicial baixo, ou seja, o ASCS ainda não possui um comportamento seletivo e todas as ações tem a mesma probabilidade de serem selecionadas em qualquer situação vivenciada pelo agente. A linha amarela representa o tempo médio gasto para o ASCS comer 10 maçãs iniciando o experimento com um nível médio de condicionamento operante inicial (c.f., Tabela 4). Nesse nível, o agente já apresenta um comportamento inicial seletivo, tendo uma maior probabilidade de se aproximar das maçãs vermelhas frente às demais ações. Já a linha verde representa o mesmo experimento, porém, com um nível alto de condicionamento operante inicial (c.f., Tabela 4 - nível alto). Nesse nível o agente o agente possui 70% de probabilidade de aproximar das maçãs, portanto, o ASCS terá uma probabilidade bem maior de interação com as maçãs em relação aos demais experimentos. Este experimento apresentou importantes resultados, pois possibilitou verificar a in- Figura 46: Tempo médio para o ASCS comer maçãs para 3 níveis iniciais distintos de condicionamento operante. fluência do nível de condicionamento operante no comportamento seletivo voluntário do ASCS. Os dados mostram que o comportamento do ASCS está diretamente relacionado com o nível de condicionamento operante do experimento. Quanto maior a probabilidade do ASCS selecionar a ação aproximar, maior é a probabilidade do ASCS interagir com as maçãs vermelhas. À medida que o ASCS aproxima de uma maçã, fica em contato

107 5.3 Experimentos envolvendo o condicionamento operante 106 com ela e seleciona a ação de comer a maçã, o agente recebe um estímulo energético que diminui (regula) sua fome, ou seja, a ação selecionada para ser executada pelo agente teve uma conseqüência (valência) positiva. Dessa forma, o mecanismo de condicionamento operante realiza um ajuste nas probabilidades das ações envolvidas no episódio, aumentado a probabilidade da ação eat ser executada e diminuindo a probabilidade das ações avoid e sleep, conforme affordances previstas na aplicação (Tabela 3). Ou seja, a Figura 46 mostra que quanto mais condicionado o ASCS está para se aproximar de maçãs, menos tempo ele gastará para encontrar maçãs e comê-las. A fim de comprovar essas alterações das probabilidades das ações no decorrer do experimento, foram extraídos o intervalo de tempo médio gasto para que o agente comesse cada maçã (Figura 47). O gráfico da Figura 47 mostra que o intervalo de tempo médio gasto para o agente Figura 47: Intervalo de tempo médio gasto para encontrar e comer maçãs para os 3 níveis iniciais de condicionamento. encontrar uma nova maçã e comê-la decresce à medida que o agente vai selecionando a ação de comer e obtendo uma conseqüência prazerosa, ajustando assim a probabilidade de aproximar de maçãs vermelhas e interagir com elas. É possível notar que por volta da sexta maçã, o intervalo de tempo gasto para encontrar e comer cada maçã é praticamente o mesmo. Dessa forma podemos concluir que embora o nível de condicionamento inicial para os três experimentos tenham sido distintos, o número de

108 5.3 Experimentos envolvendo o condicionamento operante 107 interações prazerosas (em torno de 6) foi suficiente para levar a um comportamento comparável ao forte condicionamento do ASCS. Como discutido no capítulo 4, para cada interação do ASCS com os objetos do seu ambiente classificada como prazerosa, o mecanismo de condicionamento ajusta a probabilidade da ação executada, aumentando assim a chance da ação ser selecionada novamente para o objeto no futuro. Após atualizar a probabilidade da ação executada, o mecanismo de condicionamento operante ajusta também a probabilidade das ações que não foram selecionadas para serem executadas naquela ocasião, diminuindo a probabilidade de seleção dessas ações. No experimento, como o ASCS interage com as maçãs vermelhas e recebe uma conseqüência prazerosa por isso, as probabilidades das suas ações vão sendo moduladas, como pode ser visto nas Figuras 48, 49, 50. Figura 48: Alteração das probabilidades das ações no experimento Condicionamento x seleção de ações - Condicionamento inicial baixo Condicionamento x sobrevivência Este experimento teve como objetivo principal verificar se o mecanismo de condicionamento operante possibilita ao ASCS manter-se vivo, adaptando-se ao ambiente em que esteja inserido. Consideramos a morte do ASCS quando o mesmo atingir o índice de eficiência comportamental (citado no capítulo 1) para a fome igual a zero (Figura

109 5.3 Experimentos envolvendo o condicionamento operante 108 Figura 49: Alteração das probabilidades das ações no experimento Condicionamento x seleção de ações - Condicionamento inicial médio. Figura 50: Alteração das probabilidades das ações no experimento Condicionamento x seleção de ações - Condicionamento inicial alto.

110 5.3 Experimentos envolvendo o condicionamento operante ). O ambiente para realização do experimento era composto por 10 Maçãs vermelhas, Figura 51: Gráfico da função arousal. 10 Maçãs verdes, 10 pedras e 10 Totens distribuídos aleatoriamente para cada sessão do experimento. O experimento foi dividido em 3 partes referentes aos mesmos níveis iniciais de condicionamento do experimento anterior (c.f., Tabela 4). Para cada nível inicial de condicionamento operante foram realizadas 10 sessões do experimento, sendo que a cada sessão novas sementes de números aleatórios eram geradas para posicionar os componentes de software ao ambiente. O estado emocional inicial do agente era sempre o mesmo para todas as sessões realizadas, sendo o nível de arousal de fome e sono igual a 0.18 e dor igual a 0. Em relação às alterações dos níveis de arousal do ASCS durante o experimento, o nível de arousal da emoção fome era aumentado em 0.05 a cada episódio caso o agente não receba estímulos energéticos. A emoção sono teve o nível de arousal aumentado em a cada movimento de translação realizado pelo agente. Já para a emoção de dor, quando o ASCS tocasse em um Totem, ele receberia um choque elétrico, que resultava em um aumento do nível de arousal da dor em 0.1. Para manter o seu equilíbrio homeostático e impedir que o nível de arousal da fome chegue a 7, resultando na sua morte (Figura 51), o ASCS precisava elaborar um pa-

111 5.3 Experimentos envolvendo o condicionamento operante 110 drão de comportamento que o permitisse aproximar de maçãs e comê-las, pois ao comer uma maçã o nível de arousal da fome diminuiria em 0.2 para maçãs vermelhas e 0.3 para maçãs verdes. Já as pedras possuiam um valor energético nulo, isto é, não contribuiam para regular o nível de arousal da fome. O gráfico da Figura 52 apresenta o tempo médio de vida do ASCS num ambiente aleatoriamente gerado para cada nível inicial de condicionamento operante. Aos 7 minutos de duração de uma sessão, caso o ASCS ainda não tivesse morrido, a mesma era encerrada, sendo considerado que o agente já tinha atingido um comportamento adaptativo ao chegar até aquele ponto do experimento. A linha vermelha representa a situação em que o ASCS não tinha, inicialmente, qualquer tipo de condicionamento operante, isto é, todas as ações têm a mesma probabilidade de serem selecionadas em qualquer situação vivenciada pelo agente. A linha amarela representa o tempo médio de sobrevivência iniciando o experimento com condicionamento operante inicial mostrado para o nível médio (c.f. Tabela 4). Nesse nível, o agente já apresenta um comportamento inicial seletivo, tendo uma maior probabilidade de aproximar e consequentemente interagir com os componentes de software. Já a linha verde representa o experimento com condicionamento operante inicial mostrado para o nível alto (c.f. Tabela 4). Nesse nível o agente possui 70% de probabilidade de aproximar de todos os componentes de software, portanto, o ASCS terá uma probabilidade bem maior de interagir com um número maior de componentes e, consequentemente, ajustar o seu comportamento aumentando a probabilidade de executar ações que o leve a um equilíbrio homeostático. Um processo importante do mecanismo de condicionamento operante para direcionar o comportamento do ASCS na busca da sua regulação homeostática (discutido no capítulo 4) é conseguir resgatar a expectativa esperada pela interação do agente com os as coisas do seu mundo. Como dito, a cada episódio vivenciado pelo agente, a emoção mais desregulada, isto é, a emoção com o nível de arousal mais alto, é escolhida para ser atendida naquele episódio. Caso o ASCS perceba mais de um estímulo desencadeante emitido pelas coisas do mundo em que esteja inserido (Figura 53), ele elege, dentre os estímulos recebidos, o que possui uma melhor expectativa para regular a emoção escolhida. Vale lembrar que a expectativa esperada consiste na valoração emocional resultante das interações passadas do agente com o objeto emissor do estímulo. Caso haja interação com o componente emissor do estímulo, a expectativa prevista pela interação é comparada com a valoração realmente recebida, sendo que a diferença é reajustada

112 5.3 Experimentos envolvendo o condicionamento operante 111 Figura 52: Tempo médio de sobrevivência do ASCS num ambiente aleatório para 3 níveis de condicionamento. na memória de longo prazo. Este experimento mostra que quanto maior o nível inicial de condicionamento, mais Figura 53: Expectativa esperada pela interação com os componentes de software. fácil é a adaptação do ASCS ao ambiente, aumentando suas chances de sobrevivên-