Uma arquitetura de Agentes BDI para auto-regulação de Trocas Sociais em Sistemas Multiagentes Abertos

Transcrição

1 UNIVERSIDADE CATÓLICA DE PELOTAS CENTRO POLITÉCNICO PROGRAMA DE PÓS-GRADUAÇÃO EM INFORMÁTICA Uma arquitetura de Agentes BDI para auto-regulação de Trocas Sociais em Sistemas Multiagentes Abertos por Luciano Vargas Gonçalves Dissertação apresentada como requisito parcial para a obtenção do grau de Mestre em Ciência da Computação Orientadora: Co-orientador: Prof.a. Dra. Graçaliz Pereira Dimuro Prof. Dr. Antônio Carlos da Rocha Costa DM-2009/1-002 Pelotas, Agosto de 2009

2 Dedico à minha Família, Sidnei, Ilka, Isabel e Marcelo e a minha noiva Mônica, pelo apoio e incentivo durante a realização deste trabalho.

3 AGRADECIMENTOS Agradeço a Deus pela oportunidade de crescimento e aprendizado concedido ao longo desta existência. Agradeço à minha família que em todos os momentos me apoiaram com palavras de incentivo e carinho, sendo a minha base de sustentação física e emocional. Agradeço à minha namorada que no transcorrer deste período de estudo e trabalho compreendeu os vários momentos em que estive ausente. Agradeço em especial à minha orientadora Graçaliz Pereira Dimuro, pelo imenso apoio e incentivo dedicado a realização deste trabalho, assim como, a sua compreensão e carinho nos momentos mais difíceis. Agradeço ao co-orientador Antônio Carlos da Rocha Costa pelo apoio técnico dedicado ao longo deste trabalho. Agradeço ao prof. Marilton Aguiar pelas sugestões e contribuições direcionadas a evolução do trabalho. Agradeço a Capes pelo subsídio no desenvolvimento desta dissertação de mestrado. Agradeço aos meus colegas de mestrado André Vinícius e Diego Pereira pelo apoio e companheirismo. E a todos que de maneira direta e indireta contribuíram para a realização deste trabalho.

4 Nenhuma grande descoberta foi feita jamais sem um palpite ousado. ISAAC NEWTON

5 SUMÁRIO LISTA DE FIGURAS LISTA DE TABELAS LISTA DE ABREVIATURAS E SIGLAS RESUMO ABSTRACT INTRODUÇÃO Objetivos Metodologia Organização do Texto REVISÃO BIBLIOGRÁFICA Breve Histórico Teoria Sociológica de Jean Piaget Teoria dos Valores de Trocas Sociais Estrutura das Trocas Sociais Papel das Normas nos Valores de Trocas Considerações Finais Sistema de Valores de Trocas para Suporte às Interações em Sociedades Artificiais Sistema de Valores de Trocas Manipulação dos Valores de Trocas Mecanismo de Raciocínio Social Baseado em Valores de Trocas Elementos Especiais Considerações Finais Sistema de Valores de Trocas como Ferramenta para Organização de Sistemas Multiagentes Sistema de Valores de Trocas Sociais para SMA Modelagem das Trocas Sociais Intervalares para SMA Supervisor de Equilíbrio Centralizado Agentes Baseados em Traço de Personalidade Simulação com a Abordagem Centralizada (QI-MDP) Considerações Finais

6 2.5 Modelo Híbrido BDI-POMDP para SMA Agentes com Processo Supervisor Internalizado Considerações Finais PROCESSO DE AUTO-REGULAÇÃO DE TROCAS SOCIAIS Agentes Baseados em Traços de Personalidade Índices de Recusas dos Agentes Baseados em Traços de Personalidade POMDPs com base em Aceites e Recusas Extração de Planos BDI, a partir de Políticas Ótimas POMDPs Identificação de Novos Traços de Personalidade Reconhecimento de Traços de Personalidade Descoberta de Traços de Personalidade através de HMMs Políticas Ótimas POMDPs geradas com base nos HMMs Processo de Geração de regras BDI através de HMM e POMDP Arquitetura para Agentes Auto-Reguladores de Trocas Sociais Considerações Finais SIMULAÇÕES DE TROCAS SOCIAIS Especificação do Agente Auto-regulador de Trocas Sociais Especificação do Agente Multi-traço de Personalidade Processo de Simulação entre os Agentes Auto-regulador e Multi-traço Simulação entre o Agente Auto-regulador e o Multi-traço (Tolerante) Simulação entre o Agente Auto-regulador e o Multi-traço (Altruísta) Simulação entre o Agente Auto-regulador e o Multi-traço (Egoísta) Simulação entre o Agente Auto-regulador e o Multi-traço (Novo1) Simulação entre o Agente Auto-regulador e o Multi-traço (Novo2) Simulação entre o Agente Auto-regulador e o Multi-traço (Novo3) Simulação entre o Agente Auto-regulador e o Multi-traço (Novo4) Considerações Finais CONCLUSÃO E TRABALHOS FUTUROS Comparação entre os Modelos de Regulação de Trocas Sociais em SMA Trabalhos Futuros ANEXO A: MODELOS POMDP ANEXO B: HMM RE-ESTIMADO PARA TRAÇO NOVO ANEXO C: GRAFOS DE POLÍTICAS ANEXO D: GRAFOS DE POLÍTICAS DESCOBERTOS REFERÊNCIAS

7 LISTA DE FIGURAS Figura 2.1 Estágio de Trocas Sociais Figura 2.2 Trocas baseadas nas Normas Jurídicas do Direito Não Codificado.. 25 Figura 2.3 Trocas baseadas nas Normas Jurídicas do Direito Codificado Figura 2.4 Mecanismo de Regulação de Trocas Sociais Figura 3.1 Arquitetura do Agente Auto-regulador de Trocas Sociais Figura 4.1 Balanço material do Agente Multi-traço (Tolerante) Figura 4.2 Balanço material do Agente Multi-traço (Altruísta) Figura 4.3 Balanço material do Agente Multi-traço (Egoísta) Figura 4.4 Balanço material do Agente Multi-traço (Novo1) Figura 4.5 Balanço material do Agente Multi-traço (Novo2) Figura 4.6 Balanço material do Agente Multi-traço (Novo3) Figura 4.7 Balanço material do Agente Multi-traço (Novo4) Figura 5.1 Definição do P OMDP _AR 0 para o Traço Altruísta Figura 5.2 Definição do P OMDP _AR + para o Traço Altruísta Figura 5.3 Definição do P OMDP _AR para o Traço Altruísta Figura 5.4 Definição do P OMDP _AR 0 para o Traço Egoísta Figura 5.5 Definição do P OMDP _AR + para o Traço Egoísta Figura 5.6 Definição do P OMDP _AR para o Traço Egoísta Figura 5.7 Definição do P OMDP _AR 0 para o Traço Tolerante Figura 5.8 Definição do P OMDP _AR + para o Traço Tolerante Figura 5.9 Definição do P OMDP _AR para o Traço Tolerante Figura 5.10 Definição do P OMDP _AR 0 para o Traço Novo Figura 5.11 Definição do P OMDP _AR + para o Traço Novo Figura 5.12 Definição do P OMDP _AR para o Traço Novo

8 LISTA DE TABELAS Tabela 3.1 Função de Observação para a ação do_service Tabela 3.2 Função de Observação para a ação ask_service Tabela 3.3 Índices de Recusas de Agentes baseados em Traços de Personalidade 46 Tabela 3.4 Função de Transição de um agente β, para ação do_service Tabela 3.5 Função de Transição de um agente β, para ação ask_service Tabela 3.6 Recompensas para os POMDP_AR Tabela 3.7 Índices de Recusas às propostas de Trocas Sociais Tabela 3.8 Função de Observação para o HMM Tabela 3.9 Função de Transição de Estados para o HMM Tabela 3.10 Função de Observação Re-estimada pelo HMM Tabela 3.11 Função de Transição de Estados Re-estimada pelo HMM Tabela 3.12 Função de Transição de Estados do POMDP para a ação do_service. 59 Tabela 3.13 Função de Transição de Estados do POMDP para a ação ask_service 59 Tabela 3.14 Função de Observação do POMDP para ação do_service Tabela 3.15 Função de Observação do POMDP para ação ask_service Tabela 4.1 Índices de Recusas aproximados do Agente Multi-traço(Novo1) Tabela 4.2 Índices de Recusas aproximados do Agente Multi-traço(Novo2) Tabela 4.3 Índices de Recusas aproximados do agente Multi-traço(Novo3) Tabela 4.4 Índices de Recusas aproximados do agente Multi-traço(Novo4) Tabela 5.1 Comparações entre os Modelos de Regulação Tabela 5.2 Função de Transição de Estados para o Traço - Novo Tabela 5.3 Função de Observação para o Traço - Novo Tabela 5.4 Função de Transição de Estados Re-estimada para o Traço - Novo1. 95 Tabela 5.5 Função de Observação Re-estimada para o Traço - Novo Tabela 5.6 Regras do agente Auto-Regulador (E 0 ) operar com o agente Tolerante 96 Tabela 5.7 Regras do agente Auto-Regulador (E + ) operar com o agente Tolerante 96 Tabela 5.8 Regras do agente Auto-Regulador (E ) operar com o agente Tolerante 97 Tabela 5.9 Regras do agente Auto-Regulador (E 0 ) operar com o agente Altruísta 98 Tabela 5.10 Regras do agente Auto-Regulador (E + ) operar com o agente Altruísta 98 Tabela 5.11 Regras do agente Auto-Regulador (E ) operar com o agente Altruísta 99 Tabela 5.12 Regras do agente Auto-Regulador (E 0 ) operar com o agente Egoísta. 99 Tabela 5.13 Regras do agente Auto-Regulador (E + ) operar com o agente Egoísta. 100 Tabela 5.14 Regras do agente Auto-Regulador (E ) operar com o agente Egoísta. 100

9 Tabela 5.15 Regras do agente Auto-Regulador (E 0 ) operar com o agente Novo Tabela 5.16 Regras do agente Auto-Regulador (E + ) operar com o agente Novo Tabela 5.17 Regras do agente Auto-Regulador (E ) operar com o agente Novo Tabela 5.18 Regras do agente Auto-Regulador (E 0 ) operar com o agente Novo Tabela 5.19 Regras do agente Auto-Regulador (E + ) operar com o agente Novo Tabela 5.20 Regras do agente Auto-Regulador (E ) operar com o agente Novo Tabela 5.21 Regras do agente Auto-Regulador (E 0 ) operar com o agente Novo Tabela 5.22 Regras do agente Auto-Regulador (E + ) operar com o agente Novo Tabela 5.23 Regras do agente Auto-Regulador (E ) operar com o agente Novo Tabela 5.24 Regras do agente Auto-Regulador (E 0 ) operar com o agente Novo Tabela 5.25 Regras do agente Auto-Regulador (E + ) operar com o agente Novo Tabela 5.26 Regras do agente Auto-Regulador (E ) operar com o agente Novo4. 104

10 LISTA DE ABREVIATURAS E SIGLAS BDI Belief, Desire, Intention HMM Hidden Markov Model JASON Java-based interpreter for an extended version of AgentSpeak MAS Multi-agent Systems MDP Markov Decision Process POMDP Partially Observable Markov Decision Process QI-MDP Qualitative Interval Markov Decision Process SMA Sistemas Multiagentes

11 RESUMO O estudo e desenvolvimento de sistemas para o controle de interações em sistemas multiagentes é um tema em aberto dentro da Inteligência Artificial. O sistema de valores de trocas sociais de Piaget é uma abordagem social que possibilita fundamentar a modelagem de interações de agentes, onde as interações são vistas como trocas de serviços entre pares de agentes, com a valorização dos serviços realizados e recebidos, ou seja, investimentos e ganhos na troca realizada, e, também os créditos e débitos a serem cobrados ou recebidos, respectivamente, em trocas futuras. Esta avaliação pode ser realizada de maneira diferenciada pelos agentes envolvidos, considerando que estes apresentam traços de personalidade distintos. No decorrer de processo de trocas sociais a forma diferenciada de avaliar os ganhos e perdas nas interações pode causar desequilíbrio nos balanços de trocas dos agentes, onde alguns agentes acumulam ganhos e outros acumulam perdas. Para resolver a questão do equilíbrio das trocas, encontrou-se nos Processos de Decisão de Markov Parcialmente Observáveis (POMDP) uma metodologia capaz de auxiliar a tomada de decisões de cursos de ações na busca do equilíbrio interno dos agentes. Assim, cada agente conta com um mecanismo próprio para avaliar o seu estado interno, e, de posse das observações sobre o comportamento de troca dos parceiros, torna-se apto para deliberar sobre as melhores ações a seguir na busca do equilíbrio interno para o par de agentes. Com objetivo de operar em sistema multiagentes aberto, torna-se necessário um mecanismo para reconhecer os diferentes traços de personalidade, viabilizando o uso de POMDPs nestes ambientes. Esta tarefa de reconhecimento é desempenhada pelos Modelos de Estados Ocultos de Markov (HMM), que, a partir de modelos de traços de personalidade conhecidos, podem inferir os traços aproximados de novos parceiros de interações, através das observações sobre seus comportamentos nas trocas. O objetivo deste trabalho é desenvolver uma arquitetura de agentes híbrida para a auto-regulação de trocas sociais entre agentes baseados em traços de personalidade em sistemas multiagentes abertos. A arquitetura proposta é baseada na arquitetura BDI (Beliefs, Desires, Intentions), onde os planos dos agentes são obtidos através de políticas ótimas de POMDPs, que modelam traços de personalidade reconhecidos através de HMMs. Para avaliar a proposta, foram realizadas simulações envolvendo traços de personalidade conhecidos e novos traços. Palavras-chave: Valores de trocas sociais, auto-regulação de trocas sociais, sistemas multiagentes baseados em personalidades, Processos de Decisão Parcialmente Observáveis, Arquitetura BDI, Modelos Ocultos de Markov.

12 TITLE: SELF-REGULATION OF PERSONALITY-BASED SOCIAL EXCHANGES IN OPEN MULTIAGENT SYSTEMS ABSTRACT The study and development of systems to control interactions in multiagent systems is an open problem in Artificial Intelligence. The system of social exchange values of Piaget is a social approach that allows for the foundations of the modeling of interactions between agents, where the interactions are seen as service exchanges between pairs of agents, with the evaluation of the realized or received services, thats is, the investments and profits in the exchange, and credits and debits to be charged or received, respectively, in future exchanges. This evaluation may be performed in different ways by the agents, considering that they may have different exchange personality traits. In an exchange process along the time, the different ways in the evaluation of profits and losses may cause disequilibrium in the exchange balances, where some agents may accumulate profits and others accumulate losses. To solve the exchange equilibrium problem, we use the Partially Observable Markov Decision Processes (POMDP) to help the agent decision of actions that can lead to the equilibrium of the social exchanges. Then, each agent has its own internal process to evaluate its current balance of the results of the exchange process between the other agents, observing its internal state, and with the observation of its partner s exchange behavior, it is able to deliberate on the best action it should perform in order to get the equilibrium of the exchanges. Considering an open multiagent system, it is necessary a mechanism to recognize the different personality traits, to build the POMDPs to manage the exchanges between the pairs of agents. This recognizing task is done by Hidden Markov Models (HMM), which, from models of known personality traits, can approximate the personality traits of the new partners, just by analyzing observations done on the agent behaviors in exchanges. The aim of this work is to develop an hybrid agent architecture for the self-regulation of social exchanges between personalitybased agents in a open multiagent system, based in the BDI (Beliefs, Desires, Intentions) architecture, where the agent plans are obtained from optimal policies of POMDPs, which model personality traits that are recognized by HMMs. To evaluate the proposed approach some simulations were done considering (known or new) different personality traits. Keywords: social exchange values, self-regulation of social exchanges, personalitybased multiagent systems, Partially Observable Markov Decision Processes, BDI Architecture, Hidden Markov Models.

13 13 1 INTRODUÇÃO A evolução das redes de computadores e o crescente aumento do poder computacional propiciaram o despertar da área de Inteligência Artificial (IA), na qual o desenvolvimento de software com capacidades especiais, tais como, pró-atividade, benevolência, adaptabilidade e outras, tem levado grupos de pesquisas e instituições a direcionarem seus esforços para o desenvolvimento de estruturas e mecanismo que propiciem a sua criação. O desenvolvimento de softwares ditos inteligentes não é uma tarefa fácil, uma vez que a especificação de tais entidades pode se tornar mais complexa que a sua própria construção. Dessa forma, busca-se particionar a tarefa em entidades com capacidades reduzidas e mais simples (agentes), de forma que através da organização dessas entidades emerja uma inteligência superior à soma das capacidades individuais de todos os integrantes. Essa abordagem é tema de estudo e desenvolvimento permanente da área de Inteligência Artificial Distribuída (IAD), mais precisamente da área de Sistemas Multiagentes (SMA) (WOOLDRIDGE, 2002), e sua investigação está direcionada ao desenvolvimento de princípios e modelos computacionais para construir, descrever, implementar e analisar as formas de interação e coordenação de agentes em sociedades de reduzida ou elevada dimensão. A capacidade de um agente interagir com outros agentes é, certamente, uma das principais características a serem consideradas na área de Sistemas Multiagentes. Logo, a modelagem do raciocínio sobre as interações sociais torna-se uma das tarefas mais relevantes e difíceis nesta área. Existem diferentes abordagens que tratam das interações entre agentes e que podem ser divididas em dois grupos: as baseadas na teoria da racionalidade e as inspiradas nas teorias sociais. Estes últimos se baseiam na ideia de que um sistema social deve apresentar dois requisitos básicos: (i) uma visão autônoma do agente, que voluntariamente constrói o seu destino; (ii) uma teoria de sistema social como sistema de ação, sendo responsável pela regulação e restrição dos agentes. Estes requisitos motivaram o desenvolvimento deste trabalho. Esta dissertação de mestrado está centrada na modelagem de interações autoreguladas em sistemas multiagentes abertos baseados em personalidades (DIMURO et al., 2006, 2007, 2008; PEREIRA et al., 2008), através da teoria das trocas sociais de Jean Piaget (PIAGET, 1973). Com base nessa teoria, as interações entre agentes são modeladas como trocas de serviços entre eles, e a avaliação deste serviço dá origem aos chamados valores de trocas sociais, cujos balanços de trocas contínuas determinam o equilíbrio ou não das interações. Os agentes avaliam o investimento na realização de um serviço, assim como a satisfação associada ao recebimento de um serviço. Logo, o sistema está em equilíbrio material se os

14 14 balanços entre os valores de investimento e satisfação estão equilibrados para cada agente, após uma sucessão de trocas realizadas no tempo. As trocas também geram valores de débito e crédito que garantem a continuidade das interações. A modelagem de interações de agentes com base na teoria de trocas sociais de Piaget foi proposta inicialmente em (DIMURO; COSTA; PALAZZO, 2005). Já o mecanismo de regulação de trocas sociais, baseado no conceito de supervisor de equilíbrio centralizado com um Processo de Decisão de Markov Qualitativo Intervalar associado, foi introduzido em (DIMURO; COSTA, 2005a). Este mecanismo foi estendido para SMA baseados em personalidades em (DIMURO et al., 2006, 2007, 2008). Com o trabalho de Pereira (PEREIRA, 2008; PEREIRA et al., 2008), foi possível dar o primeiro passo na direção de descentralizar o mecanismo de regulação de interações e internalizá-lo nos agentes. Para isso, foi necessário trabalhar com Processos de Decisão de Markov Parcialmente Observáveis (POMDP - Partially Observable Markov Decision Processes) (KAELBLING; LITTMAN; CASSANDRA, 1998; LOVEJOY, 1991), visto que os agentes não tinham acesso aos estados internos de outros agentes. Assim, em (PEREIRA, 2008), foi apresentado um método para extrair planos BDI (Beliefs, Desires, Intentions) (WOOLDRIDGE, 2000; RAO, 1996; BORDINI; HÜBNER; WOOLDRIGE, 2007) a partir de políticas ótimas de POMDPs, o qual possibilitou a extensão do simulador de trocas com mecanismo de regulação centralizado (GONÇALVES, 2006) para este novo contexto (PEREIRA et al., 2008). Observa-se, entretanto, que naquela proposta, para cada par de agentes, um sempre é o agente regulador (o que tem o mecanismo de regulação internalizado), e o outro, o agente regulado. Além disso, os traços de personalidade dos agentes são fixos e conhecidos por todos os agentes, não sendo permitido o ingresso na sociedade de agentes com traços de personalidade diferentes dos pré-estabelecidos, ou que possam sofrer modificações em seu comportamento, alterando sua personalidade no decorrer das interações. Assim, o foco desta dissertação está no desenvolvimento de uma arquitetura de agentes híbrida, baseada na arquitetura BDI, nos POMDPs e nos Modelos de Ocultos de Markov (HMM - Hidden Markov Model) (MACDONALD; ZUCCHINI, 1997; RA- BINER; JUANG, 1989; RABINER, 1989), onde o agente seja auto-gerenciador de suas trocas sociais (baseadas em personalidades) as quais executa com outros agentes (sejam estes de personalidade conhecida ou não por ele), negociando dependências e resolvendo conflitos de forma a alcançar e manter o equilíbrio social. Considera-se também que o conjunto de traços de personalidade não é delimitado, e que o agente possa reconhecer, construir e atualizar modelos de traços de personalidade desconhecidos, mantendo uma biblioteca de planos BDI extensível que lhe permita lidar com novos traços de personalidade apresentados pelos agentes. Nas seções a seguir, especifica-se o objetivo desta dissertação (Seção 1.1), resume-se a metodologia (Seção 1.2) e descreve-se a organização do texto (Seção 1.3). 1.1 Objetivos O objetivo geral desta dissertação de mestrado é o desenvolvimento de uma arquitetura de agentes híbrida, baseada na arquitetura BDI, nos modelos POMDP e HMM, para a auto-regulação de trocas sociais baseadas em personalidades, em sistemas multiagentes abertos. Mais especificamente, pretende-se:

15 15 (i) Redefinir os modelos POMDPs introduzidos em (PEREIRA, 2008), de tal forma que as funções de observação reflitam observações sobre os comportamentos de trocas dos agentes baseados em personalidades, através de aceites e recusas; (ii) Automatizar a extração de planos BDI a partir de políticas ótimas POMDPs, realizada pelo algoritmo PolicyToBDIPlans introduzido em (PEREIRA, 2008); 1 (iii) Construir uma biblioteca de planos BDI para os traços de personalidade já conhecidos, com novos planos extraídos das políticas ótimas dos POMDPs baseados em aceites e recusas; (iv) Desenvolver um modelo de aprendizagem e descoberta de novos traços de personalidade baseado em HMM; (v) Definir uma metodologia para especificar POMDPs a partir dos novos modelos de traços de personalidade obtidos com HMMs; (vi) Desenvolver um mecanismo para atualização da biblioteca de planos para novos traços de personalidade descobertos; (vii) Realizar simulações com a comparação dos resultados obtidos considerando as abordagens anteriormente propostas para o problema. 1.2 Metodologia Na base do trabalho encontra-se o sistema de valores de trocas, como mecanismo para a modelagem das interações entre pares de agentes, propiciando a valorização e a conservação das interações realizadas pelos agentes, através dos seus balanços de trocas materiais e virtuais. A metodologia empregada, utiliza uma abordagem híbrida BDI-POMDP para a análise e gerenciamento das interações entre pares de agentes, na qual a arquitetura BDI é aplicada para o desenvolvimento do raciocínio interno dos agentes e os POMDPs são aplicados para a tomada de decisões de cursos de ações, através do mapeamento de suas políticas em planos para os agentes. No processo de reconhecimento de traços de personalidade, utilizou-se uma abordagem baseada nos índices de recusas que os agentes emitem ao logo do processo de interação. Estes índices são comparados com os dos agentes que possuem traços de personalidade conhecidos e políticas ótimas especificadas. Caso o agente não se enquadre nas faixas pré-estabelecidas dos índices de recusas, dá-se início a um processo de descoberta e especificação de um novo conjunto de políticas POMDPs própria para o agente. Com a possibilidade de que existam traços de personalidade diferentes dos previstos inicialmente, outro módulo torna-se necessário para descobrir novos traços de personalidade presentes no sistema. Assim, será adicionado à arquitetura do agente um mecanismo de identificação de personalidade, baseado no HMM. Este modelo utiliza uma especificação de comportamento aproximado e um conjunto de observações recebidas de agentes parceiros para re-estimar seus parâmetros, a fim de representar da melhor forma 1 Em (PEREIRA, 2008), a extração de planos foi realizada de forma off-line ; o agente supervisor foi implementado com uma biblioteca de planos fixa, onde os planos foram construídos através do algoritmo PolicyToBDIPlans;

16 16 o comportamento observado do novo agente, tal comportamento é traduzido em matrizes de transição e observação próprias para a especificação dos POMDPs. Logo, a cada nova personalidade identificada, novos planos são gerados e a biblioteca de planos é atualizada, para que o agente tenha o conjunto de regras adequado para gerenciar o processo de trocas sociais. A integração da abordagem híbrida BDI-POMDP para a geração de novos planos BDI, com o processo de descoberta de personalidade baseado em HMM, é a base para a formalização de uma arquitetura interna para agentes BDI, capazes de tornar o processo de auto-regulação de trocas sociais operacional. 1.3 Organização do Texto O Capítulo 2 introduz a teoria sociológica de Jean Piaget (PIAGET, 1973) para modelagem de interações em sociedades. Além disso, apresenta dois trabalhos que utilizam esta teoria em sua formalização para a modelagem de interações em sistemas multiagentes (RODRIGUES, 2003) e (DIMURO; COSTA; PALAZZO, 2005). Por fim, discorre sobre o estudo de caso desenvolvido no trabalho de (PEREIRA, 2008) sobre a regulação de interações sociais em SMA, sendo esta uma abordagem de controle descentralizada. O Capítulo 3 trata da nova proposta para o processo de auto-regulação das trocas sociais, que une os modelos híbridos BDI-POMDP com os HMM, dando origem a uma arquitetura para agentes auto-reguladores de trocas sociais. O Capítulo 4 discorre sobre o processo de simulação social adotado e a análise dos seus resultados obtidos nas diferentes simulações realizadas. O Capítulo 5 apresenta-se comparações com os trabalhos anteriores, assim como, as conclusões e os trabalhos futuros.

17 17 2 REVISÃO BIBLIOGRÁFICA O objetivo deste capítulo é apresentar uma revisão dos trabalhos relacionados com a modelagem de interações em sistema multiagentes, mais precisamente os sistemas inspirados na teoria das trocas sociais de Piaget. Discorre-se inicialmente sobre um breve histórico dos trabalhos relacionados, seguindo para apresentação dos conceitos da teoria de trocas sociais de Piaget, e, por fim, discutem-se duas abordagens que utilizam tal metodologia. 2.1 Breve Histórico A primeira abordagem conhecida que fez menção aos conceitos psicológicos de Jean Piaget aplicados à análise e a modelagem em sistemas computacionais inteligentes foi (COSTA, 1993), que adotou os trabalhos de Piaget como quadro conceitual de referência, e definiu a inteligência de máquina como o termo final do desenvolvimento da estrutura de regulação das interações funcionais da máquina com o ambiente. Já o primeiro trabalho que relacionou a modelagem de interações em ambientes multiagentes com a sociologia de pequenos grupos esboçada por Jean Piaget em seu livro Estudos Sociológicos (PIAGET, 1973) foram (DIMURO; COSTA, 2002), no trabalho em titulado Uma Estrutura Formal Normativa para Sistemas Computacionais. A proposta tem na base a análise estrutural de valores e regras extraídas da sociologia de pequenos grupos, para modelagem das interações (trocas) que surgem entre os participantes de um sistema composto de usuários e agentes. Em (DIMURO; COSTA, 2002), analisaram-se dois processos de interação bem conhecidos na comunidade científica, as interações do tipo produtor-consumidor e cliente-servidor, sob a ótica da teoria das trocas sociais e os valores de trocas envolvidos. Também observaram as regras morais (normas e leis) da teoria sociológica de Piaget, que são regras operatórias, direcionadas para garantir o equilíbrio dos valores negociados pelos agentes enquanto interagem. Com base no trabalho (DIMURO; COSTA, 2002), e já delineando uma abordagem mais aprofundada, (RODRIGUES, 2003) definiu um sistema de valores de troca para modelar as trocas sociais em sociedades artificiais, no qual desenvolveu uma álgebra de valores de troca própria para representar e manipular tais estruturas. Também comparou a teoria das trocas sociais com outros modelos de interação aplicados em sociedades artificiais (Redes de Contrato e o Modelo de Coalizões Baseados em Dependência), e analisou a união de tais abordagens, com o sistema de valores de trocas proposto. Este trabalho será descrito em maior profundidade na Seção 2.3.

18 18 Dando continuidade ao seu trabalho, (DIMURO; COSTA, 2002) desenvolveram uma abordagem baseada na matemática intervalar, na qual representaram os valores de trocas por meio de intervalos, com objetivo de capturar a natureza qualitativa dos valores de trocas de Piaget, tornando-os operacionais em sistemas numéricos. Assim, deram mais um passo para a modelagem de interações em ambientes artificiais (DIMURO; COSTA, 2005b; DIMURO; COSTA; PALAZZO, 2005; DIMURO; COSTA, 2005c). Mas a formalização mais completa de tal processo encontra-se em (DIMURO; COSTA; PALAZZO, 2005; DIMURO; COSTA, 2005a), que será o tema da Seção 2.4. Nos trabalhos (DIMURO; COSTA, 2002; RODRIGUES, 2003), a análise e o controle das interações realizadas pelos agentes, em sociedades artificiais, era somente regida pelas regras morais e jurídicas, não existia nada que os direcionassem a manter ou a buscar o estado de equilíbrio para as trocas. Já os trabalhos seguintes do grupo, como em (DIMURO; COSTA; PALAZZO, 2005; DIMURO; COSTA, 2005a), descrevem a figura do agente supervisor de equilíbrio para analisar e recomendar processos de trocas para os agentes, de forma a alcançarem o equilíbrio do sistema. Tal processo é modelado através de um Processo de Decisão Markov Qualitativo Intervalar (QI-MDP), onde o mecanismo de regulação das trocas é centralizado e dependente do agente supervisor. No entanto, essa proposta centralizada foi expandida para uma abordagem descentralizada em (PEREIRA et al., 2008), que se baseia nos POMDPs, no qual os agentes têm internalizado regras de ações definidas pela política ótima, para a busca do estado de equilíbrio. Esta abordagem é parte do estudo e desenvolvimento deste trabalho. Uma linha paralela de estudo com base nos valores de trocas trata da modelagem da interação de agentes baseados em traços de personalidade, no qual o supervisor de equilíbrio interage com agentes que controlam o acesso do supervisor aos seus estados internos. Assim, em (DIMURO et al., 2006) apresenta-se a modelagem de agentes de comportamento transparente (agentes que permitam o pleno acesso externo a seus estados internos) 1 e em (DIMURO et al., 2008) para agentes não-transparentes (agentes que restringem o acesso externo a seus estados internos). Em (DIMURO et al., 2006, 2008), para ser capaz de raciocinar sobre as interações entre agentes não-transparentes, foi introduzido um supervisor equilíbrio, com um HMM associado para reconhecer os diferentes traços de personalidade dos agentes, e também o estado interno dos balanços de trocas. Seguindo a linha dos trabalhos de (DIMURO; COSTA, 2002; DIMURO et al., 2006), uma nova proposta para o controle interações de agentes baseados em personalidade foi apresentada por (PALAZZO, 2006), que propõem uma abordagem alternativa para o equilíbrio social entre agentes, removendo a figura do supervisor de equilíbrio do sistema. Para isso, adicionou dois novos valores, além dos valores definidos por Piaget, que representam a avaliação de cada um dos envolvidos na troca efetuada, também adotou uma avaliação do histórico de trocas passadas para a determinação de valores adequados em trocas futuras. Estas avaliações também estão sujeitas aos diferentes traços de personalidade dos agentes. Estes trabalhos servirão de base para a arquitetura proposta nesta dissertação. A seção que se segue baseia-se principalmente no trabalho (RODRIGUES, 2003). 1 Por estado interno, entende-se os resultados e balanços de trocas materiais.

19 Teoria Sociológica de Jean Piaget A teoria sociológica de Piaget se baseia na visão sobre a coletividade expressa na passagem (PIAGET, 1973): O todo coletivo não é idêntico à soma dos indivíduos que o compõem, pois este todo exerce sobre as consciências uma coação que as modifica. Neste caso, o todo não é equivalente à soma dos indivíduos, mas à soma das relações entre os indivíduos. A partir de dois indivíduos, uma interação que acarreta modificações duráveis pode ser considerada como fato social, e a sociedade seria a expressão do conjunto destas interações entre n indivíduos." Piaget adota uma aproximação relacional, em que na estrutura da sociedade os relacionamentos entre os indivíduos são estabelecidos por trocas sociais entre eles. Assim, as interações são compreendidas como trocas de serviços entre indivíduos, envolvendo não somente a realização de serviços por alguns indivíduos em nome de outros, mas também a avaliação de tais serviços. As trocas podem ser entendidas sob dois pontos de vista distintos. De um lado, as trocas seguem algum propósito relacionado aos objetivos dos indivíduos e / ou da própria sociedade. De outro, as trocas envolvem investimentos, ganhos e perdas de tempo, dinheiro, energia, emoções, expectativas e muitos outros elementos motivacionais e energéticos. Um serviço executado por um indivíduo não é uma ação ou uma interferência simples. Para ser contado como uma troca social, uma ação executada por um indivíduo tem que ser compreendida por todos os indivíduos envolvidos, como uma ação intencional e dirigida, assim permitindo sua avaliação como benéfica ou prejudicial. Na teoria de Piaget, durante o processo de troca social ocorrem avaliações sobre as interações, gerando assim os chamados valores de trocas, cujo conceito pode ser definido de duas maneiras: um valor de troca é definido como sendo tudo que pode dar vez a uma troca. Ao definir dessa forma, os valores envolvidos em uma troca não são apenas objetos materiais, mas também ideias, emoções, hábitos sociais etc. um valor de troca é o resultado de uma avaliação mental qualitativa dos elementos envolvidos na interação (ações, emoções, objetivos etc.), sendo que cada valor é resultado de uma avaliação mental associada a um desses elementos e pode, dessa forma, influenciar os comportamentos dos indivíduos com relação às interações. Os serviços que um indivíduo presta ou dos quais se beneficia constituem valores de trocas ou resultam deles. Estes valores podem ser vistos com valores morais, relativos a dívidas morais (obrigação de realizar novos serviços em troca de serviços recebidos) ou créditos morais (direitos de exigir a realização de um novo serviço em troca de serviços previamente executados). A avaliação de um serviço por um indivíduo (o usuário do serviço ou seu cliente) é feita com base em uma escala de valores de trocas sociais, que na teoria de Piaget, é de uma natureza qualitativa (p.ex., ótimo, bom, regular, ruim). Assim, existe somente uma relação de ordem entre os valores de trocas, de forma que podem ser comparados, mas não operados algebricamente da mesma forma que valores quantitativos. Em (RODRIGUES, 2003) apresenta-se a formalização da escala de valores de trocas qualitativos.

20 Teoria dos Valores de Trocas Sociais O modelo descrito por Piaget não utiliza esquemas matemáticos, pois trata de valores que não caracterizam trocas econômicas, mas uma axiomática de ordem logística (das classes e das relações, não dos números), com a função de dar suporte ao mecanismo de valores de trocas qualitativos. Os valores de trocas na teoria de Piaget são de natureza qualitativa, nessa concepção, a teoria tem um caráter abstrato, de forma a ser base para novos instrumentos de análise e de comparação de valores. Para isso, duas condições básicas existenciais são necessárias para a concepção do sistema de valores de trocas: Condição 1 Que exista entre dois indivíduos α e β uma escala comum de valores, de forma a tornar compatíveis as avaliações de α e as avaliações de β. Para esse fim, a escala comum deve conter dois aspectos complementares: uma linguagem comum de comunicação (sistema de sinais ou símbolos) que exprima os valores qualitativos nas trocas. um sistema de noções definidas que permita aos indivíduos traduzir as noções de um no sistema do outro. Condição 2 Deve haver reconhecimento das proposições assumidas como válidas e a conservação dos valores da troca. Essa conservação é obtida por meio de um sistema de regras, que podem ser de dois tipos: regras de ordem moral e de ordem jurídica. Segundo Piaget, se forem satisfeitas essas duas condições pode se dizer que o sistema é um mecanismo de regulação (coordenação) de interações entre indivíduos de uma sociedade, garantindo a sua continuidade Estrutura das Trocas Sociais O conceito de troca social se refere às trocas de serviços entre indivíduos em sociedade, na qual toda ação de um indivíduo repercute sobre os demais envolvidos, podendo alterar seus valores, positivamente, negativamente ou de forma nula. Além disso, cada ação pode provocar uma reação, a qual pode ser material ou virtual. Durante o processo de troca, Piaget distingue quatro momentos básicos entre dois indivíduos, que são gerados das avaliações das ações prestadas ou recebidas pelos indivíduos: valor de renuncia ou investimento (r), valor de satisfação (s), valor de reconhecimento ou débito (t) e valor de crédito (v). Estas avaliações no processo de troca podem ser de dois tipos: ações materiais (r e s) ou efetivas e ações virtuais (t e v) ou postergadas: valores reais (ou materiais) dizem respeito às ações concretas (p.ex., em um ambiente de bar, onde um garçom pede para outro levar a conta para o cliente). É importante ressaltar que os valores que os indivíduos negociam nessa interação dizem respeito ao investimento (tempo gasto e perda de energia pelo garçom que se deslocou para realizar a tarefa) e a satisfação (com ganho de tempo e energia do garçom que estava alocado em outra tarefa). valores virtuais corresponde a créditos e débitos adquiridos no processo de troca e são representações mentais, e não são implicações de uma ação efetiva. Retomando