17/05/2011. SMA = Agentes + Interação Social. Interação Social = Comunicação + Coordenação. 9ª Aula Negociação. Teoria dos Jogos

Transcrição

1 SMA = Agentes + Interação Social 9ª Aula Negociação Interação Social = Comunicação + Coordenação Coordenação entre agentes benevolentes ou com interesses comuns Coordenação entre agentes competitivos ou com interesses conflitantes Luciano Reis Coutinho, Prof. lrc@deinf.ufma.br 2 Teoria dos Jogos Teoria dos Jogos ( Parsons e Wooldridge 2000 ): IAD/RDP - Quadro Negro - CNET 1986 Jeffrey Rosenschein Cooperation without communication 2009 Shoham and Leyton- Brown Livro MAS, fundamentos: - Algorithmic - Game-Theoretic - Logical Game theory is a close relative of decision theory, which studies interactions between self-interested agents. In Game theory study of multi-agent interactions, particularly those involving negotiation and coordination. John Nash 1947 Equilibrium Morgenstern e von Neumann SMAs Cooperativos Introdução da Teoria Jogos Em SMAs. Questão Básica sobre encontros entre agentes: What is the best most rational thing an agent can do? 3 4 Respostas em termos de : Estratégias Dominantes; Estratégias Dominantes Diz-se que uma estratégia s i é dominante para o agente i se - não importando que estratégia s j o agente j escolha-, i se dará no mínimo tão bem escolhendo s i quanto escolhendo qualquer outra. Equilibrium Nash; Pareto optimalidade; Maximização do bem-estar social. Equilíbrio NASH Em geral, diz-se que duas estratégias s i e s j estão em equilíbrio Nash se: 1) Supondo de que o agente i escolhe si, o agente j não pode fazer melhor do que realizar sj; 2) Supondo de que o agente j escolhe sj, o agente i não pode fazer melhor do que realizar si; 5 6 1

2 Pareto Optimalidade Um resultado da ação conjunta de agentes é dito Pareto ótimo (ou Pareto eficiente) se não existe nenhum outro resultado possível que faça um dos agentes mais feliz sem tornar um outro agente menos feliz. Exemplo: Dilema do Prisioneiro Equilíbrio NASH Maximização do Bem-Estar Social O bem-estar social de um resultado é definido como a soma das utilidades de cada agente a partir do resultado: 7 8 Exemplo: Dilema do Prisioneiro Exemplo: Dilema do Prisioneiro PARETO Ótimo Bem Estar Social Max: ui(c,c) +uj(c,c)= Exemplo: Jogo do Covarde (Chicken Game) Exemplo: Jogo do Covarde (Chicken Game) Equilíbrios NASH PARETO Ótimo

3 Exemplo: Jogo do Covarde (Chicken Game) Exemplo: Caça ao Cervo (Stag Hunt) Equilíbrio(s) NASH??? PARETO Ótimos??? Bem Estar Social Max: ui(c,c) +uj(c,c)=4 ui(c,d) +uj(c,d)=4 ui(d,c) +uj(d,c)=4 Bem Estar Social Max:??? Exemplo: Jogo do Atraso Equilíbrio(s) NASH??? Em suma, A Teoria dos Jogos oferece um formalismo matemático para analisar ou projetar situações protocolos de interação entre agentes com interesses próprios, em geral conflitantes (competição, negociação, etc). PARETO Ótimos??? Como Por exemplo: Bem Estar Social Max:??? Situações de decisão conjunta Protocolos de votação Situações de alocação de recursos Protocolos de leilões Limitações críticas, Baseada em hipóteses simplificadoras, nem sempre realistas Os agentes são 100% racionais As possíveis ações/estados formam um conjunto fixo e previamente conhecido Cada agente sabe das preferências dos outros Cada agente sabe das potencialidades/limites dos outros Negociação Barganha Domínios de Tarefas Protocolo de Concessão Monotônica A Estratégia Zeutehn Algoritmo BarSSA Argumentação Modos de Argumentação Argumentação Abstrata Argumentação para SOA Leituras Recomendadas

4 Em casos extremos, para um agente ganhar algo em uma interação, SEMPRE um ou mais agentes têm de perder na mesma proporção Encontros Puramente Competitivos Caso especial, encontros SOMA ZERO! Resposta : NEGOCIAÇÃO No entato, em vários casos reais, há um meio termo mais produtivo para as partes envolvidas Vide Dilema do Prisioneiro mas que só pode ser explorado se os agentes tiverem a possibilidade de SE COMUNICAR, e CONFIAR MUTUAMENTE na palavra do outro! Questão Central Como chegar a um acordo, i.e., um resultado agradável para todos os participantes, quando for possível? Via BARGANHA Via ARGUMENTAÇÃO Negociação Barganha Domínios de Tarefas Protocolo de Concessão Monotônica A Estratégia Zeutehn Tipo de negociação que se desenrola em rodadas (rounds) de... Proposta (Contra-)Proposta... Algoritmo BarSSA Argumentação Modos de Argumentação Argumentação Abstrata Argumentação para SOA Leituras Recomendadas Quando proposta e contra-proposta são iguais ou melhor do que o esperado a negociação termina e tem-se um ACORDO! Quando a negociação termina em proposta e contra-proposta diferentes ou abaixo do esperado NÃO HÁ ACORDO! A partir desta definição pode-se dizer que leilões são um tipo particular de Barganha Dedicada à alocação de Bens e Recursos Nesta aula iremos enfatizar Barganha em Domínio de TAREFAS Formalmente, um domínio de tarefas é uma tripla T, Ag, c onde T é o conjunto (finito) de Tarefas; Ag = {1,..., n} é o conjunto de agentes; c : (T) R + é uma função que define do custo de executar cada subconjunto de tarefas. Uma alocação é uma sequência T 1, T 2,..., T n onde T i T para cada i Ag

5 Considere um domínio de tarefa no qual interagem dois agentes 1 e 2; O conjunto de acordos sobre o qual os agentes irão negociar são aqueles: Dada uma alocação T 1, T 2, um acordo consiste em uma (re)alocação = D 1, D 2 das tarefas em T 1 T 2 aos agentes 1 e 2; Individualmente racionais: i.e., os agentes não estarão interessados em acordos com utilidade negativa; melhor fazer as tarefas originalmente alocadas. A utilidade de um acordo para um agente i é dado por utility i ( ) = c(t i ) c(d i ) Pareto eficientes: i.e., os agentes podem sempre transformar um acordo Pareto não-eficiente em um Pareto eficiente fazendo um dos agentes mais feliz sem prejudicar os outros Regras do Protocolos... No 1o. round, agentes propõem simultaneamente acordos dentro do conjunto de negociação; Chega-se a um entendimento, se um agente acha que o acordo proposto pelo outro é pelo menos tão bom ou melhor que sua proposta; Se não há entendimento, a negociação prossegue ao próximo round de propostas simultâneas; No round u + 1, não é permitido a nenhum agente fazer uma proposta que seja pior do que a feita no round anterior; Se nenhum agente cede um pouco mais em um dado round u > 0, então a negociação termina sem sucesso Como os agentes devem proceder usando o protocolo de concessões monotônicas? Três pontos chave: Qual a primeira proposta a fazer? A mais desejada pelo agente (óbvio)! Em um dado round, quem deve ceder? Quem tem mais utilidade a perder! Dando empate, joga uma moeda Se um agente deve ceder, então quanto ele deve ceder? Apenas o suficiente para mudar o cenário de perda. O protocolo não garante sucesso, mas garante um fim para toda negociação; Complexidade : O ( 2 T ) Não garante maximização do bem-estar social, mas garante a racionalidade individual e a Pareto optimalidade; Com relação à estabilidade, o uso da estratégia Zeuthen leva a um equilíbrio NASH. Assim, dado que um agentes esteja usando Zeuthen, um outro agente não pode fazer melhor que usar Zeuthen

6 Nas palavras de (Rosenschein and Zlotkin, 1994, p. 46): This is of particular interest to the designer of automated agents. It does away with any need for secrecy on the part of the programmer. An agent s strategy can be publicly known, and no other agent designer can exploit the information by choosing a different strategy. In fact, it is desirable that the strategy be known, to avoid inadvertent conflicts Negociação Barganha Domínios de Tarefas Protocolo de Concessão Monotônica A Estratégia Zeutehn De modo geral, argumentação em um contexto multiagente consiste em um processo pelo qual um dos agentes tenta convencer um ou mais outros da verdade (ou falsidade) de algum estado de coisas. Algoritmo BarSSA Argumentação Modos de Argumentação Argumentação Abstrata Argumentação para SOA Leituras Recomendadas É um processo de tentar chegar a um acordo conjunto sobre em quê acreditar. É um problema apenas quando as várias crenças são contraditórias Segundo (Gilbert 1994): Lógico Baseado em raciocínio dedutivo, provas lógicoformais; Emocional Apelo a emoções, sentimentos, etc. Visceral Apelo aos aspectos físicos, biológicos ou sociais. Kisceral Apelo aos aspectos místicos, religiosos, etc. Referência Dung, P. M. (1995) On the acceptability of arguments and its fundamental role in non-monotonic reasoning, logic programming and n-person games. AI, 77, Seja a notação x y, significando: Argumento x ataca argumento y; Ou, x é um contra-exemplo para y. Um sistema de argumentação abstrata é um par A = X, onde X é um conjunto de argumentos X X, é uma relação binária representando a noção de ataque entre argumentos;

7 Dado um sistema de argumentação abstrata, o que interessa é a estrutura geral de uma argumentação Não interessa o conteúdo de cada argumento em X Nem a natureza da relação de ataque. Por exemplo: Por exemplo: Questão Básica: Em que acreditar??? Critérios de (Vreeswijk and Prakken, 2000, p. 242) Um outro exemplo: Dado um sistema de argumentação abstrata <X,>, definem-se: Um argumento x X é atacado por um conjunto de argumentos Y X se y: y Y y x (i.e., pelo menos um membro de Y ataca x); Um argumento x X é aceitável (ou IN )com respeito a um conjunto de argumentos Y X se cada atacante de x em Y é também atacado; Um conjunto de argumentos Y é livre de conflito se nenhum argumento em Y ataca algum outro argumento em Y; Um conjunto de argumentos livre de conflito Y é admissível se cada argumento em Y é aceitável com respeito a Y Sobre Negociação ROSENSCHEIN and ZLOTKIN (1994) Rules of Ecounter: Designing Conventions for Automated Negotiation among Computers. MIT Press, Cambridge. Sobre Barganha Cap. 15 de WOOLDRIDGE, M. (2009) An Introduction to MultiAgent Systems. John Wiley & Sons Ltd. Sobre Argumentação Cap. 16 de WOOLDRIDGE, M. (2009) An Introduction to MultiAgent Systems. John Wiley & Sons Ltd. Dung, P. M. (1995) On the acceptability of arguments and its fundamental role in non-monotonic reasoning, logic programming and n-person games. AI, 77,