Jogos Bayesianos Estratégias e Equilíbrio Aplicações. Jogos Bayesianos. Prof. Leandro Chaves Rêgo

Transcrição

1 Jogos Bayesianos Prof. Leandro Chaves Rêgo Programa de Pós-Graduação em Estatística - UFPE Programa de Pós-Graduação em Engenharia de Produção - UFPE Recife, 14 de Outubro de 2014

2 Jogos Bayesianos Jogos Bayesianos são jogos nos quais, no começo do jogo, antes dos jogadores começarem a planejar suas ações no jogo, alguns jogadores podem já possuir alguma informação privada sobre o jogo que os demais jogadores não sabem. Então freqüentemente, queremos analisar situações nas quais os jogadores atualmente têm diferentes informações privadas que eles possuem a um longo tempo, e não é natural definir o início do jogo como sendo algum ponto em um distante passado antes dos jogadores lerem suas informações privadas. Além disso, algumas informações podem ser tão básicas para a identidade de um jogador (por exemplo, sexo, língua materna, nível de aversão ao risco) que não faz sentido discutir sobre jogadores planejando suas ações antes de obterem estas informações. Estas informações privadas que os jogadores possuem no início do jogo antes de planejar suas ações definem os chamados tipos dos jogadores. Jogos Bayesianos são uma generalização de jogos em forma normal que proporcionam uma maneira de representar jogos onde os jogadores já começam a planejar suas ações com informações privadas que definem diversos tipos dos jogadores.

3 Definição Um jogo bayesiano é um vetor Γ b = (N,{C i : i N},{T i : i N},{p i : i N},{u i : i N}), onde N é o conjunto de jogadores; C i é o conjunto de ações disponíveis para o jogador i; T i é o conjunto de possíveis tipos do jogador i. Note que apesar de no início do jogo cada jogador saber seu tipo (pois cada sabe a sua informação privada), precisamos de um conjunto de tipos para cada jogador para descrever a incerteza que os jogadores têm sobre os tipos dos demais jogadores. p i : T i (T i ), ou seja, p i associa cada tipo do jogador i com uma distribuição de probabilidade sobre os tipos dos demais jogadores, descrevendo portanto a incerteza de cada tipo do jogador i sobre os tipos dos demais jogadores. Portanto, p i (t i t i ) denota a probabilidade subjetiva que o tipo t i do jogador i associa ao evento que t i é o verdadeiro perfil de tipos dos demais jogadores.

4 Definição u i : C T IR, ou seja, para cada perfil de estratégias c C e perfil de tipos t T, a função u i especifica um número u i (c,t) que representa a utilidade do jogador i se os tipos dos jogadores forem t e eles escolherem as estratégias em c. Γ b é finito se, e somente se, os conjuntos N,C i, e T i para todo i N forem finitos.

5 Exemplo Considere um jogo onde o jogador 1 é o vendedor de um objeto e o jogador 2 é o único potencial comprador deste objeto. Cada jogador sabe quanto o objeto vale para si mesmo, mas acredita que o valor do objeto para o outro jogador pode em reais ser qualquer número inteiro entre 1 e 100 reais, cada um com igual probabilidade. Neste jogo cada jogador deve simultaneamente fazer uma oferta em reais entre 0 e 100 para negociar o objeto. Se a oferta do comprador for maior ou igual a oferta do vendedor, então eles negociam o objeto pelo valor que é igual a média entre as ofertas, em caso contrário nenhuma transação é realizada. Assuma que os jogadores maximizam o lucro esperado. Este jogo pode ser modelado como um jogo bayesiano da seguinte maneira: N = {1, 2}, T i = {1, 2,...,100} para todo i, C i {0, 1,...,100} para todo i. As funções de probabilidade são: p i (t i t i ) = 1 100, i N, t i T i, t i T i.

6 Exemplo As utilidades são dadas por: u 1(c, t) = (c 1 + c 2)/2 t 1 se c 2 c 1 u 2(c, t) = t 2 (c 1 + c 2)/2 se c 2 c 1 u 1(c, t) = 0 = u 2(c,t) se c 2 < c 1

7 Distribuição a Priori Dizemos que as crenças dos jogadores descritas pelas funções p i em um jogo bayesiano são consistentes com uma distribuição a priori se, e somente se, existe alguma distribuição a priori comum sobre o conjunto de perfis de tipos T = i N T i tal que a crença de cada jogador dado o seu tipo é apenas a distribuição condicional de probabilidade que pode ser computada de acordo com a fórmula de Bayes. Por exemplo, no caso finito, crenças são consistentes se, e somente se, existe alguma distribuição de probabilidade P (T) tal que p i (t i t i ) = P(t), t T, i N. s i T i P(s i, t i ) Note que no exemplo anterior, as crenças são consistentes com a distribuição a priori P(t) = 1, t T

8 Distribuição a Priori A maioria jogos da literatura em jogos bayesianos assume que crenças são consistentes com uma distribuição a priori. Esta tendência se deve ao fato que tais modelos de jogos são mais simples. Note que quando definimos jogos em forma extensiva também assumimos que todos os jogadores descrevem as ações do jogador chance com a mesma distribuição de probabilidade, porém é fácil generalizar esta definição retirando esta suposição. Note que é possível se imaginar jogos com crenças inconsistentes com uma distribuição a priori. Por exemplo, em um jogo esportivo, se for conhecimento comum entre os técnicos que cada um acredita que seu próprio time tem probabilidade 2/3 de vitória no próximo jogo entre os times, então estas crenças não podem ser consistentes com uma distribuição a priori. Se as crenças forem consistentes, pode acontecer que cada técnico acredite que seu time tenha probabilidade 2/3 de vitória, mas esta diferença entre as crenças não pode ser conhecimento comum entre os técnicos. Mais adiante, quando estudarmos formalmente conhecimento e conhecimento comum provaremos este resultado.

9 Estratégias Quando analisamos jogos bayesianos, assumimos que cada jogador i sabe a estrutura inteira do jogo e seu tipo e que este fato é conhecimento comum entre todos jogadores. Portanto, uma estratégia para o jogador i deve não só especificar uma ação para o seu verdadeiro tipo, mas também uma ação para todos os demais tipos, pois os demais jogadores ao escolherem suas ações levam em consideração as ações escolhidas por esses outros tipos. Logo, uma estratégia pura para o jogador i em um jogo bayesiano é uma função que associa a cada tipo do jogador i uma ação em C i. Uma estratégia mista para o jogador i em um jogo bayesiano é uma função que associa a cada tipo do jogador i uma distribuição de probabilidade em C i.

10 Representação em Forma Normal Podemos representar qualquer jogo bayesiano por um jogo em forma normal. Esta representação é conhecida como representação tipo-agente. Nesta representação existe um jogador para cada tipo de jogador do jogo bayesiano. Formalmente, assumindo sem perda de generalidade que T i T j = se i j, dada um jogo bayesiano Γ b, o conjunto de jogadores da representação tipo-agente é igual a T = i N T i. Para cada t i T i, o conjunto de ações disponíveis para este jogador na representação tipo agente é D t = C i. Finalmente, na representação tipo agente, a utilidade para qualquer jogador t T i é definida como sendo igual a utilidade esperada condicional para o jogador i em Γ b quando t i é o verdadeiro tipo. Portanto, para todo i N e t i T i, a função utilidade v ti : s T D s IR na representação tipo agente de forma que para todo perfil de estratégias d s T D s, v ti (d) = t i T i p i (t i t i )u i (d t,t).

11 Exemplo A representação tipo-agente do jogo do exemplo anterior é dada por: T = {i.t : i {1, 2}, t {1, 2,...,100}}, D i.t = {0, 1,...,100}, e v 1.t(d) = u 1((d 1.t,d 2.s),(t,s)), 100 s=1 v 2.t(d) = u 2((d 1.s,d 2.t),(s,t)). 100 s=1

12 Equilíbrio Bayesiano Para um jogo bayesiano, define-se um equilíbrio Bayesiano como sendo um equilíbrio de Nash da representação tipo-agente do jogo bayesiano em forma normal. Portanto, um equilíbrio bayesiano especifica uma ação pura ou uma distribuição de probabilidades sobre as ações para cada tipo de cada jogador de forma que cada um desses tipos maximiza sua utilidade esperada quando ele sabe o seu tipo mas não sabe o tipo dos demais jogadores. Note que em um equilíbrio bayesiano, a estratégia de um jogador depende apenas do seu tipo mas não dos tipos dos outros jogadores. Conforme explicamos, uma estratégia deve especificar uma ação para cada tipo de jogador não apenas para o verdadeiro tipo, pois caso contrário não poderíamos determinar a utilidade esperada dos outros jogadores que não sabem qual é o verdadeiro tipo dos demais.

13 Equilíbrio Bayesiano Formalmente, um equilíbrio bayesiano em estratégias mistas de um jogo bayesiano Γ b é qualquer perfil de estratégias σ i N ti T i (C i ) tal que para todo i N e t i T i, σ i ( t i ) argmax τi (C i ) c C( j N {i} t i T i p i (t i t i ) σ j (c j t j ))τ i (c i )u i (c,t), onde σ j (c j t j ) é a probabilidade com que o tipo t j do jogador j escolhe ação c j.

14 Exemplo 1 Considere um jogo bayesiano com dois jogadores, suponha que C 1 = {x 1,y 1}, C 2 = {x 2,y 2}, T 1 = {1}, T 2 = {2.1, 2.2}, p 1(2.1 1) = 0,6, e as utilidades são dadas nas tabelas a seguir: Para o tipo 2.1: x 2 y 2 x 1 1,2 0,1 y 1 0,4 1,3

15 Exemplo 1 Para o tipo 2.2: x 2 y 2 x 1 1,3 0,4 y 1 0,1 1,2 Neste jogo, y 2 é uma estratégia fortemente dominada para o tipo 2.1 e x 2 é fortemente dominada para o tipo 2.2, então 2.1 deve escolher x 2 e 2.2 deve escolher y 2. Portanto, para o tipo 1, temos que a utilidade esperada de x 1 é 0,6 e a utilidade esperada de y 1 é 0,4. Portanto, o único equilíbrio bayesiano deste jogo é: σ 1(x 1 1) = 1, σ 2(x 2 2.1) = 1, e σ 2(y 2 2.2) = 1.

16 Exemplo 2 Considere o seguinte jogo Bayesiano no qual o jogador 1 pode ter tipo α ou β, onde segundo o único tipo do jogador 2, jogador 1 é do tipo α com probabilidade 0,9. As utilidades dos jogadores são dadas de acordo com o as tabelas a seguir: Para o tipo α: x 2 y 2 x 1 2,2-2,0 y 1 0,-2 0,0

17 Exemplo 2 Para o tipo β: x 2 y 2 x 1 0,2 1,0 y 1 1,-2 2,0 Note que existem três equilíbrios Bayesianos neste jogo: (1) σ 2(x 2) = 1, σ 1(x 1 α) = 1, e σ 1(y 1 β) = 1; (2) σ 2(y 2) = 1, σ 1(y 1 α) = 1, e σ 1(y 1 β) = 1; e (3) σ 2(x 2) = 1/2, σ 1(x 1 α) = 5/9, e σ 1(y 1 β) = 1.

18 Exemplo 3 Suponha que duas pessoas estão envolvidas em uma disputa. Pessoa 1 não sabe se a pessoa 2 é forte ou fraca; ela associa probabilidade α a pessoa 2 ser forte. Pessoa 2 está perfeitamente informada. Cada pessoa pode lutar ou se entregar. Cada pessoa recebe uma utilidade 0 se ela se entregar não importa o que a outra pessoa faça. Além disso, cada pessoa recebe uma utilidade 1 se ela lutar e seu adversário se entregar. Se ambas pessoas lutarem, então suas utilidades são ( 1;1) se a pessoa 2 for forte e (1; 1) se a pessoa 2 for fraca. Formule esta situação como um jogo Bayesiano e encontre os equilíbrios bayesianos se α < 1 2 e se α > 1 2.

19 Exemplo 3 Solução: O jogo Bayesiano é: N = {1, 2}; C i = {L, E},i N; T 1 = {1}; T 2 = {Ft, Fr}; p(ft 1) = α; e as utilidades são dadas da seguinte maneira: se o jogador 2 for forte: L E L -1,1 1,0 E 0,1 0,0

20 Exemplo 3 se o jogador 2 for fraco: L E L 1,-1 1,0 E 0,1 0,0

21 Exemplo 3 Seja σ 1(L), σ 2(L Ft), e σ 2(L Fr) o perfil de estratégias misto. Então, a utilidade esperada do jogador 2 forte de lutar é 1, e de se entregar é 0. Logo, este tipo do jogador 2 sempre luta, isto é em qualquer equilíbrio Bayesiano σ 2(L Ft) = 1. A utilidade esperada do jogador 2 fraco de lutar é σ 1(L)+(1 σ 1(L)), e de se entregar é 0. Portanto, ele irá lutar se σ 1(L) < 1 2 ; se entregar se σ 1(L) > 1 2 ; e é indiferente se σ1(l) = 1 2.

22 Exemplo 3 A utilidade esperada do jogador 1 de lutar é α[σ 2(L Ft) ( 1)+(1 σ 2(L Ft))]+(1 α) = 1 2ασ 2(L Ft), e de se entregar é 0. Portanto, ele irá lutar se ασ 2(L Ft) < 1 ; se entregar se 2 ασ 2(L Ft) > 1 ; e está indiferente se ασ2(l Ft) = 1. Como já vimos que em 2 2 todo equilíbrio Bayesiano σ 2(L Ft) = 1, então o jogador 1 irá lutar se α < 1, e 2 se entregar se α > 1. Logo, se α < 1 ; então o único equilíbrio bayesiano é 2 2 dado por σ 1(L) = 1; σ 2(L Ft) = 1; e σ 2(L Fr) = 0. Se α > 1 ; então o único 2 equilíbrio bayesiano é dado por σ 1(L) = 0; σ 2(L Ft) = 1; e σ 2(L Fr) = 1.

23 Exemplo 4 Em um problema de decisão ter mais informação nunca é prejudicial, pois o tomador de decisão pode sempre ignorar a informação recebida. Em um jogo, is to nem sempre é verdade. Se um jogador possui mais informação e os outros jogadores souberem disso, então o jogador pode estar numa situação pior como mostra o seguinte exemplo. Exemplo 4 Considere que ambos jogadores consideram igualmente prováveis que estão participando dos seguintes jogos, onde 0 < ǫ < 1 2 : L M R T 1,2ǫ 1,0 1,3ǫ B 2,2 0,0 0,3

24 Exemplo 4 ou L M R T 1,2ǫ 1,3ǫ 1,0 B 2,2 0,3 0,0 Então, a estratégia L é estritamente dominante para o jogador 2, pois se 1 escolher T, L terá uma utilidade esperada de 2ǫ enquanto M e R terão utilidade esperada 3 ǫ, e se 1 escolher B, L terá utilidade esperada 2, enquanto 2 M e R terão utilidade esperada 3. Sabendo disto, 1 então escolherá B e no 2 único equilíbrio de Nash, teremos que ambos jogadores recebem 2.

25 Exemplo 4 Suponha agora que o jogador 2, antes do jogo recebe um sinal indicando qual é o verdadeiro jogo. Neste caso, a estratégia R é estritamente dominante para o tipo do jogador 2 que acredita que o jogo é o primeiro, enquanto que a estratégia M é estritamente dominante para o tipo do jogador 2 que acredita que o jogo é o segundo. Sabendo disto, o jogador 1, escolherá T. Então, neste equilíbrio o jogador 1 recebe 1 enquanto o jogador 2 recebe 3ǫ < 2. Então, ambos os jogadores saem perdendo com a informação extra adquirida pelo jogador 2.