Refinamentos de Equilíbrios de Nash

Refinamentos de Equilíbrios de Nash Prof. Leandro Chaves Rêgo Programa de Pós-Graduação em Estatística - UFPE Programa de Pós-Graduação em Engenharia de Produção - UFPE Recife, 06 de Outubro de 2014

Equilíbrio Perfeito de Mão Trêmula Agora, vamos estudar alguns exemplos de refinamentos de equilíbrio de Nash para jogos em forma normal. Existem algumas propriedades que desejamos que tais refinamentos satisfaçam. O conceito de solução deve ser satisfeito por pelo menos um perfil de estratégias em todo jogo finito. Quando existe alguma razão para não considerar um equilíbrio de Nash plausível, o refinamento deve eliminá-lo. Por exemplo, equilíbrios onde jogadores escolham estratégias dominadas com probabilidade positiva. Em jogos extensivos, um equilíbrio que não possa ser extendido por algum sistema de crenças para um equilíbrio seqüencial deve ser eliminado. Portanto, para refinamentos de equilíbrio para jogos em forma normal, o conceito de solução deve apenas selecionar equilíbrios que correspondam a equilíbrios seqüenciais de todos os jogos de forma extensa que possam ser representados pelo dado jogo em forma normal. Veremos a seguir um primeiro refinamento conhecido como equilíbrio perfeito de mão trêmula.

Definição Um dado perfil de estratégias mistas para um jogo em forma normal finito é dito ser completamente misto se toda ação do jogo é escolhida com probabilidade estritamente positiva. Definição 1.1 Um equilíbrio perfeito de mão trêmula de um jogo finito em forma normal é um perfil de estratégias mistas σ com a propriedade que existe uma seqüência (σ k ) k=0 de perfis de estratégia completamente mistos que convergem pontualmente para σ de tal forma que para todo jogador i a estratégia σ i é uma melhor resposta para σ k i para todos os valores de k. Como para todo jogador a utilidade esperada é contínua no vetor de estratégias dos outros jogadores, temos que σ i é também uma melhor resposta para σ i, e portanto, todo equilíbrio perfeito de mão trêmula também é um equilíbrio de Nash. O próximo exemplo demonstra que a recíproca desta afirmação não é verdadeira.

Exemplo A B C A 0,0 0,0 0,0 B 0,0 1,1 2,0 C 0,0 0,2 2,2 Este jogo tem três equilíbrios de Nash (A,A),(B,B),(C,C), mas apenas (B, B) é um equilíbrio perfeito de mão trêmula.

Equilíbrio Sequencial versus Equilíbrio Perfeito de Mão Trêmula Note que em um equilíbrio de mão trêmula, a estratégia dos jogadores continua sendo uma melhor resposta para estratégias dos demais jogadores que são pequenos desvios das estratégias de equilíbrio. Por este motivo, temos que equilíbrio perfeito de mão trêmula é robusto a pequenos erros que possam ser realizados pelos jogadores enquanto tentam implementar suas estratégias de equilíbrio. O próximo teorema relaciona equilíbrio seqüencial com equilíbrio perfeito de mão trêmula da representação multiagente de um jogo em forma extensa. Teorema 1.2 Suponha que Γ é um jogo em forma extensiva finito com memória perfeita e que σ é um equilíbrio perfeito de mão trêmula da representação multiagente de Γ em forma normal. Então, existe um sistema de crenças µ tal que (σ,µ) é um equilíbrio seqüencial de Γ.

Prova Seja (σ k ) k=0 a seqüência de perfis de estratégia completamente mistos tal que σ k converge para σ e para todo conjunto de informação I do jogador i, σ I é uma melhor resposta para σ k I para todo k. Para todo h I, defina π k (I)(h) = Pr σ k(h) h I Pr σ k (h). Como σ k é completamente mista, temos que Pr σ k(h) > 0, h H. Como π k pode ser visto como um vetor de dimensão finita cujas componentes estão entre 0 e 1, temos que esta seqüência está definida em um espaço compacto e, portanto, tem uma subseqüência convergente. Seja µ k a subseqüência convergente de π k e µ o limite de µ k. Seja ainda τ k a subseqüência de σ k correspondente a subseqüência µ k.

Prova Por construção, temos que (σ,µ) é consistente. Queremos provar que esta avaliação é seqüencialmente racional. Lembre que para todo I I i, denotamos por u I ( ) a utilidade esperada do agente I do jogador i. Temos que quando o agente i usa estratégia ρ(i) em I com as demais estratégias como especificado em τ k, u I é dado por u I (τ I,ρ(I)) k = Pr (h)eu (τ k I,ρ(I)) i((τ I,ρ(I)) h) k h I + Pr (z)v (τ k I,ρ(I)) i(z) = h I z (Z Z(I)) Pr τ k(h)eu i ((τ k I,ρ(I)) h)+ z (Z Z(I)) Pr τ k(z)v i (z) tendo em vista que Pr (τ k I,ρ(I)) (h) = Pr τ k (h), h I (Z Z(I)), pois estas probabilidades não dependem da escolha do jogador i em I.

Prova Logo, u I (τ I,ρ(I)) k = ( Pr τ k(h ))( µ k (I)(h)Eu i ((τ I,ρ(I)) h)) k h I h I + Pr τ k(z)v i (z) z (Z Z(I)) Como τ k é uma subseqüência de σ k, temos que σ I é uma melhor resposta para τ I, k e portanto maximiza também h I µk (I)(h)Eu i ((τ I,ρ(I)) h) k por uma escolha de ρ(i). Fazendo k pela continuidade da utilidade esperada, temos que σ I argmax ρ(i) µ(i)(h)eu i ((σ I,ρ(I)) h), h I ou seja, (σ,µ) é seqüencialmente racional.

Existência Resta-nos provar que o conjunto de equilíbrios perfeitos de mão trêmula não é vazio para todo jogo finito. Teorema 1.3 Para todo jogo finito em forma estratégica existe pelo menos um equilíbrio perfeito de mão trêmula.

Prova da Existência Seja Γ = (N,{C i : i N},{u i : i N}) qualquer jogo finito em forma normal. Seja λ qualquer perfil de estratégias completamente misto, por exemplo, faça λ i = 1. Para qualquer número k tal que k 1, definimos uma função δk C i que associa cada perfil de estratégias misto (σ) a um perfil de estratégias completamente misto, da seguinte maneira: δ k (σ) = (1 1 k )σ + 1 k λ. Para qualquer, perfil de estratégias puras c, seja u k i (c) = u i (δ k ([c])). Defina Γ k = (N,{C i : i N},{u k i : i N}). Note que Γ k é um jogo em forma normal finito, portanto possui pelo menos um equilíbrio de Nash em estratégias mistas. Seja σ k um equilíbrio de Nash de Γ k. Como o jogo é finito podemos escolher uma subseqüência de σ k que satisfaz as seguintes condições: (1) para todo jogador i o mesmo conjunto de estratégias puras têm probabilidade zero de acordo com todos os k s, e (2) a subseqüência é convergente. Chamemos esta subseqüência de ˆσ k. Defina σ = lim k ˆσ k e τ k = δ k (ˆσ k ). Então, τ k é completamente misto e lim k τ k = lim k ˆσ k = σ.

Prova da Existência Além disso, como d i C i u k i (ˆσ k i,[d i ]) = u i (τ k i,δ k ([d i ])) = (1 1 k )u i(τ k i,[d i ])+ 1 k u i(τ k i,λ i ), temos que argmax di C i u k i (ˆσ k i,[d i ]) = argmax di C i u i (τ k i,[d i ]). Portanto, para qualquer c i C i, se c i / argmax di C i u k i (ˆσ k i,[d i ]) = argmax di C i u i (τ k i,[d i ]), então ˆσ k i (c i ) = 0. Logo, σ i (c i ) = 0. Então, temos que se c i / argmax di C i u i (τ k i,[d i ]), então σ i (c i ) = 0, o que por sua vez implica que σ i argmax τi (C i )u i (τ k i,τ i ). Então, σ satisfaz as condições de um equilíbrio perfeito de mão trêmula.

Observações Observação 1.4 Note que os dois últimos teoremas implicam que o conjunto de equilíbrios seqüências de um jogo em forma extensiva finito com memória perfeita é não vazio. Existe uma outra caracterização possível para a definição de equilíbrio perfeito de mão trêmula que é baseada no conceito de equilíbrio ǫ-perfeito. Um perfil de estratégias misto σ é um ǫ-equilíbrio perfeito se σ for completamente misto e para todo i N e todo estratégia pura c i C i, se c i / argmax ei C i u i (σ i,[e i ]), então σ i (c i ) < ǫ. O próximo teorema trata da relação entre equilíbrio perfeito de mão trêmula e ǫ-equilíbrio perfeito. Teorema 1.5 σ é um equilíbrio perfeito de mão trêmula de Γ se, e somente se, existe uma seqüência (ǫ k,σ k ) tal que lim k ǫ k = 0, lim k σ k = σ, e para todo k, σ k é um ǫ k -equilíbrio perfeito.

Prova Suponha que (ǫ k,σ k ) é uma seqüência tal que lim k ǫ k = 0, lim k σ k = σ, e para todo k, σ k é um ǫ k -equilíbrio perfeito. Como existe apenas um número finito de subconjuntos de C i, podemos escolher uma subseqüência τ k de σ k tal que argmax ei C i u i (τ k i,[e i ]) = argmax ei C i u i (τ j i,[e i]) para todo j, k. Para verificar que σ é um equilíbrio perfeito de mão trêmula, basta verificar que se c i / argmax ei C i u i (τ k i,[e i ]), então σ i (c i ) = 0. Assuma que c i / argmax ei C i u i (τ k i,[e i ]) para algum k. Por construção de (τ k ), temos que c i / argmax ei C i u i (τ k i,[e i ]) para todo k. Portanto, τ k i (c i ) < ǫ k, k. Logo, σ i (c i ) = lim k τ k i (c i ) lim k ǫ k = 0.

Prova Para a recíproca, suponha agora que σ é um equilíbrio perfeito de mão trêmula. Então, existe σ k completamente misto tal que se σ i (c i ) > 0, então c i argmax ei C i u i (σ k i,[e i ]), k, e lim k σ k = σ. Escolha uma subseqüência τ k de σ k tal que argmax ei C i u i (τ i,[e k i ]) = argmax ei C i u i (τ j i,[e i]) para todo j, k. Suponha que c i / argmax ei C i u i (τ i,[e k i ]), então σ i (c i ) = 0. Como lim k τ k = σ, temos que para todo j, existe N j tal que para todo n N j, τi n (c i ) < 1. Como argmax j e i C i u i (τ i,[e k i ]) = argmax ei C i u i (τ j i,[e i]) para todo j, k, segue que se c i / argmax ei C i u i (τ N j i,[e i]), então τ N j i (c i ) < 1, j, ou seja, j τ N j é um 1 -equilíbrio perfeito para todo j. j

Equilíbrio próprio é um refinamento de equilíbrio perfeito de mão trêmula. Como vimos no Teorema 1.5, um equilíbrio perfeito de mão trêmula pode ser aproximado por um perfil de estratégias completamente misto, mas que satisfaz a condição que qualquer estratégia pura que não seja uma melhor resposta é escolhida com uma probabilidade arbitrariamente pequena. Um equilíbrio próprio também pode ser aproximado por um perfil de estratégias completamente misto, mas que satisfaz a condição de que qualquer estratégia que não for uma melhor resposta é escolhida com uma probabilidade significativamente menor que qualquer outra estratégia que tenha uma utilidade esperada melhor que a sua. Formalmente, diz-se que um perfil de estratégias σ é um ǫ-equilíbrio próprio se σ for completamente misto e para todo i N, se para quaisquer c i, e i C i, se u i (σ i,[c i ]) < u i (σ i,[e i ]), então σ i (c i ) ǫσ i (e i ). Definição 2.1 Um perfil de estratégias σ é um equilíbrio proprio se existe uma seqüência (ǫ k,σ k ) tal que lim k ǫ k = 0, lim k σ k = σ, e para todo k, σ k é um ǫ k -equilíbrio próprio.

Existência É fácil verificar que todo equilíbrio próprio também é um equilíbrio perfeito de mão trêmula (Exercício). O próximo teorema mostra que todo jogo finito em forma normal tem um equilíbrio próprio. Teorema 2.2 Para qualquer jogo finito em forma normal, o conjunto de equilíbrios próprios é não vazio.

Prova Dado um jogo finito em forma normal Γ = (N,(C i ) i N,(u i ) i N ), para cada número positivo ǫ menor que 1, seja Γ ǫ um jogo com o mesmo conjunto de jogadores, onde as estratégias puras do jogador i são todas as maneiras possíveis de ordenar as estratégias de C i, ou seja, existem C i! estratégias do jogador i neste jogo. A utilidade esperada u ǫ dos perfis de estratégia de Γ ǫ são determinadas da seguinte maneira. Após os jogadores escolherem suas estratégias em Γ ǫ, uma estratégia pura em C i para cada jogador é escolhida de acordo com uma distribuição de probabilidade na qual a primeira estratégia de C i de acordo com a ordem escolhida por i tem a maior probabilidade e cada uma das estratégias puras subseqüentes de acordo com a ordem tem probabilidade ǫ vezes a probabilidade da estratégia imediatamente anterior na ordem. A utilidade esperada de um jogador em Γ ǫ é determinada pela utilidade esperada em Γ quando as estratégias puras são selecionadas do modo acima.

Prova Como Γ ǫ é finito, podemos encontrar um equilíbrio de Nash deste jogo para todo ǫ. Seja τ ǫ um equilíbrio de Nash em estratégias mistas de Γ ǫ. Seja σ ǫ um perfil de estratégias misto de Γ tal que, σi ǫ (c i ) é a probabilidade com que c i é escolhido de acordo com o procedimento do parágrafo anterior quando i joga τi ǫ.

Prova Vamos provar que σ ǫ é um ǫ-equilíbrio próprio de Γ. Suponha que u i (σ i,[c ǫ i ]) < u i (σ i,[e ǫ i ]). Então, dado que os jogadores diferentes de i seguem as estratégias em σ i, ǫ temos que para quaisquer estratégias β i e γ i de i que só diferem nas probabilidades com que c i e e i são escolhidos, vale u i (σ i,β ǫ i ) < u i (σ i,γ ǫ i ) se γ i (e i ) > β i (e i ). Portanto, se τ i e τ i são duas estratégias puras para i em Γ ǫ, temos que ui ǫ (τ i,[τ ǫ i]) < ui ǫ (τ i,[τ ǫ i ]), se τ i e τ i diferem apenas na posição de c i e e i na ordenação das estratégias puras, e na ordenação segundo τ i e i vem antes de c i. Logo, como τ ǫ é um equilíbrio de Nash de Γ ǫ, τi ǫ só dá probabilidade positiva a ordens em que e i vem antes de c i. Portanto, σi ǫ (c i ) < ǫσi ǫ (e i ), ou seja, σ ǫ é um ǫ-equilíbrio próprio de Γ. Como i N (C i ) é compacto, podemos encontrar uma subseqüência σ ǫ k que converge para σ e lim k ǫ k = 0. Portanto, σ é um equilíbrio próprio de Γ.

Exemplo Vamos ilustrar com um exemplo o fato que nem todo equilíbrio perfeito de mão trêmula é um equilíbrio próprio. Considere o jogo a seguir: x 2 y 2 a 1x 1 4,4 4,4 a 1y 1 4,4 4,4 b 1x 1 6,6 3,0 b 1y 1 0,0 2,2

Exemplo Nosso objetivo é mostrar que ([a 1x 1],[y 2]) é um equilíbrio perfeito de mão trêmula deste jogo que não é equilíbrio próprio. Para provar que é um equilíbrio perfeito de mão trêmula, considere o seguinte perfil de estratégias σ ǫ = ((1 ǫ)[a 1x 1]+0,1ǫ[a 1y 1]+0,1ǫ[b 1x 1]+0,8ǫ[b 1y 1],ǫ[x 2]+(1 ǫ)[y 2]). σ ǫ é um ǫ -equilíbrio perfeito para qualquer ǫ < ǫ < 1/3, pois note que u 1(a 1x 1,σ ǫ 2) = u 1(a 1y 1,σ ǫ 2) = 4, u 1(b 1x 1,σ ǫ 2) = 6ǫ+(1 ǫ)3 < 4, u 1(b 1y 1,σ ǫ 2) = 2(1 ǫ) < 2. Então, temos que b 1x 1 e b 1y 1 não são melhores respostas, então para que σ ǫ seja um ǫ -equilíbrio perfeito precisamos ter σ ǫ 1(b 1x 1) < ǫ e σ ǫ 1(b 1y 1) < ǫ, que é satisfeito neste exemplo. Também note que u 2(σ ǫ 1, x 2) = 4(1 ǫ)+4(0,1ǫ)+6(0,1ǫ) = 4 3ǫ e u 2(σ ǫ 1, y 2) = 4(1 ǫ)+4(0,1ǫ)+2(0,8ǫ) = 4 2ǫ. Então, x 2 não é melhor resposta, então precisamos ter σ ǫ 2(x 2) < ǫ, que é satisfeito neste exemplo. Então, ([a 1x 1],[y 2]) é um equilíbrio perfeito de mão trêmula deste jogo.

Exemplo Contudo, σ ǫ não é um ǫ -equilíbrio próprio para nenhum ǫ < 1. A estratégia b 1x 1 é pior para o jogador 1 que a estratégia a 1y 1 contra a estratégia σ ǫ 2, porém elas são escolhidas com a mesma probabilidade. Na verdade, temos que b 1x 1 é melhor para o jogador 1 que a estratégia b 1y 1 contra qualquer estratégia τ 2. Portanto, em qualquer ǫ-equilíbrio próprio, ǫ < 1, devemos ter que a probabilidade de b 1x 1 deve ser maior que a probabilidade de b 1y 1, conseqüentemente, x 2 é uma melhor resposta em qualquer ǫ-equilíbrio próprio. Então, σ 2(x 2) = 1 em qualquer equilíbrio próprio. Portanto, σ 1(b 1x 1) = 1 em qualquer equilíbrio próprio. Portanto, o único equilíbrio próprio deste jogo é (b 1x 1,x 2). Note que podemos justificar este equilíbrio com a seguinte seqüência de ǫ-equilíbrios próprios: ((1 ǫ 0,5ǫ 2 )[b 1x 1]+0,5ǫ 2 [b 1y 1]+0,5ǫ[a 1x 1]+0,5ǫ[a 1y 1],(1 0,5ǫ)[x 2]+0,5ǫ[y 2]).

Equilíbrio Sequencial versus Equlíbrio Próprio A seguir enunciamos um teorema que prova que existe uma relação entre equilíbrios sequenciais de um jogo em forma extensiva com equilíbrios próprios da representação em forma normal do jogo em forma extensiva. Teorema 2.3 Suponha que Γ é um jogo finito em forma extensiva com memória perfeita e que τ é um equilíbrio próprio da representação em forma normal de Γ. Então, existe um sistema de crenças µ e uma perfil de estratégias comportamentais σ tal que (σ,µ) é um equilíbrio seqüencial de Γ e σ é uma representação comportamental de τ. Prova: Omitida. Consultar prova do Teorema 5.4 em Myerson.

Considerações Finais Infelizmente, não existem argumentos que possam provar que jogadores racionais não possam escolher equilíbrios de Nash que não são próprios, nem podemos provar que todo equilíbrio próprio deve ser considerado como uma maneira razoável de se comportar em um jogo. A razão por que é importante considerar refinamentos de equilíbrio de Nash baseados em análise de sensibilidade a pequenas probabilidades de erros, como nos refinamentos de equilíbrio perfeito de mão trêmula e equilíbrio próprio, é que estes conceitos proporcionam uma maneira de checar se a justificativa para um determinado equilíbrio não depende na suposição de que jogadores ignoram completamente os possíveis resultados do jogo que têm probabilidade zero em equilíbrio. Deste modo, podemos argumentar que testar estes (e outros refinamentos contidos na literatura) é uma maneira útil de formalizar parte de nossa intuição como jogadores racionais devem se comportar em jogos.