Introdução à Teoria de Jogos e suas Aplicações

Transcrição

1 Introdução à Teoria de Jogos e suas Aplicações Daniel R. Figueiredo COPPE/UFRJ Programa de Verão do IM Janeiro de 2010 Aula 2/3 LAND COPPE/PESC UFRJ

2 Organização do Curso 3 encontros (seg, qua, sex), 10h Duas partes de ~1h15m (15m de intervalo) misturar teoria e prática Encontro 1 conflitos de interesse, exemplo, introdução à teoria, noções de equilíbrio, minimax Encontro 2 teorema de Nash, jogos sem sequência, exemplo Encontro 3 Jogos evolucionários, dinâmica de jogo, exemplos em biologia Interatividade e participação do público!

3 O que é um Jogo? Um modelo de uma situação de conflito Duas ou mais entidades com interesses distintos Jogadores: entidades em conflito Ações disponíveis para cada jogador Estratégias de cada jogador Conjunto de estratégias tomadas definem resultado do jogo Jogadores possuem relação de preferência sobre os possíveis resultados Recompensa em cada resultado

4 Saddle Points An outcome is a saddle point if it is both less than or equal to any value in its row and greater than or equal to any value in its column Saddle Point Principle Players should choose outcomes that are saddle points of the game Value of the game value of saddle point outcome if it exists

5 Analyzing the Game What if questions Player 2 A B D Player 1 A C D Outcome (C, B) is a saddle point

6 Games With no Saddle Points Player 2 A B C Player 1 A B What should players do? Player 1: play A because win 30, lose at most 10 Player 2: play C because win 20, lose at most 20 outcome (A, C) : payoff 20 to A Is this reasoning stable? What if Player 2 anticipates this reasoning from Player 1?

7 Games With no Saddle Points Player 2 A B C Player 1 A B What should players really do? Resort to randomness!

8 Mixed Strategies Each player associates a probability distribution over its set of strategies players decide on which prob. distribution to use Payoffs are computed as expectations 1/3 C 2/3 D Distrib chosen by player 2 Player 1 A B Payoff to P1 when playing A = 1/3(4) + 2/3(0) = 4/3 Payoff to P1 when playing B = 1/3(-5) + 2/3(3) = 1/3 How should player 1 play?

9 Mixed Strategies 1/3 C 2/3 D Distrib chosen by player 2 Player 1 A B Payoff to P1 when playing A = 1/3(4) + 2/3(0) = 4/3 Payoff to P1 when playing B = 1/3(-5) + 2/3(3) = 1/3 By playing 1/3 C, 2/3 D player 2 loses 4/3 Assuming player 1 plays A Is this the best player 2 can do? How should player 2 choose its distribution?

10 Mixed Strategies Idea: use a prob. distribution that cannot be exploited by other player payoff should be equal independent of the choice of strategy of other player guarantees minimum gain (maximum loss) How should Player 2 play? x (1 x) C D Player 1 A B Payoff to P1 when playing A = x(4) + (1-x)(0) = 4x Payoff to P1 when playing B = x(-5) + (1-x)(3) = 3 8x 4x = 3 8x, thus x = 1/4

11 Mixed Strategies Player 2 mixed strategy 1/4 C, 3/4 D minimizes its loss independent of P1 choices Player 1 has same reasoning (Why?) Player 2 C D Player 1 x (1 x) A B Payoff to P2 when playing C = x(-4) + (1-x)(5) = 5-9x Payoff to P2 when playing D = x(0) + (1-x)(-3) = x 5 9x = x, thus x = 2/3

12 Mixed Strategies Equilibrium Player 2 C D Player 1 A B Player 1: 2/3 A, 1/3 B Player 2: 1/4 C, 3/4 D Expected payoff: (1, -1) Stable (like a saddle point) No player can deviate from prob. distribution and increase their payoff

13 Minimax Theorem Every two-person zero-sum game has a solution in mixed (and sometimes pure) strategies solution payoff is the value of the game maximin = v = minimax v is unique multiple equilibrium in pure strategies possible but fully interchangeable Proved by John von Neumann in 1928! birth of game theory

14 Two-person Non-zero Sum Games Players are not strictly opposed payoff sum is non-zero Player 2 A B Player 1 A B 3, 4 5, 1 2, 0-1, 2 Situations where interest is not directly opposed players could cooperate (but there are no bindings)

15 What is the Solution? Ideas of zero-sum game: saddle points pure strategy equilibrium mixed strategies equilibrium no pure strategy eq. Player 2 A B Player 2 A B Player 1 A B 5, 4 3, 1 2, 0-1, 2 Player 1 A B 5, 0 3, 2-1, 4 2, 1

16 Multiple Equilibria Problem Games can have multiple equilibria not equivalent: payoff is different not interchangeable: playing an equilibrium strategy does not lead to equilibrium Player 2 A B Player 1 A B 1, 4 0, 1 1, 1 2, 2 equilibria

17 The Good News: Nash s Theorem Every two person game has at least one equilibrium in either pure or mixed strategies Proved by Nash in 1950 using Brouwer's fixed point theorem generalized to N person game did not invent this equilibrium concept Def: An outcome o* of a game is a NEP (Nash equilibrium point) if no player can unilaterally change its strategy and increase its payoff Cor: any saddle point is also a NEP

18 Game of Chicken 2 2 Game of Chicken (aka. Hawk-Dove Game) driver who swerves looses Driver 1 swerve stay swerve 0, 0 5, -1 Driver 2 NEP in mixed strategies stay -1, 5-10, -10 Will revisit this in Hawk-Dove context Drivers want to do opposite of one another!

19 Best Response Functions Consider payoff function of player 1 u s 1, s 2 are strategies of P1 and P2 What is best strategy for player 1, given a strategy choice of player 2? R 1 ( s1, 2) 1 s ( s ) = arg maxu ( s, s ) s 1 known as best response function * ( s 1, s * ) * ( s 1, s Cor. If 2 is a NEP, then 2 are best response to one another: * * 2 ( s * 2 1 s = R1 ( s * 1 2 ) and s = R ) Compute NEP by using best response functions * )

20 Best Response Funct Graphically strategy range for player 2 s 2 best response for player 2 R 2 ( s 1 ) R 1 ( s 2 ) NEP: strategies are mutual best responses all intersections are NEPs best response for player 1 strategy range of player 1 s 1

21 Cournot Model of Duopoly Several firms produce exactly same product q i : quantity produced by firm i =1,, Cost to firm i to produce quantity C i ( q i ) Market clearing price (price paid by consumers) P(Q) where Q = i qi Revenue of firm i Ui ( qi, Q) = qip( Q) Ci ( qi ) How much should firm i produce? q i N

22 Cournot Duopoly: Simple Example Consider two firms: i Simple production cost C ( q ) = cq i i no fixed cost, only marginal cost with constant c Simple market (fixed demand a) + P( Q) = ( a Q) where Q = q 1 + q 2 Revenue of firm + Ui ( qi, Q) = qi ( a Q) cqi = qi ( a ( q1 + q2) c) Firms choose quantities simultaneously Assume c < a i i =1,2 =1,2

23 Cournot Duopoly: Solution Two player game: Firm 1 and Firm 2 Strategy space production quantity q i 0 since P( Q) = 0 if Q a, q i < a What is the NEP? use best response function Best response for firm 1 R 1 ( q2) = arg max q1( a ( q1 + q2) 0 q 1 < a Best response for firm 2 R 2 ( q1) = arg max q2( a ( q1 + q2) 0 q 2 < a c) c) value chosen by firm 2 value chosen by firm 1

24 Cournot Duopoly: Solution Solution to maximization problem first order condition is necessary and sufficient R 1 a q2 ( q2) = 2 c Best response functions best strategy for player 1, given choice for player 2 * * At NEP, strategies ( q 1, q2) are best response to one another need to solve pair of equations q * 1 = a q 2 using substitution * 2 c and and q * 2 = a R 2 a q1 ( q1) = 2 q1 2 * c c

25 Cournot Duopoly: Analysis NEP is given by Total amount produced at NEP: Price paid by consumers at NEP: q * 1 = q * 2 = a c 3 Consider a monopoly (no firm 2, q = 0 2 ) * Equilibrium is given by q = ( a ) 2 1 c 2 Q = ( a 3 a P( Q) = 1 Total amount produced: Q = ( a c) 2 Price paid by consumers: a + c P( Q) = 2 Competition can be good! c) + 2c 3 less quantity produced higher price

26 Jogando em Sequência Até agora, jogadas foram simultâneas Jogadores decidem suas estratégias sem saber o que o outro irá fazer Jogo em sequência Jogadores alternam a vez tomando decisões Escolhas anteriores são públicas Jogos de tabuleiro ex. xadrez

27 Jogos em Árvore Como representar este tipo de jogo? Jogo representado em árvore Cada nó da árvore representa ponto de decisão para algum jogador Arestas representam as escolhas Folhas representam o fim do jogo (resultado) Jogadores precisam decidir o que fazer em cada ponto de decisão Plano de ação! Estratégia de cada jogador

28 Exemplo de Jogo em Árvore Jogador 1 E D Jogador 2 Jogador 2 Recompensa para jogador 1 E D E D 3, 1 1, 2-2, 1 0, -1 Recompensa para jogador 2 Conjunto de estratégias para jogador 1: {E, D} Estratégia para jogador 2, O que fazer quando J1 joga E O que fazer quando J1 joga D Conjunto de estratégias para jogador 2: {EE, ED, DE, DD}

29 Exemplo de Jogo Vivavoz e Skype estão decidindo adotar uma tecnologia para codificação de voz (WMA ou Speex) Skype decide primeiro, depois Vivavoz Skype Vivavoz W S Vivavoz W S W S 5, 2 3, 1 2, 1 4, 4 Qual o equilíbrio de Nash deste jogo?

30 Estratégias dos W S Jogadores W S W S Estratégia do Skype? S = {W, S} 5, 2 3, 1 2, 1 4, 4 Estratégia do Vivavoz? Dois pontos de decisão O que fazer quando Skype joga W O que fazer quando Skype joga S V = {WW, WS, SW, SS}

31 Convertendo o W S Jogo para sua Forma Normal W S W S 5, 2 3, 1 2, 1 4, 4 Todo jogo em forma extensiva pode ser convertido em forma normal Enumerar estratégias de cada jogador Vivavoz WW WS SW SS Skype W 5, 2 5, 2 3, 1 3, 1 S 2, 1 4, 4 2, 1 4, 4

32 NEP e Ameaças W S Inacreditáveis W S W S Vivavoz 5, 2 3, 1 2, 1 4, 4 WW WS SW SS Skype W S 5, 2 2, 1 5, 2 4, 4 3, 1 2, 1 3, 1 4, 4 Equilíbrio de Nash Jogar Speex de qualquer maneira não é acreditável para Vivavoz Se Skype jogar WMA, então é melhor para Vivavoz jogar WMA!

33 Indução de Trás-para-Frente Começando das folhas, remover nós da árvore de forma iterativa Fazendo a melhor escolha em cada nó W W S S W S Melhor estratégia para Vivavoz : WS 5, 2 3, 1 2, 1 4, 4 S W 5, 2 4, 4 Melhor estratégia para Skype : W Resultado único

34 Indução de Trás-para-Frente Indução de Trás-para-Frente sempre leva a um equilíbrio de Nash (jogos com informação perfeita) Equilíbrio não necessariamente é único não há preferência estrita sobre os resultados Mecanismo para remoção de equilíbrios de Nash ruins Ameaças inacreditáveis

35 Líderes e Seguidores O que aconteceria se Vivavoz decidisse primeiro? Vivavoz Skype W S Skype W S W S 2, 5 1, 3 1, 2 4, 4 Equilíbrio de Nash (depois de indução de trás-para-frente)? Melhor resultado para Vivavoz ameaça inacreditável passa a ser crível! Vantagem de jogar primeiro mas sempre é vantajoso?

36 Jogo da Centopéia Jogo clássico, introduzido na década de 80 Jogo em sequência Duas pessoas tomam decisões de forma alternada por um certo número de rodadas A cada rodada, o jogador da vez pode terminar o jogo ou continuar Continuar: aumenta o pote Terminar: o pote é dividido, mas o jogador que terminou recebe fração maior Pote é aumentado externamente (sem prejuíso para jogadores) Como jogar?

37 Jogo da Centopéia Exemplo (3 rodadas) 1 C 2 C 1 C 2 C 1 C 2 C 5,5 T T T T T T 1,0 0,2 3,1 2,4 5,3 4,6 Recompensa em balas Vamos jogar!

38 Jogo da Centopéia 1 C 2 C 1 C 2 C 1 C 2 T T T T T T C 5,5 1,0 0,2 3,1 2,4 5,3 4,6 Resultados 3,1 ; 5,3 ; 5,3 ; 2,4 ; 4,6 ; 4,6 ; 5,5 ; 2,4 ; 3,1 ; 2,4 ; 2,4 ; 2,4 ; 4,6 Análise do jogo Qual é o equilíbrio de Nash? O que podemos concluir?