Modelação e Simulação 2011/12 Trabalho de Laboratório nº4 Modelo de Markov e Simulação de Monte Carlo do Jogo do Monopólio Objectivo Após realizar este trabalho, o aluno deverá ser capaz de Construir um modelo do tipo cadeia de Markov Simular a evolução no tempo das probabilidades dos estados da cadeia de Markov considerada. Simular um sistema estocástico de Markov discreto usando o método de Monte Carlo. Bibliografia Acetatos do módulo 8 de Modelação e Simulação. D. G. Luenberger (1979). Introduction to Dynamic Systems Theory, Models, and Applications. John Wiley and Sons. Cap. 7. Elementos a entregar Cada grupo deverá entregar por email um relatório sucinto respondendo às questões do enunciado. As respostas às questões de preparação prévia, identificadas no enunciado como Em casa, deverão ser manuscritas e entregues em papel. A parte correspondente às questões de simulação deverá ser gerada automaticamente através da função Publish do MATLAB, e entregue por via electrónica conjuntamente com os ficheiros MATLAB/SIMULINK utilizados. Ambas as partes deverão conter um cabeçalho com a identificação do trabalho e a identificação dos alunos (número e nome). As respostas a cada questão deverão ser identificadas pelo seu número. As respostas devem ser concisas. 1
Nota importante: Neste trabalho, tal como nos anteriores, o relatório deve ser original e corresponder ao trabalho efectivamente realizado pelo grupo que o subscreve. Relatórios não originais ou correspondentes a software ou outros elementos copiados terão nota zero, sem prejuízo de procedimentos disciplinares previstos pela Lei Portuguesa ou pelos regulamentos do IST. 2
1. Descrição do problema O Monopólio é um popular jogo que simula a gestão de uma carteira de investimentos imobiliários. Considere a versão simplificada que se joga no tabuleiro da fig. 1. 3 4 5 Prisão 0 15 20 2 6 10 25 1 10 7 35 Vá para a prisão Fig. 1. Tabuleiro do jogo de Monopólio simplificado. As regras do jogo são as seguintes: O jogador tem uma marca que parte da casa 1 e atira uma moeda ao ar. Se sair cara a marca avança uma casa. Se sair coroa avança duas casas no sentido da seta. O jogador deve pagar uma renda correspondente à casa em que cai. Quando se cai em Vá para a prisão é-se transferido imediatamente para a prisão. 3
2. Modelo de Markov As probabilidades de se cair em cada uma das casas do jogo do monopólio podem ser modeladas como um sistema dinâmico discreto que resulta de uma correspondente cadeia de Markov. Uma cadeia de Markov corresponde a estados interligados por ramos que traduzem probabilidades de transição. Seja [ ] T P ( t) : = P ( t) P t) 1 o vector que indica a probabilidade de se estar N nos diferentes estados no instante t (jogada). Quer dizer; P j (t) representa a probabilidade de estar no estado j no instante (jogada) t. A evolução no tempo das probabilidades de se estar nos diferentes estados é descrita por: T P( t + 1) = A P( t) A equação para a evolução no tempo das probabilidades do estado j é P ( t + 1) = j [ a a a ] 1 j 2 j 7 j P1 ( t P2 ( t P7 ( t ) ) ) 2.a) (Em casa) Desenhe o grafo que representa a cadeia de Markov que modela o jogo de Monopólio simplificado. Repare que a casa Vá para a prisão não corresponde a um estado, mas que a prisão corresponde a um estado. 2.b) (Em casa) Escreva a matriz de probabilidades de transição para a cadeia de Markov correspondente. Para tal, complete a tabela seguinte (matriz de transição A): 4
t 1\t 1 2 3 4 5 6 7 1 2 3 4 0 0 0 0 0.5 0.5 0 5 6 7 Interpretação da tabela: Partindo do estado 4 pode-se atingir, com igual probabilidade, os estados 5 ou 6. Verificação: A soma de cada uma das linhas deve ser 1 (porquê?). 2.c) Escreva um programa em MATLAB para calcular as probabilidades dos diversos estados da cadeia de Markov ao longo do tempo (isto é, à medida que se vão fazendo jogadas). Considere que o jogador começa no estado 1 pelo que [ ] T P( 0) = 1 0 0. Use a função plot3 do MATLAB para gerar a evolução das probabilidades dos diferentes estados ao longo do tempo e para cada estado. Verifique que, para cada t, a soma das entradas de P(t) é 1. O que observa no gráfico quando passa muito tempo (isto é, quando são feitas muitas jogadas)? 2.d) Represente graficamente as probabilidades em regime estacionário (quando o número de jogadas tende para infinito) dos diferentes estados e os lucros médios dos senhorios em regime estacionário, para cada casa. Dito por outras palavras: se quisesse comprar uma casa, qual escolheria? Compare com a casa com maior renda instantânea. 5
3. Simulação de Monte Carlo Outra forma de determinar a distribuição de probabilidade de equilíbrio de cair nas várias casas consiste em fazer várias simulações de jogos de monopólio usando números aleatórios para simular o lançamento do dado, e medir grandezas estatísticas baseadas nas ocorrências observadas. Estes métodos são chamados métodos de Monte Carlo devido à analogia com os métodos utilizados nos Casinos. Para aplicar o método de Monte Carlo ao jogo de Monopólio considerado iremos simular repetidamente o avanço de uma marca que parte da casa 1 e avança durante Njogadas = 100 jogadas. Cada sequência de 100 jogadas é repetida (em simulação) durante um certo número de jogos (Njogos), anotando-se o número de vezes que a marca caiu em cada um dos estados. A partir daí, é calculada a frequência relativa com que a marca cai em cada casa (número de vezes que caiu na casa, a dividir pelo número total de jogadas que se consideram), o que permite estimar a probabilidade de cair em cada casa (em regime estacionário). É nisto que consiste o método de Monte Carlo 1 : A repetição de uma experiência aleatória simulada em computador, com recurso a um gerador de números aleatórios. A partir dos resultados calculam-se estatísticas (médias, variâncias, etc.) de quantidades que se pretendem estimar. 1 Embora tenha raízes mais antigas, que vão até aos trabalhos de Rayleigh e a Buffon, que o utilizou em meados do século XIX para determinar uma estimativa do número π, as origens do nome (que evoca o Casino de Monte Carlo) e da aplicação sistemática do método remontam a 1944, quando foi utilizado no Projecto Manhattan (em que se construiu a primeira bomba atómica) para modelar a difusão de neutrões em bombas atómicas de fissão nuclear. O Método de Monte Carlo é aplicável a uma grande variedade de problemas matemáticos, quer tenham ou não uma essência probabilística. O cálculo numérico do valor de integrais ligados à Estimação Bayesiana é uma das principais aplicações em Engenharia, estando ligado a métodos de grande importância para a tecnologia do séc. XXI. 6
Implementação Computacional Neste trabalho iremos fazer um programa em Matlab para aplicar o método de Monte Carlo ao jogo do Monopólio. Estruture o programa da seguinte forma: 1. Definição de dados e inicialização das variáveis. 2. Simulação propriamente dita. 3. Representação de resultados. Defina as seguintes variáveis: Njogadas Número de jogadas simuladas em cada jogo. Njogos Número de jogos. Ndiscard Número de jogadas iniciais descartadas para eliminar o transitório. A probabilidade de se atingir um dado estado varia com o tempo, existindo um transitório inicial, que dura um certo número de jogadas, até que se atinja uma solução de equilíbrio. Por exemplo, na jogada 1, nunca se pode atingir a casa 5 (porque se parte sempre da casa 1), mas ao fim de algumas jogadas, pode atingir-se qualquer casa (embora com probabilidades diferentes). Assim, se quisermos estimar a distribuição de probabilidade de equilíbrio, há um certo número de jogadas iniciais que devem ser realizadas, mas que não devem ser contabilizadas na estatística dos estados atingidos. Ncasas Número total de estados do jogo ( casas ). z Vector, com dimensão igual ao número de estados do jogo, que indica o número de vezes que se caiu em cada casa. y Vector, com dimensão ao número de jogadas em cada run de Monte Carlo, que indica as casas em que se caiu em cada jogada (por exemplo, num determinado jogo, y(36) indica a casa que se atingiu na jogada 36 desse jogo). Aluguer Valor do aluguer instantâneo de cada casa. x variável escalar que indica o número do estado em que a marca do jogador está em cada instante. 7
avanca variável escalar que indica o resultado do lançamento da moeda ao ar, simulado através de um gerador de números aleatórios, e que toma os valores 1 ou 2. A simulação consiste em dois ciclos, um dentro do outro. O ciclo externo consiste em ir repetindo o jogo ( run de Monte Carlo) durante Njogos vezes. No início de cada jogo, o estado da marca é inicializado em 1. Começa-se então um ciclo interno de Njogadas em que se simula o lançamento de uma moeda e, consoante o resultado, se actualiza a variável que traduz o estado da marca. Para além disso, é actualizado o vector z que tem o número de vezes que se atingiu cada casa, acumulado de jogo para jogo, e o vector y. Repare-se que: O vector y é refeito de jogo para jogo. No fim, terá apenas os dados do jogo final. O vector z tem os dados acumulados de todos os jogos. Repare-se que as primeiras Ndiscard jogadas de cada jogo não contam para actualizar z. No fim, deve calcular-se zfreq e o lucro médio por jogada de cada casa. Algumas sugestões: Para simular o avanço da marca pode usar a instrução switch (consulte o help). Para simular o atirar da moeda, pode usar a instrução rand, que gera números aleatórios com distribuição uniforme entre 0 e 1. Convém inicializar o gerador com a instrução rand( state,0), por forma a que a sequência de números aleatórios seja sempre a mesma (embora se possa usar outras inicializações). Para um número de jogos elevado, o computador pode levar um tempo apreciável. Para ver o tempo que falta pode gerar-se uma barra de espera. Para isso use o comando hh=waitbar(espera) em que espera é um número 8
entre 0 e 1 que traduz o comprimento da barra e hh é um handle da janela onde é criada a barra. No fim, pode fechar a janela com o comando close(hh). Trabalho a realizar Escreva um programa em MATLAB para estudar a distribuição de probabilidades de equilíbrio dos estados do Monopólio simplificado. Deverá apresentar gráficos representando: 3.a) Os estados percorridos num run de Monte Carlo (num subgráfico) e (noutro subgráfico) os valores simulados para o resultado da moeda nas sucessivas jogadas desse jogo; 3.b) Um gráfico de barras com as frequências relativas dos diferentes estados. 3.c) Um gráfico de barras com as rendas médias espectáveis das diversas casas. Comente os gráficos e compare com os resultados obtidos em 2. 9