8 Experimentos. de pelo menos uma solução. 2 Na verdade, poderíamos definir uma função que retorna o conjunto de equilíbrios de

Transcrição

1 8 Experimentos Neste capítulo tratamos da utilização do verificador de modelos na prática, e realizamos algumas comparações entre outros algoritmos existentes. Os experimentos foram executados em uma máquina com processador 2.4GHz Celeron com 512 MBytes de RAM, rodando Windows XP Home Edition. No sítio descrevemos como o verificador de modelos pode ser executado para cada tipo de jogo desenvolvido neste capítulo. 8.1 Teoria dos Jogos no GALV Nesta seção, iremos apresentar como podemos achar as soluções da Teoria dos Jogos utilizando o verificador de modelos GALV. Diversos algoritmos para o problema de encontrar equilíbrio de Nash são propostos na literatura (veja (MM96)). A maioria deles computa equilíbrio de Nash de estratégias mistas. No entanto, a complexidade permaneceu desconhecida por muito tempo (Pap01), e, somente recentemente, foi demonstrado em (DGP06) que o problema é PPAD-Completo 1 para 4 jogadores. Gambit (MT03) é o melhor software conhecido para Teoria dos Jogos e implementa quase todos os algoritmos. Utilizamos o Gambit (com seu método EnumPureSolve) e o GALV para computar os equilíbrios de Nash. Na figura 8.1, mostramos o tempo de execução de vários jogos estratégicos com dois jogadores quando consideramos as utilidades geradas de forma aleatória (figura 8.1.a) ou utilizando um valor constante (figura 8.1.b), por exemplo, zero. Como só utilizamos modelos finitos e o conjunto de possíveis equilíbrios de estratégias mistas é infinito, não temos como achar o conjunto de equilíbrios de estratégias mistas 2. Contudo, podemos verificar se dado uma solução, ela é ou não um equilíbrio. Desta forma, não temos como comparar a nossa solução com o Gambit. 1 PPAD-Completo é a classe de problemas de busca NP para qual é garantido a existência de pelo menos uma solução. 2 Na verdade, poderíamos definir uma função que retorna o conjunto de equilíbrios de Nash de estratégias mistas e implementá-la no verificador.

2 Capítulo 8. Experimentos 177 time (seconds) outcomes GAL Gambit time (seconds) outcomes GAL Gambit (a) - utilidades aleatórias (b) - utilidades constantes Figura 8.1: Jogos estratégicos com dois jogadores. O verificador de modelos também foi utilizado para encontrar os equilíbrios de nash e de subjogo perfeito em jogo extensivos com informação perfeita tanto na versão matricial quanto na versão extensiva. Assim como o problema de encontrar equilíbrio de Nash, o problema de encontrar o core é também uma tarefa difícil. Em (CS04) é demonstrado que mesmo verificar que uma seqüência possível de N está no core é um problema NP-completo. Utilizamos o nosso algoritmo para encontrar o core, quando consideramos somente soluções inteiras. Esta restrição deve-se novamente ao fato de tratarmos apenas jogos de modelos finitos no nosso algoritmo. Apesar de ser possível utilizar um solver 3 para achar uma solução pertencente ao core, não parece ser tão simples definir outros critérios, como definidos na seção 6.5. Além disso, em muitos problemas estamos interessados em apenas soluções inteiras. O tempo de execução para achar o core no exemplo 2.27 foi de segundos. A figura abaixo mostra todas as soluções inteiras para este problema. O tempo de execução, quando adicionamos a restrição para o agente A, foi de segundos. 8.2 SMV vs. GALV Em (Vas03, VH03) é proposta uma linguagem para descrever jogos, chamada de RollGame, bem como uma tradução para a linguagem do verificador de modelos SMV. A partir daí, o SMV pode ser utilizado para demonstrar propriedades de jogos. O exemplo do jogo da velha é utilizado para ilustrar como as ações de um dos jogadores, que segue certa estratégia, consegue garantir que ele nunca perderá. O outro jogador não possui estratégia, desta forma, todas as possibilidades para ele são levadas em consideração. A representação deste jogo se deu através do tabuleiro, e as ações tomadas anteriormente (histórico) não 3 Solver é uma ferramenta para problemas de programação linear.

3 Capítulo 8. Experimentos 178 Agente A Agente B Agente C Agente D Figura 8.2: Solução core para o exemplo são representadas no jogo. Na visão da Teoria dos Jogos, esta representação é um jogo extensivo com informação imperfeita equivalente (veja seção 2.5), tomamos assim a sua representação na forma de um jogo extensivo reduzido. Contudo, devemos ressaltar que a partir de cada estado é possível obter todas as possíveis evoluções do jogo. Isto se deve ao fato típico de que jogos como o jogo da velha possuem subjogos equivalentes. A fórmula utilizada para expressar que o jogador x sempre ganhará ou empatará é definida abaixo. [AF ](winx draw), onde winx e draw são proposições que verificam se o jogador x ganhou e empatou, respectivamente. Modelamos o mesmo exemplo, jogo da velha, no verificador de modelos de GAL, e o desempenho para verificar a fórmula acima foi muito superior segundos contra segundos da abordagem utilizando o verificador de modelos SMV. Esta diferença deve-se ao fato do modelo construído pelo verificador de modelos de GAL ser bem menor do que no caso do SMV utilizando OBDD. O mesmo fato ocorreu quando utilizamos um exemplo sobre a possibilidade da guerra no Iraque definido também em (Vas03, VH03). Apesar dos exemplos acima citados demonstrarem que o verificador de modelos de GAL foi superior ao SMV, não podemos concluir que isto sempre ocorrerá. Na verdade, o que acontece é que a representação explícita destes jogos é muito menor do que a representação em OBDD. Em jogos que possuam

4 Capítulo 8. Experimentos 179 situações parecidas com os problemas para os quais OBDD obtenha melhor performance do que uma representação explícita do problema, provavelmente, não obteremos sucesso com a nossa abordagem. Vale ressaltar que em determinados problemas a utilização do SMV não é possível devido a lógica CTL ser proposicional. Outro ponto que vale a pena ser ressaltado é que a utilização de tipos de dados abstratos em SMV não é possível. E mesmo a utilização de inteiros é proibitiva, uma vez que o SMV converte os inteiros em tipos booleanos tornando o modelo grande de mais de forma desnecessária. Durante o trabalho desenvolvido no mestrado do autor desta tese diversas tentativas foram realizadas sem sucesso, mesmo para problemas bem simples. 8.3 Jogos em computação no GALV A maioria dos jogos tratados em computação são jogos extensivos com informação perfeita de soma-zero com alternância entre dois jogadores. Exemplos clássicos são: jogo da velha; xadrez; GO; entre outros. Estes jogos são triviais do ponto de vista teórico, uma vez que existem estratégias vencedoras para um dos jogadores 4. Isto é demonstrado pela existência de equilíbrio de subjogo perfeito. Apesar deste resultado, jogos vêm sendo estudados em computação, especificamente na área de inteligência artificial, desde o seu início. Uma das razões para isto é que jogos são bem definidos no que tange a representação dos estados, das ações e dos resultados. Uma outra razão é que a atividade de jogar é tida como uma das faculdades humanas. Além disso, estes problemas têm se mostrado do ponto de vista prático difíceis de serem resolvidos. Para exemplificarmos, considere o jogo de xadrez que têm uma média de jogadas possíveis em torno de 35, e o jogo freqüentemente possui 50 movimentos para cada jogador. Desta forma, temos um total de ou nós, embora o número de nós diferentes seja de Os jogos são abordados através de algoritmos e heurísticas que utilizam, em geral, métodos estatísticos para previsão de jogadas, ou utilizam o algoritmo minimax (RN02). Jogos que utilizam métodos estatísticos para darem soluções usam uma grande quantidade de dados de jogos anteriores e tentam prever qual seria a melhor jogada a ser seguida de acordo com as jogadas utilizadas em jogos anteriores. Por exemplo, o famoso supercomputador da IBM, Deep Blue, que jogava xadrez contra o campeão do mundo em xadrez, Kasparov, utilizava esta 4 Uma estratégia vencedora para um jogador aqui se refere a garantia que este irá ganhar ou empatar.

5 Capítulo 8. Experimentos 180 técnica, entre outras, para decidir qual seria sua jogada. Como se sabe, o Deep Blue conseguiu vencer o campeão. O algoritmo minimax é baseados no trabalho (Zer13) (veja o teorema 2.12), ou seja, utiliza a idéia de indução retroativa (backward induction). Em geral, a complexidade, na área de Inteligência Artificial, é dada através do fator de ramificação b do jogo e a profundidade m do jogo. O algoritmo minimax tem complexidade de O(b m ) e a memória requerida é O(b m). Como conseqüência, o número de estados dos jogos são usualmente enormes, e, assim, não temos como tratar o jogo como um todo na prática. Duas técnicas são utilizadas para tentar tratar este problema: cortes (prunning) que realizam buscas parciais no jogo, ignorando os estados que não fazem diferença para a escolha final. Uma das técnicas mais conhecidas é o corte alfa e beta, que torna a complexidade em O(b m/2 ), mantendo a solução ótima; e heurísticas, como no caso das funções de avaliações, que aproximam o valor da utilidade em um estado. Assim, a busca utilizando o minimax pode ser feita até um nível de profundidade d, tipicamente, definido como um parâmetro do algoritmo, em vez de realizar uma busca em todo o jogo. Contudo, não há a garantia que a solução ótima seja encontrada. A idéia nesta seção é utilizar o verificador de modelos para analisar o comportamento de jogadores que tomam suas decisões baseadas em algum algoritmo conhecido para jogos, como o caso do minimax. Os outros jogadores não possuem estratégia, desta forma, todas as possibilidades deles são levadas em consideração. Outra possibilidade é que os outros jogadores só consideram as possibilidades razoáveis. Mais uma vez, razoável aqui é empregado dependendo do contexto, e não pretendemos prover tal conceito em geral. Podemos fazer isto facilmente no verificador de modelos GALV por que ele permite aspectos computacionais em sua linguagem, diferentemente dos verificadores de modelos SMV e SPIN, onde não se contemplam aspectos computacionais. Note que com esta abordagem gerar o modelo a ser analisado não é mais uma tarefa, necessariamente, rápida, uma vez que a geração dos modelos envolve algoritmos que podem consumir muito tempo e memória. Implementamos o algoritmo minimax para o exemplo do jogo da velha no GALV. Assim, os jogadores escolhiam as suas jogadas de acordo com este procedimento, e como este jogo tem uma representação reduzida pequena, utilizamos o minimax com a profundidade máxima (9). Desta forma, a solução para este jogo é um empate como é bem conhecido. Também, realizamos experimentos quando apenas um jogador segue a estratégia, enquanto que o outro não possui estratégia. Em ambos os casos, tanto a geração do modelo como a verificação de modelos ocorreram de forma bem eficiente. Contudo,

6 Capítulo 8. Experimentos 181 utilizar esta abordagem para problemas maiores ainda deve ser estudada em mais detalhes posteriormente. 8.4 Leilão no GALV Nesta seção iremos apresentar um modelo de leilão que mais se assemelha a um mercado de ações, no qual agentes (jogadores), a cada momento, ofertam uma quantidade de ações tanto para compra como para venda. Cada agente se baseia em uma estratégia de planejamento, assim a cada momento ele define quais são as ofertas de compras e vendas. Os jogadores atuam de forma nãodeterminística, ou seja, suas estratégias podem possuir alternativas para as compras e vendas, assim teremos vários possíveis cenários a serem analisados. Por exemplo, um agente pode oferecer uma compra de 100 unidades da ação p0 a 10 centavos cada ou alternativamente uma oferta de compra de 50 unidades de p0 a 12 centavos cada e ainda 60 unidades da ação B a 7 centavos cada. Propomos que as estratégias dos jogadores sejam definidas conforme a figura 8.3. A cada instante cada agente tem um planejamento que pode ser definido de forma simultânea utilizando o botão And ou então em cenários alternativos utilizando o botão Xor. Na figura 8.3 o planejamento do agente 1 no instante de tempo 2 é propor uma oferta de compra para uma ação p3 na quantidade de 11 unidades com preço de 11 reais cada. Alternativamente no tempo 2 o agente 1 pode ofertar a ação p5 com 11 unidades a um preço de 13 reais cada. Abaixo listamos algumas das análises que podem ser feitas utilizando a lógica GAL. Toda oferta do agente 1 será vendida (em todos os cenários). Isto é expresso na seguinte fórmula. v offer ([AG](OfferFrom(v offer, 1) [AF ](Sold(v offer )))), onde v offer é uma variável para as ofertas de venda, OfferFrom é um predicado para determinar se uma oferta é de um agente, e Sold é um predicado que diz se a oferta foi vendida em um dado momento. O agente 2 sempre venderá (em todos os cenários) todas as ações do produto p0 que ele ofertar. v offer [AG]((OfferFrom(v offer, 1) (OfferProduct(v offer, p0))) [AF ](Sold(v offer )))

7 Capítulo 8. Experimentos 182 Figura 8.3: Tela para cadastrar o planejamento dos agentes. O agente 1 sempre venderá (em todos os cenários) todas as ações no próximo instante de tempo. v offer [AG](OfferFrom(v offer, 1) [AX](Sold(v offer )) O agente 1 sempre venderá (em todos os cenários) todas as ações em algum próximo instante de tempo. v offer [AG](OfferFrom(v offer, 1) [EX](Sold(v offer )) O agente 3 sempre ofertará (em um cenário) o produto p2. [EG]( v offer (OfferFrom(v offer, 3) OfferProduct(v offer, p2)))