Construção de uma Ferramenta para Evoluir Estratégias e Estudar a Agressividade/Cooperação de uma População submetida ao Dilema dos Prisioneiros

Transcrição

1 Construção de uma Ferramenta para Evoluir Estratégias e Estudar a Agressividade/Cooperação de uma População submetida ao Dilema dos Prisioneiros generalizá-lo para várias outras situações, como em problemas de business, desenvolvimento de software, situações do cotidiano, etc [2] Aluno: Daniel Lima Freixo Prof.: Marco Aurélio Pacheco Resumo: Abordamos a aplicação de técnicas de Algoritmos Genéticos no aperfeiçoamento de uma ferramenta para evoluir estratégias para o Dilema dos Prisioneiros. Estudamos o comportamento da população quanto à agressividade ao longo de sua evolução. Os experimentos com a ferramenta permitiram encontrar estratégias que superavam a tit-fortat. Conseguiu-se também obter algumas conclusões interessantes sobre o nível de agressividade da população ao longo da evolução. Introdução: O Dilema dos Prisioneiros é um problema clássico e central em Teoria dos Jogos. Apesar de não ser um problema novo e de já ter sido exaustivamente estudado, existem ainda estudos sobre ele a fim de se descobrir estratégias de ação mais eficientes para os jogadores. Muitas dessas estratégias utilizam o histórico das partidas anteriores para decidir qual atitude cada jogador deve tomar. Neste trabalho, semelhante ao que R. Axelrod escreveu em [1], utiliza-se um algoritmo genético para evoluir estratégias mais eficientes para o jogo a partir do histórico das partidas anteriores. O que faz o Dilema dos Prisioneiros ser um problema tão estudado é a capacidade de

2 Dilema dos Prisioneiros: Duas pessoas estão encarceradas por serem suspeitas de terem cometido um crime. A polícia sabe que um dos dois é culpado, mas não sabe qual. A polícia então propõe a cada um que delate o companheiro (sem o conhecimento do outro), dando em troca a liberdade, caso o outro permaneça em silêncio. Cada prisioneiro tem então duas opções: Delatar (agredir) ou Cooperar (permanecer em silêncio). Se ambos delatam, ficam presos 4 anos. Se cooperam, 2 anos. Se apenas um delata, ele é solto e o outro fica preso por 5 anos. O que fazer? Generalizando este problema para várias situações cotidianas, qual a melhor decisão a se tomar? A definição original do problema também define uma pontuação obtida por cada jogador em cada uma das 4 situações. Essa pontuação é obtida subtraindo-se de 5 (tempo máximo em que se pode ficar preso) a quantidade de anos que o jogador terá que ficar preso. Essa pontuação é apresentada na Tabela 1 a seguir: de cada partida Tabela 1 Pontuação

3 Objetivos: Para evoluir estratégias para o jogo foram usados algoritmos genéticos na busca de indivíduos que marcassem mais pontos em torneios simulados. Dessa forma, era gerada inicialmente uma população com k indivíduos que disputavam n partidas entre si. Ao final desse torneio, onde cada indivíduo jogava n partidas com cada um dos outros indivíduos, era computada a pontuação final de cada um e atribuída uma avaliação para ele. Cada cromossomo da população representava a estratégia de um indivíduo em particular. Assim, as estratégias com melhores pontuações teriam melhores avaliações e consequentemente mais chances de estarem na próxima geração participando de um novo torneio. Sucessivamente, após t torneios era escolhida como estratégia final a que obtivesse melhor pontuação no último torneio disputado, isto é, o cromossoma com melhor avaliação na última geração. Vale ressaltar que a função de avaliação para este problema é ruidosa, já que uma mesma estratégia pode ter avaliações diferentes, pois depende das estratégias dos outros jogadores. Usou-se uma memória das 3 últimas partidas. Como cada partida podia ter 4 resultados diferentes, havia 4 3 = 64 possíveis históricos. Para cada histórico diferente, era definida uma ação a se tomar na próxima partida. Esse conjunto de possíveis históricos e ações a se tomar era definido como a estratégia do jogador. Essa estratégia pode ser representada por um cromossomo binário de 64 bits onde cada alelo codifica um possível histórico e o bit correspondente a ação a se tomar na próxima partida (Cooperar ou Delatar). Há a necessidade ainda de se indicar qual desses 64 possíveis históricos foi realmente o ocorrido nas últimas 3 partidas. Isso pode ser feito através de outros 6 bits no cromossomo, ficando-se então com um cromossomo de 70 bits. A Figura 1 e Figura 2 mostram como isso funciona para o caso de uma memória das 2 últimas partidas, com 4 2 = 16 possíveis históricos: _

4 Para avaliar a agressividade média da Figura 1 Estratégia do jogador 1 para a partida T população foi definida uma função de agressividade para cada indivíduo com valores variando de 0 a 10. Para calcular a Figura 2 Estratégia do jogador 1 para a partida T + 1 agressividade de um indivíduo fazia-se um somatório da quantidade de históricos cuja ação correspondente era Agredir, dividia-se pelo número total de possíveis históricos e multiplicava-se por 10.

5 Resultados: Por questões de eficiência, a ferramenta para os experimentos foi construída utilizando C++ Builder. Através da interface gráfica era possível configurar os parâmetros do algoritmo genético bem como os do problema. Nela podiam também ser visualizados os gráficos mostrando a avaliação e a agressividade da população. Foram feitos diversos experimentos a fim de se observar o comportamento da população ao longo das gerações e as estratégias geradas. Dentre esses experimentos, alguns são apresentados a seguir: Figura 3 Experimento 1 Nesse experimento o processo evolucionário se inicia com uma população com nível de agressividade razoavelmente baixo e com um indivíduo totalmente agressivo. Isso faz com que a população se torne bastante agressiva logo em seguida. Porém, tal como

6 mostrado em outros experimentos, esse estágio de agressividade muito alta não se sustenta e novamente a agressividade da população retorna a valores mais baixos, próximos a 5.0. Analisando-se a avaliação da população observa-se que inicialmente indivíduo agressivo possui uma avaliação bastante superior ao do resto da população. Figura 3.1 Experimento 1.2 Nesse experimento foram observadas as estratégias geradas pelo algoritmo. Devido ao caráter estocástico do algoritmo, estas estratégias variam bastante de rodada para rodada. Para cada histórico das partidas, tomouse então como decisão a ser tomada aquela que ocorria na maioria das vezes. Entre elas, podese destacar: Logo em seguida, com a população tornando-se bastante agressiva, essa avaliação cai para valores próximos à pontuação de Punishment e depois vai subindo, convergindo para a pontuação de Reward, à medida que a agressividade da população diminui. Punishment e depois vai subindo, convergindo para a pontuação de Reward, à medida que a agressividade da população diminui. Podemos perceber que na versão atualizada, onde podemos variar o número da interdependência de históricos (cromossoma), as curvas tiveram o padrão parecido com o mesmos parâmetros. Vemos logo a baixo da figura 3.1 o comportamento dos indivíduos quanto a sua agressividade. O ponto Preto significa que ele esta agressivo. Podendo perceber que ao longo de sua história o seu comportamento no decorrer da evolução do GA. Experimento 2 Experimento 2 Figura 4

7 Tabela 2 Estratégias obtidas no experimento 2 Podemos perceber que o no novo experimento o padrão seguido foi o mesmo. Mesmo com um número maior de interdependências dos histórico das partidas anteriores. Ainda podemos constatar a evolução de cada indivíduo no decorrer das últimas gerações. [1] Axelrod, R. Dion, D. The Further Evoltion of Cooperation. New York: Science, 242 (1988) [2] [3] Casti, J.L. Cooperation and Confict in Geeral Evolutionary Processes Chapter 3. John Willey & Sons, Inc [4] Pacheco, Marco Aurélio: Computação Evolucionária - Notas de aula. PUC-Rio (1999) [5] Hugo Leonardo C. Azevedo: Documentação e Projeto Conclusão: O GA conseguiu evoluir estratégias que superavam o tit-for-tat. Devido ao caráter estocástico de um GA, as estratégias geradas variavam razoavelmente para uma mesma configuração dos parâmetros. Para diferentes valores iniciais da agressividade média da população, foi observada uma convergência dessa taxa, para valores entre 4.5 e 6.0. De acordo com a modelagem aqui feita, comunidades muito cooperativas ou muito agressivas não persistem e tendem a evoluir para comunidades com agressividade mediana, onde os indivíduos procuram cooperar entre si, mas punem a agressão. Para trabalhos posteriores, fica a sugestão de se utilizar outros operadores de crossover e mutação, que sejam mais adequados ao problema. Fica ainda a sugestão de se utilizar um outro tipo de torneio entre as estratégias. Bibliografia: