Desenvolvimento de um Agente Inteligente para jogar Carcassonne

Transcrição

1 Departamento de Engenharia Informática Instituto Superior de Engenharia do Porto Instituto Politécnico do Porto Desenvolvimento de um Agente Inteligente para jogar Carcassonne Bruno Miguel Araújo Cardoso Projecto de Licenciatura Setembro 2004

2 Desenvolvimento de um agente inteligente para jogar Carcassonne

3 Instituto Superior de Engenharia do Porto Desenvolvimento de um agente inteligente para jogar Carcassonne Bruno Miguel Araújo Cardoso Setembro 2004

4 Tema: Desenvolvimento de um agente inteligente para jogar Carcassonne Autor: Bruno Miguel Araújo Cardoso nº Disciplina: Projecto de Licenciatura Curso: Engenharia Informática, ramo de Computadores e Sistemas Data de entrega: Setembro de 2004 Orientador: Eng.º António Jorge Santos

5 Desenvolvimento de um agente inteligente para jogar Carcassonne

6 Resumo Pretende-se através deste projecto desenvolver um agente inteligente que possua capacidades para jogar Carcassonne, sendo este um jogo de tabuleiro de 1 a 5 jogadores. Foi necessário enquadrar este jogo numa área de jogos, ou seja, procurar determinar em que tipo de jogos este se insere, para estudar as técnicas existentes de forma a adapta-las ao jogo em questão. Para que o agente seja capaz de competir com um humano, será necessário que este seja dotado de inteligência e raciocínio, que lhe permitam tomar decisões sobre as jogadas a efectuar. Esta tomada de decisão deve ser efectuada mediante 3 níveis de abstracção, sendo estes, o nível operacional, o táctico e o estratégico. Cada um destes vai corresponder a um nível de conhecimento. No nível operacional estão compreendidas as estruturas e representações de baixo nível necessárias à mecânica do jogo. No táctico entram os conceitos de áreas e definem-se jogadas a efectuar para atingir objectivos de curto prazo. No nível estratégico é efectuada a tomada de decisão tendo em conta os objectivos definidos a longo prazo. Neste nível decide-se quais as tácticas a aplicar mediante a situação corrente, sendo este o nível onde existirá mais e melhor conhecimento. A melhor representação de entidades sobre este conhecimento resulta numa aplicação mais eficiente, já que para o jogo em questão podem ser adoptadas várias representações consoante o nível de abstracção.

7 Desenvolvimento de um agente inteligente para jogar Carcassonne

8 Aos meus pais e ao meu irmão.

9 Desenvolvimento de um agente inteligente para jogar Carcassonne

10 Agradecimentos Quero agradecer à minha família pelo apoio que me demonstraram, e nomeadamente ao meu irmão Paulo que teve um acompanhamento muito próximo deste projecto e me ajudou em todos os momentos. À minha namorada Telma que teve sempre toda a paciência para me aturar, e apoiar nos bons e maus momentos por quais passei ao longo destes meses. Ao meu orientador Jorge Santos, pelos seus conselhos e esclarecimentos ao longo deste projecto, assim como o seu empenho. As suas opiniões e ideias foram extremamente importantes para a fase de implementação. Aos meus colegas de curso que frequentaram a licenciatura comigo, e que sempre estiveram dispostos a ajudar. Quero deixar também a minha palavra especial aos meus colegas e amigos que me apoiaram e ajudaram no desenvolvimento do projecto. Aos meus amigos mais próximos, que sempre me apoiaram e me incentivaram. A todas estas pessoas um muito obrigado.

11 Desenvolvimento de um agente inteligente para jogar Carcassonne

12 Índice de Conteúdos Índice de Conteúdos i Índice de Figuras iii Índice de Listagens iv Índice de Tabelas v 1. Introdução Motivação Estrutura do relatório Teoria dos Jogos Raciocínio Conceitos Equilíbrio de John Nash Tipos de Jogos Jogos não Cooperativos Teorema Minimax Jogos Cooperativos Jogos de Informação perfeita e imperfeita Jogos de Informação Completa e Incompleta História da Teoria dos Jogos O Jogo Carcassonne Introdução Objectivo do Jogo Regras do Jogo Material do Jogo Preparação do Jogo Posicionamento de Peças ISEP Dep. De Engenharia Informática i

13 3.3.4 Desenvolvimento do Jogo Posicionamento de seguidores Pontuação Desenvolvimento do agente inteligente Descrição do problema Caracterização do jogo Análise do problema Análise da complexidade do problema Arquitectura utilizada Modelo de dados Funcionamento agente/servidor Algoritmos principais e funcionamento do agente Jogar Gerar Jogadas Válidas Pontuar Jogadas Localmente Exemplo de uma jogada Nível Táctico e Estratégico Comunicação com um servidor de jogos na Internet Conclusão Bibliografia ISEP Dep. De Engenharia Informática ii

14 Índice de Figuras Figura 1 Árvore do algoritmo Minimax...14 Figura 2 - Klaus-Jürgen Wrede...21 Figura 3 - Seguidores...22 Figura 4 Placa de contagem dos pontos...22 Figura 5 Peças do Jogo...23 Figura 6 Posicionamento de peças...24 Figura 7 Posicionamento de seguidores...25 Figura 8 Colocações possíveis e impossíveis do peão...26 Figura 9 Estrada acabada e inacabada...28 Figura 10 Cidade acabada e inacabada...28 Figura 11 Mosteiro acabado...29 Figura 12 Peça inicial do jogo Carcassonne...34 Figura 13 Níveis de decisão do agente...35 Figura 14 Arquitectura da aplicação...37 Figura 15 Exemplo de uma peça do jogo Carcassonne...41 Figura 16 Tabuleiro numa fase inicial...43 Figura 17 Recurso fechado...44 Figura 18 Recurso Aberto...45 Figura 19 Caixa de diálogo do jogador...48 Figura 20 Caixa de diálogo do servidor...56 Figura 21 Rotação de uma peça ISEP Dep. De Engenharia Informática iii

15 Índice de Listagens Listagem 1 Conexão ao servidor...49 Listagem 2 Handler de recepção de mensagens...50 Listagem 3 Interpretador Jogador...50 Listagem 4 Interpretador jogada...51 Listagem 5 Gerar lista de posições livres...52 Listagem 6 Verificar posição...52 Listagem 7 Interpretador termo...53 Listagem 8 Interpretador tabuleiro e lista_poslivres...53 Listagem 9 Interpretador peça...54 Listagem 10 Gerar sequência de peças...55 Listagem 11 Gerar Peça...56 Listagem 12 - Jogar...58 Listagem 13 Gerar jogadas válidas...59 Listagem 14 - Rotação...60 Listagem 15 - Vizinhos...62 Listagem 16 - Encaixa...63 Listagem 17 Pontuar jogadas...65 Listagem 18 Avaliar jogadas...67 Listagem 19 Comandos de um servidor de jogos ISEP Dep. De Engenharia Informática iv

16 Índice de Tabelas Tabela 1 Consequências possíveis dos suspeitos...12 Tabela 2 Campos do tuplo Centro ISEP Dep. De Engenharia Informática v

17 Desenvolvimento de um agente inteligente para jogar Carcassonne 2004 ISEP Dep. De Engenharia Informática vi

18 1. Introdução Os jogos são certamente um dos divertimentos preferidos para a maior parte das pessoas. Desde que a informática existe, a hipótese dos computadores serem capazes de jogar mediante o conhecimento adquirido, é admitida. Assim, para os computadores possuírem características autónomas, a Inteligência Artificial exerce um papel fundamental, através de métodos e algoritmos que contribuem para uma boa tomada de decisão. A indústria dos jogos de computador, já com um crescimento considerável, é um grande estímulo para o desenvolvimento da Inteligência Artificial. A avançada tecnologia de computação gráfica em tempo real torna os cenários e personagens dos jogos impressionantemente realísticos, e o jogador passa a esperar o mesmo nível de realidade no comportamento das personagens e de outras entidades controladas pelo computador. Esta situação vem motivando, nos últimos anos, o desenvolvimento de várias áreas na Inteligência Artificial, como Agentes Inteligentes e Aquisição de Conhecimento. Isto porque começam a ser desenvolvidos Sistemas de Agentes Inteligentes para coordenar as acções das personagens do jogo controlados pelo computador. A interacção das personagens com o jogador, e as reacções daqueles em virtude das atitudes deste, passam a ser governadas por um sistema autónomo que, em alguns casos, é capaz de aprender com situações passadas, adaptando-se dinamicamente às novas situações de jogo. Desde sempre que vários artigos são publicados com o intuito de evoluir no campo da Inteligência Artificial, e desenvolver mecanismos e métodos cada vez mais eficientes para competir com os seres humanos 2004 ISEP Dep. De Engenharia Informática 1

19 A área dos jogos além de ser altamente motivante para o desenvolvimento de técnicas da Inteligência Artificial, assume-se também como um excelente domínio para a exploração da inteligência da máquina. Os jogos constituem uma tarefa estruturada na qual a medição do sucesso ou fracasso é simples. Assim para este projecto pretende-se o estudo e desenvolvimento de um agente inteligente capaz de jogar Carcassonne, um jogo de tabuleiro relativamente recente (2001), onde será necessário uma abordagem diferente dos jogos normais neste campo, como o xadrez, damas, etc. Pretende-se o desenvolvimento de um agente que seja capaz de competir com outro jogador humano ou não. Para este será necessário um estudo profundo sobre o tipo de jogo em questão, encontrar e avaliar soluções possíveis assim como tácticas e estratégias utilizadas nos jogos em geral e como adaptar ao jogo Carcassonne. Deve-se então escolher uma solução tentando adaptá-la ao pretendido, ou então optar pela criação de métodos próprios para o problema. Para o desenvolvimento do agente inteligente optou-se pela utilização da linguagem PROLOG, dado o nível de abstracção proporcionado para a representação de conhecimento e dada a sua eficácia na área da Inteligência Artificial e agentes inteligentes. O interpretador utilizado foi o Win-Prolog 4.32, sendo este o disponível no ISEP onde é utilizado na aprendizagem desta linguagem ao longo do curso nas disciplinas da área da Inteligência Artificial. 1.2 Motivação Dados os projectos disponíveis para escolha, este destacava-se. O fascínio pelos jogos de computador e a aprendizagem do real funcionamento do jogador representado pelo computador contra o utilizador estiveram na base da opção deste entre os listados. Antes da tomada de decisão pela escolha deste projecto teve lugar uma conversa com o orientador Jorge Santos sobre o projecto propriamente dito, o que levantou mais interesse sobre o mesmo. Ser capaz de 2004 ISEP Dep. Engenharia Informática 2

20 produzir um programa autónomo que pudesse vencer um utilizador é realmente um desafio verdadeiramente interessante. O facto do projecto implicar uma parte prática leva à ponderação sobre o trabalho e empenho necessário para o desenvolvimento e, apesar de se considerar um projecto bastante difícil em comparação com os de pesquisa bibliográfica, o gosto pela linguagem PROLOG e pelos jogos motivaram bastante a escolha. 1.3 Estrutura do relatório A organização deste documento está subdividida em 5 capítulos partindo deste capítulo introdutório, passando pela pesquisa teórica sobre o assunto em questão, seguidamente pelo desenvolvimento do trabalho e finalmente a conclusão. No capítulo 2 é feita uma abordagem geral à teoria dos jogos e é efectuado o enquadramento do jogo Carcassonne numa área de jogos, ou seja, num tipo de jogo. São referidos alguns conceitos sobre a teoria dos jogos e história da mesma. Através do capítulo 3 é possível compreender o funcionamento do jogo assim como as regras que o caracterizam. No capítulo 4 está descrita a implementação realizada no decorrer do projecto, assim como a análise do problema proposto e soluções possíveis. É abordada a representação de entidades e explicados os algoritmos mais importantes necessários à implementação do agente inteligente. No capítulo 5 é efectuada uma reflexão geral sobre o desenvolvimento do trabalho, a descrição de algumas dificuldades que surgiram, algumas considerações sobre um possível trabalho futuro a ser acrescentado e aspectos 2004 ISEP Dep. Engenharia Informática 3

21 a serem melhorados para um melhor e mais eficiente funcionamento do agente. Para a elaboração deste documento foi utilizado o tipo de letra tahoma com o tamanho 12 e para referências a porções de código é utilizado o tipo de letra Lucida Console, assim como linhas numeradas para as maiores porções ISEP Dep. Engenharia Informática 4

22 Desenvolvimento de um agente inteligente para jogar Carcassonne 2004 ISEP Dep. Engenharia Informática 5

23 2. Teoria dos Jogos A teoria dos jogos é o estudo da forma como as pessoas interagem e tomam decisões. Esta larga definição aplica-se à maioria das ciências sociais, mas a teoria dos jogos utiliza modelos matemáticos supondo que o comportamento de cada pessoa interfere no bem estar dos intervenientes no jogo. Estes modelos são normalmente abstracções completamente simplificadas de interacções do mundo real. A teoria dos jogos é a ciência da estratégia. Ela procura determinar matemática e logicamente as atitudes que os jogadores devem tomar para garantir os melhores resultados para si próprios num conjunto alargado de jogos. O amplo leque de jogos vai do xadrez à educação dos filhos, do ténis à economia. A teoria dos jogos foi criada na década de 40 pelo matemático John Von Newmann e recentemente, o matemático John Nash efectuou um novo estudo sobre o equilíbrio e foi galardoado com o prémio Nobel de economia em John Von Newmann desenvolveu esta teoria com o intuito de poder ser aplicada em várias situações e não apenas aos jogos. Qualquer situação onde exista competição, onde cada interveniente procura maximizar os seus ganhos e perdas dos outros, é aplicável à teoria dos jogos. Situações essas que podem abranger política, economia, tácticas de guerra, competitividade no comércio, tendo estas factores facilmente quantificáveis. É de salientar que a teoria dos jogos não envolve a componente humana e emocional que podem afectar problemas reais tais como conflitos militares ISEP Dep. Engenharia Informática 6

24 A essência de um jogo está na interdependência estratégica: a sequencial e a simultânea. Na primeira, os jogadores movem-se em sequência, estando cada um deles consciente das acções anteriores dos outros. Na segunda, os jogadores agem ao mesmo tempo, cada um deles ignorando as acções dos outros. Os jogos são fundamentalmente diferentes de decisões tomadas num ambiente neutro. Quando um lenhador decide a forma de cortar uma árvore, não está à espera de que esta se defenda; o ambiente é neutro. Mas quando um general tenta derrotar o exército do inimigo, tem de prever e ultrapassar a resistência dos planos do oponente. Tal como o general, um jogador deve reconhecer a sua interacção com outras pessoas inteligentes e decididas. A sua própria escolha deverá ter em linha de conta tanto as possibilidades de conflito como as de cooperação. A teoria dos jogos não pretende resolver todos os tipos de conflitos, porém permite uma melhor compreensão em situações complicadas, através das suas variadas técnicas para analisar estes problemas 2.1 Raciocínio Um dos princípios gerais pelo qual se deve guiar um jogador num jogo sequencial é o de prever o futuro e raciocinar sobre o passado. Cada jogador deve tentar perceber a forma de como os outros jogadores vão reagir à sua jogada, e como ele próprio vai reagir na sua vez, e assim sucessivamente. O jogador avalia as consequências das suas decisões iniciais, e utiliza essa informação para definir a melhor opção em cada momento. Quando os jogadores pensam nesta sequência de reacções, devem colocar-se na posição do adversário e pensar como ele; não deve impor-lhe a sua própria linha de raciocínio. Em princípio, qualquer jogo sequencial que termine após uma sequência finita de jogadas pode ser completamente resolvido. Para determinar a melhor estratégia de cada jogador deve-se considerar qualquer resultado possível ISEP Dep. Engenharia Informática 7

25 Certos jogos simples, como o jogo do galo, podem ser resolvidos desta forma, não constituindo, portanto, um grande desafio. Mas no caso de outros jogos, como o xadrez, os cálculos são demasiado complexos para funcionarem na prática, mesmo com o auxílio de computadores. Assim, os jogadores prevêem algumas das jogadas seguintes e tentam avaliar as posições que daí resultem com base na experiência. Ao contrário da cadeia linear de raciocínios sequenciais, os jogos com jogadas simultâneas implicam a existência de um circulo lógico. Embora os jogadores tomem decisões ao mesmo tempo, ignorando as acções simultâneas dos outros, cada um deles deve estar consciente de que existem outros jogadores que, por sua vez, estão simultaneamente conscientes, e assim sucessivamente. O raciocínio é o seguinte: Eu penso que ele pensa que eu penso.... Por conseguinte, cada qual deverá colocar-se, em sentido figurado, na pele de todos e tentar calcular o resultado. A melhor jogada de cada um é parte integrante deste cálculo global. 2.2 Conceitos Jogo Na teoria de jogos, a palavra jogo refere-se a um tipo especial de conflito no qual tomam parte n indivíduos ou grupos (conhecidos como os jogadores). Existem certas regras para cada jogo, que fornecem as condições para que este comece e definem as jogadas consideradas legais durante as diferentes fases do jogo, o número total de jogadas que constitui uma partida completa e os possíveis resultados quando a partida termina. Jogada Uma jogada ou movimento é a forma como progride o jogo de uma fase para outra, a partir da posição inicial até o último movimento. Podem ser alternativas ou simultâneas; acontecem tanto por causa de uma decisão pessoal quanto por azar. Assim, por exemplo, uma 2004 ISEP Dep. Engenharia Informática 8

26 roleta gera uma determinada jogada, cuja probabilidade pode ser calculada. Resultado Designa o que acontece quando uma partida termina. Informação completa Jogos com informação completa são aqueles em que todas as jogadas são conhecidas pelos intervenientes. Assim, o xadrez é um jogo com informação perfeita (completa), enquanto que o poker não pode ser classificado como tal, já que um jogador não tem conhecimento sobre a carta que o outro escolhe. Payoff Ganho de uma jogada. Dependendo do tipo de jogo, os valores de payoff terão uma interpretação diferente. Pode tomar um valor negativo, nulo ou positivo. Se esse benefício for negativo significa que se efectuarmos esta jogada teremos uma perda nesse valor. Nos jogos de soma zero, essa perda é equivalente ao ganho para o adversário desse valor. Estratégia: Uma estratégia é uma lista das escolhas óptimas para um jogador. Nesta lista já estão previstas as situações possíveis que o jogador poderá enfrentar. Assim, através de uma estratégia, este saberá o que fazer em qualquer momento do jogo, sem se importar com o que seu adversário possa fazer. Nesta fase, ao contrário das pontuações locais, faz-se uma avaliação a longo prazo de uma determinada jogada com o objectivo de ganhar o jogo. Para esta análise existem 3 níveis até delinear uma estratégia. Inicialmente no nível operacional interessam as regras do jogo e pontuações imediatas, seguidamente o nível táctico em que está 2004 ISEP Dep. Engenharia Informática 9

27 presente o conceito de áreas, defesa de recursos, etc, e um terceiro nível que será o estratégico que pressupõe um conhecimento mais vasto sobre o jogo e é mediante este conhecimento que se efectua a tomada de decisão Equilíbrio de John Nash O círculo lógico do raciocínio conduz a uma conclusão por meio de um conceito de equilíbrio desenvolvido pelo matemático de Princeton, John Nash. Para um jogo com dois Jogadores (A e B), um par de estratégias (a*, b*) representa uma solução de equilíbrio, se a* for uma estratégia óptima para o Jogador A enfrentar a estratégia b*, e se simultaneamente b* for a estratégia óptima para o Jogador B enfrentar a estratégia a*. Procura-se um conjunto de escolhas, uma para cada jogador, de tal forma que a estratégia de cada um seja a melhor quando os restantes estiverem a jogar de acordo com as melhores estratégias deles. Por outras palavras, cada um escolhe a melhor reacção àquilo que os outros fazem. Por vezes, a melhor opção de uma pessoa é sempre a mesma, independentemente daquilo que os outros fazem. A isto chama-se uma estratégia dominante, enquanto que, outras vezes, um jogador tem uma opção frequentemente má ao que se chama uma estratégia dominada 1. A procura de um equilíbrio deve começar pela procura de estratégias dominantes e a eliminação das estratégias dominadas. Quando se afirma que um resultado é um equilíbrio, não quer dizer que a melhor escolha de cada jogador conduza a um resultado óptimo. De facto, existem exemplos famosos, tal como o dilema dos prisioneiros de Albert W. 1 no sentido em que qualquer outra opção é melhor para ele independentemente daquilo que os outros façam 2004 ISEP Dep. Engenharia Informática 10

28 Tucker em 1950 (descrito seguidamente), em que os jogadores são conduzidos a um mau resultado seguindo cada um os seus interesses particulares. A noção de equilíbrio de Nash permanece uma solução incompleta para o problema do raciocínio circular em jogos de jogadas simultâneas. Alguns jogos possuem muitos equilíbrios deste género, ao passo que outros não. E o processo dinâmico que pode conduzir a um equilíbrio não chega a ser especificado. Mas, apesar destas lacunas, o conceito revelou ser extremamente útil para a análise de muitas interacções estratégicas. A seguir é exemplificada uma interacção estratégica que ilustra alguns do princípios fundamentais da teoria de jogos: O dilema dos prisioneiros Dois suspeitos A e B acusados do mesmo crime, são interrogados separadamente, cada um deles podendo confessar ou manter-se em silêncio. Se os dois suspeitos se mantiverem calados serão submetidos a uma pena de 1 ano. Se o suspeito A se mantiver em silêncio, o suspeito B pode obter um melhor acordo confessando, sendo libertado e condenando A a uma pena de 3 anos. Se A confessar, B fará melhor em confessar também, para evitar um tratamento especialmente severo, assim a sentença aplicada será de 2 anos para cada um deles. As decisões são simultâneas e um não sabe nada sobre a decisão do outro. A confissão é a estratégia dominante de B. O mesmo é verdade para A. Assim, em equilíbrio, ambos confessam, embora ambos pudessem ficar em vantagem se se mantivessem calados. Semelhante comportamento cooperante pode ser alcançado em repetidas jogadas do jogo, já que o ganho temporário que resulta da batota (a confissão) pode ser suplantado pela perda a longo prazo provocada pela quebra de cooperação ISEP Dep. Engenharia Informática 11

29 Assim sendo podemos sistematizar as possibilidades dos dois suspeitos na tabela seguinte: B fica calado B Confessa A fica calado A confessa 1 ano para A B fica livre 1 ano para B 3 anos para A A fica livre 2 anos para A 3 anos para A 2 anos para B Tabela 1 Consequências possíveis dos suspeitos Analisando a tabela 1, para qualquer um dos prisioneiros, o melhor resultado possível é trair e o outro ficar calado. E até mesmo se o outro o trair, o suspeito sai em vantagem por não colaborar também, já que ficando em silêncio está sujeito a ser condenado a uma pena de três anos de cadeia, enquanto que se confessar, só está sujeito a dois. Isto é, seja qual for a opção do outro, o prisioneiro terá mais vantagens em confessar. O único problema é que ambos chegarão a essa conclusão: a escolha mais inteligente é trair. Essa lógica vai, desta forma, condenar a ambos dois anos de cadeia. Se os dois se mantiverem em silêncio, existe um ganho maior para ambos, mas a probabilidade de isso acontecer é menor. O conceito de John Nash define uma solução estratégica ou equilíbrio de um jogo como um ponto onde cada jogador não tem vantagens em alterar a sua estratégia se os adversários não o fizerem. Ou seja, se um dos intervenientes alterar a estratégia poderá piorar a sua situação porque o adversário poderá alterar a dele e vencer ISEP Dep. Engenharia Informática 12

30 Considerando o dilema de prisioneiros, a situação em que ambos confessam, é a única combinação em que se pode considerar o equilíbrio de Nash porque é a única estratégia vantajosa para os dois suspeitos. 2.3 Tipos de Jogos A teoria de jogos distingue vários tipos de jogos, de acordo com o número de jogadores e com as circunstâncias do jogo. De acordo a possibilidade ou não de comunicação e a quantidade e tipo de informação acessível, os jogos podem ser divididos em: Jogos cooperativos (soma não zero) Jogos não-cooperativos (soma zero) Jogos de informação completa, incompleta, perfeita e imperfeita Jogos não Cooperativos Os jogos não-cooperativos, onde estão incluídos os jogos de soma zero, são caracterizados por um confronto de interesses estritamente competitivo. São situações nas quais para um jogador vencer, o outro tem necessariamente de perder, ou então as partes terminam o jogo sem saldo algum. Diz-se que um jogo é de soma zero se o total dos ganhos ao final da partida é nulo, isto é, se o total de ganhos é igual ao total de perdas. Considerando um jogo com dois jogadores o total dos ganhos de um jogador é igual ao total de perdas do adversário. Nos jogos de soma zero não há possibilidade de cooperação entre dois agentes egoístas, já que os seus interesses são totalmente opostos. Estes proíbem a comunicação prévia, apesar de existirem situações em que a sinalização acontece, bem como o encontro de convenções que ajudam a coordenar as acções dos agentes, com base no conhecimento comum partilhado pela cultura, convívio social ou capacidade cognitiva dos jogadores ISEP Dep. Engenharia Informática 13

31 Nestas ocasiões, um efeito chamado de "telepatia" surge como forma de comunicação implícita entre pessoas de uma mesma língua ou habitantes de uma mesma região ou grupo social, dotados de mentes semelhantes e conhecimento comum Teorema Minimax Os jogos de dois jogadores com soma zero são o principal objecto de estudo da teoria matemática dos jogos. É também bastante conhecido, senão o mais, o algoritmo Minimax que permite gerar soluções propícias à vitória em jogos de soma zero. O Minimax é um procedimento de busca em profundidade, sendo esta limitada [Elaine Rich, Kevin Knight, 1993]. A busca é efectuada através de uma árvore de movimentos (Figura 1) em que se tenta maximizar a probabilidade de vencer o jogo, enquanto que o adversário tenta fazer o contrário. Começando na posição actual, gera-se movimentos possíveis para criar um conjuntos de posições sucessoras possíveis. Depois da avaliação estática a cada uma destas posições possíveis escolhe-se a melhor. O valor é retornado à posição inicial para essa avaliação ser representada. A posição inicial é tão boa como a posição gerada pelo melhor movimento a ser executado a seguir. O objectivo neste ponto é obter o valor máximo da avaliação estática na próxima posição do tabuleiro. Max 50 Min Max Figura 1 Árvore do algoritmo Minimax 2004 ISEP Dep. Engenharia Informática 14

32 Sendo este o algoritmo mais usado no mundo da teoria dos jogos, o Minimax não é aplicável a jogos com informação incompleta. Pelo contrário o algoritmo Minimax pressupõe a informação completa sobre o jogo Jogos Cooperativos Jogos cooperativos, ou jogos de soma não zero, são aqueles em que a comunicação prévia é permitida entre os jogadores, antes de decidirem a estratégia que usam durante o jogo. Para ser eficaz, a comunicação precisa ser livre de distorção e sem qualquer custo para os intervenientes, isto é, a emissão de mensagens não implica uma alteração directa da matriz original do jogo. Os jogos de soma não zero diferem dos de soma zero pelo facto de que neste tipo de jogos os jogadores não são completamente opostos uns aos outros, ou seja, a relação de ganho e perda que existe nos jogos de soma zero não se aplica para todos os resultados para este tipo de jogos. Neste tipo de jogos não é necessário que o ganho de um jogador seja a perda do adversário. O que B ganha não é necessariamente igual ao que A perde. Então, a grande diferença entre os jogos de soma zero e os de soma não zero é que neste último não há um conceito óbvio de solução do jogo. Para os jogos de soma zero o teorema Minimax garante uma boa solução, para os jogos de soma não zero, John Nash provou, em 1951, uma generalização desse teorema, utilizando o conceito de pares de equilíbrio. É de referir que o conceito de equilíbrio de Nash descrito na secção 2.3.1, não se aplica apenas aos jogos de soma não zero, mas também aos jogos de soma zero, por verificar que neste caso esta teoria é equivalente ao teorema Minimax ISEP Dep. Engenharia Informática 15

33 2.3.3 Jogos de Informação perfeita e imperfeita Nos jogos de informação perfeita, por meio de indução inversa, os jogadores podem conhecer toda história do jogo, antes mesmo de tomarem as suas decisões. Todos os conjuntos de informação de uma árvore de jogo de informação perfeita são unitários. O que permite dizer que cada parte sabe em qual nó de um jogo sequencial está. Caso contrário, o jogo é chamado de informação imperfeita. Os participantes que se lembram, a cada jogada, de todas as anteriores efectuadas desde o início do jogo possuem memória perfeita, enquanto que nos jogos em que não é possível ter toda essa informação do passado possuem memória imperfeita Jogos de Informação Completa e Incompleta Existindo ou não comunicação, quando os jogadores têm pleno conhecimento do número de participantes, da posição que cada um ocupa em cada etapa do jogo e dos resultados que todos podem obter, diz-se que o jogo é de informação completa. Na falta de um desses elementos informativos, o jogo é de informação incompleta e as características sobre o tipo dos jogadores deixam de ser de conhecimento comum. Uma forma de trabalhar a falta de informações na modelagem dos jogos é introduzir a natureza como uma parte interveniente numa jogada. Assim, as incertezas dos jogadores, em relação à definição das regras, podem ser interpretadas como probabilidades subjectivas, que a psicologia dos jogadores trata de estabelecer. Em diversos textos do final dos anos onde se destaca "Games with Incomplete Information Played by 'Bayesian' Players" ( ) -, John Harsanyi sistematizou essa situação tratando os agentes como jogadores "bayesianos", isto é, aqueles cujas incertezas podem ser operadas através de uma distribuição da probabilidade subjectiva conjunta partilhada por todos ISEP Dep. Engenharia Informática 16

34 Embora a aplicação destas ideias seja difícil de ser observada por humanos e outros animais no seu dia-a-dia, o modelo de Harsanyi serviu para descrever as circunstâncias em que a informação é assimétrica, quando alguém dispõe de um conhecimento privilegiado sobre os ingredientes do jogo que não é do domínio dos restantes envolvidos na mesma situação dos jogos chamados de informação incompleta. Um exemplo já referido deste conhecimento privilegiado é o poker, em que cada jogador antes de tomar uma decisão nunca sabe qual o leque de cartas dos adversários. A adopção desta sugestão trazia algumas dificuldades para a teoria, uma vez que o equilíbrio de Nash tinha como condição a simetria entre os jogadores, apesar da maioria dos casos interessantes envolver movimentos assimétricos. A solução de Harsanyi produziu, então, equilíbrios Bayes-Nash para cada tipo de jogador que maximiza os valores esperados de acordo com as estratégias seguidas pelos outros, subentendendo a incerteza quanto ao tipo do outro jogador, que pode ser diferente tendo em vista a crença subjectiva na probabilidade prévia de distribuição desses tipos na natureza. A crença prévia é a expectativa que todos jogadores têm sobre a forma de como a natureza produz alternativas de forma aleatória. Esta crença não é mais do que o conhecimento comum da probabilidade estimada de que um tipo de jogador venha fazer parte do jogo. Na posse destas informações os jogadores podem avaliar as suas escolhas a partir de probabilidades predeterminadas de que estão a enfrentar um tipo diferente ou semelhante de adversários. 2.4 História da Teoria dos Jogos Jogos de tabuleiro, dados, cartas ou, em geral, jogos de salão são objecto de diversão dos humanos desde a formação das primeiras civilizações. Escavações feitas em sítios arqueológicos localizados na região do Oriente Médio conhecida como Mesopotâmia encontraram em túmulos de nobres e membros da família real da antiga cidade de Ur, importante centro da civilização Suméria, por volta 2004 ISEP Dep. Engenharia Informática 17

35 de 3000 a.c., um jogo de tabuleiro que passou a ser conhecido como Jogo Real de Ur, um provável antecessor do jogo moderno do gamão. Através de crenças em lendas indianas, a actividade lúdica, além de entreter os praticantes, também serviria como simulação alegórica de batalhas ou deliberações que as pessoas têm de fazer ao longo de sua vida quotidiana, sendo exemplos disto o xadrez e o já mencionado gamão. Por colocar as pessoas em situações nas quais ganhar ou perder dependem das escolhas feitas adequadamente logo no início das partidas, os jogos mostraram-se como uma excelente ferramenta para o desenvolvimento da personalidade e da inteligência das crianças. Entretanto, apesar desse aspecto pedagógico, os jogos raramente eram considerados objectos de estudo sério. Foi a curiosidade do Cavaleiro de Méré e habitual jogador, Antoine Gombaud ( ), que, em 1654, incentivou o filósofo francês Blaise Pascal ( ) a iniciar correspondência com outro matemático francês, Pierre de Fermat ( ), no intuito de solucionar com maior rapidez o problema dos pontos, num jogo de dados que fora interrompido, e cujo dinheiro das apostas teria de ser dividido justamente de acordo com as probabilidades iguais de ganho de cada jogador, caso o jogo tivesse continuado até o final. A resposta fornecida por ambos ao problema de Gombaud revelou as regras matemáticas que subjazem aos jogos de azar, desenvolvendo a teoria da probabilidade que de um modo independente, outro matemático e famoso batoteiro, o italiano Girolamo Cardano ( ), tinha iniciado antes. Contudo, a solução encontrada por Pascal e Fermat só foi publicada mais tarde através do primeiro livro exclusivo sobre teoria da probabilidade, chamado Sobre o Raciocínio em Jogos de Azar, do físico e astrónomo holandês Christian Huygens ( ), lançado em Isso porque, na metade do século XVII, a matemática era considerada uma actividade amadora de eruditos que não deveria ter consequências sérias para as vidas dos mortais. Em 1730, a matemática já tinha alcançado um respeito considerável, devido ao sucesso dos trabalhos do cientista inglês Isaac Newton ( ). Nesta 2004 ISEP Dep. Engenharia Informática 18

36 época, o suíço Daniel Bernoulli ( ), membro de uma família de matemáticos, já podia ser visto como um solucionador de problemas profissional, contratado para ensinar as suas matérias em diversas cortes europeias. Em São Petersburgo, Rússia, Bernoulli concebeu o conceito de utilidade como um valor de incremento inversamente proporcional à quantidade inicial. Isto é, tendo em vista o comportamento dos jogadores, existiria uma medida subjectiva de satisfação que explicaria a reacção das pessoas em situações de risco, nos termos de maximização da sua utilidade. Circunstância que só dois séculos depois, receberia uma formulação moderna pela mão do matemático francês Émile Borel ( ), na forma do teorema Minimax. Usando a noção de estratégias mistas 2, em 1927, Borel conseguiu resolver jogos com duas pessoas que tivessem até cinco opções de estratégias a sua escolha. Uma solução geral, entretanto, só viria a ser alcançada pelo matemático húngaro John Von Neumann ( ), em 1928, consolidando as bases de uma moderna teoria dos Jogos, em que o conceito de utilidade é fundamental. Outro conceito chave desta teoria começou a ser trabalhado pelo filósofo e economista francês Antoine Augustin Cournot ( ). Nas suas análises sobre os casos de duopólio, Cournot formalizou uma versão restrita do conceito de equilíbrio que iria ser generalizada, no século seguinte, por John Forbes Nash Jr. em trabalhos que tornaram a teoria dos jogos pertinente a situações em que um lado pode vencer sem precisar, necessariamente, de derrotar o adversário. Assim onde pode existir conflito de interesses entre duas ou mais partes capazes de deliberarem sobre uma acção que implique uma reacção recíproca consequente, a teoria dos jogos tenta encontrar uma formulação passível de ser tratada de uma forma tão rigorosa quanto possível, a fim de gerar respostas possíveis. 2 Aplicam as estratégias puras a uma taxa de variação proporcional aos ganhos 2004 ISEP Dep. Engenharia Informática 19

37 Desenvolvimento de um agente inteligente para jogar Carcassonne 2004 ISEP Dep. Engenharia Informática 20

38 3. O Jogo Carcassonne 3.1 Introdução A cidade de Carcassonne no sul de França foi fundada numa importante rota de comércio entre o mediterrâneo e o Atlântico. Devido à sua posição estratégica, a cidade foi conquistada várias vezes e conheceu muitos povos. Em consequência desta variada história, a cidade é famosa pela sua mistura original de fortificações romanas e medievais. Assim o autor do jogo, Klaus Jürgen Wrede (Figura 2), desenvolveu um jogo denominado de Carcassonne. Figura 2 - Klaus-Jürgen Wrede Os jogadores desenvolvem a área em torno de Carcassonne colocando peças de terreno. Cada área torna-se maior enquanto que os jogadores expandem e adicionam troços ou partes de estradas, campos, cidades e mosteiros. Os jogadores podem também colocar seguidores que assumem diferentes papeis em função do recurso que se pretende defender, por exemplo: monge no caso do mosteiro, ladrões nas estradas, agricultores nos prados e cavaleiros nas cidades. Como cada jogador apenas possui 8 seguidores, um bom jogador terá que delinear uma estratégia para efectuar os movimentos com cuidado e colocar os seguidores quando e onde possa ganhar mais pontos ISEP Dep. Engenharia Informática 21

39 3.2 Objectivo do Jogo Os jogadores, jogada a jogada, colocam as peças de terreno criando estradas, cidades, campos e mosteiros sobre os quais os jogadores podem colocar os seus seguidores, de forma a somar pontos. Os jogadores ganham pontos durante o jogo e também no final do mesmo. O vencedor só será definido no final do jogo após a última contagem que inclui os prados, sendo que, aquele que reunir maior número de pontos vencerá. 3.3 Regras do Jogo Material do Jogo 40 seguidores em 5 cores (Figura 3): o Cavaleiros; o Ladrões; o Monges; o Agricultor. Figura 3 - Seguidores 1 Placa de contagem de pontos ( Figura 4 ) Figura 4 Placa de contagem dos pontos 2004 ISEP Dep. Engenharia Informática 22

40 72 peças de terreno (Figura 5): o peça inicial com fundo escuro; o pedaços de cidade; o pedaços de estrada; o pedaços de campo; o cruzamentos; o mosteiros. Figura 5 Peças do Jogo 3 3 As peças da figura 5 apresentam duas numerações, sendo a numeração preta o número de peças existentes, e a numeração branca o identificador de cada peça ISEP Dep. Engenharia Informática 23

41 3.3.2 Preparação do Jogo A peça inicial é colocada do meio da mesa. As restantes peças são colocadas aleatoriamente com o verso voltado para cima. A placa de contagem deve ser colocada numa extremidade da mesa Cada jogador tem direito a 8 seguidores de uma cor entre cinco à escolha, em que um deles será colocado como contador de pontos na placa de contagem Posicionamento de Peças Para colocar a peça é necessário obedecer a certas regras: A peça extraída tem que ser colocada com um dos seus lados junto com um lado livre de uma das peças anteriormente colocadas; Os pedaços de campo, cidade ou estrada têm que ser continuados, ou seja, os lados que ficarão juntos efectuam um encaixe coerente de forma a manter o desenho lógico como exemplificado na Figura 6; Figura 6 Posicionamento de peças 2004 ISEP Dep. Engenharia Informática 24

42 Se não for possível colocar a peça em nenhuma posição, esta será retirada do jogo, e o jogador retira uma nova peça Desenvolvimento do Jogo O Jogo decorre no sentido dos ponteiros do relógio; O Jogador tira uma peça à sorte e coloca-a; O Jogador pode posicionar um seguidor na carta que colocou; Caso o jogador tenha fechado uma estrada, cidade ou mosteiro com a peça colocada, procede-se a uma contagem de pontos e à recolha dos peões Posicionamento de seguidores Depois de colocada uma peça, o jogador pode colocar sobre esta um seguidor. Para isso é necessário obedecer a certas restrições: Só pode ser colocado apenas um seguidor; Só podem ser utilizados seguidores da reserva do jogador; O seguidor só pode ser colocado na peça extraída; O jogador tem que decidir em que parte da peça será colocado o seguidor. Pode ser usado como demonstrado na Figura 7: Figura 7 Posicionamento de seguidores 2004 ISEP Dep. Engenharia Informática 25

43 Os seguidores assumem diferentes papeis em função do local em que são colocados: o Na cidade o cavaleiro; o Na estrada o ladrão; o No campo o agricultor; o No mosteiro o monge. Nos pedaços de campo ou cidade ligados à nova peça, não pode existir nenhum outro seguidor, independentemente da distância a que este se encontre; Na imagem em cima o jogador não pode colocar o cavaleiro, mas já pode colocar um agricultor. Na imagem em baixo o jogador pode colocar o peão como ladrão ou cavaleiro. Como Agricultor pode colocar apenas no campo mais pequeno, o campo maior já se encontra ocupado. Figura 8 Colocações possíveis e impossíveis do peão Caso durante o jogo, acabem os seguidores de um jogador, este só poderá colocar as peças. Apenas pode reaver seguidores aquando de uma contagem de pontos em que é fechado um recurso; 2004 ISEP Dep. Engenharia Informática 26

44 Depois de uma cidade ou uma estrada estar fechada e depois de ter sido feita a contagem, os ladrões, cavaleiros ou monges voltam para a reserva dos jogadores que os tinham anteriormente colocado, de forma a que o jogador os possa utilizar novamente; É possível, na mesma jogada, colocar um seguidor para efectuar uma contagem de pontos, e reavê-lo novamente. Isto pode acontecer quando o jogador coloca uma nova peça e completa uma cidade ou estrada sem que esta tenha pelo menos um seguidor Pontuação No decorrer do jogo cada jogador vai colocando os seus peões de acordo com as suas tácticas e estratégias. Estes peões aquando do fecho de um recurso, retornam ao seu jogador. Em cada contagem de pontos por um recurso fechado todos os peões são libertados e voltam à reserva de cada jogador. Exceptua-se o caso dos prados, onde, os peões que forem colocados nunca são libertados pois os prados são contabilizados apenas no fim do jogo. Estrada Acabada - Uma estrada está acabada quando a mesma estiver delimitada por um cruzamento, cidade ou mosteiro, ou então quando esta formar um círculo fechado (figura 9). O jogador que possuir um seguidor nesta estrada ganha tantos pontos quanto o tamanho da estrada (número de peças); Inacabada Uma estrada está inacabada quando a mesma não formar um circuito fechado (figura 9). O jogador nesta situação apenas possui pontos potenciais, sendo estes contabilizados pelo número de peças que a estrada constitui; 2004 ISEP Dep. Engenharia Informática 27

45 Figura 9 Estrada acabada e inacabada Cidade Acabada - Uma cidade está acabada quando os seus pedaços são completamente cercados por muros e o seu terreno não apresenta nenhum buraco (figura 10, duas cidades acabadas). Por cada cidade completa o jogador que possuir um cavaleiro na mesma ganha 2 pontos por cada pedaço de cidade (número de peças); Inacabada Uma cidade está inacabada quando este não está completamente cercada por muros ou possui buracos (figura 10). Nesta altura o jogador apenas pode contabilizar pontos potenciais, 2 por pedaço de cidade. Figura 10 Cidade acabada e inacabada 2004 ISEP Dep. Engenharia Informática 28

46 Quando mais que um seguidor está colocado numa cidade ou estrada acabada os pontos vão para o jogador que tiver mais seguidores na cidade ou estrada fechada. Em caso de empate os pontos são atribuídos aos dois jogadores; Mosteiro acabado: Um mosteiro está acabado quando este fica cercado por 8 peças de terreno (figura 11). O jogador que possuir um monge no mosteiro ganha 9 pontos; Figura 11 Mosteiro acabado Nas estradas ou cidades fechadas que têm numa das peças um brasão, recebem dois pontos extra além da pontuação normal. Analisando a figura 10 a cidade da esquerda receberá 2 pontos extra; Os campos ou pedaços de campo não são contados. Os campos são separados por estradas ou cidades. Estes só servem para colocar os seguidores. Os jogadores que colocaram os seguidores como agricultores só recebem os pontos no final do jogo. Assim, os agricultores não podem voltar para o jogador, depois de colocados; No final do jogo, depois de colocada a última peça, procede-se à contagem final dos pontos. Inicialmente contam-se as estradas, cidades, e mosteiros ainda não acabados. O jogador que possuir um 2004 ISEP Dep. Engenharia Informática 29

47 seguidor nestas peças recebe um ponto por peça. O brasão neste caso também só contará 1 ponto; Ainda na contagem final, cada cidade acabada contará 3 pontos independentemente do seu tamanho. Aqui neste caso os agricultores vão decidir a atribuição dos pontos ISEP Dep. Engenharia Informática 30

48 Desenvolvimento de um agente inteligente para jogar Carcassonne 2004 ISEP Dep. Engenharia Informática 31

49 4 Desenvolvimento do agente inteligente 4.1 Descrição do problema Para o problema proposto pretende-se o desenvolvimento de um agente dotado de inteligência que seja capaz de tomar boas decisões no decorrer de um jogo mediante as jogadas do adversário, ou adversários. Torna-se necessária essa inteligência uma vez que existe a possibilidade de jogarem mais que dois jogadores e o estado actual do tabuleiro também difere de jogo para jogo. Cada jogador, depois de conectado a um servidor do jogo, recebe constantemente informação sobre o mesmo. O estado inicial do tabuleiro é sempre o mesmo, sendo a informação desse estado também possuída pelos jogadores. Depois de um jogador efectuar uma jogada, o servidor valida essa mesma jogada e caso essa validação seja bem sucedida, o servidor envia a cada jogador inscrito no jogo a informação sobre a jogada, de modo a que cada um deles possa actualizar o seu conhecimento sobre o jogo, nomeadamente: tabuleiro, posições livres para jogar, recursos e pontuação do(s) adversário(s). Estes servidores de jogos na Internet fornecem também outros jogos, e mais mesas em simultâneo para cada jogo. Esta forma de envio de informação e actualização da informação é a mais eficiente já que não torna os servidores lentos e pesados aquando do processamento da informação. Neste cenário, o servidor apenas confirma a validação da jogada. Cada jogo terá uma identificação assim como a mesa de jogo, permitindo assim aos vários jogadores, em qualquer parte do mundo, jogar ao mesmo tempo. O agente jogador depois de receber a informação sobre a jogada e actualizar as entidades necessárias, vai avaliar um conjunto de jogadas possíveis e os seus benefícios, para finalmente poder efectuar uma escolha. Para esta 2004 ISEP Dep. Engenharia Informática 32

50 escolha, o agente, tem que seguir uma determinada estratégia e uma série de tácticas mediante a situação actual de jogo. 4.2 Caracterização do jogo Antes de qualquer tentativa de criação do agente foi necessário efectuar uma pesquisa profunda referente ao jogo Carcassonne e respectivas regras (ver descrição na secção 3). Relativamente a este projecto, o jogo Carcassonne está incluído no tipo de jogos com informação incompleta. Cada jogador, a cada jogada, nunca vai saber qual o desenrolar do jogo, nem sabe todas as jogadas possíveis até ao fim deste. O tabuleiro não está definido inicialmente, apenas contém a peça inicial do jogo, sendo a partir daí desenvolvido mediante as decisões dos jogadores intervenientes. Para o caso do Carcassonne, o payoff define-se pelos recursos fechados, em que a pontuação deste recurso reverte para o jogador que possuir mais peões que o adversário, ou em caso de empate, reverte para os dois ou mais jogadores. Muitas das dificuldades na criação de agentes devem-se em grande parte ao nível da complexidade do jogo, já que não se trata de um jogo básico e tornase necessário dispender algum tempo para a interiorização das suas regras e da sua dinâmica. 4.3 Análise do problema Inicialmente cada jogador possui 8 seguidores de uma determinada cor que lhe é atribuída e existe um tabuleiro apenas com uma peça colocada (a peça inicial que possui uma tonalidade escura nas costas, figura 12) ISEP Dep. Engenharia Informática 33