VINÍCIUS GOMES QUAGLIO TÉCNICAS DE INTELIGÊNCIA ARTIFICIAL APLICADAS AO JOGO OTHELLO: UM ESTUDO COMPARATIVO

Transcrição

1 VINÍCIUS GOMES QUAGLIO TÉCNICAS DE INTELIGÊNCIA ARTIFICIAL APLICADAS AO JOGO OTHELLO: UM ESTUDO COMPARATIVO LONDRINA PR 2013

2

3 VINÍCIUS GOMES QUAGLIO TÉCNICAS DE INTELIGÊNCIA ARTIFICIAL APLICADAS AO JOGO OTHELLO: UM ESTUDO COMPARATIVO Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. Orientador: Profa. Ms. Helen Cristina de M. Senefonte LONDRINA PR 2013

4 QUAGLIO, V. G.. Técnicas de Inteligência Artificial aplicadas ao Jogo Othello: Um estudo comparativo. 31 p. Trabalho de Conclusão de Curso (Graduação). Bacharelado em Ciência da Computação Universidade Estadual de Londrina, RESUMO Othello é um jogo determinístico soma-zero de dois jogadores com informação perfeita, jogado em um tabuleiro 8 X 8. Este trabalho ter por objetivo implementar um agente inteligente jogador de Othello, a fim de investigar o uso e desempenho de técnicas de inteligência artificial aplicadas à jogos, disponibilizando um estudo comparativo prático para futuros testes de agentes inteligentes de jogos. Para realizar este estudo, algumas técnicas serão implementadas e observadas durante jogos, extraindo assim informações sobre estas. Palavras-chave: othello. inteligência artificial. q-learning.

5 QUAGLIO, V. G.. Artificial Intelligence techniques applied to the Othello game: a comparative study. 31 p. Final Project (Undergraduation). Bachelor of Science in Computer Science State University of Londrina, ABSTRACT Othello is a deterministic zero-sum game of two players with perfect information, played on a board 8 X 8. This work aims to implement an intelligent agent player Othello in order to investigate the use and performance of artificial intelligence techniques applied to games, providing a comparative study for future practical tests of intelligent agents games. To conduct this study, some techniques are implemented and observed during games, thereby extracting information about these. Keywords: othello. artificial intelligence. q-learning.

6

7 LISTA DE ILUSTRAÇÕES Figura 1 Início da Árvore de Jogo 8-puzzle Figura 2 Aprendizado por Reforço Figura 3 Configuração Inicial do Otthelo Figura 4 Ambiente Padrão Othello

8

9 LISTA DE TABELAS Tabela 1 Avanços em Programas para Othello

10

11 LISTA DE ABREVIATURAS E SIGLAS IA Inteligência Artificial

12

13 SUMÁRIO Introdução Fundamentação Teórica Inteligência Artificial em Jogos Árvores de Jogos Algoritmo Minimax Algoritmo Poda Alfa-Beta Aprendizado de Máquina Aprendizado Supervisionado Aprendizado Não Supervisionado Aprendizado por Reforço O Jogo Othello Regras Othello e IA Ambiente Othello e técnicas de Inteligência Artificial Ambiente Padrão Othello MiniMax Jogador Artificial de Teste Resultados Próximas Etapas Poda Alpha-Beta Q-Learning Competições Análise dos Resultados Considerações Finais Referências

14

15 13 INTRODUÇÃO Em meados do século anterior, começaram as primeiras tentativas científicas para inventar máquinas inteligentes [1]. Entre os pioneiros, estão Shannon [2] que, em seu artigo de 1950, propõe um programa capaz de jogar xadrez, Turing [3] em 1953 também abordou xadrez e busca em árvore de jogos. Desde então, jogos populares em todo mundo como Xadrez, Damas, Othello, Go, Poker, entre outros, têm sido alvo de pesquisas em Inteligência Artificial, sempre no intuito de superar a supremacia humana [1]. Othello é um jogo de dois jogadores, com um tabuleiro 8 x 8 e 64 discos que são brancos de um lado e pretos no outro. Em cada movimento, o jogador deve necessariamente fazer com que pelo menos uma peça adversária seja cercada dos dois lados pelas suas peças, transformando a peça cercada em peça própria. O objetivo é terminar o jogo possuindo maior número de peças que o adversário. Esse trabalho tem como objetivo investigar o uso de técnicas de inteligência artificial aplicada à jogos, realizando um estudo comparativo através de implementações e testes práticos no jogo Othello. No Capítulo 1 são descritos os principais conceitos de Inteligência artificial aplicada à jogos, características e funcionamento do jogo Othello bem como os avanços da área de IA relacionados ao Othello. No Capítulo 2 é descrita a evolução do trabalho até o momento e no Capítulo 3 são apresentadas os primeiros resultados. As próximas etapas e Considerações Finais se encontram nos Capítulos 4 e 5, respectivamente, e por fim, as referências bibliográficas.

16

17 15 1 FUNDAMENTAÇÃO TEÓRICA 1.1 INTELIGÊNCIA ARTIFICIAL EM JOGOS Uma das primeiras tarefas empreendidas em Inteligência Artificial (IA) foi a participação em jogos [4]. Por anos tem sido um tópico fascinante para IA, rendendo, nas últimas duas décadas, grandes avanços em jogos clássicos de tabuleiro [5]. De acordo com Mandziuk [5], algumas questões ainda podem ser exploradas, na área de IA em relação aos jogos, tais como: A implementação de mecanismos autônomos capazes de descobrir conhecimento com o propósito de criar novas estratégias de jogo; A melhoria do comportamento do jogador artificial baseado apenas no conhecimento obtido através de jogos anteriores; E a implementação de mecanismos que simulem a intuição humana. O objetivo final, no uso de técnicas de IA em jogos é a construção de um agente jogador de vários jogos, verdadeiramente autônomo, como o ser humano [5]. As diversas técnicas de IA aplicadas em jogos podem variar e apresentar desempenhos diferentes de acordo com as características do problema. Por exemplo, considerando a classe dos jogos com dois jogadores, em que um faz o primeiro movimento, seguido do outro jogador, e revezam-se até o jogo terminar, Russell e Norvig [4] definem um jogo como um problema de busca com os componentes a seguir: Estado Inicial - Determina a posição das peças no tabuleiro e o jogador que fará o movimento inicial. Função Sucessor - Retorna uma lista de pares com as ações válidas e o respectivo estado resultante. Teste de Término - Indica quando o jogo acabou. Estados terminais são os estados onde o jogo é encerrado. Função Utilidade - Retorna o resultado do jogo. Pode ser vitória, derrota ou empate em alguns jogos. Mas existem outros com mais variedade de resultados. Através destes componentes é possível construir uma árvore, estrutura de dados comumente utilizada para representar o conjunto de estados de um jogo.

18 16 Capítulo 1. Fundamentação Teórica Árvores de Jogos A configuração inicial e os movimentos válidos para dois jogadores definem uma árvore, em que as folhas são os estados terminais e a raiz é o estado inicial. Essa árvore é chamada árvore do jogo. Os dois jogadores podem ser chamados de MIN e MAX 1, sendo que o último faz o primeiro movimento e prosseguem com turnos alternados. Cada folha possui um valor associado que representa o resultado do jogo pelo ponto de vista de MAX. [4] Na figura 1, são mostrados os primeiros níveis da árvore de jogo do quebra cabeça 8-puzzle, que consiste em um jogo de tabuleiro com blocos deslizáveis. O objetivo do jogo é mover as peças a partir de um estado inicial até que esteja em seu estado final e só é possível deslizar o bloco vazio. Figura 1 Início da Árvore de Jogo 8-puzzle. Uma estratégia ótima é aquela em que o estado terminal alcançado represente um estado objetivo, uma vitória. Portanto, para o jogo, a estratégia deve especificar o movimento inicial de MAX e seus movimentos seguintes a cada possível resposta de MIN. [4] O valor minimax em cada nó, dada uma árvore de jogo, é a utilidade de se encontrar no estado que leve ao melhor estado final, ou seja, uma pontuação. Através do valor minimax é possível definir uma estratégia ótima Algoritmo Minimax O algoritmo minimax utiliza computação recursiva dos valores de minimax de cada estado sucessor para calcular a decisão minimax a partir do estado corrente [4]. A estratégia é, em cada nível da árvore, tentar maximizar a pontuação do jogo (para 1 O motivo dos nomes MIN e MAX dos jogadores ficarão mais claros na seção

19 1.1. Inteligência Artificial em Jogos 17 MAX) e minimizar a pontuação do adversário (MIN). Por isso, o algoritmo é denominado MiniMax. O algoritmo percorre em profundidade a árvore completa do jogo. A complexidade de tempo é O(b m ), onde m é a profundidade máxima e b o número de movimentos válidos em cada ponto. [4] O código do Minimax é apresentado no Algoritmo 1. Algoritmo 1: MiniMax begin minimax (no_corrente) if ehfolha(no_corrente) then return pontuacao(no_corrente); end if ehnomin(no_corrente) then return min(minimax(filhosde(no_corrente))); end if ehnomax(no_corrente) then return max(minimax(filhosde(no_corrente))); end end Apesar da utilização do algoritmo MiniMax garantir a estratégia ótima, a busca pela árvore completa do jogo pode não ser viável para a maioria dos jogos, pois o número de estados que a busca tem que examinar é exponencial em relação ao número de movimentos Algoritmo Poda Alfa-Beta Através da poda alfa-beta, é possível tornar a busca por um bom movimento mais eficiente removendo seções da árvore de jogo que não compensam examinar [6], ou seja, aquelas seções onde sabemos que o melhor movimento já não pode mais ser encontrado. Esse artifício pode reduzir o expoente de tempo do algoritmo MiniMax, retornando o mesmo movimento [4]. Segundo Coppin [6], o algoritmo é implementado da seguinte forma: A árvore de jogo é percorrida em profundidade. Para cada nó que não seja um folha, é armazenado um valor, chamado α para nós Max e β para nós Min. α é o valor máximo encontrado até o momento entre os descendentes dos nós Max β é o valor mínimo encontrado até o momento entre os descendentes dos nós Min Os parâmetros α e β dão nome à técnica, que atualiza os valores de α e β e encerra a chamada recursiva de um nó corrente se o valor deste for pior que o valor de α para Max ou pior que β para Min [4].

20 18 Capítulo 1. Fundamentação Teórica O código pode ser encontrado no Algoritmo 2. Algoritmo 2: Poda Alfa Beta begin alfabeta (no_corrente, alfa, beta) if ehraiz(no_corrente) then alfa = ; beta = ; end if ehfolha(no_corrente) then return pontuacao(no_corrente) end if ehnomax(no_corrente) then alfa = max(alfa, alfabeta(filhos, alfa, beta)); if alfa >= beta then cortarbuscaabaixo(no_corrente); end end if ehnomin(no_corrente) then beta = min(beta, alfabeta(filhos, alfa, beta)); if beta <= alfa then cortarbuscaabaixo(no_corrente); end end end 1.2 APRENDIZADO DE MÁQUINA O objetivo do aprendizado é que o agente utilize as percepções ou interações com o ambiente para, além de agir ou tomar decisões, melhorar sua habilidade de realizar essas atividades no futuro. O aprendizado pode variar desde a memorização trivial da experiência até a criação de teorias científicas inteiras. [4] O aprendizado de máquina é útil quando não é possível ou não é viável descrever detalhadamente todo o ambiente e decisões do agente. [4] A adaptação do jogo para ações do jogador e a capacidade de um personagem do jogo melhorar de acordo com a experiência são alguns benefícios ou razões para a utilização do aprendizado de máquina em jogos. Em alguns problemas de aprendizado de máquina, a tarefa é aprender a classificar entradas, para isso, o sistema de aprendizado possui um conjunto de dados de treinamento. Então, a partir dos dados de treinamento, o sistema tenta aprender a classificar estes mesmos dados e também novos dados não observados. [6] O aprendizado de máquina normalmente é classificada de três formas: aprendizado supervisionado, aprendizado não supervisionado e aprendizado por reforço. [4] A

21 1.2. Aprendizado de Máquina 19 investigação inicial deste trabalho será no contexto do aprendizado por reforço Aprendizado Supervisionado Aprendizado supervisionado consiste na aprendizagem de uma função a partir de exemplos de entradas e saídas. Em ambientes completamente observáveis, o agente poderá observar os efeitos causados por suas ações, e poderá utilizar métodos de aprendizado supervisionado para aprender a prevê-los. Em ambientes parcialmente observáveis, os efeitos imediatos podem não ser visualizados pelo agente, dificultando o problema. [4] Alguns exemplos de utilização são o diagnóstico de casos médicos e a avaliação de risco de crédito de candidatos a empréstimos Aprendizado Não Supervisionado No aprendizado não supervisionado, o problema consiste em aprender padrões quando não são fornecidos valores de saídas específicos, ou seja, os métodos de aprendizado não supervisionado aprendem sem a intervenção de um supervisor. [6, 4] Um exemplo é o mapa de Kohonen, uma rede neural capaz de aprender a classificar um conjunto de dados de entrada sem receber dados de treinamento e sem ter conhecimento de quais são as classificações. [6] Aprendizado por Reforço No aprendizado por reforço (AR), o agente observa o ambiente e toma uma ação. O ambiente então responde com um reforço e segue para um próximo estado. Em seguida, com o ambiente em um novo estado, o agente deve tomar outra ação, recebendo do ambiente outro reforço, e assim segue o ciclo. A tarefa do agente é aprender de acordo com os reforços recebidos. [7] A Figura 2 exemplifica este processo. O reforço é uma medida de desempenho utilizado para avaliar a qualidade da ação realizada pelo agente. Este pode ser positivo ou negativo, conhecido também como recompensa ou punição, respectivamente. [8] De acordo com [8], os principais elementos do aprendizado por reforço são: Agente - é a entidade que percebe o mundo à sua volta, aprende e decide qual ação tomar em cada estado. Ambiente - tudo que é exterior ao agente. Reforço - é a medida de desempenho dada ao agente em forma de punição ou recompensa por executar um ação.

22 20 Capítulo 1. Fundamentação Teórica Figura 2 Aprendizado por Reforço. Estado - representa o ambiente em determinado instante. Ação - ato realizado pelo agente. Um exemplo de algoritmo de AR é o Q-learning, utilizado por um agente aprendiz para qualificar pares estado-ação de acordo com o objetivo do agente. Esta qualificação é atualizada a cada iteração com o ambiente. [8] 1.3 O JOGO OTHELLO Othello é um jogo de tabuleiro determinístico soma-zero de dois jogadores com informação perfeita [9]. Um jogo soma-zero é aquele em que o placar final para cada jogar pode ser uma vitória, derrota ou empate. Jogos com informação perfeita são aqueles em que é possível visualizar completamente o estado do jogo, diferente de jogos como o pôquer onde os jogadores escondem informações de seus oponentes. [6] Regras Othello é jogado em um tabuleiro 8 x 8 com 64 discos que são brancos de um lado e pretos no outro. Enquanto um jogador coloca os discos no lado branco, o outro coloca no lado preto.[7] O jogo se inicia com dois discos de cada cor, assim como na Figura 3. Em cada movimento, o jogador deve necessariamente fazer com que pelo menos uma peça adversária seja cercada dos dois lados pelas suas peças. As peças adversárias cercadas são transformadas em peças próprias. O objetivo dos jogadores nesse jogo é deixar no tabuleiro o maior número de fichas com sua cor. 1.4 OTHELLO E IA Em 1997, o então campeão mundial Takeshi Murakami foi derrotado pelo programa de Michael Buro, o Logistello. Em seu discurso durante o evento, o Sr. Murakami disse

23 1.4. Othello e IA 21 Figura 3 Configuração Inicial do Otthelo. que não se sentiu em uma partida contra um simples programa de computador, mas sim contra gerações de engenheiros e matemáticos. [10] Buro [11], em 2002, descreve a evolução dos principais programas de Othelo, desde simples algoritmos até sistemas de aprendizado que superaram a habilidade humana de jogar. A tabela 1 sintetiza os avanços descritos por Buro. Ano Programa Característica 1982 Iago Função de avaliação manual 1990 Bill Padrão baseado em partes, utilização de pesos 1994 Logistello 1 Aprendizagem independente de valores padrão 1997 Logistello 2 Aprendizagem conjunta de valores padrão Tabela 1 Avanços em Programas para Othello Gunawan et al [12] publicaram em 2012, um trabalho sobre Othello que une Redes Neurais e Algoritmos Genéticos formando Redes Neurais Evolutivas. Redes Neurais também podem ser encontradas em [9]. O uso do aprendizado por reforço no jogo othello é abordado por Eck e Wezel [7], em 2008 e por Kim et al [13] em Estudo comparativo de dois algoritmos de aprendizado para aquisição de funções de avaliação para o jogo Othello pode ser encontrado em [14], de 2006.

24

25 23 2 AMBIENTE OTHELLO E TÉCNICAS DE IN- TELIGÊNCIA ARTIFICIAL 2.1 AMBIENTE PADRÃO OTHELLO Desenvolvido utilizando a linguagem Java, o ambiente padrão Othello tem sua lógica principal na classe "Tabuleiro", onde o tabuleiro propriamente dito é uma matriz 8 x 8 que, em cada posição, existe uma instância da classe "Casa", esta podendo estar nos estados "Vazio", "Disponível", "Branco"ou "Preto". O ambiente padrão Othello durante uma partida é mostrado na figura 4. Figura 4 Ambiente Padrão Othello. Só é permitido executar um movimento se a casa onde pretende-se jogar estiver no estado "Disponível", portanto, é possível afirmar que todas as jogadas executadas são

26 24 Capítulo 2. Ambiente Othello e técnicas de Inteligência Artificial válidas. Feito um movimento, a primeira rotina é a de captura que, a partir da casa onde o movimento foi realizado, percorre o tabuleiro em todos os sentidos e direções à procura de uma casa com o disco da mesma cor que a do jogador atual. Ao encontrar uma casa com um disco do jogador adversário, a busca continua, ao encontrar uma casa com um disco do jogador atual, todas as casas que possuiam discos adversários entre essa casa e a casa de partida passam a ser do jogador atual e, ao encontrar uma casa vazia ou a borda do tabuleiro, a busca pára nessa direção e começa a próxima busca. Ao todo são oito buscas, sendo estas: para direita, esquerda, para cima, para baixo, para diagonal superior direita, diagonal superior esquerda, diagonal inferior direita e diagonal inferior esquerda. Após a conclusão da captura, é feita a verificação de casas disponíveis para o próximo movimento. Para cada casa vazia do tabuleiro são feitas buscas similares à de captura, marcando a casa como disponível se na próxima jogada um movimento nessa casa capture alguma peça adversária. Se no tabuleiro não houver nenhuma casa disponível, o jogador perderá a vez e a verificação é feita novamente. Se não houver nenhuma casa disponível mais uma vez, o jogo acabou e vence o jogador que possuir mais discos no tabuleiro. Para um jogador humano, é possivel executar uma jogada clicando em uma casa disponível, onde será disparado um evento que ativará a lógica do jogo. Os jogadores artificiais são executados em threads, e ficam esperando sua vez para realizar um movimento. 2.2 MINIMAX O algoritmo MiniMax foi implementado e também um jogador que o utiliza em todas as rodadas. Como o algoritmo em si retorna apenas a pontuação de um movimento, nesse caso representado pelo número de discos da cor do jogador, foi desenvolvida também uma função que verifica todas as jogadas disponíveis e chama o MiniMax para cada uma delas, comparando e escolhendo a jogada de maior pontuação. Esta técnia está praticamente pronta, passando por últimos ajustes. 2.3 JOGADOR ARTIFICIAL DE TESTE Com o objetivo de testar os algoritmos que estão sendo implementados sem a necessidade da intervenção humana, foi desenvolvido um jogador de teste que, simplesmente executa uma jogada aleatória dentre as jogodas disponíveis.

27 25 3 RESULTADOS Já é possível observar os primeiros resultados deste trabalho. Com o ambiente padrão Othello pronto e três possíveis jogadores, sendo estes, o jogador de teste, o jogador minimax e o próprio jogador humano, já foram travadas algumas competições. O algoritmo MiniMax em alguns momentos não conseguiu terminar a partida por falta de memória, apesar de não estar concluído, já é notado seu alto custo. O número de estados que tem que examinar é exponencial em relação ao número de movimentos, comprometendo o funcionamento do algoritmo para jogos com amplo número de movimentos possíveis.

28

29 27 4 PRÓXIMAS ETAPAS 4.1 PODA ALPHA-BETA Como a poda Alpha-Beta é uma modificação do MiniMax, assim que este último for concluído, inicia-se a implementação da poda Alpha-Beta. 4.2 Q-LEARNING Ainda pretende-se utilizar uma técnica de aprendizado de máquina no estudo comparativo: O Q-Learning. Este algoritmo de aprendizado por reforço será implementado logo após a pode Alpha-Beta. 4.3 COMPETIÇÕES A fim de comparar desempenhos, serão promovidas competições entre as técnicas implementadas, além da geração de gráficos e tabelas com informações relevantes para as comparações, assim como tempo de resposta, número de movimentos, número de peças capturadas, entre outros. 4.4 ANÁLISE DOS RESULTADOS Após todas informações levantadas, serão feitas as análises, considerações, conclusões e elaboração de artigo científico.

30

31 29 5 CONSIDERAÇÕES FINAIS Durante o desenvolvimento do ambiente padrão Othello houve uma dificuldade com sincronização, pois para executar um movimento era necessário clicar na casa e ativar um evento que executaria a jogada, mas um evento iniciava antes que o outro terminasse, fazendo uma leitura errada de qual era o jogador da vez. Essa dificuldade foi superada com algumas verificações a mais, não sendo necessário até o momento o uso de semáforos. Também houve dificuldade em analisar o funcionamento do algoritmo minimax devido à grande ramificação e profundidade da árvore de jogo do Othelo.

32

33 31 REFERÊNCIAS 1 MANDZIUK, J. Computational intelligence in mind games. In: Challenges for Computational Intelligence. [S.l.: s.n.], p SHANNON, C. E. XXII. Programming a computer for playing chess. Philosophical Magazine (Series 7), Taylor & Francis, v. 41, n. 314, p , TURING, A. M. Digital computers applied to games. Faster than thought: a symposium on digital computing machines, ed. B. V. Bowden, Pitman, London, UK, RUSSELL, S.; NORVIG, P. Inteligência Artificial. Elsevier, MANDZIUK, J. Some thoughts on using computational intelligence methods in classical mind board games. In: Neural Networks, IJCNN (IEEE World Congress on Computational Intelligence). IEEE International Joint Conference on. [S.l.: s.n.], p ISSN COPPIN, B. Inteligência Artificial. [S.l.]: LTC, ISBN ECK, N. J. van; WEZEL, M. van. Application of reinforcement learning to the game of othello. Computers & Operations Research, v. 35, n. 6, p , Part Special Issue: OR Applications in the Military and in Counter-Terrorism. 8 SENEFONTE, H. C. M. Aceleração do aprendizado por reforço em sistemas com múltiplos objetivos. Dissertação (Mestrado) Instituto Tecnológico de Aeronáutica, ITA, CHONG, S.; TAN, M.; WHITE, J. Observing the evolution of neural networks learning to play the game of othello. Evolutionary Computation, IEEE Transactions on, v. 9, n. 3, p , june ISSN X. 10 BURO, M. Takeshi murakami vs. logistello. ICCA Journal 20(3), p , BURO, M. The evolution of strong othello programs. In: IWEC-2002 Workshop on Entertainment Computing. [S.l.: s.n.], GUNAWAN et al. Evolutionary neural network for othello game. Procedia - Social and Behavioral Sciences, v. 57, n. 0, p , International Conference on Asia Pacific Business Innovation and Technology Management. 13 KIM, K.-J.; CHOI, H.; CHO, S.-B. Hybrid of evolution and reinforcement learning for othello players. In: Computational Intelligence and Games, CIG IEEE Symposium on. [S.l.: s.n.], p LUCAS, S.; RUNARSSON, T. Temporal difference learning versus co-evolution for acquiring othello position evaluation. In: Computational Intelligence and Games, 2006 IEEE Symposium on. [S.l.: s.n.], p