Autor: GUTIERREZ SOARES CAIXETA 1, Orientadora: PROFA. DRA. RITA MARIA DA SILVA JULIA 1. Universidade Federal do Uberlândia (UFU) Uberlândia MG Brasil

Transcrição

1 LS-Draughts Um sistema especialista em aprendizagem de jogos de damas, baseado em redes neurais, diferenças temporais e mecanismos eficientes de busca em árvores de jogos. Autor: GUTIERREZ SOARES CAIXETA 1, Orientadora: PROFA. DRA. RITA MARIA DA SILVA JULIA 1 1 Programa de Pós-Graduação em Ciência da Computação Universidade Federal do Uberlândia (UFU) Uberlândia MG Brasil gutierrez@umuarama.ufu.br, rita@ufu.br Nível: Mestrado Ano de ingresso no programa: 2006 Época esperada de conclusão: Julho / 2008 Etapa concluída: Apresentação da proposta de dissertação Resumo. O objetivo deste trabalho é acrescentar funcionalidades ao sistema de aprendizagem de damas, LS-DRAUGHTS, visando otimizar o treinamento de um agente jogador que aprende a jogar damas. A aprendizagem consiste em aproximar uma rede neural MLP através do método de aprendizagem por reforço TD(λ) e treinamento self-play com clonagem. O processo de aprendizagem é análogo ao utilizado pelos sistemas LS-DRAUGHTS [de Castro Neto and da Silva Julia 2007] e NEURODRAUGHTS [Lynch 2007]. Contudo, o LS-DRAUGHTS será expandido com, basicamente, dois novos e poderosos módulos: o primeiro fornecerá um mecanismo eficiente de busca da melhor jogada e o segundo fornecerá um mapeamento espacial do tabuleiro como entrada da rede neural MLP. O LS-DRAUGHTS utiliza um mapeamento de tabuleiro através de características que descrevem o domínio do jogo de damas enquanto, no mapeamento espacial, o agente aprenderá sem ter que recorrer a nenhuma informação que necessite de perícia humana, pela sua própria experiência. Além disso, o LS-DRAUGHTS apresenta um problema de loop de final de jogo, no qual o agente, mesmo em vantagem, não consegue pressionar o adversário. Tal problema representa um ponto fraco do mapeamento por características que será resolvido com o mapeamento espacial do tabuleiro. Palavras-Chave. Inteligência Artificial, Aprendizagem de Máquina, Busca em Árvores de Jogos, Algoritmos Genéticos, Aprendizagem por Reforço, Diferenças Temporais TD(λ), Redes Neurais, Busca MiniMax com Poda Alfa-Beta, Memory Enhanced Test Drivers (MTD-f), Tabelas de Transposição, Chaves Zobrist, Mapeamento Hash.

2 1. Introdução e Motivação Desde os mais remotos dias da inteligência artificial (IA), tem havido interesse em fazer com que um computador ensine a si próprio a jogar um jogo de habilidades, ao ponto de se tornar competitivo contra especialistas humanos. Tal interesse se justifica pelo domínio: as técnicas necessárias para que um agente jogue damas, por exemplo, são as mesmas utilizadas nas principais áreas da aprendizagem automática. Esforços no aprendizado de máquina têm mirado, freqüentemente, no aprendizado por reforço [Taylor et al. 2006] [Darwen 2001] [Runarsson and Lucas 2005], aonde uma série de ações conduzem para sucesso ou falha. A partir de então, alguma forma de crédito, ou culpa pelo resultado final, deve ser distribuído, de volta, para cada ação anterior. Baseando-se no aprendizado por reforço, o problema abordado neste trabalho aplicará técnicas de aprendizagem automática para conseguir um agente especialista, capaz de formular estratégias racionais em jogos de Damas. Dentro do paradigma de aprendizado por reforço, Mark Lynch [Lynch 2007] desenvolveu seu jogador de damas NEURODRAUGHTS que foi posteriormente estendido por Henrique Neto [de Castro Neto and da Silva Julia 2007], surgindo o LS DRAUGHTS. A originalidade aqui será estender e aprofundar o nível de perícia alcançado pelo jogador LS DRAUGHTS, mesclando técnicas utilizadas pelos consagrados agentes jogadores CHINOOK [Schaeffer 1997] e ANACONDA [Chellapilla and Fogel 2000]. Em outras palavras, este trabalho visa aprimorar as habilidades estratégicas do jogador LS DRAUGHTS, selecionando as melhores técnicas presentes em jogadores consagrados pela literatura como: redes neurais, aprendizagem por reforço e eficientes mecanismos de busca em árvores de jogos. 2. Trabalhos Relacionados 2.1. CHINOOK O Campeão Mundial O mais famoso agente jogador de damas e atual campeão mundial chama-se CHINOOK [Schaeffer et al. 1992] [Schaeffer et al. 1996]. É produto de esforços de pesquisas em estratégias de jogos iniciados em O projeto tinha dois objetivos que já foram alcançados: desenvolver, a curto prazo, um programa capaz de bater o campeão mundial humano e resolver, a longo prazo, a teoria do jogo de damas. Seu desempenho consiste de quatro aspectos fundamentais: 1. Busca: Eficiente algoritmo de poda alfa beta paralelo. 2. Função de avaliação: Função ajustada manualmente capaz de decidir quão boa uma posição é. 3. Bases de dados de finais de jogos: informação perfeita de qual fim de jogo é vitória, derrota ou empate. 4. Opening book: base de dados de diretrizes para início de jogo. CHINOOK usa um algoritmo paralelo de busca alfa-beta. Em 1992, teve uma profundidade mínima média de 19 jogadas. Embora buscas com tal profundidade pareçam impressionantes, ainda são insuficientes para igualar as habilidades humanas, especialmente em jogos. Extensivos trabalhos têm sido feitos na intenção de melhorar a qualidade da árvore de busca construída pelo jogador. Base de dados de finais de jogos são coleções de posições com valores provados pela teoria do jogo. CHINOOK tem acesso a bases de dados completas de 10 ou menos peças no

3 tabuleiro, aproximadamente 39 trilhões de possibilidades. Para cada uma dessas possibilidades, existe um informação perfeita se o jogo leva a uma derrota, empate ou vitória. O conhecimento da função de avaliação do CHINOOK é uma combinação linear de aproximadamente duas dúzias de componentes, cada um contendo muitos pesos heurísticos ajustados manualmente. Esforços têm sido feitos na tentativa de automatizar o processo de ajuste dos pesos utilizando equações lineares, redes neurais e algoritmos genéticos. Embora essas abordagens tradicionais pareçam promissoras na literatura, a experiência mostra que elas não podem competir com os resultados do ajuste manual. Em damas, é fundamental evitar algumas posições nas aberturas dos jogos. Por isso, torna-se necessário a utilização de bases de dados de início de jogos openning books. A falta de um openning book em damas pode fazer com que, antes do quarto movimento, seja encontrada uma situação de derrota forçada. São armadilhas que necessitam de buscas profundas para serem descobertas e, por outro lado, especialistas humanos sabem como enfrentar. No início de seu desenvolvimento, CHINOOK não possuia bases de dados iniciais mas, obviamente, não poderia competir no topo, por muito tempo, sem um bom opening book ANACONDA Pressionar o oponente sem depender de perícia humana Outro bem sucessido programa jogador é o ANACONDA [Chellapilla and Fogel 2000] [Fogel and Chellapilla 2002]. Seus autores exploraram o potencial de aprender jogar damas sem depender da usual inclusão de perícia humana [Chellapilla and Fogel 2001], na forma de características do jogo, que acreditam ser importantes para se jogar bem. Foi utilizada uma população de redes neurais na qual cada indivíduo serve como uma função de avaliação, para descrever a qualidade da posição corrente do jogo. Depois de pouco mais de 800 gerações, o processo evolucionário gerou uma rede neural que pode jogar damas no nível especialista. Em vez de pesquisar em tabelas, bases de dados perfeitas de finais de jogos, aberturas de grandes mestres ou mesmo características sobre posições do tabuleiro que parecem ser importantes, ANACONDA considera a possibilidade de redes neurais aprenderem a jogar damas sem tais conhecimentos. Segundo Fogel [Chellapilla and Fogel 2000], os esforços despendidos com técnicas de aprendizagem automática devem minimizar o montante de intervenção humana no processo. Em seu trabalho foi utilizada a técnica de co-evolução para evoluir uma rede neural que pode avaliar tabuleiros de damas e jogar em nível de especialistas humanos SAMUEL O primeiro agente jogador Samuel [Samuel 1959] foi o primeiro grande e conhecido esforço em desenvolver um algoritmo capaz de jogar damas. Seu método consistiu no uso de uma função de avaliação polinomial abrangendo um subconjunto de características do tabuleiro escolhidas de uma grande lista de possibilidades. Samuel obteve um bom jogador de damas, mas ele próprio identificou o primeiro grande defeito de seu programa [Samuel 1967]: a ausência de um procedimento de máquina, efetivo, gerando novos parâmetros para o procedimento de avaliação NEURODRAUGHTS Aprendizagem por Reforço Lynch [Lynch 2007] desenvolveu seu jogador de damas utilizando o mínimo de afinação humana possível. Seu objetivo foi criar um oponente mais humano, um oponente que pudesse aprender a jogar através de partidas contra si próprio, dadas as regras do jogo e um pequeno conjunto de características. Apesar da proposta de pouca intervenção humana, Lynch ainda utilizou um subconjunto das características de Samuel (características fixas escolhidas manualmente).

4 2.5. LS-DRAUGHTS Aprendizagem por Reforço e Algoritmos Genéticos Neto [de Castro Neto and da Silva Julia 2007] extendeu o NEURODRAUGHTS criando o LS- DRAUGHTS: um sistema gerador de agentes jogadores de Damas em que os jogadores correspondem a redes neurais treinadas pelo método de aprendizagem por reforço TD(λ), aliado com a busca minimax e técnica de treinamento por self-play com clonagem. As entradas das redes neurais correspondem aos estados do tabuleiro de Damas, representado através de funções que definem as características do domínio do jogo de Damas. O ponto de partida do presente trabalho será o LS-DRAUGHTS e a intenção, conforme dito anteriormente, será aprimorar as habilidades estratégicas do jogador, selecionando as melhores técnicas presentes na literatura correlata acima mencionada. 3. Metodologia e Estado da Pesquisa Diante das características dos jogadores CHINOOK e ANACONDA, pode-se atacar os dois pontos fracos do LS DRAUGHTS: 1. Ineficiente mecanismo de busca: Em vez de utilizar minimax simples com profundidade 4, fornecer ao LS-DRAUGHTS um eficiente mecanismo de busca capaz de reduzir o número de nós que precisam ser avaliados na árvore. 2. Problema do loop de fim de jogo: Em vez de utilizar o mapeamento do tabuleiro com funções, fornecer ao LS-DRAUGHTS o mapeamento espacial utilizado em ANA- CONDA, visto que tal jogador age restringindo o movimento do oponente Memory-enhanced Test (MT) x Poda Alfa-Beta Existem muitos algoritmos de busca em árvores de jogos. Trata-se de uma área de conhecimento muito explorada. O programa jogador CHINOOK, por exemplo, utiliza minimax com poda alfa-beta paralelo. Em [Plaat et al. 1995b] e [Plaat et al. 1995a] percebe-se que por mais de 30 anos, alfa-beta tem sido o algoritmo de escolha para tal finalidade. Usando uma simples busca em profundidade, da esquerda para a direita, é possível pesquisar árvores eficientemente. Muitas melhorias importantes foram adicionadas ao algoritmo básico alfa-beta, incluindo iterative deepening, transposition tables, history heuristic e minimal window searching. Por outro lado, Schaeffer [Plaat et al. 1995b] introduz o algoritmo Memory-enhanced Test (MT). Uma rotina que busca eficientemente uma árvore de jogo para responder a questões binárias. No entanto, busca resultando em decisão binária simples, geralmente, não é útil para programas de jogos. Porém, caso seja utilizada memória para armazenar os nós previamente visitados (transposition tables), MT pode eficientemente re-buscar árvores, de forma que chamadas repetidas para MT podem ser usadas para conseguir o valor minimax. Schaeffer [Plaat et al. 1995b] conclui que procedimentos de decisões binárias apresentam-se mais eficientes que buscas com largas janelas e que não existe razão para o uso continuado do wide-windowed alfa-beta. Embora todo livro introdutório de inteligência artificial discuta alfa-beta, MT é um algoritmo mais simples, mais fácil de entender e mais eficiente. Logo, a metodologia proposta para combater o primeiro problema do LS DRAUGHTS é implementar os dois mecanismos de busca citados. A partir daí, será lançado um comparativo entre eles e escolhido o mais eficiente para o agente jogador.

5 3.2. Mapeamento Espacial: Ausência de perícia humana O método de Samuel [Samuel 1959] consistiu no uso de uma função de avaliação polinomial abrangendo um subconjunto de características do tabuleiro escolhidas de uma grande lista de possibilidades. A pesquisa realizada por [Lynch 2007] confirmou o sucesso do mapeamento das características do tabuleiro. [de Castro Neto and da Silva Julia 2007] extendeu a abordagem do mapeamento por características, utilizando algoritmos genéticos, com sucesso, para fazer a escolha ideal do conjunto mínimo de características de tabuleiro necessárias. Veja que em [de Castro Neto and da Silva Julia 2007] existe uma maior abordagem em aprendizado de máquina, visto que a escolha do conjunto mínimo não é mais humana. Porém, o conjunto mínimo é um subconjunto de outro construído a base de especialistas, peritos do jogo de damas. Os resultados oferecidos por ANACONDA [Chellapilla and Fogel 2000] indicam que um mapeamento que informe somente as posições das peças no tabuleiro e seus tipos (reis ou comuns), ou seja, as características espaciais do tabuleiro, é suficiente para se obter um bom agente jogador. Portanto, para combater o segundo problema do LS DRAUGHTS, a proposta é atacar o problema do loop, com maior coerência ao tópico inteligência artificial, alterando o mapeamento do tabuleiro o mapeamento de ANACONDA deve ser utilizado como referência. 4. Cronograma do Trabalho até a Defesa A execução dos trabalhos começou pelo estudo detalhado dos programas NEURODRAUGHTS e LS DRAUGHTS. Todo o trabalho aqui realizado visará estender as capacidades estratégicas do agente LS DRAUGHTS. Um levantamento bibliográfico minuncioso foi realizado para embasar, criteriosamente, as ações que serão tomadas no processo de extensão do LS DRAUGHTS. Dois outros famosos agentes jogadores de damas, CHINOOK e ANACONDA, foram estudados. O objetivo era encontrar uma boa maneira de atacar os dois problemas principais do LS-DRAUGHTS: seu ineficiente mecanismo de busca e seu problema de loops de finais de jogos. Referências A figura abaixo mostra o detalhamento do cronograma de trabalho. Chellapilla, K. and Fogel, D. B. (2000). Anaconda defeats hoyle 6-0: A case study competing an evolved checkers program against commercially available software. In Proceedings of the 2000 Congress on Evolutionary Computation CEC00, pages , La Jolla Marriott Hotel La Jolla, California, USA. IEEE Press. Chellapilla, K. and Fogel, D. B. (2001). Evolving an expert checkers playing program without using human expertise. IEEE Trans. Evolutionary Computation, 5(4): Darwen, P. J. (2001). Why co-evolution beats temporal difference learning at backgammon for a linear architecture, but not a non-linear architecture. In Proceedings of the 2001 Congress on Evolutionary Computation CEC2001, pages , COEX, World Trade Center, 159 Samseong-dong, Gangnam-gu, Seoul, Korea. IEEE Press. de Castro Neto, H. and da Silva Julia, R. M. (2007). Lcs-draughts: Um sistema automático classificador e gerador de características em jogos de damas.

6 Figura 1. Cronograma de Execução dos Trabalhos Fogel, D. B. and Chellapilla, K. (2002). Verifying anaconda s expert rating by competing against chinook: experiments in co-evolving a neural checkers player. Neurocomputing, 42(1-4): Lynch, M. (2007). An application of temporal difference learning to draughts. Plaat, A., Schaeffer, J., Pijls, W., and de Bruin, A. (1995a). Best-first fixed-depth game-tree search in practice. In Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI-95), volume 1, pages , Montreal, Canada. Plaat, A., Schaeffer, J., Pijls, W., and de Bruin, A. (1995b). A new paradigm for minimax search. Technical Report EUR-CS-95-03, Rotterdam, Netherlands. Runarsson, T. P. and Lucas, S. M. (2005). Coevolution versus self-play temporal difference learning for acquiring position evaluation in small-board go. IEEE Trans. Evolutionary Computation, 9(6): Samuel, A. L. (1959). Some studies in machine learning using the game of checkers. Samuel, A. L. (1967). Some studies in machine learning using the game of checkers ii - recent progress. Schaeffer, J. (1997). One jump ahead: challenging human supremacy in checkers. Springer- Verlag New York, Inc., New York, NY, USA. Schaeffer, J., Culberson, J. C., Treloar, N., Knight, B., Lu, P., and Szafron, D. (1992). A world championship caliber checkers program. Artificial Intelligence, 53(2-3): Schaeffer, J., Lake, R., Lu, P., and Bryant, M. (1996). CHINOOK: The world man-machine checkers champion. AI Magazine, 17(1): Taylor, M. E., Whiteson, S., and Stone, P. (2006). Comparing evolutionary and temporal difference methods in a reinforcement learning domain. In GECCO 06: Proceedings of the 8th annual conference on Genetic and evolutionary computation, pages , New York, NY, USA. ACM Press.