Integrando Planejamento e Execução de Ações no Domínio de Jogos do tipo RTS

Transcrição

1 Integrando Planejamento e Execução de Ações no Domínio de Jogos do tipo RTS Aluno: Augusto Afonso Borges Branquinho 1 Orientador: Carlos Roberto Lopes 2 Pós-Graduação em Ciência da Computação Universidade Federal de Uberlândia (UFU) Cep Uberlândia MG Brasil Ano de Ingresso no Programa: 2007 Época Prevista de Conclusão:13 de Agosto de 2009 Data da Aprovação da Proposta de Dissertação: 14 de Novembro de 2008 Resumo. Este trabalho consiste no uso de planejamento para execução de ações em jogos do tipo RTS (Real-time Strategy). Para realizar essa tarefa serão usados algoritmos de busca e aprendizagem em tempo real. É proposto o uso de planejamento progressivo com restrição de tempo e o incremento de recursos que permita o decremento do makespan dos planos. Palavras-chave: Busca, Aprendizado, Planejamento e Jogos do tipo RTS (Realtime Strategy). 1 augusto_b@pos.facom.ufu.br 2 crlopes@facom.ufu.br

2 1. Introdução Jogos de entretenimento para computador (Vídeo games) do tipo RTS (Real-time Strategy) são gêneros normalmente caracterizados por serem de guerra, onde a disputa ocorre em tempo real. Múltiplos jogadores disputam em um campo de batalha, controlando bases e unidades militares armadas. Alguns jogos deste gênero são muito famosos, tendo destaque Warcraft, Age of Empires e Command and Conquer. Nestes jogos, as decisões táticas são destinadas à destruição do inimigo. Para isso, é preciso de um conjunto de ações, como coleta de recursos, construção de edifícios, treinamento de unidades, desenvolvimento de tecnologia e combate com o exército inimigo. Para todas as ações é necessário decidir o melhor momento e a ordem que serão executadas. Além destas características, o mapa, ambiente onde as batalhas acontecem, é desconhecido e necessita ser explorado. Neste artigo é descrito um algoritmo de planejamento dotado de Means-end Analysis (MEA) com base no trabalho descrito por Chan (2007). Além disto, dar-se-á uma idéia de como um algoritmo de busca e aprendizado em tempo real pode ser integrado ao planejamento, em particular, o método Learning Real-time A* (LRTA*) [Korf 1990] a fim de se obter um sistema mais eficiente. As demais seções estão estruturadas conforme descrição que segue. A seção 2 apresenta o problema que vai ser tratado. Na seção 3 é descrita a Fundamentação Teórica. A seção 4 apresenta a contribuição do trabalho, o estado atual e os resultados obtidos. Finalmente, são descritos os trabalhos relacionados na seção Caracterização do Problema Os dois componentes para o planejamento em jogos RTS são os recursos e ações. Os recursos são materiais, construções, civilizações e unidades militares. Cada ação altera o estado do mundo, tendo um tempo de duração e um conjunto de pré-condições. Uma ação é executada apenas se suas pré-condições são satisfeitas. Considere o estado inicial em que existe um peasant (agente que coleta recursos materiais e constrói edifícios) e uma townhall (edifício utilizado para criar peasant e depositar gold), a descrição de ações na Figura 1 e a coleta de gold como sendo uma meta a ser satisfeita. A simples repetição da ação collect-gold alcançará a meta. Entretanto, esta seqüência de ações (formando um plano) está longe de ser o ideal. Para diminuir o makespan (tempo total para execução do plano) é possível utilizar um número de peasant e townhall adicionais. Entretanto, recursos e tempo extras serão gastos o que pode comprometer a obtenção de um makespan mínimo. Portanto, ao se acrescentar recursos torna-se necessário determinar se eles de fato contribuem para a obtenção de uma boa solução. Além do problema de planejamento, existe a restrição de tempo para executar ações. O ambiente é dinâmico e ações podem ter durações diferentes. Desta forma, o problema se torna mais complexo, sendo proposto no trabalho o uso de algoritmos de busca e aprendizado para realizar o planejamento de obtenção de recursos com o menor makespan possível.

3 Figura 1: Especificação de recursos e ações no domínio Wargus [Chan 2007]. A seguir é apresentada a fundamentação teórica que permite formular a nova proposta de planejamento utilizando algoritmos de busca e aprendizagem. 3. Fundamentação Teórica Neste trabalho ênfase será dada ao planejamento da obtenção dos recursos. Técnicas de Planejamento apoiado em IA e de busca com aprendizado serão empregados neste sentido Recursos em Jogos RTS Nos jogos RTS, os recursos são classificados por tipos, normalmente sendo: Require, Borrow, Consume e Produce. Require é um recurso necessário para execução de uma ação, não sendo consumido nem ocupado. Borrow é um recurso necessário que não é consumido, porém, ocupado até que seja finalizada a ação, ao final é liberado. Consume é algo necessário, sendo consumido no início da ação. Produce é o resultado, sendo adicionado ao término da ação. Os recursos materiais geralmente são: wood (madeira), gold (ouro), energy (energia) e magma. Para construção de armamentos, unidades e edifícios, além da necessidade de recursos materiais, é preciso determinar a ordem e a quantidade que serão produzidos. A Figura 1 exibe tais recursos LRTA* O problema de busca, formalmente, é uma 5-upla (S, A, c, s start, S goal ), onde: S é o conjunto finito de estados; A é o conjunto finito de ações, cada ação representa um par (s, s ) não ordenado, s S e s' S ; c : A [0, } é a função custo c(s, s ) > 0 e representa o custo de s a s ; s start é o estado inicial, s start S ; S goal é o conjunto de estados objetivo, s goal S.

4 Um caminho s, s, s,..., s ), denominado solução, é uma seqüência de estados ( n tal que para todos existe um par ( s, i s ) i 1 A, que leva do estado inicial ao objetivo. O custo de um caminho é o somatório dos custos de todas as ações. Cabe ao algoritmo de busca gerar a solução para o problema. Algoritmos de busca são normalmente baseados em heurísticas. Uma função heurística h : S [0, } é associada para todo estado s S um valor h(s) aproximado do custo real deste estado para o estado objetivo ou estado inicial. Os métodos de busca são divididos em online e offline. Online (também denominado de busca em tempo real) consiste em um processo que ocorre com restrições de tempo e informações, ou seja, não é possível pesquisar todo o espaço de busca e após um limite de tempo é necessário retornar uma solução. Por outro lado, a busca offline dispõe de todo tempo para encontrar a solução e possui todas as informações sobre o espaço de busca que deve procurar. O algoritmo de busca em tempo real mais popular é o Learning Real Time A* (LRTA*). Existem diferentes implementações deste algoritmo e a mais comum é apresentada em [Korf 1990]. Formalmente, neste método, a cada estado s é associado um valor de heurística h(s). Essa variável h nunca decresce e se mantêm admissível. Um trial/iteração consiste em percorrer o caminho do estado inicial ao objetivo, sendo essa uma das soluções do problema dentro do espaço de busca. A cada passo do trial, h é atualizado de acordo com estado corrente e sua vizinhança, sendo realizado um movimento para melhor adjacência. Se a busca é reiniciada e o valor de heurística mantido, o menor custo para os estados vai sendo construído. Ao final de um número finito de iteração o melhor caminho é encontrado Planejamento Apoiado em Inteligência Artificial O problema de planejamento é caracterizado por um estado inicial do jogo, ações e metas (objetivos). A solução do problema consiste em encontrar uma seqüência de ações que executadas farão com que um estado do mundo seja obtido, onde as metas sejam satisfeitas. Planejamento é uma área ativa de pesquisa em IA sendo que diversos algoritmos têm sido desenvolvidos ao longo dos anos. Um dos algoritmos de planejamento mais conhecidos é aquele que usa um raciocínio MEA. MEA é uma estratégia para solucionar o problema introduzido em GPS (General Problem Solver) [Newell and Simon 1963]. O processo de busca sobre o problema combina aspectos de raciocínio progressivo e regressivo. O raciocínio progressivo consiste na busca do estado que soluciona o problema a partir do estado inicial, enquanto que o raciocínio regressivo percorre o caminho inverso, iniciando a busca do estado meta até o estado inicial. Nos dois casos ações são observadas quando regras são aplicadas. As diferenças entre o estado atual e a meta são usadas como propostas de operadores que reduzem essa diferença. 4. Planejamento e LRTA* aplicados a Vídeo-Games No estágio atual do trabalho, para o planejamento de recursos adicionais, é utilizada uma estrutura de árvore de busca, como mostrada na Figura 2. O estado inicial é {1 peasant, 1 townhall} e a meta é coletar gold com o menor makespan possível. Para cada

5 nó é associado um plano utilizando o MEA. As arestas mostram a adição de recursos intermediários para diminuir o makespan (P e T representam, respectivamente, peasant e townhall). A cada nível, o melhor plano (menor makespan) é escolhido e uma nova busca é realizada. Figura 2: Árvore com adição de recursos para o planejamento. Conforme mencionado anteriormente para cada nó é associado um makespan. O problema em utilizar essa métrica é que todo plano deve ser gerado para determinar tal valor, tornando o algoritmo menos eficiente. Inicialmente, o trabalho consiste em eliminar o makespan, sendo criada uma heurística que o substitua. Essa heurística será atualizada de acordo com as iterações do algoritmo LRTA*. Com base no trabalho de Chan (2007) implementou-se um algoritmo de planejamento baseado em MEA para a obtenção dos recursos gold e 5 footman, tendo como estado inicial 1 peasant e 1 townhall. A fim de minimizar o makespan este algoritmo estendido para incluir de forma incremental recursos adicionais aliada a uma política de escalonamento. A tabela 1 mostra os resultados obtidos deste desenvolvimento usando-se MEA sem e com recursos adicionais. O menor makespan foi obtido com a adição de 4 peasant em ambas as metas. É importante salientar que a adição de 5 peasant não melhora o makespan, apesar de não garantir que uma quantidade superior a 5 não possa apresentar menor makespan. Tabela 1. Resultado do planejamento com a busca de recursos adicionais. Meta: gold Meta: 5 footman makespan peasant adicional makespan peasant adicional

6 Além da possibilidade de aplicar o LRTA* sobre a árvore com cálculo de recursos adicionais, existe a pesquisa sobre a aplicação deste algoritmo diretamente no planejamento. No momento estamos analisando heurísticas para definir aquela que seja mais adequada para a escolha das ações. Este procedimento é similar ao método de escalonamento apresentado por Shue (2008), sendo alterado o processo de escolha das ações e os recursos variáveis no espaço de tempo. 5. Trabalhos Relacionados Chan (2007) utiliza um algoritmo MEA para realizar planejamento. Neste método, a cada meta são aplicadas ações que produzem os respectivos recursos, recursivamente, as pré-condições das ações se tornam objetivo até que o estado inicial satisfaça as précondições. Além do MEA, Chan (2007) apresenta um algoritmo de escalonamento que percorre cada ação e verifica se existe recurso suficiente para sua satisfação no estado de tempo anterior ao termino ou início de uma outra ação. Caso exista, o processo é novamente executado, senão, é mantida a ação no último tempo que foi satisfeita. Este autor ainda descreve um método que determina quantos recursos adicionais devem ser adicionados. Apesar de não tratar de planejamento, Shue (2008) apresenta dois algoritmos de escalonamento de recursos baseado no LRTA*. Tais métodos são chamados Search and Learn A* (SLA*) e Search and Learn A* Threshold (SLA*T). Um dos objetivos do trabalho em desenvolvimento é investigar a possibilidade da utilização de tais algoritmos. Além do algoritmo LRTA*, existem inúmeros trabalhos correlatos que melhoram os resultados deste método e que devem ser utilizados no trabalho. Dentre eles, se destacam o Tie-Break Learning Real Time A* [Furcy and Koenig, 2000], Weighted Learning Real Time A* [Shimbo and Ishida, 2003], Upper-Bound LRTA* [Shimbo and Ishida, 2003], FAst Learning CONvergning Search [Furcy and Koenig, 2000], Local Consistency Maintenance [Pemberton and Korf, 1992], LRTA* [Russell, 2002] e LRTA*(k, d) [Hernández and Meseguer, 2007]. Referências Chan, H. and Fern, A. and Ray, S. and Wilson, N. and Ventura, C. (2007). Online Planning for Resource Production in Real-Time Strategy Games. Appears in the Proceedings of the 17th International Conference on Automated Planning & Scheduling, Providence, RI, USA. Chan, H. and Fern, A. and Ray, S. and Wilson, N. and Ventura, C. (2007). Extending Online Planning for Resource Production in Real-Time Strategy Games with Search. In Workshop on Planning in Games (ICAPS-07), Providence, RI, USA. Furcy, D. and Koenig, S. (2000). Speeding up the Convergence of Real-Time Search. In Proceedings of the National Conference on Artificial Intelligence, Hernández, C. and Meseguer, P. (2007). Improving LRTA*(k). In International Joint Conferences on Artificial Intelligence (IJCAI-07),

7 Koenig, S. (2004). A Comparison of Fast Search Methods for Real-Time Situated Agents. In Proceedings of the International Joint Conference on Autonomous Agents and Multiagent Systems (AAMAS), Korf, R. (1990) Real-time heuristic search. Artificial Intelligence, Volume 42, Newell, A. and Simon, H. (1963). GPS: A program that simulates human thought. In Computers and Thought, ed. Feigenbaum and Feldman. McGraw-Hill, New York. Pemberton, J. and Korf, R. E. (1992). Making Locally Optimal Decisions on Graph with Cycles. Technical Report , Computer Science Department, University of California at Los Angeles, Los Angeles (California). Russell, S. J. and Norvig, P. (2002). Artificial Intelligence: A Modern Approach, 2nd Edition, Prentice Hall. Shimbo, M. and Ishida, T. (2003). Controlling the learning process of real-time heuristic search. Artificial Intelligence, Volume 146, 1-43.