MecaTeam 2008: Programação concorrente para futebol de robôs simulado

Transcrição

1 MecaTeam 2008: Programação concorrente para futebol de robôs simulado Cleber Pinelli Teixeira, Orivaldo Vieira Santana Jr. e Augusto Loureiro da Costa Universidade Federal da Bahia (UFBA) Departamento de Ciência da Computacão - Instituto de Matemática Av. Adhemar de Barros S/N, Ondina Salvador BA Brasil. pinelli@dcc.ufba.br, orivajr@dcc.ufba.br, augusto.loureiro@ufba.br Abstract. On this paper, we describe the restructuring of MecaTeam agent architecture and the insertion of cognitive reasoning. Finally, we present the integration of the changes that generate a better performance of the agent. Resumo. Este artigo descreve a reestruturação da arquitetura do agente MecaTeam e a inserção do raciocínio cognitivo. Em seguida apresenta a integração destas mudanças que geram um melhor desempenho do agente. 1. Introdução A Inteligência Artificial (IA) não é recente. Sua história se inicia nos anos 30, onde havia alguma pesquisa em torno de seqüências de estratégia e análise do funcionamento do cérebro com objetivos de formalização de seu comportamento. Estes dois ramos de pesquisa eram dissociados entre si, sem nenhuma preocupação com a construção de uma Inteligência Artificial. No entanto, oficialmente, a IA nasceu em 1956 com uma conferência de verão em Dartmouth College, NH, USA [Bittencourt 2001]. Mas, com o passar dos anos, divergiram duas linhas de pesquisa na construção de sistemas inteligentes: uma calcada em torno do funcionamento do cérebro e dos neurônios (a linha conexionista); e outra, fruto do estudo da cognição, do raciocínio (a linha simbólica). A linha simbólica segue a tradição lógica e teve em McCarthy e Newell seus principais defensores. O sucesso dos sistemas especialistas (SE) (do inglês, expert system ), a partir da década de setenta, estabeleceu a manipulação simbólica de um grande número de fatos especializados sobre um domínio restrito como o paradigma corrente para a construção de sistemas inteligentes do tipo simbólico [Bittencourt 2001]. Uma forma de estimular o desenvolvimento pesquisa em inteligência artificial é a realização de partidas de futebol entre robôs autônomos, que possibilita a utilização de várias tecnologias e em relação à IA, há espaço para a implementação de diferentes técnicas como Cooperação em Sistemas Multiagentes, Sistemas Baseados em Conhecimento, Lógica Nebulosa, Redes Neurais, dentre outras. O time de futebol de robôs simulado, MecaTeam 2008 é a integração do código base do Uva Trilearn 2003 e a Expert-Coop++, sendo portanto um sistema especialista que tem seu raciocínio implementado com regras de produção. Sua arquitetura tem evoluído gradativamente desde o UFSC-Team-98 que propôs uma arquitetura concorrente, onde ação, decisão e comunicação eram executados concorrentemente, [Costa and Bittencourt 1999b]. Apresentado na Robocup'98, chamado Agente Autônomo Concorrente com os três niveis Reativo, Instintivo e Cognitivo em um processo concorrente, [Costa and Bittencourt 1999a]. O Agente Autônomo Concorrente baseia-se em um modelo híbrido para agente cognitivo [Bittencourt and Costa 2001] e

2 possui uma arquitetura de três camadas. O MecaTeam é implementado re-utilizando o código do Uva Trilearn e a Expert-Coop++ [Costa et al. 2003]. Implementação parcial do Agente Autônomo Concorrente utilizando threads. O raciocínio automático do agente é implementado num Sistema Baseado em Conhecimento. Foi apresentada uma versão reativa com os níveis Reativo e Instintivo [de Santana Jr et al. 2006]. Implementação completa do Agente Autônomo Concorrente usando threads, adcionalmente implementando uma base de regras. A versão MecaTeam 2008 faz funcionar, pela primeira vez, de forma eficiente o nível mais alta de sua arquitetura. Esta versão foi implementada utilizando programação concorrente com threads. Muitas soluções foram testadas anteriormente, mas todas geravam um mau desempenho do agente. Para garantir o bom funcionamento foi necessário a utilização de técnicas de sincronização de processos e não apenas threads. Thread é uma forma de um processo dividir em duas ou mais tarefas que podem ser executadas simultaneamente. Logo, quando utilizamos programação multi-thread estamos dividindo o processo em várias linhas de execução, onde o sistema operacional é o encarregado de escalonar os processos [Tanenbaum]. A Expert-Coop++ é uma biblioteca orientada a objetos destinada a auxiliar o desenvolvimento de sistemas multiagentes sob restrição de tempo real do tipo melhor esforço[costa et al. 2003], implementada na linguagem de programação C++. Esta biblioteca oferece o modelo de arquitetura para o agente MecaTeam, bem como o suporte a Sistemas Baseados em Conhecimento. O UvA Trilearn 2003 é um time de futebol de robôs simulados que disponibilizou seu código fonte na Internet. O trabalho de Iniciação Científica (IC) é apresentado neste artigo da seguinte maneira: a seção 2 descreve a mudanças na arquitetura do MecaTeam; a seção 3 descreve a implementação das threads; a seção 4 descreve o nível cognitivo; a seção 5 fala sobre as regras; a seção 6 mostra os resultados e a seção 7 mostra a conclusão e os trabalhos futuros. 2. Arquitetura do MecaTeam Para entender a arquitetura do MecaTeam 2008 é necessário conhecer a arquitetura do time base Uva Trilearn 2003, a biblioteca Expert-Coop++, e a divisão da camada de raciocínio em duas para dar suporte ao nível cognitivo do agente. Essa integração traz ao time um estrutura muito mais robusta, ficando a cargo do programador criar regras eficientes que possam maximizar o desempenho do agente Arquitetura do Uva Trilearn O alicerce do MecaTeam é o Uva Trilearn que utiliza as abordagens hierárquica e comportamental. Na abordagem hierárquica o mais baixo nível é responsável pela interação com o mundo físico através de sensores e atuadores. A informação entra no sistema através dos sensores e é abstraída para o modelo de mundo. O nível mais alto utiliza as informações contidas no modelo de mundo para escolher a ação a ser realizada. Esta ação é traduzida em comandos que são executados em nível mais baixo pelos atuadores. Em sistemas com uma decomposição comportamental, a idéia principal é fragmentar o problema em objetivos que devem ser atingidos, ao invés de estágios do fluxo de informação. No lugar de um caminho através do qual fluem os dados, múltiplos caminhos paralelos (também chamados de comportamentos) são explorados. Um

3 comportamento pode, assim, ser visto como um módulo que aceita entradas sensoriais e gera comandos para controlar os atuadores [Kok et al. 2003]. Figura 1. Arquitetura do agente Uva Trilearn 2003 Como visto na figura 1, temos uma arquitetura hierárquica, separada em camadas, que decompõe o problema mais complexo em subtarefas mais simples. Durante o jogo de futebol, percepções entram no sistema através da Camada de interação e fluem para cima (Camada de Habilidades), onde elas são usadas para atualizar o modelo de mundo do agente. O mais recente estado da informação e, então, usado pela Camada de Controle para raciocinar sobre a melhor ação possível. A ação selecionada pela Camada de Controle e subseqüentemente trabalhada na Camada de Habilidades, que determina o comando atuador apropriado. Em seguida, este comando é executado pelo módulo de controle do atuador na Camada de Interação. Assim, o agente UvA Trilearn é capaz de perceber, raciocinar e agir [Kok et al. 2003] O Sistema Baseado em Conhecimento da Expert-Coop++ Este é um sistema baseado em regras de produção, que apresenta uma arquitetura de três módulos: uma base de regras, uma base de fatos ou memória de trabalho e um motor de inferência [de Santan Jr et al. 2006], visto na figura 2. Figura 2. Arquitetura do Sistema baseado em conhecimento utilizado no MecaTeam

4 O motor de inferência é o principal componente do sistema baseado em conhecimento. Sua funcionalidade consiste em na realização de inferências a partir de uma base de regras e uma base de fatos. A base de fatos é responsável pelo armazenamento das informações simbólicas sobre o ambiente. A lógica é utilizada como principal formalismo de representação de conhecimento, de acordo com o formato de três termos: objeto, atributo e valor, conforme ilustrado abaixo: ( logic (<objeto> <atributo> <valor>)) A base de regras é responsável pela leitura do arquivo de regras, extraindo estas regras e armazenando em uma lista A Inserção do Nível Cognitivo Com a proposta de utilização de threads no nível cognitivo foi possível implementar e validar a arquitetura com os três níveis do Agente MecaTeam, possibilitando a utilização de planos, gerando estratégias de jogo mais elaboradas. A implementação (descrita na próxima seção), dividiu o raciocínio do agente em duas camadas (instintiva e cognitiva), sendo que estes níveis se comunicam entre si através de memória compartilhada (mailbox), o instintivo envia as informações que o cognitivo precisa para escolher as metas, e o cognitivo escolhe o plano a ser seguido e envia para o instintivo, que seleciona as regras que obedecem ao plano, enviando para o reativo o comportamento escolhido, conforme visto na figura abaixo: Figura 3. Arquitetura do MecaTeam, utilizando o nível cognitivo Com esta arquitetura pronta, o programador pode trabalhar em mais alto nível na estruturação do time, criando regras, propiciando muito mais inteligência ao agente e ao time como um todo. O time passa a ter uma maior ênfase na inteligência que de fato é o mais importante a se considerar, com essa abordagem, se abre um leque de possibilidades na escolha de comportamentos, e na criação de regras cognitivas e instintivas, em vez de se investir nas regras reativas que sobrecarregam a execução dos comportamentos. O nível cognitivo é a camada de nível mais alto, o qual dará ao agente um visão estratégica de jogo, que é uma característica bastante desejável, sendo possível dessa forma prever possíveis situações de jogo.

5 3. A Implementação das threads A modelagem consiste em criar duas threads, uma cognitiva e uma instintiva comunicando-se entre si, trocando mensagens através de um mailbox, além deles tem também a thread reativa que encontra-se no mainloop (Fluxo principal) (figura 4). A thread cognitiva é responsável pelas ações de mais alto nível, ou seja escolhe a estratégia mais apropriada para a determinada situação, a thread instintiva se encontra no nível intermediário, escolhendo o comando que deve ser executado pelo agente, já o reativo, escolhe os parâmetros para realizar o comando. Para realizar esta implementação foi utilizada a biblioteca que implementa a POSIX (padrão para threads) Pthread, além da utilização Semaphore, para implementação dos semáforos. void cognitivo() { Recebe informação do instintivo Envia informação para o instintivo } void instintivo() { Recebe informação do cognitivo Envia informação para o cognitivo Envia informação para o reativo } mainloop() { Thread reativa apenas recebe informação e executa } mainloop() { Fluxo de processamento } Criação das threads Thread reativa Thread cognitiva Thread instintiva Figura 4. Fluxo de Controle A implementação dos threads foi baseada no problema do produtor/consumidor, sendo que as threads cognitiva e instintiva tanto produzem quanto consomem, já a thread reativa apenas consome, ela recebe a mensagem da thread instintiva, então na sua implementação foi utilizado o mutex que bloqueia o acesso ao mailbox durante a escrita de dados. Foi utilizado também a função do Uva Trilearn waitfornewinformation que aguarda até que chegue uma nova informação do simulador. O problema do produtor/consumidor é concebido quando o produtor deseja colocar itens na fila, mas ela está cheia, ou quando o consumidor deseja remover itens na fila, mas ela está vazia [Tanenbaum]. Esta situação poderia ocorrer na comunicação entre o instintivo e o cognitivo. Uma solução seria colocar o produtor/consumidor para dormir quando tivesse condições lógicas de rodar (fila cheia ou vazia, respectivamente). Mas somente este método não é o suficiente, pois pode ainda haver condições de corrida, portanto, é necessária a implementação dos semáforos que utiliza as operações: aguarda/bloqueia, continua/libera, dessa forma estabilizando o tráfego entre as threads. Já a comunicação entre o instintivo e o reativo não são utilizados os semáforos, porque o nível reativo não pode ficar aguardando em momento algum, portanto é utilizado o mutex, pois com suas funções bloqueia_mutex() e desbloqueia_mutex() a thread é bloqueada apenas no momento de leitura/escrita que é muito rápido, sem aguardar novas informações, dessa forma assegurando que apenas uma thread acesse o bloco de código compartilhado em dado momento. Após concluída esta implementação, ainda não haviam regras cognitivas prontas para testar a arquitetura reestruturada, para validar a implementação, então foram utilizadas funções de atraso dentro da função cognitiva, simulando a demora de resposta

6 do raciocínio cognitivo, o que não veio a ocasionar queda de desempenho, pois o instintivo não aguarda a decisão do cognitivo, validando portanto esse experimento. 4. Cognição Entender a mente humana requer numerosos métodos e teorias, por isso nela estão reunidas a Psicologia, a Filosofia, a Inteligências Artificial, a Neurociência e a Lingüística. A Cognição é um conjunto de processos mentais superiores, que inclui a percepção, memória, raciocínio, imaginação, pensamento, linguagem, etc. A cognição é responsável pelo aprendizado, que traz a nossa melhor adaptação ao meio. Levando para o contexto do futebol, vamos imaginar algumas situações hipotéticas de como um jogador pensaria durante uma partida: O jogador tem a posse de bola está marcado e vê os atacantes, central e lateral, livres. Com apenas o raciocínio instintivo o jogador irá passar a bola para o jogador que for considerado mais confiável. Já a cognição trata esta situação de outra forma, o jogador está prestes a iniciar um ataque pela ponta ou pelo centro, podendo analisar qual das jogadas trouxe mais sucessos até o momento, por exemplo, e escolher para quem deve passar. Geralmente os times têm seus artilheiros, então instintivamente os zagueiros têm uma forma genérica de se organizarem na defesa. Mas com o nível cognitivo, podemos, por exemplo, reforçar a marcação atuando sobre o artilheiro adversário. Podendo focar não só no artilheiro, mas na estrutura de ataque do adversário para se adaptar. Estes são alguns exemplos de modelos mentais que podemos utilizar no time que agora possui o nível cognitivo funcionando, com isto podemos bolar diversas estratégias e utilizar contra os adversários somente as adequadas, o que deverá ajudar muito nas tarefas em grupo. 5. Regras Com toda a estrutura do time pronta, resta a criação das regras, que devem trazer a esperada melhoria no desempenho do agente e do time como um todo. As regras estão divididas em cognitivo que escolhe a estratégia, e instintivo que escolhe o comportamento. As regras cognitivas escolhem a meta local a ser atingida, sendo que para cada meta local, haverá um conjunto de regras instintivas, dentre as metas temos por exemplo, ataque pela lateral, ataque pelo centro, jogadas de bola parada, etc. Para escolher a meta local o cognitivo utiliza uma base de fatos reduzida (que deverá ser ampliada, conforme a necessidade), utilizando apenas as informações de localização da bola, posse de bola, situação de jogo (lateral, escanteio, etc). Exemplo de regra cognitiva: (rule_mark (if (logic ( ball localization AREA_CENTRAL )) (logic ( teammate has_ball false )) (logic ( dead_ball situation none )) ) (then (logic ( local_goal current mark )) (logic ( local_goal status active )) )

7 ) Neste exemplo, a bola encontra-se na área central, a posse de bola é do adversário, a situação de jogo é normal, então a meta local escolhida é a marcação. As regras instintivas definem o comportamento que o agente deverá realizar, sendo que para tomar esta decisão é consultada a base de fatos e a meta local escolhida pelo cognitivo. Exemplo de regra instintiva: (rule_kicktogoal (if (logic ( local_goal current center_attack )) (logic ( local_goal status active )) (logic ( player localization AREA_ATTACK )) (logic ( player ball_kickable true )) (logic ( player bestoptionkick left )) ) (then (logic ( reactive_behavior active kick_to_goal_left )) (logic ( local_goal current center_attack )) (logic ( local_goal status active )) ) ) Neste exemplo, dentro da meta de ataque pelo centro, o agente encontra-se na área de ataque, com a posse de bola, e a melhor opção para chutar é na esquerda, então o comportamento escolhido é o chute à esquerda. Na figura abaixo, o oponente A lança a bola, enquanto o jogador 3 marca o oponente 9, o jogador 4 fica posicionado para interceptar a bola. Figura 5. Exemplo de defesa pela lateral

8 6. Resultados Além da mudança na arquitetura, na criação de regras, o que também traz melhor desempenho ao time é a criação e refinamento dos comportamentos, para avaliar o progresso do time, foram realizadas partidas com os times que se destacaram na CBR (Competição Brasileira de Robótica), são os times: PET_soccer_2D 1º Lugar (ES) Gargalos_FC 2º Lugar (ES) Bahia2D 3º Lugar (BA) Foram realizadas 10 partidas com cada time, utilizando as versões 2007 e 2008 do MecaTeam, e os placares foram os seguintes: MecaTeam 07 X Bahia 2D - 1 X 3 MecaTeam 07 X Bahia 2D - 0 X 3 MecaTeam 07 X Bahia 2D - 1 X 3 MecaTeam 07 X Bahia 2D - 0 X 5 MecaTeam 07 X Bahia 2D - 6 X 7 Bahia 2D X MecaTeam 07-5 X 0 Bahia 2D X MecaTeam X 3 Bahia 2D X MecaTeam X 0 Bahia 2D X MecaTeam 07-9 X 1 Bahia 2D X MecaTeam 07-8 X 2 MecaTeam 07 X Bahia 2D - 14 X 64 MecaTeam 08 X Bahia 2D - 1 X 1 MecaTeam 08 X Bahia 2D - 4 X 1 MecaTeam 08 X Bahia 2D - 2 X 2 MecaTeam 08 X Bahia 2D - 9 X 2 MecaTeam 08 X Bahia 2D - 4 X 1 Bahia 2D X MecaTeam 08-3 X 10 Bahia 2D X MecaTeam 08-2 X 5 Bahia 2D X MecaTeam 08-1 X 3 Bahia 2D X MecaTeam 08-2 X 10 Bahia 2D X MecaTeam 08-5 X 3 MecaTeam 08 X Bahia 2D - 51 X 20 MecaTeam 07 X Gargalos - 0 X 4 MecaTeam 07 X Gargalos - 2 X 3 MecaTeam 07 X Gargalos - 0 X 0 MecaTeam 07 X Gargalos - 1 X 3 MecaTeam 07 X Gargalos - 2 X 4 Gargalos X MecaTeam 07-0 X 1 Gargalos X MecaTeam 07-3 x 0 Gargalos X MecaTeam 07-1 X 1 Gargalos X MecaTeam 07-2 X 0 Gargalos X MecaTeam 07-1 X 1 MecaTeam 07 X Gargalos - 8 X 18 MecaTeam 08 X Gargalos - 4 X 2 MecaTeam 08 X Gargalos - 1 X 7 MecaTeam 08 X Gargalos - 0 X 2 MecaTeam 08 X Gargalos - 5 X 3 MecaTeam 08 X Gargalos - 2 X 1 Gargalos X MecaTeam 08-1 X 4 Gargalos X MecaTeam 08-2 X 2 Gargalos X MecaTeam 08-1 X 4 Gargalos X MecaTeam 08-2 X 2 Gargalos X MecaTeam 08-1 X 0 MecaTeam 08 X Gargalos - 24 X 22

9 MecaTeam 07 X PETSoccer - 3 X 5 MecaTeam 07 X PETSoccer - 1 X 3 MecaTeam 07 X PETSoccer - 2 X 2 MecaTeam 07 X PETSoccer - 1 X 4 MecaTeam 07 X PETSoccer - 1 X 5 PETSoccer X MecaTeam 07-5 X 0 PETSoccer X MecaTeam 07-3 X 1 PETSoccer X MecaTeam 07-4 X 0 PETSoccer X MecaTeam 07-8 X 0 PETSoccer X MecaTeam 07-9 X 2 MecaTeam 07 X PETSoccer - 11 X 48 MecaTeam 08 X PETSoccer - 2 X 2 MecaTeam 08 X PETSoccer - 1 X 2 MecaTeam 08 X PETSoccer - 4 X 1 MecaTeam 08 X PETSoccer - 2 X 4 MecaTeam 08 X PETSoccer - 2 X 1 PETSoccer X MecaTeam 08-1 X 0 PETSoccer X MecaTeam 08-0 X 3 PETSoccer X MecaTeam 08-1 X 2 PETSoccer X MecaTeam 08-2 X 2 PETSoccer X MecaTeam 08-4 X 2 MecaTeam 08 X PETSoccer - 20 X 18 MecaTeam 08 X MecaTeam 07-6 X 3 MecaTeam 08 X MecaTeam 07-4 X 0 MecaTeam 08 X MecaTeam 07-8 X 0 MecaTeam 08 X MecaTeam 07-6 X 3 MecaTeam 08 X MecaTeam 07-5 X 3 MecaTeam 07 X MecaTeam 08-0 X 6 MecaTeam 07 X MecaTeam 08-0 X 16 MecaTeam 07 X MecaTeam 08-0 X 6 MecaTeam 07 X MecaTeam 08-2 X 2 MecaTeam 07 X MecaTeam 08-5 X 3 MecaTeam 08 X MecaTeam X 16

10 7. Conclusões e Trabalhos Futuros A arquitetura do MecaTeam evoluiu gradativamente e hoje temos o cognitivo funcionando embora ainda esteja bem simples, portanto é um dos trabalhos a serem feitos, criar mais metas locais e jogadas ensaiadas, reconhecimento de padrões, para que o cognitivo possa escolher a melhor estratégia para seus respectivos adversários, entre outros. Além dos resultados vistos a partir dos placares (gols), outra métrica de avaliação que pode ser utilizada é a análise do comportamento dos agentes em campo, que se tornaram mais inteligentes, análise também da posse de bola, passes errados, organização da marcação, entre outros, o que foi perceptível também na evolução do MecaTeam. Agora, com uma estrutura mais robusta, o time pode evoluir bastante, com suas estratégias e comportamentos sendo implementados em alto nível, o que facilita bastante para o programador. As principais metas para 2008 são, se classificar para a Competição Mundial, e conquistar o 1º Lugar na Competição Brasileira que será mais provável explorando bastante o potencial do nível cognitivo. Referências Tanenbaum, Andrew S. - Sistemas Operacionais Modernos, 2ª edição, editora: Prentice, 2003 Russel, Stuart e Norvig, Peter Inteligência Artificial, 2ª edição, editora: Campus, 2004 Costa, A. L. d. and Bittencourt, G. (1999a). From a concurrent architecture to a concurrent autonomous agents architecture. IJCAI 99, Third International Workshop in RoboCup, pages Springer, Lecture Notes in Artificial Inteligence. Costa, A. L. d. and Bittencourt, G. (1999b). Ufsc-team: A cognitive multi-agent approach to the robocup 98 simulator league. RoboCup98 Workshop - Team description, pages 371, 377. Springer, Lecture Notes in Artificial Inteligence, vol Costa, A. L. d., Bittencourt, G., Goncalves, E. M. N., and Silva, L. R. (2003). Expertcoop++: Ambiente para desenvolvimento de sistemas multiagente. IV ENIA Encontro Nacional de Inteligência Artificial, pages XXIII Congresso da Sociedade Brasileira de Computação. Bittencourt, G. (2001). Inteligência Artificial Ferramentas e Teorias. Editora da UFSC, ISBN , 362 p., Florianópolis, SC, 2 a edicao. de Boer, R. and Kok., J. R. (2001). The incremental development of a synthetic multiagent system: The uva trilearn 2001 robotic soccer simulation team. Master s thesis, University of Amsterdam, The Netherlands. de Santana Jr, O. V., Sousa, J. P. R. P., Linder, M. S., and da Costa, A. L. (2006). Mecateam: Um sistema multiagente para o futebol de robôs simulado baseado no agente autônomo concorrente. Encontro de Robótica Inteligente / XXVI Congresso da Sociedade Brasileira de Computação, pages Kok, J. R., Vlassis, N., and Groen, F. (2003). Team description uva trilearn In RoboCup 2003 Symposium.