Implementação de Estratégias para Futebol de Robôs utilizando Campos Potenciais

Transcrição

1 Implementação de Estratégias para Futebol de Robôs utilizando s Potenciais Gedson Faria gedson@icmc.usp.br Luíza C. F. Teizen lcft@grad.icmc.usp.br Roseli A. F. Romero rafrance@icmc.usp.br Resumo Neste trabalho apresenta-se uma abordagem para construção de estratégias para futebol de robôs utilizandose a técnica de campos potenciais. Para isto, desenvolveuse módulos de ataque e defesa, os quais foram testados no simulador da FIRA (SimuroSot). Embora o método de campos potenciais possua limitações o resultado dos eperimentos foram bastante satisfatórios fazendo com que nossa estratégia ganhasse da estratégia padrão que acompanha o simulador. 1. Introdução A idéia de robôs jogando futebol foi mencionada, pela primeira vez, pelo professor Alan Mackworth, em um artigo de 1992, intitulado On Seeing Robots [13]. Desde então, duas grandes organizações mundiais estabeleceramse como referência na área de Futebol de Robôs. São elas a RoboCup e FIRA (Federation of International Robotsoccer Association). Ambas deram início às suas atividades no ano de A RoboCup é uma iniciativa japonesa que, atualmente, conta com o apoio maciço de grandes empresas de tecnologia. Já a FIRA, por sua vez, é uma iniciativa do meio acadêmico coreano. Com o passar dos anos, ambas as iniciativas tornaram-se organizações de âmbito internacional, que realizam campeonatos anualmente. As duas entidades possuem diversas categorias, que envolvem simulação, micro-robôs e até robôs bípedes. Futebol de robôs é uma iniciativa internacional voltada à pesquisa e educação, visando promover desenvolvimentos ligados às áreas de Inteligência Artificial e Robótica Inteligente [1]. Uma das maiores razões do futebol de robôs ser adotado como ambiente de estudo é o fato deste ser um problema padrão e portanto, a pesquisa pode ser claramente definida e acompanhada. Além disto, através da adoção deste problema pode-se fazer avaliações de várias teorias, algoritmos, arquiteturas e desempenhos. Tudo isto Apoio financeiro da CAPES aliado a uma grande variedade de tecnologias que podem ser integradas e analisadas [5]. Várias técnicas tem sido aplicadas para construir os comportamentos de ataque, defesa e cooperação para os robôs. A estratégia utilizada pelo time Guaraná consiste em utilizar uma máquina de estados para selecionar as ações de ataque e defesa. Após selecionada a ação, um processo iterativo é eecutado para selecionar uma rota sem colisões até sua meta [5]. Park et al. [15] propôs uma abordagem na qual dividiu o campo em quadrantes de ataque e defesa. Cada quadrante possui um único robô que planeja suas trajetórias utilizando a técnica de campos potenciais [1]. Sendo que, para esta estratégia foi considera a eistência de áreas de intersecção entre os quadrantes e foi utilizado um algoritmo de aprendizado por reforço [16] conhecido como Q-learning [18] para selecionar qual robô deveria chutar a. Uma outra técnica de campos potenciais na qual se utiliza um mapa para representar o ambiente [6], conhecida como Virtual Field Histogram (VFH) [3], foi utilizada por Gomes & s [8] para que os robôs planejassem suas trajetórias livres de colisões. No presente trabalho, a técnica de campos potenciais que está sendo utilizada se assemelha a abordagem Motor- Schema proposta por Arkin [1] acrescida de técnicas que permitem encontrar metas específicas para cada robô. Uma meta, ou ponto de atração, foi a forma utilizada para implementar tanto as estratégias de ataque como as defesa. A meta atrai o robô fazendo com que ele se posicione no campo de acordo com a estratégia escolhida para ele. Ao mesmo tempo, cada robô considera a posição dos outros robôs como um ponto de repulsão. Assim, cada robô planeja sua trajetória até sua meta desviando dos demais robôs. Este trabalho está organizado como segue. Na seção 2, uma revisão sobre campos potenciais. As modificações na implementação dos módulos que calculam as forças de atração e as estratégias de ataque e defesa utilizadas são apresentadas na seção 3. Finalmente, na seção 4, as conclusões e sugestões para trabalhos futuros.

2 2. s Potenciais A idéia de imaginar forças atuando sobre um robô foi sugerida por Khatib [9]. Neste método, obstáculos eercem forças repulsivas e a meta aplica uma força atrativa sobre o robô. A força resultante F é composta de uma força atrativa direcionada para a meta e forças repulsivas proveniente de obstáculos. Sendo que para cada nova posição do robô todas as forças deverão ser novamente calculadas. Com isto, é possível que o robô desvie dos obstáculos e chegue até a meta. Krogh [11] aprimorou este conceito ao considerar a velocidade do robô na vizinhança dos obstáculos. Thorpe [17] aplicou o método campo potencial para planejamento off-line. Krogh & Thorpe [12] sugeriram uma combinação do método para planejamento de caminhos locais e globais utilizando para isto uma abordagem denominada Generalized Potential Field. Para os métodos acima descritos assumiu-se um modelo conhecido do mundo, com formas geométricas predefinidas representando obstáculos e o caminho do robô é gerado off-line. No entanto, Brooks [4] e Arkin [1] se destacam dentre os primeiros trabalhos realizados em um ambiente real. Eles utilizaram robôs móveis equipados com sensores ultrassônicos (sonar) para calcular os campos potenciais. Brooks utilizou campos potenciais como um controlador refleivo sem nenhum tipo de raciocínio deliberativo. O controlador simplesmente reage eecutando ações diretamente ligadas as percepções, resultando assim em respostas imediatas a estímulos eternos. Um método similar, denominado Motor Schema, foi utilizado por Arkin em seus robôs. Este método consiste em ativar vários comportamentos simultâneos que produzem um vetor força (atração ou repulsão) como resposta. A direção a ser seguida pelo robô será o vetor resultante da soma de todos os vetores gerados. No entanto, os robôs operam em baia velocidade, desviando de obstáculos a uma velocidade de.12 cm/sec. Tanto Brooks como Arkin não armazenam informações do ambiente, calculam o campo potencial sobre os dados recebidos pelos sensores em cada instante de tempo. Em uma outra abordagem, sugerida por Borenstein & Koren [2], utiliza-se um mapa para representar o ambiente com seus obstáculos [6]. A partir da probabilidade de uma célula estar ocupada é que será gerado o campo potencial para uma dada posição do robô. Outras abordagens utilizando campos potenciais para o planejamento de trajetórias utilizando robôs móveis foram sugeridas por Faria & Romero [7], Pacheco & Costa [14] e Gomes & s [8]. Nas subseções seguintes será mostrado como realizar os cálculos das forças de repulsão, atração e da força resultante Força de Repulsão Na Figura 1(a) mostra-se que a força de repulsão decai ao se afastar de um obstáculo, pois a força de repulsão ( ) é um vetor cujo módulo é inversamente proporcional ao quadrado da distância (d) entre o robô (R) e objeto observado (O) (Figura 1(b)). O vetor também pode ser re- (a) O d R θ Figura 1. (a)força de repulsão na vizinhança de um obstáculo; (b) Força de repulsão do objeto O sobre um robô localizado em R. presentado por suas componentes: módulo e direção, apresentados na Equação 1. (b) = Q d 2 e θ = arctan(, ) (1) sendo que: Q representa um escalar constante de repulsão; arctan é uma função na qual se considera os sinais de e para fornecer o ângulo correto cuja tangente seja ( / ); e os sinais negativos de e fornecem uma direção oposta ao objeto detectado (O). Para calcular a força de repulsão para vários obstáculos, deve-se fazer o somatório dos vetores das forças de repulsão geradas, como mostrado na Equação Força de Atração F R = (2) Na Figura 2(a) e Figura 2(b) mostra-se o campo potencial de atração, no qual deve-se considerar F a constante para que o agente seja atraído pela meta mesmo estando distante da mesma (Equação 3). F a = C e θ Fa = arctan(, ) (3) no qual C representa um escalar constante de atração. Note que e diferem da Equação 1 por não estarem acompanhados do sinal negativo. Como resultado, a direção do vetor força de atração será na direção da meta.

3 M 3.1. Estratégias de Jogo (a) F a R F a F a m (b) θ Fa Figura 2. (a) de atração constante; (b)atração entre o robô R e a meta M Força Resultante Ao realizar a soma dos vetores força de atração e força de repulsão obtém-se a força resultante dada pela Equação 4. F = Fr + F a (4) O sistema foi construído visando comportamentos tanto de ataque quanto de defesa. O sistema foi iniciado com comportamentos mais simples e no decorrer do projeto foram implementadas rotinas mais elaboradas. Para tanto, será descrito a seguir os passos seguidos na construção das estratégias utilizadas pelos robôs. FASE I Nesta fase optou-se por fazer com que a atraísse um robô artilheiro e que este também desviasse dos robôs de seu próprio time. Apesar dos chutes serem certeiros, o robô não direcionava a ao gol adversário. Esta estratégia criou um comportamento no qual o robô segue a para chutá-la sem se importar para qual direção a pudesse ir, podendo inclusive marcar gols contra (Figura 4). Embora, isto não fosse desejado, observou-se que o robô utilizando o método de campos potenciais atingia sua meta com precisão. Para ilustrar a superposição dos campos de atração e repulsão, mostra-se na Figura 3 o campo e a trajetória obtida para encontrar a meta home Figura 4. Caso no qual um robô utilizando-se da estratégia seguir a marca um gol contra. Figura 3. potencial e trajetória seguida evitando obstáculos. 3. Modelagem do Problema As estratégias de jogo foram montadas utilizando-se o conceito de campos potenciais, seja para desviar dos outros robôs (força de repulsão) seja para encontrar e chutar a (força de atração). As rotinas foram implementadas em módulos e inicialmente estão rodando no simulador da FIRA e em breve será transferida para um time de robôs reais. O simulador da FIRA passa para as rotinas as seguintes informações: limites do campo, limites dos gols, posição e orientação de todos robôs, posição da e que time tem a posse da. FASE II Para criar um comportamento de defesa, foram criadas quatro retas imaginárias (l 1, l 2, l 3 e l 4 ) que cortam o campo longitudinalmente e uma reta (r) que liga o centro do gol a (Figura 5). Como a está sempre em movimento, a reta r deverá ser atualizada antes de cada movimento, pois a estratégia de defesa consiste em fazer com que cada robô não-atacante n seja sempre atraído pelo ponto de intersecção de sua reta l n com a reta r. FASE III Uma estratégia mais elaborada foi implementada para que o robô atacante passasse a evitar os gols contra. Para isto, foi criada uma reta imaginária s que passa pelo centro do gol adversário e pela. Com isto, encontra-se um ponto (P) pertencente a s de modo que P fique a uma distância constante (i) da. A partir destes dados faz-se com que o robô

4 8 7 6 home atacante vetor de atração r goleiro l 1 l 2 l 3 l Figura 5. Estratégias de ataque e defesa da fase II. dirija-se ao ponto P para poder chutar a. Para construir este comportamento, considerou-se que a repelisse e que o ponto P atraísse o robô (Figura 6). Note que, se a força de repulsão da for maior Figura 7. Robô contornando a e chutando ao gol corretamente. é possível observar que estes mesmos obstáculos atrapalham o atacante a alcançar a. Um fato que deve 8 s I força de atração P home Figura 6. Estratégias de ataque da fase III. do que a atração do ponto P então o robô nunca conseguirá atingir P. Por este motivo, considerou-se que a repele menos que os outros objetos, ou seja, a possui uma constante de repulsão menor do que Q. Deve-se observar também que o robô não pode chutar a antes de alcançar o ponto P ou pelo menos uma área próima de P. Quando isto ocorrer, o robô muda de comportamento passando a perseguir a e com isto, aumenta as possibilidades de chutes certeiros ao gol adversário e evita gols contra. Este comportamento pode ser observado na Figura 7. Contudo, a tarefa de encontrar as constantes de atração K e de repulsão Q é feita empiricamente. Uma atração alta provoca colisões pois a atrai mais do que os obstáculos repelem, entretanto, valores altos para repulsão podem atrapalhar o robô a alcançar a. Isto pode ser observado na Figura 8 na qual mostrase o comportamento de desvio de obstáculo. Também Figura 8. Desvio de obstáculo e chute ao gol. ser considerado, é que todos os robôs se movem constantemente e assim comportamentos como o mostrado na Figura 8 dificilmente ocorrem. A dinâmica do jogo também minimiza o problema de mínimos locais no qual força de atração e força de repulsão se anulam impedindo o movimento. 4. Conclusão e Trabalhos Futuros Vários jogos com todos os robôs em movimento foram realizados para testar os comportamentos implementados. Todavia, também foram observados os comportamentos para um único robô em movimento, pois não é uma tarefa fácil analisar o comportamento de um robô em um ambiente dinâmico. A partir destes testes, observou-se que: (1) O comportamento de seguir a utilizando-se potencial de atração foi muito satisfatório. No entanto, quando combinado com o comportamento para evitar colisões, sua eficiência fica

5 bastante alterada. Isto pode ser observado na Figura 8 na qual os obstáculos atrapalham o atacante a alcançar a ; (2) O método de ataque implementado na FASE III foi bastante eficiente reduzindo o número de gols contra e fazendo com que o time que o estivesse utilizando passasse a ganhar o jogo; (3) O fato dos robôs estarem em movimento minimiza o problema de mínimos locais no qual força de atração e força de repulsão se anulam impedindo o movimento. (4) Os robôs movimentam-se rapidamente, a uma velocidade máima de 317cm/s, mesmo assim, o método de campos potenciais mostrou-se bastante eficiente no controle de trajetória. O maior problema foi encontrar empiricamente os valores para as constantes de repulsão Q e atração K. Para cada nova modificação na estratégia novos valores tinham que ser testados. Isto ocorre, pois são estas constantes que determinam a distância com que o robô irá desviar dos obstáculos. Como solução para este problema, pretendese utilizar o potencial dos algoritmos de aprendizado por reforço [16] para encontrar valores ótimos para as constantes de repulsão Q e de atração K. Embora minimizado ainda ocorrem situações de mínimos locais, no qual força de atração é igual a de repulsão. Isto acontece normalmente quando algum obstáculo fica entre o robô e a. Para solucionar este problema, pretende-se a utilizar do método Virtual Field Histogram (VFH) proposto por Borenstein & Koren [3]. Referências [1] Arkin, R. C. (1989). Motor schema-based mobile robot navigation. The International Journal of Robotics Research, 4(8), [2] Borenstein, J. & Koren, Y. (1989). Real-time obstacle avoidance for fast mobile robots. IEEE Transactions on Sstems, Man, and Cbernetics, 19(5), [3] Borenstein, J. & Koren, Y. (1991). The vector field histogram fast obstacle avoidance for mobile robots. IEEE Journal of Robotics and Automation, 7(3), [4] Brooks, R. A. (1986). A robust laered control sstem for a mobile robot. IEEE Journal of Robotics and Automation, 2(1), [5] Costa, A. H. R. & Pegoraro, R. (2). Construindo robôs autônomos para partidas de futebol: O time Guaraná. SBA Controle e Automação, 11(3), [6] Elfes, A. (1989). Occupanc Grids: A Probabilistic Framework for Robot Perception and Navigation. PhD thesis, Carnegie Mellon Universit. [7] Faria, G. & Romero, R. A. F. (2). Incorporating fuzz logic to reinforcement learning. In Proceedings of the 9th IEEE International Conference on Fuzz Sstems, volume 1 (pp ). [8] Gomes, M. R. S. & s, M. F. M. (21). Desvio de obstáculos para micro-robôs móveis utilizando campo potencial. In Anais do V Simpósio Brasileiro de Automação Inteligente (SBAI) Canela/RS. [9] Khatib, O. (1985). Real-time obstacle avoidance for manipulators and mobile robots. In IEEE International Conference on Robotics and Automation (pp. 5 55). St. Louis, Missouri. [1] Kitano, H., Kunioshi, Y., Noda, I., Asada, M., Matsubara, H., & Osawa, H. (1997). Robocup: A challenge problem for ai. AI Magazine, 1(18), [11] Krogh, B. H. (1984). A generalized potential field approach to obstacle avoidance. In International Robotics Research Conference Bethlehem, Pennslvania. [12] Krogh, B. H. & Thorpe, C. E. (1986). Integrated path planning and dnamic steering control. In Proceedings of the 1986 IEEE International Conference on Robotics and Automation (pp ). San Francisco, California. [13] Mackworth, A. K. (1993). On seeing robots. In A. Basu & X. L. World (Eds.), Computer Vision: Sstems, Theor, and Applications (pp. 1 13). Singapore: World Scientific Press. [14] Pacheco, R. N. & Costa, A. H. R. (22). Navegação de robôs móveis utilizando o método de campos potenciais. In M. T. S. Sakude & C. de A. Castro Cesar (Eds.), Workshop de Computação WORKCOMP 22 (pp ). ITA São José dos s/sp: SBC. [15] Park, K.-H., Kim, Y.-J., & Kim, J.-H. (21). Modified uni-vector field navigation and modular q-learning for soccer robots. In Proceedings of the 32nd International Smposium on Robotics - ISR (pp ). [16] Sutton, R. S. & Barto, A. G. (1998). Reinforcement learning: An introduction. In MIT Press Cambridge, MA. [17] Thorpe, C. (1984). Path Relaation: Path Planning for a Mobile Robot. Technical Report CMU-RI-TR- 84-5, Robotics Institute, Carnegie Mellon Universit, Pittsburgh, PA. [18] Watkins, C. J. C. H. (1989). Learning from Delaed Rewards. PhD thesis, Universit of Cambridge.