APRENDIZADO DE COMPORTAMENTO POR REFORÇO DO AMBIENTE

Transcrição

1 4o. SBAr- SimpósioBrasileirode Automação Inteligente, São Paulo, Sp,08-10 de Setembro de 1999 APRENDIZADO DE COMPORTAMENTO POR REFORÇO DO AMBIENTE Leonardo A. Scárdua José J. da Cruz AnnaH. R. Costa Departamento de Engenharia Eletrônica Departamento de Engenharia de Computação e Sistemas Digitais Escola Politécnica - Universidade de São Paulo. Av. Prof. Luciano Gualberto,Travessa 3, 158 Cidade Universitária - São Paulo - SP CEP: Resumo - Este artigo descreve um agente capaz de aprender a escolher suas ações de maneira a atingir seu objetivo ao enfrentar um adversário num ambiente dinâmico. O agente utiliza recompensas obtidas do ambiente para avaliar e aperfeiçoara qualidade de seu próprio comportamento no domínio do futebol de robôs. Um rede neural é avaliada no que diz respeito a sua adequação como aproximador para a função valor de pares estado-ação no domínio do futebol de robôs. Palavras chave: aprendizado por reforço, redes neurais, aprendizado de comportamento, futebol de robôs 1 INTRODUÇÃO A abordagemde aprendizadoporreforçoé uma alternativa muito eficaz ao treinamento supervisionado de redes neurais. Ao invés de ter um professor externo que indica a saída correta para cada entrada da rede neural, o aprendizado por reforço simplesmente produz um sinal de reforço que indica a qualidade da saída da rede. De acordo com (Sutton and Barto 1998), são quatro os principais elementos de um sistema de aprendizado por reforço: uma política, uma função recompensa, uma função valor e, algumas vezes, um modelo do ambiente. A politica é um mapeamento dos estados detectados para as ações a serem tomadas em correspondência a esses estados. A função recompensa define o objetivo em um problema de aprendizado por reforço. Em termos gerais, a função recompensa mapeia cada par fomiado por um estado s e uma ação a (ou apenas o estado s) em um único número. Este númeroindica o benefício, num sentido imediato, obtido por se escolher a ação a quando no estado s. A função valor indica o benefício que se pode esperar obter a longo prazo, por selecionar a ação a quando no estado s. Podese dizer que o valor de um par estado-ação, sob uma dada política, é o total de recompensa que um agente pode esperar receber quando, seguindo esta política, toma a ação a quando se encon- tra no estado s. O único objetivo de um agente de aprendizado por reforço é maximizar a recompensa total que ele obtém a longo prazo. Em outras palavras, ele busca ações que oconduzam a estados de valor mais elevado, sendo o valor de um estado definido de maneira semelhante ao valor de um par estado-ação. Os métodos para determinação dos valores dos estados, ou dos pares estado-ação são os componentes mais importantes de quase todos os sistemas de aprendizado por reforço. Em um contexto estocástico, um modelo que descreva as probabilidades de transição de estados e as recompensas imediatas resultantes destas transições não está usualmente disponível. Por esta razão, o agente de aprendizado por reforço aprende através de interação direta com o ambiente. O objetivo principal da presente pesquisa é desenvolver uma equipe de agentes capaz de aprender um comportamento cooperativo unicamente observando o impacto de suas ações sobre o ambiente. Para atingir esta meta, foi desenvolvidoum agente capaz de aprender a escolher suas ações observando as recompensas do ambiente. A primeira fase do desenvolvimento, descrita neste artigo, pretende avaliar uma rede neural (RN) no que diz respeito à sua adequação como aproximadorpara a função valor de pares estado-ação no domínio do futebol de robôs. O Servidor de Futebol RoboCup é um domínio simulado de futebol de robôs que permite a realização de jogos entre duas equipes de até 11jogadores, onde cada jogador é controlado por um único processo. O servidor opera em ciclos de simulação de 100 ms (este parâmetro é ajustável, sendo 100 seu valor usual (Andre et alo 1999)). Ele requer que os agentes atuem em tempo real. As alterações no ambiente são influenciadas pelas ações de ambas as equipes de agentes. Esta combinação de características o torna um domínio bastante complexo e realista, onde as decisões são tomadas em etapas e a saída de uma decisão não pode ser completamente prevista. Cada decisão produz alguma recompensa imediata e afeta o ambiente, influenciando a recompensa recebida pela próxima decisão a ser tomada. 171

2 2 O AGENTE APRENDIZ 40. SBAI- Simpósio Brasileiro de Automação Inteligente, São Paulo, Sp,08-10 de Setembro de 1999 O.agente aprendiz é essencialmente um agente de aprendizado por reforço cujo objetivo principal é obter a máxima recompensa. a longo prazo. Este objetivo pode ser atingido escolhendo a ação que possui o maior valor em face do sinal do estado atual. O agente deve aprender ao mesmo tempo em que interage com o ambiente, uma vez que ele não dispõe de conhecimento prévio a respeito da tarefa ou do domínio em questão. Isto impõe o uso de um aproximador para a função valor. A arquitetura escolhida deve atender no mínimo às seguintes condições: Como não é possível saber de antemão as características da função valor num dado domínio, a arquitetura de aproximação deve ser um bom aproximador genérico ao menos para funções contínuas. Já que não é prático utilizar tabelas na memória para armazenar o valor correspondente a cada par estado-ação que pode ser experimentado pelo agente (veja a Seção 2. 1), decidiu-se usar uma RN para aproximar tais valores. A estrutura do agente é muito simples, mas, ainda assim, muito eficiente. Sua operação pode ser descrita pelo seguinte algoritmo: 1. Obtenha o estado do ambiente. 2. Se o momento é de escolha da melhoração: (a) Use a RN para avaliar cada uma das ações possíveis à luz do sinal de estado. (b) Escolha a ação que tem o melhor valor estimado. 3. Se o momentoé de escolha aleatória: (a) Escolha aleatoriamente dentre os elementos do conjunto de ações possíveis. 4. Execute a ação escolhida. 5. Obtenha a recompensa. 6. Atualize o valor estimado da RN. 2.1 O Estado do Ambiente Neste trabalho, consideram-se jogos com apenas dois jogadores, sem goleiros. Um jogador utiliza a estrutura de aprendizado apresentada ao passo que o outro escolhe suas ações aleatoriamente. O jogador aprendiz percebe o ambiente de acordo com o seguinte sinal de estado: O ângulo da bola com relação ao agente aprendiz; A distância da bola ao agente aprendiz; O ângulo do adversário com referência ao agente aprendiz; A distância do adversário ao agente aprendiz. Conforme (Andre et ai. 1999), o tamanho do campo é 105 x 68 unidades, onde a unidade é irrelevante. A função arctan é utilizada para calcular os ângulos relativos acima. Não é feita discrctização alguma das distâncias e ângulos relativos calculados. Como o servidor opera com precisão de ponto flutuante, há em realidade um espaço de estados de dimensão enorme. 2.2 Porque Uma Rede Neural Como Aproximador da Função Valor Está claro que a representaçãoescolhidapara o estado, toma impraticável manter em tabelas os valores dos pares estado-ação. Deve ser capaz de lidar com ambientes ruidosos. Deve ser capaz de trabalharem tempo real. O Teorema de Existência do Mapeamento Neuralde Kolmogorov (Hetch-Nielsen 1990) provê a sustentaçãomatemáticapara o uso de perceptronsde três camadas como aproximadores universais para funções contínuas. 2.3 Codificando o Objetivo do Agente Como um Sinal de Recompensa No contexto de aprendizado por reforço, o sinal de recompensa é utilizado para codificar o que se deseja que o agente faça. Isto ocorre no caso presente, onde a recompensa que se segue à escolha de cada ação é usada para informar o agente se a escolha foi "boa" ou "má". Neste trabalho, considera-se "boa" a escolha de uma ação que tenha todas as suas pré-condições (restrições que, dado o sinal do estado atual, devem ser obedecidas de forma que a ação seja aplicável) satisfeitas pelo sinal do estado que o agente percebe do ambiente. Neste caso o sinal de recompensa é positivo. Se alguma das pré-condições da ação escolhida não é satisfeita, o sinal de recompensaé negativo. Em outras palavras, o objetivo codificado é aprender a escolherações que tenham todas as précondições satisfeitas pelo sinal do estado recebido. Tanto este objetivo, quanto o método aqui usado para calcular a recompensa, são destinados apenas a prover um meio simples e válido, para avaliar a rede neural como aproximador da função valor neste domínio. 2.4 Aprendizado do Valor de um Par Estado- Ação Para aprender este valor, a RN é alimentada com a ação escolhida pelo agente e com o sinal de estado detectado. A saída da rede deve ser igual à recompensa recebida imediatamente pelo agente. Em outras palavras, "valor" aqui tem o significado de recompensa imediata. Contudo, dado o objetivo proposto ao agente, não é necessário estimar o valor dos pares ação-estado, no sentido amplo da teoria do aprendizado porreforço; o aprendizado das recompensas imediatas será suficiente no caso deste trabalho. Se a RN for capaz de aprender as recompensas imediatas, será capaz de aprender os valores dos pares estado-ação, como calculados usualmente na solução de problemas de aprendizado por reforço. 2.5 A Rede Neural A RN é um perceptron multi-camada totalmente conectada. Há sete neurônios de entrada, dez neurônios na camada escondida 172

3 40. SBAI - SimpósioBrasileiro de Automação Inteligente, São Paulo, Sp, de Setembrode 1999 e um na camada de saída. Os neurônios da camada escondi- consistentemente, se não enfrentar oposição. da utilizam a tangente hiperbólica como função de ativação, ao passo que o neurônio de saída apenas soma todas as suas entradas. O método de treinamento éoalgoritmo de retro-propagação (Haykin 1999). Na camada de entrada, foi deixado um neurônio para cada variável de estado existente e para cada ação possível, perfazendo o total de dez neurônios. A lógica que norteou a escolha do número de neurônios na camada intermediária foi a de ter uma unidade de processamento escondida para cada variável de entrada da rede, enquanto a escolha da configuração da camada de saída é justificada por se desejar um único valor como resultado do processamento da rede. 2.6 Escolha da Melhor Ação A escolha é baseada unicamente no sinal de estado recebido pe-. lo agente. No instante de escolher urna ação, o agente alimenta a entrada da RN com o sinal de estado atual e com a ação que está sendo avaliada; a saída da RN é então armazenada. Este procedimento é repetido para cada ação existente e o'agente escolhe aquela que produz a saída da RN de valor numérico mais elevado. Cada acão passível de escolha pelo agente, é implementada por urna rotina (ver seção 2.7) e identificada unicamente por um número positivo. 2.7 Conjunto de Ações 3 RESULTADOS Para avaliar a eficácia da abordagem proposta, foram realizados experimentos consistindo numa série de jogos de 10 minutos. O agente aprendiz enfrenta um adversário que escolhe suas ações aleatoriamente, sendo esta a única diferença entre eles. Se o agente aprendiz efetivamente aprender a escolher ações em que as pré-condições estão satisfeitas pelo estado do ambiente, ele será capaz de vencer um agente com seleção de ações aleatória. 3.1 Resultados Experimentais Experimento 1 - O agente aprendiz sempre seleciona uma ação aleatória e não aprende a partir das recompensas recebidas do ambiente. Portanto, o agente aprendiz na realidade age exatamente como um jogador aleatório. O objetivo deste experimento é avaliar o desempenho de dois jogadores aleatórios. Os resultados, apresentados nas Tabelas 1 e 2 e Figura 1, mostram que neste caso, ambos os jogadores apresentam o mesmo desempenho. Cada agente dispõe de um conjunto de três ações, onde cada ação é implementada por uma rotina que possui todas as informações necessárias à execução da ação Alcancea Bola Pré-condições: A bola não pode estar dentro de uma distância de chute do agente. Efeito: Move o agente na direção da bola. Quando o agente atinge a bola, ele pára a uma distância de chute dela. Número do Jogo Jogador Aprendiz Jogador Aleatôrio Chute em Direção ao Gol Adversário Tabela 1: O placar de cada partida no experimento 1. Pré-condições: A bola deve estar a urna distância de chute do agente. Efeito: A bola é chutada em direção ao gol adversário Gire a Bola Pré-condições: A bola deve estar a urna distância de chute do agente e atrás dele com relação ao gol adversário.. Efeito: A bola é girada em direção ao gol adversário e mantida a uma distância de chute do agente até se localizar na direção do gol, quando então é chutada. 2.8 Ciclo de Decisão Estatísticas Jogador Aprendiz JogadorAleatório Número de gols Número de vitórias 4 4 Tabela 2: Algumas estatísticas referentes ao experimento 1. Ambos os agentes devem decidir qual ação cada um tomará a cada ciclo de simulação. O conjunto de ações e o curto ciclo de simulação permitemque mesmo o agente aleatório marque gols 173

4 Gols 40. SBAI - SimpósioBrasileiro de Automação Inteligente, São Paulo, SP, de Setembro de "Aprendiz_Exp_l11 9 "Aprendiz_Exp_ "Aleatorio_Exp_l "Aleatorio_Exp_2" r-, 4 3 :3 2 V Jogos Jogos Gols Figura 1: Placar médio no experimento 1. Figura 2: Placar médio no experimento 2. Experimento 2-Aleatoriamente com probabilidades 0.2 e 0.8,. respectivamente, uma das seguintesescolhasé feita: 1. A ação de maior valor é selecionada. 2. Uma ação do conjunto de ações disponíveis é selecionada aleatoriamente. Inicialmente os pesos da RN foram escolhidos aleatoriamente, sendo depois alterados de acordo com o processo de aprendizado ao longo de cadajogo. O objetivo deste experimento é avaliar o efeito do processo de aprendizado sobre o desempenho do jogador. Os resultados apresentados nas Tabelas 3 e 4, e na figura 2, mostram que neste caso, o agente aprendiz está se tomando superior na medida que aumenta o número de jogos. Númerodo Jogo JogadorAprendiz JogadorAleatório Experimento3 - As escolhas 1e2definidas no Experimento 2 foram feitas aqui aleatoriamente, porém com probabilidades 0.8 e0.2, respectivamente. Da mesma forma que no Experimento 2, inicialmente os pesos da RN foram escolhidos aleatoriamente, sendo depois alterados de acordo com o processo de aprendizado ao longo de cada jogo. Também aqui, o objetivo é avaliar o efeito do processo de aprendizado sobre o desempenho do jogador. Os resultados apresentados nas Tabelas 5 e 6, e na figura 3, mostram que neste caso, o agente aprendiz se toma muito superior na medida que aumenta o número de jogos. Número do Jogo JogadorAprendiz JogadorAleatório Tabela 5: O placar de cada partida no experimento 3. Tabela 3: O placar de cada partida no experimento 2. Estatísticas JogadorAprendiz JogadorAleatório Número de gols Número de vitórias 6 3 Tabela 4: Algumas estatísticas referentes ao experimento 2. Estatfsticas JogadorAprendiz JogadorAleatório Número de gols Número de vitórias 10 O Tabela 6: Algumas estatísticas referentes ao experimento

5 40. SBAI - Simpósio Brasileirode Automação Inteligente, São Paulo, Sp, de Setembrode 1999 " estão os algoritmos genéticos (Kuzuaki et ai. 1998),(Matsumura 1998), a programação genética (Andre and Teller 1998), o raciocínio baseado em caso C'case-based reasoning") (Burkhardet "Aprendiz_Exp_3" alo1998) e o aprendiz ado por reforço (Andou 1998). Gols 10,-_,_--, ,.-,---r-r---r---, l'----'--..l.---i.-...a---i...ii Jogos Figura 3: Placar médio no experimento 3. 4 DISCUSSÃO Os resultados da simulação mostramque: O número médio de gols por jogo do jogador aleatório diminui consistentemente.a medida que aumenta a probabilidade de selecionar a ação de maior valor para o agente aprendiz; ct O número médio de gols por jogo do jogador aprendiz aumenta consistentemente amedida que aumentaa probabilidade de selecionar a ação de maior valor; O número de vitórias do agente aprendiz aumenta consistentemente, chegando a atingir l O, na medida que aumenta aprobabilidade de selecionar a ação de maior valor. Uma vez que a única diferença entre os três experimentos éa probabilidade de o agente aprendiz selecionar a ação de melhor estimativa, é claro que esta é a causa das alterações nas estatísticas dos experimentos. Por causa do fato de que o aumento desta probabilidademelhorou o desempenho do agente aprendiz e deteriorou o do jogador aleatório, é claro também que o agente aprendiz extraiu um aprendizado útil do mecanismo definido. Isto permitiu ao agente aprendiz consistentemente vencer o agente aleatório. Estes resultados tomam claro o fato de que um perceptron multicamada é capaz de aproximar a função valor para um agente de aprendizado por reforço, no domínio do futebol de robôs. 5 TRABALHOS CORRELATOS O trabalho relatado neste artigo foi inspirado no Gamão-ID de Tesauro (Tesauro 1995), uma RN que é capaz de se auto-ensinar a jogar gamão jogando contra si própria e aprendendo a partir dos resultados. O "backgammon", assim como o futebol de robôs, é um domínio em que as decisões são tomadas em etapas, com um elevado número de estados possíveis, o que toma impossível a utilização de uma abordagemde aprendizado supervisionado para a RN. Ambos os domínios envolvem jogo contra um adversário desconhecido. " 6 CONCLUSÕES O agente aprendiz proposto aprendeu a escolher suas ações utilizando unicamente as recompensas obtidas da interação com o ambiente. É importante enfatizar que ele não dispunha de qualquer conhecimento prévio a respeito do domínio de futebol de robôs. A RN aprendeu a jogar apenas observando as recompensas obtidas ao jogar. Um aspecto importante a ser salientado é que o aprendizado é focado naturalmente na trajetória de estados seguida pelo agente aprendiz. Este aspecto reduz enormemente a complexidade do espaço de estados, explicandoo rápido aprendizado que permitiu ao agente vencer todos os jogos no terceiro experimento, mesmo tendo no início utilizado pesos aleatórios na RN. A primeira etapa do desenvolvimento desta pesquisa, descrita neste artigo, objetivou estudar uma RN como um avaliador de ações no domínio do futebol de robôs. Os resultados obtidos são animadores. O próximo passo deverá consistir em fazer o agente aprender apenas através da observação dos resultados dos jogos. O futebol de robôs requer que o agente aprenda e aja em tempo real. A saída de cada ação não é completamente previsível devido ao ruído aleatório introduzido pelo Servidor de Futebol Robo- Cup. As alterações no ambiente são influenciadas pelas ações de ambas as equipes de agentes. Esta combin ação de fatores torna este domínio bastante complexo e realista. Essa complexidade permite afirmar que a tecnologia em desenvolvimento pode ser aplicada a tarefas reais que requerem o aprendizado de uma política de controle em um ambiente em que o espaço de estados é enorme. Alguns exemplos práticos importantes são o problema do despacho de elevadores e a alocação dinâmica de canais em sistemas de telefonia celular (Sutton and Barto 1998). 7 AGRADECIMENTOS Leonardo A. Scardua é apoiado pelo CNPq, através do processo No /97-9. Anna H.R. Costa recebe o apoio parcial da Fapesp, através do processo No. 98/ José J. da Cruz é apoiado parcialmente pelo CNPq, através do processo No /85-4 (RN). REFERÊNCIAS BIBLIOGRÁFICAS Andou, Tomolúto (1998). A robocup team which reinforces position observationally. In: Proceedings ofthe Second RoboCup Workshop. Paris. pp Andre, David and Astro Teller (1998). Evolving team darwin united. In: Proceedingsofthe Second RoboCup Workshop. Paris. pp Andre, David, Corten E., Dorer K., Gugenberger P., Joldos M., Kummeneje i; Navratil I P., Itsuki N., Riley P., Stone P., Takahashi T. and Yeap T. (1999). Soccerserver manual. In: Muitos pesquisadores têm usado métodos de aprendizado no domínio do futebol de robôs. Entre os métodos mais comuns Burkhard, Hans-Dieter, Jan Wendler, Pascal Gugenberger, Kay Schroder and Ralf Kuhnel (1998). At-humboldt in 175

6 40. SBAI - SimpósioBrasileiro de Automação Inteligente, São Paulo. SP, de Setembro de 1999 robocup-98. In: Proceedings of the Second RoboCup Workshop. Paris. pp Haykin, Simon (1999). Neural Networks: a comprehensivefoundation 2nd ed. Prentice-Hall. Hetch-Nielsen, Robert (1990). Neurocomputing. Addison Wesley. New York. Kuzuaki, Endo, Ito Sadaharu, Hiroyuki Yamaguchi, Ibui Nobuo and Kotani Yoshiyuki (1998). Team description for donguri. In: Proceedings ofthe Second RoboCup Workshop. Paris. pp Matsumura, Takeshi (1998). Description of team erika. In: Proceedings ofthe SecondRoboCup Workshop. Paris. pp Sutton, Richard S. and Andrew G. Barto (1998). Reinforcement Learning: an introduction. Addison Wesley. MIT Press. Tesauro, Gerald (1995). Temporal difference learning and tdgammon. Communications ofthe ACM 38(3),