Um Algoritmo Genético com Aprendizado por Reforço Simples aplicado ao problema do Mundo de Grid

Transcrição

1 1 Um Algoritmo Genético com Aprendizado por Reforço Simples aplicado ao problema do Mundo de Grid Luciana Conceição Dias Campos Resumo Este trabalho consiste da aplicação de um algoritmo genético ao método de aprendizado por reforço para auxiliar um agente que está inserido em um ambiente de grid simples. O algoritmo genético atua no espaço da política do aprendizado por reforço com o objetivo de encontrar a política ótima a ser seguida pelo agente. O propósito deste trabalho foi construir um modelo simples, onde cada indivíduo representa uma política e a sua aptidão representa o valor de retorno desta política. A meta do problema é maximizar esta aptidão. Os resultados obtidos são comparados com a busca exaustiva a fim de avaliar o seu desempenho. Palavras Chaves Agente Inteligente, Aprendizado por Reforço, Algoritmo Genético, Algoritmo Evolucionário. I. INTRODUÇÃO Um agente inteligente é um tipo de arquitetura utilizada para solucionar problemas que podem ser modelados como um ambiente, sendo que esse agente interage com o ambiente de forma contínua, trocando informações com o mesmo, com a finalidade de cumprir uma tarefa qualquer. O aprendizado por reforço (em inglês Reinforcement Learning) possibilita o aprendizado de um agente diretamente a partir da sua interação com o ambiente. O modelo padrão de um sistema de aprendizado por reforço é ilustrado na Figura 1. A cada instante de tempo t (dita iteração), o agente, através dos seus sensores, percebe que está em um estado s t (referenciado como o seu estado atual). De acordo com a política que está seguindo, ele escolhe uma ação a t a ser executada pelos seus atuadores. Esta ação provoca uma transição de estados, isto é, o agente sai do estado s t e passa para um estado s t+1. Em função desta mudança, o ambiente responde com uma medida de reforço que pode ser uma recompensa, se a ação tomada foi boa, ou uma punição, caso a ação tomada tenha sido ruim. Esta medida de reforço, ao longo do tempo, provocará uma correção da política, definindo um processo de aprendizado dinâmico e interativo. Figura 1: Modelo de aprendizado por reforço padrão. Uma política π é o mapeamento de estados em ações, isto é, determina qual ação a t deve ser executada quando o agente estiver no estado s t, definindo assim, o comportamento do agente ao longo do tempo. O objetivo do sistema de aprendizado por reforço, é encontrar uma política ótima π* que maximiza o retorno R fornecido pelo ambiente. Existem duas maneiras distintas de solucionar o problema de aprendizado por reforço. Uma é chamada de busca pelo espaço da política, cujo objetivo é encontrar a política ótima e para isto, é preciso manter representações explícitas das políticas. A outra maneira é chamada de busca pelo espaço da função de valor da política, cujo objetivo é aprender a função valor que retorna a recompensa acumulada esperada para uma dada política. Quando a função de valor ótimo for encontrada, isto significa que a política ótima também foi alcançada. Logo, não é necessário manter representações explícitas das políticas. Os algoritmos genéticos conseguem melhores resultados no espaço de busca pela política. Então o propósito deste trabalho é construir um modelo simples de algoritmo genético com aprendizado por reforço e aplicá-lo ao problema onde um agente está inserido em um grid, e avaliar o seu desempenho comparando os resultados obtidos com a busca exaustiva. O restante deste artigo está dividido em mais três seções. A seção 2 descreve o modelo AGRL simples e o ambiente em que ele será aplicado. A seção 3 apresenta os resultados obtidos e por último, a seção 4 exibe as conclusões obtidas e as propostas de trabalhos futuros. II. MODELO AGRL SIMPLES O modelo AGRL simples utiliza um único cromossomo com codificação binária para representar uma política do espaço de busca. Cada gene do cromossomo representa um estado mapeado por esta política e o alelo do gene representa a ação a ser executada pelo estado correspondente, como mostra a Figura 2. s 1 s 2 s 3 s 4 s N a 1 a 2 a 3 a 4... a N Figura 2: Representação de um cromossomo Com esta representação, os operadores genéticos de crossover e mutação tradicionais podem ser aplicados. A aptidão de cada política deve representar o seu valor de retorno esperado. Como a meta é encontrar a política ótima que forneça o maior retorno possível do ambiente, a otimização empregada consiste em maximizar a aptidão dos indivíduos. Como pode ser visto na Figura 3, o código do algoritmo AGRL é bem simples. Nos subitens seguintes são apresentados, o ambiente do mundo de grid, e os algoritmos AGRL criados.

2 2 agente ultrapasse os limites do grid, ele é penalizado com uma aptidão igual a -10 vezes o tamanho do cromossomo (as dimensões do grid, L vezes C). Este modelo foi aplicado a três tipos de grid: grid sem obstáculos, grid com um obstáculo central e grid com dois obstáculos escolhidos aleatoriamente. Os valores de reforços de cada célula foram estimados de duas maneiras: escolhidos randomicamente e calculados pela distância de blocos do estado correspondente até o estado objetivo. O foco deste modelo é encontrar a política que forneça o maior retorno que é dado pelo somatório dos reforços de cada célula visitada, dado que o agente só pode executar duas ações: ir para a direita ou ir para baixo. Figura 3: Código de um AGRL Simples A. O ambiente mundo de grid O ambiente mundo de grid usado na aplicação do AGRL consiste de um grid com L linhas e C colunas, onde cada célula do grid representa um estado do ambiente. Dentro de cada célula, há um dado numérico que representa o valor de reforço que o ambiente fornece quando o agente visita aquele estado correspondente. Neste modelo, o agente sempre inicia na posição do canto superior esquerdo do grid e o seu alvo é alcançar o lado oposto, que corresponde a posição do canto inferior direito. Para isto, ele segue uma política que representa uma seqüência de ações a serem executadas pelo agente. Cada política a ser seguida pelo agente é fornecida por um cromossomo da população do AGRL. O tamanho do cromossomo é fixo e igual às dimensões do grid, isto é, o número de linhas L vezes o número de colunas C. Na representação do cromossomo, as L primeiras posições representam os estados da primeira coluna, as próximas L posições representam os estados da segunda coluna e assim por diante. Se o agente, após executar uma ação, ultrapassar os limites do grid, então ele é fortemente penalizado pelo ambiente. Este modelo foi aplicado há três enfoques diferentes: o algoritmo AGRL1, o algoritmo AGRL2 e o algoritmo AGRL3, presentes nos subitens seguintes. B. Algoritmo AGRL1 Neste modelo, o agente só pode executar duas ações dentro do grid: ir para a próxima célula à direita ou ir para a próxima célula de baixo. Cada estado do grid é representado por um gene do cromossomo e por sua vez, cada gene corresponde a um bit. O alelo do gene representa a ação a ser executada pelo agente. Desta forma, se o bit do gene for 1, então o agente deve ir para a próxima célula à direita do grid. Caso contrário (bit é igual a 0), o agente deve ir para a próxima célula de baixo. A aptidão de cada indivíduo é o somatório dos reforços recebidos após a visitação de cada estado, que corresponde ao valor de retorno que o ambiente fornece dada a política que o indivíduo representa. Caso, após executar uma ação, o C. Algoritmo AGRL2 Este modelo é muito semelhante ao modelo AGRL1. A diferença principal está no seu objetivo. Ao invés de buscar a política que forneça o maior retorno do ambiente, como no AGRL1, a meta do AGRL2 é buscar a política que forneça o menor caminho que o agente deve percorrer para sair do estado inicial e alcançar a posição alvo. Portanto, a aptidão de cada indivíduo necessita reproduzir o caminho percorrido pelo agente. Para isto ocorrer, ao invés da aptidão ser a soma dos reforços obtidos durante o caminho, como no AGRL1, o seu valor passou a ser iniciado com uma medida alta, que é igual a 10 vezes o tamanho do cromossomo. No final do processo da execução do caminho do estado inicial ao estado final, o valor da aptidão é subtraído do número de passos gastos na realização deste caminho. Assim, quanto menor o caminho, menor será o número de passos gastos na sua execução e conseqüentemente, maior será a aptidão daquele indivíduo. Desta forma, o ambiente passou a fornecer reforço igual a 1 se o estado é válido, para incrementar o número de passos do caminho, e igual a 10 vezes o tamanho do cromossomo quando fosse atingido um obstáculo, para penalizar o agente. Como os cromossomos possuem tamanho fixo, o número de passos que o agente pode executar em um caminho é limitado. Desta forma, o pior caminho aceitável gasta um número de passos igual a dimensão do grid, indicando que o agente visitou cada estado do ambiente, desde a posição inicial até a posição objetivo. Caso o caminho que está sendo percorrido ultrapasse essa quantidade de passos, o agente é penalizado, recebendo aptidão igual -100 vezes o tamanho do cromossomo, para indicar que aquele caminho não é mais admissível. Se, após executar uma ação, o agente ultrapassar os limites do grid, ele também é penalizado com uma aptidão igual a -100 vezes o tamanho do cromossomo. D. Algoritmo AGRL3 O modelo AGRL3 é o modelo AGRL2 com a possibilidade de o agente executar mais ações. Ao invés de ir só para a célula da direita e para a célula de baixo, o agente também pode ir para a célula da esquerda e para a célula de cima. Logo, cada gene passou a ser representado por um par de bits. O par 11 correspondia a ação de ir para a célula acima, o par 10 correspondia a ação de ir para a célula abaixo, o par 01 correspondia a ação de ir para a célula à esquerda e o par

3 3 00 correspondia a ação de ir para a célula à direta. Com isto, o tamanho do cromossomo passou a ser duas vezes a dimensão do grid. Todavia, este tamanho continuou fixo. III. RESULTADOS EXPERIMENTAIS Os três modelos descritos na seção anterior foram desenvolvidos na linguagem de programação Delphi e testados em um computador AMD Athlon de 1.4 GHz e 256 MB de RAM. A. Teste 1 e 2 com o Algoritmo AGRL1 No primeiro teste, este modelo foi aplicado a três tipos de grid (vide Figura 4): grid sem obstáculos, grid com um obstáculo central e grid com dois obstáculos escolhidos aleatoriamente. Os valores numéricos presentes em cada célula, que correspondem aos reforços fornecidos pelo ambiente, são escolhidos randomicamente. Cada obstáculo é representado por um valor negativo alto, a fim de que o agente aprenda que não deve passar por ali. As figuras 5, 6 e 7 ilustram os resultados de um experimento feito com um grid 5x5. A curva em azul é o resultado do AGRL1 e a curva em rosa é resultado da busca exaustiva. Em todos os casos o resultado foi promissor porque o AGRL1 conseguiu atingir o mesmo objetivo que a busca exaustiva. Figura 8: Grid 10x10 sem obstáculos Figura 4: Grids do Teste 1 Os parâmetros do AGRL1 usados neste teste foram: uma população de 100 indivíduos, taxa de crossover de 80%, taxa de mutação de 9%, crossover de 2 pontos, seleção de indivíduos feita através de rank linear, 1 indivíduo mantido por elitismo e 20 gerações. As curvas dos gráficos representam a média dos melhores indivíduos de cada geração em 10 rodadas. Figura 9: Grid 10x10 com obstáculo central Figura 10: Grid 10x10 com obstáculos aleatórios As figuras 8, 9 e 10 ilustram os resultados de um experimento feito com um grid 10x10. Apesar de em alguns casos o AGRL1 ter tido uma inicialização pior que a busca exaustiva, ele conseguiu atingir no final, objetivos superiores à busca em todos os testes. Figura 5: Grid 5x5 sem obstáculo Figura 11: Grid 20x20 sem obstáculos Figura 6: Grid 5x5 com obstáculo central Figura 12: Grid 20x20 com obstáculo central Figura 7: Grid 5x5 com obstáculos aleatórios

4 4 15, tanto para a busca exaustiva quanto para o AGRL1. Isto significa que ele conseguiu atingir o objetivo, porque as suas ações a serem escolhidas, eram limitadas. Por esse motivo, o algoritmo AGRL3 foi proposto. Figura 13: Grid 20x20 com obstáculos aleatórios As figuras 11, 12 e 13 ilustram os resultados de um experimento feito com um grid 20x20. Apesar do AGRL1 ter tido uma inicialização pior que a busca exaustiva em todos os casos, ele conseguiu atingir o mesmo objetivo final ou até superior ao alcançado pela busca. No segundo teste, este modelo foi aplicado a três tipos de grid (vide Figura 14): grid sem obstáculos, grid com um obstáculo central e grid com dois obstáculos escolhidos aleatoriamente. Os valores numéricos presentes em cada célula, correspondem aos reforços fornecidos pelo ambiente, são calculados pela distância de blocos de cada estado até o alvo. Cada obstáculo é representado por um valor negativo alto, a fim de que o agente aprenda que não deve passar por ali. C. Teste 4 com o Algoritmo AGRL3 Como o AGRL3 é bem mais complexo que os anteriores, porque utiliza não só mais ações, como também um cromossomo maior. Desta forma, os parâmetros do AGRL# usados neste experimento foram: uma população de 200 indivíduos, taxa de crossover de 80%, taxa de mutação de 9%, crossover uniforme, seleção de indivíduos feita através de rank linear, 5 indivíduo mantido por elitismo e 50 gerações. As curvas dos gráficos representam a média dos melhores indivíduos de cada geração em 25 rodadas. Figura 16: Grid 5x5 sem obstáculo Figura 14: Grids do Teste 2 Como o agente só pode executar duas ações (ir para direita ou ir para baixo), os melhores resultados sempre tiveram o mesmo valor. Por isso, para todos os grids, as curvas de resultado foram representadas por uma reta constante, como ilustra a Figura 15, tanto para a busca exaustiva quanto para o AGRL1. Isto significa que ele conseguiu maximizar o retorno de cada política, que era o seu objetivo, mas não esboçou nenhuma informação sobre o caminho que o agente percorreu dentro do grid. Por esse motivo, o algoritmo AGRL2 foi proposto. Figura 17: Grid 5x5 com obstáculo central Figura 18: Grid 5x5 com obstáculos aleatórios As figuras 16, 17 e 18 ilustram os resultados de um experimento feito com um grid 5x5. Apesar de em alguns casos a inicialização do AGRL3 ter sido pior do que a busca exaustiva, o resultado foi promissor porque o AGRL3 conseguiu atingir o mesmo objetivo que a busca no final. Figura 15: Curva com o resultado do teste 2. B. Teste 3 com o Algoritmo AGRL2 Apesar do enfoque do AGRL2 ser diferente do AGRL1, o mesmo problema em relação aos resultados ocorreu. Pois, como o agente só pode executar as duas ações de ir para direita ou de ir para baixo, ao atingir o objetivo, independente do caminho escolhido, o agente gastou o mesmo número de passos. Desta forma, os melhores resultados sempre tiveram o mesmo valor. Por isso, para todos os grids, as curvas de resultado também foram representadas por uma reta constante, como ilustra a Figura Figura 19: Grid 6x6 sem obstáculo

5 5 Figura 20: Grid 6x6 com obstáculo central Figura 21: Grid 6x6 com obstáculos aleatórios As figuras 19, 20 e 21 ilustram os resultados de um experimento feito com um grid 6x6. Os resultados também foram promissores porque o AGRL3 conseguiu atingir o mesmo objetivo que a busca exaustiva. IV. CONCLUSÕES Este artigo apresentou três modelos AGRL simples aplicados ao ambiente de grid. Os resultados experimentais mostraram que o AGRL simples só é aplicável a problemas simples (poucas ações) ou a grids de pequena dimensão. Como trabalhos futuros, existem melhorias que podem ser aplicadas com o objetivo de atingir um desempenho mais interessante. Uma possibilidade seria utilizar cromossomos de tamanho variável para poder mapear melhor o caminho executado pelo agente ao invés de limitar o número de passos pela dimensão do grid. Outra idéia é aplicar uma roleta de operadores genéticos e utilizar uma codificação diferente da binária. V. RERERÊNCIAS BIBLIOGRÁFICAS: [1] Figueiredo, Karla. Agentes Inteligentes: Novos Modelos Neuro-Fuzzy Hierárquicos com Aprendizado Automático baseado em Reinforcement Learning. Tese de Doutorado Departamento de Engenharia Elétrica, PUC-Rio, Rio de Janeiro, [2] Moriarty, D. E., Schultz, A. C., Grefenstette, J. J., Evolutionary Algorithms for Reinforcement Learning. Journal of Artificial Intelligence Research 11 (1999) [3] Sutton, R.S. & Barto, A.G. Reinforcement Learning: An Introduction, MIT Press, Figura 22: Grid 7x7 sem obstáculo Figura 23: Grid 7x7 com obstáculo central Figura 24: Grid 7x7 com obstáculos aleatórios As figuras 22, 23 e 24 ilustram os resultados de um experimento feito com um grid 7x7. Observe nas figuras que em todas as curvas as aptidões são negativas. Isto significa que toda a população foi penalizada. Logo, não existem mais caminhos admissíveis a serem seguidos, ou seja, todas as políticas são inválidas. Portanto, para as quatro ações juntas (ir para cima, ir para baixo, ir para direita e ir para esquerda) não conseguem ser representadas por um único cromossomo binário de tamanho fixo.