Processos de Decisão de Markov

Transcrição

1 Universidade Federal do ABC Bacharelado em Ciência e Tecnologia Disciplina de Inteligência Artificial - Prof. Jerônimo Pellegrini André Filipe de Moraes Batista DIURNO Processos de Decisão de Markov A técnica de aprendizado por reforço baseia-se na idéia de que se uma ação é seguida de estados satisfatórios, ou por melhoria no estado, então a tendência para produzir esta ação é aumentada, isto é, reforçada. Uma forma de modelar problemas de aprendizado por reforço é utilizar o Processo de Decisão de Markov (MDP Markov Decision Process). Em um MDP, um agente faz suas decisões com base em um sinal do ambiente, chamado de Estado do ambiente. Caso este estado contenha toda a informação relevante, então ele é chamado de estado de Markov. Pode-se observar esta propriedade na velocidade e posição atuais de uma bola de canhão, observando que estas informações são suficientes para determinar seu vôo futuro, não importando em que velocidade ou posição ela veio. Generalizando a definição de um MDP finito têm-se os seguintes elementos: Exercício 1 Uma leoa adulta precisa de 6kg de comida por dia, e consegue armazenar 30kg de comida (o que significa que pode ficar 6 dias sem comer). A média de biomassa comestível nas zebras é de 164kg, grande o suficiente para vários leões. Se uma fêmea decide caçar em grupo, sabe-se que a probabilidade de sucesso (captura e morte da zebra) por perseguição aumenta com o tamanho do grupo até certo ponto, e cada perseguição consome 0.5kg da leoa para gerar energia. Suponha que as probabilidades de sucesso na caçada sejam dadas por p(1)=0.15, p(2)=0.33, p(3)=0.37, p(4)=0.4, p(5)=0.42 e p(>=6)=0.43, onde p(n) representa a probabilidade de sucesso na captura quando o grupo tem n leoas. Formule este problema como um MDP onde o estado representa as reservas energéticas da leoa, as ações representam a decisão de caçar ou não (e com quantas outras leoas). Presuma que uma caçada por dia será feita, e que o objetivo da leoa é maximizar a probabilidade de sobrevivência por T dias. Presuma também que havendo uma captura as leoas dividem a carne igualmente. Além disso, por mais desagradável que seja, ignore os leões machos e filhotes (nenhuma parcela será dada a eles).

2 I n t e l i g ê n c i a A r t i f i c i a l 2 Solução A leoa faz suas decisões baseando-se em seu nível energético, distinguido por três níveis (sem_comida, comida_hoje, satisfeita 1 ). Esta tem a possibilidade de escolher entre não comer, caçar, e caçar em grupo de n outras leoas. Com isto, podese definir o conjunto de estados S e o conjunto de ações A(s), como: Por este ser um MDP finito, pode-se escrever as probabilidades de transição e recompensas esperadas como na Tabela 1. Algumas considerações formam levadas em conta no processo de modelagem, quais sejam: Considerando a média de biomassa de uma zebra, admitiu-se nesta modelagem que uma leoa ao se alimentar de uma zebra torna-se satisfeita. Esta condição é valida até 5 leoas. Para 6 ou mais, a probabilidade de uma leoa tornar-se satisfeita é prob_captura/(2*n) onde n é o número de leoas e prob_captura é a probabilidade de sucesso na captura de uma zebra. O 2 entra na conta, pois torna-se igualmente possível que a leoa torne-se satisfeita ou vá para o estado comida_hoje ; A pior recompensa para a leoa é -3. A recompensa 0 é aquela em que a ação não lhe ajuda e nem lhe prejudica. 1 O termo satisfeita indica que a leoa não agüenta mais comer.

3 I n t e l i g ê n c i a A r t i f i c i a l 3 Tabela 1 - Modelagem MDP do Problema da Leoa. sem_comida comida_hoje satisfeita caçar caçar2 caçar3 caçar4 caçar5 caçar6 caçar2 caçar3 caçar4 caçar5 caçar6 sem_comida 1-2 satisfeita 0 0 sem_comida 0,85-3 satisfeita 0,15 3 sem_comida 0,66-3 satisfeita 0,33 3 sem_comida 0,63-3 satisfeita 0,37 3 sem_comida 0,6-3 satisfeita 0,4 3 sem_comida 0,58-3 satisfeita 0,42 3 sem_comida 0,57-3 comida_hoje 0,43/2n 2 satisfeita 0,43/2n 3 sem_comida 0,5-3 comida_hoje 0,5 0 satisfeita 0 0 sem_comida 0,66-3 satisfeita 0,33 3 sem_comida 0,63-3 satisfeita 0,37 3 sem_comida 0,6-3 satisfeita 0,4 3 sem_comida 0,58-3 satisfeita 0,42 3 sem_comida 0,57-3 comida_hoje 0,43/2n 2 satisfeita 0,43/2n 3 sem_comida 0 0 satisfeita 1 0

4 I n t e l i g ê n c i a A r t i f i c i a l 4 Exercício 2 Uma zebra precisa andar periodicamente até um lago para tomar água. Há dois caminhos que ela pode escolher, e em ambos há o risco de ataque por leoas: em um dos caminhos as leoas atacam com mais frequência (70% do tempo), mas em grupos menores (entre 1 e 4); em outro caminho, leoas atacam menos freqüentemente (40% do tempo), mas em grupos maiores (entre 3 e 6, com igual probabilidade). Como as leoas não se expõem até o momento da perseguição, as zebras precisam observar o ambiente para tentar descobrir qual o melhor caminho, antes de fazer a escolha. As observações são: Outras zebras voltando por um ou por outro caminho, embora não sejam garantia alguma, são um forte indicativo de que aquele caminho está livre. 80% das vezes em que zebras são avistadas vindo por um caminho, este caminho está livre de leoas; Pegadas de leoa podem indicar que há leoas em um dos caminhos, mas a zebra não pode ter certeza de quando as pegadas foram produzidas. No entanto, ela pode ter uma idéia do tamanho do grupo que deixou as pegadas: 70% das vezes a zebra consegue determinar com exatidão o número de leoas que deixaram as pegadas. Outras 20% das vezes, erra por um o número de leoas. Nas outras 10% das vezes, erra por dois; A zebra sabe que 80% das vezes em que havia leoas em um dos caminhos, elas continuavam lá na vez seguinte. Formule este problema como um POMDP, ponto de vista da zebra. O óbvio objetivo dela é chegar com vida ao lago. Ela deve repetir esta decisão N vezes. Solução Seja S o conjunto de estados que representam os caminhos pelos quais as leoas podem estar. A é o conjunto de ações possíveis. Como sabe-se que em Caminho1 as leoas atacam 70% das vezes em grupos de até 4 leoas e em Caminho2 elas atacam 40% das vezes em grupos de 3 a 6 leoas tem-se Em função disto é possível definir as recompensas: O conjunto de observações Ω é dado por: Ω = { zebras voltando, pegadas, leoas no caminho} Com isto, ele nos fornece as probabilidades:

5 I n t e l i g ê n c i a A r t i f i c i a l 5 80% de chance de não haver leoa caso existam zebras voltando pelo caminho. 20% de chance de não haver leoa caso fossem observadas leoas no caminho. 70% de determinar o número de leoas caso seja possível observar as pegadas. 20% de errar por um o número de leoas caso seja possível observar as pegadas 10% de errar por dois o número de leoas caso seja possível observar as pegadas