IA - Planejamento II

Transcrição

1 PO IA - Planejamento II Professor Paulo Gurgel Pinheiro MC906A - Inteligência Articial Instituto de Computação Universidade Estadual de Campinas - UNICAMP 16 de Novembro de / 48

2 PO pinheiro/ [MC906] 2 / 48

3 PO O que vamos aprender hoje? PO 3 / 48

4 PO 4 / 48

5 PO Políticas Markovianas e Não-Markovianas Políticas Markovianas Utiliza suposição de Markov de que a escolha da ação só depende do estado atual. Não precisa de um histórico para denir suas escolhas Políticas Não-Markovianas Regras de decisão são denidas por um histórico de ações e estados passados π : H A, em que H é o conjunto de históricos observáveis e A a ação selecionada. 5 / 48

6 PO Política total ou parcial Política Total permite que cada uma das ações, existentes no modelo, possa ser realizada em todos os estados do sistema. Política Parcial apenas algumas das ações podem ser executadas em determinados estados. corresponde às precondições existentes em modelos de planejamento clássico. outra forma de criar precondições é manipulando as recompensas oferecidas aos agentes quando uma determinada ação a é executada em um estado 6 / 48

7 PO Política estacionária e não estacionária Política estacionária É aquela em que a denição da melhor ação é independente do momento da decisão. Política não estacionária Dene que a ação tomada depende da época de decisão. Poderá existir momentos de decisão em que a ação tomada não será ótima considerando todo o conjunto de ações. 7 / 48

8 PO Política determinística e não determinística Política determinística uma ação realizada sobre um estado s n gera uma mudança para outro estado s m. neste caso, somente esta ação é capaz de realizar esta transição. Política não determinística um conjunto de ações é capaz de realizar a mudança de um estado a outro. para cada ação, é denida uma probabilidade de ser selecionada. 8 / 48

9 PO Markov Decision Process - 9 / 48

10 PO Markov Decision Process - modelo que permite representar um sistema em que as transições de estado são probabilísticas e dependentes de eventos ocorridos. um evento é qualquer ação que modique o estado atual de um sistema. um tipo de evento é a própria ação realizada por um robô 10 / 48

11 PO Markov Decision Process - cada agente sabe qual ação deve executar em um determinado momento cada ação é capaz de modicar o estado do sistema. um estado dene como o sistema se encontra. 's trabalham com funções de transição entre esses estados. Planejamento orientado a recompensas. 11 / 48

12 PO Markov Decision Process - Esse é um processo de decisão Markoviano, pois utiliza a Propriedade de Markov: o próximo estado s' depende apenas do estado atual s e da ação a ser executada. que diz que o efeito de uma ação só tem relação com a última ação realizada e o estado atual do sistema. as ações realizadas anteriormente serviram para levar o sistema até o estado atual, porém não interferem na decisão de transição para o próximo estado. 12 / 48

13 PO Markov Decision Process - Denição 1 Um Processo de Decisão de Markov () é denido por uma tupla S, A, T, R, em que: S é o conjunto de todos os estados possíveis do sistema; A é o conjunto de todas as ações que um agente pode realizar sobre o sistema; T : S A S [0, 1] é a função de transição entre estados; R : S A R é a função de recompensa de executar uma ação em um dado estado. 13 / 48

14 PO Representando ações Ações determinísticas T : S A S Para cada estado e ação especica-se um outro estado. Ações estocásticas T : S A Prob(S) Para cada estado e ação, especica-se uma distribuição de probabilidades sobre os próximos estados. representado por P(s s, a) 14 / 48

15 PO Representando ações 15 / 48

16 PO Mudança de estados Em um o sistema começa em um estado e a cada evento disparado este estado é alterado. Nem sempre o estado muda (ação retorna para o mesmo estado). Mudando ou não, uma recompensa é associada. Estados são fotos do sistema quantos mais estados o sistema tiver, mais especíco poderá ser a indicação do ponto em que o sistema se encontra. tradeo com o custo computacional. 16 / 48

17 PO Representando soluções Uma política π é um mapeamento de S para A 17 / 48

18 PO Representando soluções Seguindo a política π 1 Determinar o estado corrente s 2 Executar a ação π(s) 3 Voltar ao passo 1. Assumimos que é completamente observável: o novo estado resultado da ação executada será conhecido pelo sistema. as observações que tenho do estado não variam. 18 / 48

19 PO Avaliando uma política Quao boa é a política π no estado s? Para ações determinísticas calcula-se o total da recompensa obtida. Para ações estocásticas, calcula-se a recompensa estimada 19 / 48

20 PO Funcionamento 1 O agente verica o estado atual do sistema 2 A política seleciona qual a melhor ação a ser executada 3 Essa ação possivelmente altera o sistema 4 Esse novo estado serve de entrada para a política Políticas : sequência de regras de decisão: {d 0, d 1...d k 1} 20 / 48

21 PO Desaos Quantidade de estados: Dependendo da quantidade de ações e estados do problema modelado, as políticas podem apresentar um custo computacional elevado para serem geradas. Uma das alternativas para esse tipo de problema é a aplicação das suposições Markovianas. 21 / 48

22 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO 22 / 48

23 PO Funcionamento de um PO Representação de uma política PO PO Partially Observable Markov Decision Process - PO Em vários problemas nem sempre é possível determinar em que estado está o sistema. No, o estado é sempre conhecido, o que muda é a probabilidade de IR para um ou outro. Muitas vezes isso não corresponde a realidade de um problema: visão computacional, navegação de robôs autônomos, diagnósticos médicos e controle de veículos Um PO (Processo de Decisão de Markov Parcialmente Observável) é uma generalização capaz de representar problemas sob condições de incertezas, ou seja, quando o estado do sistema não é conhecido. 23 / 48

24 PO Funcionamento de um PO Representação de uma política PO PO Partially Observable Markov Decision Process - PO Não sabendo o estado inicial do sistema, o PO dene para cada estado uma probabilidade. Essa distribuição de probabilidades é utilizada para denir a próxima ação a ser escolhida Exemplo: tenho 80% de probabilidade de estar no estado s 1 e apenas 2% de estar em s 2. Para a política, devo tomar a ação assumindo que estou em s 1 ou s 2? Como não se sabe o estado inicial do sistema: um modelo de observações é utilizado. observações do ambiente ajudam a denir ou a pelo menos estimar o estado atual. 24 / 48

25 PO Funcionamento de um PO Representação de uma política PO PO Partially Observable Markov Decision Process - PO Denição 2 Um PO é uma tupla formada por S, A, T, R, W, O, em que: S é o conjunto de todos os estados possíveis do sistema; A é o conjunto de todas as ações que podem ser realizadas pelo agente; T : S A S [0, 1] é a função de transição. T dene a probabilidade de, ao executar ação a no estado s, passar para o estado s, em que a A e s, s S; R : S A R é a função de recompensa. Dene a recompensa de tomar uma decisão a quando se estar no estado s; W é o conjunto nito de todas as observações que podem ser obtidas no sistema em qualquer instante de tempo; O : S A W [0, 1] é a tabela de probabilidades de observação, que dene a probabilidade de uma observação ser vericada, dado um estado s e uma última ação a realizada. 25 / 48

26 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Exemplo 1 Uma pessoa no alto de uma montanha precisa atravessar um precipício e chegar a salvo na montanha vizinha. Entre as duas montanhas existem duas pontes. A pessoa sabe que uma das pontes a levará a salvo para o outro lado, enquanto a outra não suportará o seu peso ao tentar atravessá-la. Neste exemplo, a pessoa pode realizar qualquer uma das ações disponíveis: Atravessar a ponte da direita; Atravessar a ponte da esquerda; Observar a ponte. 26 / 48

27 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Exemplo 1 Este é um típico exemplo de uma situação em que o estado atual do sistema não é conhecido. A pessoa não sabe qual ponte irá aguentá-lo No entanto, ao observar a ponte, é possível procurar por elementos que o façam tomar a melhor decisão: a consistência do material, a integridade da estrutura, e o comportamento da mesma no ambiente. Após a primeira observação, o agente seleciona com uma certa probabilidade, qual ponte é a segura. 27 / 48

28 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Exemplo 1 Caso não esteja satisfeito com a distribuição de probabilidades: 1 ele volta a observar novamente 2 redene a distribuição de probabilidades 3 escolhe qual ação tomar. 28 / 48

29 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Exemplo 1- Modelando o exemplo S: formado pelos estados possíveis do sistema: ponte_frágil_a_direita ponte_frágil_a_esquerda A: as ações disponíveis: atravessar_direita,atravessar_esquerda, observar ; R: recompensas ou custos por efetuar uma ação. Por exemplo, escolher a ponte frágil garantiria uma recompensa de 10, enquanto escolher a ponte segura, a recompensa seria de +10. A observação pode ter um custo também de, por exemplo, 1 para cada ação de observar. 29 / 48

30 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Exemplo 1- Modelando o exemplo W : duas observações são possíveis de se realizar: ponte_frágil_a_direita e ponte_frágil_a_esquerda; O: dene a probabilidade de ter uma observação em um determinado estado. Se o modelo de observações for determinístico, tem-se que, ao observar uma ponte e constatar a observação ponte_frágil_a_direita, então a ponte frágil encontra-se a direita. No entanto, observações podem ser passíveis de ruído, falhas, o que em geral não garantem o determinismo da situação. O:ponte_frágil_a_direita:0.8 O:ponte_frágil_a_esquerda: / 48

31 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Exemplo 1 - Modelando o exemplo T : S A S [0, 1] é a função de transição entre estados: Exemplo: Não é necessário função de transição, pois é um problema decisório entre dois estados 31 / 48

32 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Exemplo 2 Um poupador está em um determinado estado do ambiente. Ele pode realizar as ações de andar ao norte, sul, leste oeste. As células se distinguem em obstáculos e células livre. Monte uma determinada situação em que ao seu redor possuam células dos dois tipos. O agente deve realizar uma ação nessa situação. Modele este problema em um PO. Quais seriam as ações possíveis? Quais os estados do problema? Dado a situação do agente no ambiente, quais as funções de transição? Quais as observações que podem ser feitas? E quais as probabilidades de receber essas observações? Quais recompensas seriam estipuladas? 32 / 48

33 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Funcionamento de um PO - Distribuição de probabilidades PO trata incertezas. Não sabemos ao certo em que estado estamos. Portanto agora temos uma nuvem de probabilidade. essa distribuição de probabilidades indica a probabilidade de estar em um estado s em um instante t. No início, a probabilidade é igual para todos os estados. Exemplo: um mundo com 100 estados, a distribuição é de possui 1% para cada estado. Ações e observações adquiridas alteram essa distribuição. 33 / 48

34 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Funcionamento de um PO Gerador de crenças especica a nova distribuição de probabilidades. 34 / 48

35 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Funcionamento de um PO O gerador de crenças dene o próximo estado de crença, orientando-se pela última ação executada a, última observação o e o estado de crença anterior (b a 1). Com essas informações, é possível calcular a probabilidade de estar em um estado s dado que uma ação a foi realizada. p(s s, a)b(s ), (1) s S em que s, s S e a A. 35 / 48

36 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Funcionamento de um PO função de recompensa ρ utilizando as probabilidades que cada estado possui, é possível calcular a esperança de recompensa de cada ação: ρ(b, a) = s S b(s)r(s, a), (2) 36 / 48

37 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Funcionamento de um PO - distribuição de probabilidades (cont) As informações geradas no gerador de crenças dependem da: primeira distribuição de probabilidade da ação realizada das observações adquiridas. Bel = (b 0 ), em que b 0 é a primeira distribuição de probabilidades. 37 / 48

38 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Funcionamento de um PO - distribuição de probabilidades (cont) A primeira ação executada gera uma primeira observação. Essas duas informações são anexadas à informação de crença a anterior, cando: Bel = (b 0, a 1, o 1 ). A cada nova ação e observação obtidas, a informação de crença vai sendo atualizada com esses pares. No período t, a informação de crença será: Bel = (b 0, a 1, o 1,..., a t 1, o t 1 ). 38 / 48

39 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO PO - Políticas No entanto, tais políticas podem ser totalmente Markovianas e não levar em consideração o histórico de crenças, ações e observações passadas. Uma política PO é um conjunto de regras de decisão: π = {d 0, d 1, d 2,...d k 1} Uma política PO é ótima se a sua função valor é ótima, conseguindo aumentar o grau de recompensa ao máximo. A função de recompensa é denida por Q, em que se considera a ação executada a, o estado de crença bel, o valor da recompensa antes e depois da realização de a. π (s) = argmaxq (bel, a), (3) 39 / 48

40 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Representação de uma política autômato nito hiperplanos 40 / 48

41 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Representação de uma política Autômatos nitos: tipo de representação é a utilizada pelo pomdp-solve cada nó representa um estado que, por sua vez, está associado a uma ação a ser realizada; cada aresta representa uma observação que leva a um novo estado. 41 / 48

42 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Representação de uma política - Hiperplanos Hiperplanos Nesta representação, para cada ação é denido um conjunto de vetores. Cada vetor determina o valor da recompensa que seria recebido caso a ação fosse executada naquele determinado estado. O valor da recompensa é calculado usando: o vetor α da ação e o estado de crença p. A multiplicação do vetor pelo estado de crença dene o valor de recompensa esperado. V (b) = max p(s)α(s) (4) 42 / 48

43 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Representação de uma política - Hiperplanos (cont.) Um hiperplano dene o valor de uma ação, sendo a ação ótima representada por um hiperplano que se sobressai aos demais. Assume-se que o estado de crença p(s), pode variar de 0 a / 48

44 PO Funcionamento de um PO Representação de uma política PO Partially Observable Markov Decision Process - PO Representação de uma política - Hiperplanos (cont.) Qual a ação ótima? denida pelo vetor que se sobressai aos demais dependendo do estado de crença. No exemplo do hiperplano anterior: As ações representadas pelos vetores, α 3 e α 4, nunca se sobressaem não sendo, assim, ações ótimas em nenhuma variação do estado de crença. O vetor α 1 representa a ação ótima sempre que o estado de crença associado tiver valor p(s 0 ) 0.7. Já o vetor α 2 representa a ação ótima sempre que 0.3 p(s 1 ) 0.7. Toda vez que p(s 1 ) 0.3, o vetor α 5 representará a ação ótima a ser tomada. 44 / 48

45 PO Funcionamento de um PO Representação de uma política PO e PO Tópicos conclusivos importantes trata o não determinismo das ações é orientado a recompensas Em todos os estados são conhecidos mesmo que a função de transição seja probabilística. 45 / 48

46 PO Funcionamento de um PO Representação de uma política PO e PO Tópicos conclusivos importantes No PO, os estados podem não ser conhecidos. Portanto, é denida uma distribuição de probabilidades, onde cada estado possui uma chance de ser o atual. Como os estados podem ser desconhecidos, utilizam-se observações que ajudam a denir em que estado o sistema está. Observações, probabilidades de observações e distribuição de probabilidades são aspectos relevantes de um PO. 46 / 48

47 PO Funcionamento de um PO Representação de uma política PO e PO Tópicos conclusivos importantes Tanto em e PO: Uma vez modelado o problema e geradas as políticas, os experimentos podem ser executados em um simulador ou aplicado ao mundo real. O simulador deve ser independente quanto ao tipo de problema e mecanismo de planejamento utilizado. 47 / 48

48 PO Funcionamento de um PO Representação de uma política PO Paulo Pinheiro 48 / 48