Renato S. P. Coelho, Dra. Leliane Nunes de Barros

Transcrição

1 USO DO ERRO DE BELLMAN PARA ACELERAR A CONVERGÊNCIA DA PROGRAMAÇÃO DINÂMICA EM TEMPO REAL Renato S. P. Coelho, Dra. Leliane Nunes de Barros Pró Reitoria de Graduação USP Rua da Reitoria, Favo 22 - Cidade Universitária São Paulo SP Brasil Instituto de Matemática e Estatistica USP Rua do Matão, - Cidade Universitária São Paulo SP Brasil s: fena@cecm.usp.br, leliane@ime.usp.br Abstract The Labeled Real-Time Dynamic Programming (LRTDP) is one of the most known and most efficient algorithms used to solve Shortest Stochastic Path (SSP) problems. This paper reviews the SSP model and the LRTDP algorithm and shows a way to improve LRTDP s state selection. This new selection scheme speeds up LRTDP by favoring states on which the algorithm has few information. Keywords SSP, LRTDP, Bellman Error, Probabilistic Planning, Experimental Resumo O algoritmo Labeled Real-Time Dynamic Programming (LRTDP) é um dos algoritmos mais conhecidos e eficientes para a resolução de problemas de planejamento probabilístico em Inteligência Artificial modelados como Caminho estocástico mínimo. Após uma revisão do modelo e do algoritmo será introduzida uma nova técnica de escolha de estados que acelera o LRTDP ao privilegiar estados sobre os quais o algoritmo tem poucas informações. Keywords SSP, LRTDP, Erro de Bellman, Planejamento probabilístico, Experimental 1 Introdução Um problema de planejamento em Inteligência Artificial (IA) envolve a construção de um agente deve ser capaz de escolher um conjunto de ações que o leve a realizar um determinado objetivo (Russel e Norvig, 1995). Neste trabalho serão considerados problemas em que as ações do agente possuem efeitos probabilísticos e o objetivo é permitir que o agente, a partir de um estado inicial, alcance um estado do mundo que satisfaça uma dada propriedade, com o menor custo esperado. O modelo chamado Caminho estocástico mínimo (Shortest Stochastic Path - SSP) formaliza este tipo de problema, bem como induz a criação de algoritmos para a sua resolução (Barto et al., 1995; Geffner e Bonet, 2003). Um dos algoritmos mais conhecidos para a resolução de SSPs é o Labeled Real-Time Dynamic Programming (LRTDP) (Geffner e Bonet, 2003), que utiliza programação dinâmica assíncrona para avaliar os estados e escolher uma política ótima, ou seja, uma política que minimize o custo esperado dos caminhos entre o estado inicial e os estados finais (Barto et al., 1995). Para acelerar o processo de convergência para a política ótima, existem propostas para aprimorar o LRTDP avaliando quanta informação se tem sobre cada estado e privilegiando os estados sobre os quais se tem pouca informação, e.g. Bounded Real-Time Dynamic Programming (BRTDP) (McMahan et al., 2005) e Focused Real-Time Dynamic Programming (FRTDP) (Smith e Simmons, 2006). Entretanto, estas propostas são baseadas no cálculo de um limitante superior para o valor ótimo dos estados e este cálculo pode envolver um alto custo computacional (McMahan et al., 2005). Uma outra família de algoritmos que usa programação dinâmica assíncrona para resolver SSPs é a família do Prioritized Sweeping (Moore e Atkenson, 1993). Estes algoritmos utilizam o gradiente do valor dos estados para priorizar os estados que devem ser atualizados. Neste artigo será proposto um novo algoritmo (Gradient Oriented Labeled Real-Time Dynamic Programming - GRTDP) que aprimora o LRTDP combinando o com a idéia de privilegiar estados baseado no gradiente de sua função valor. A vantagem deste novo algoritmo é utilizar o gradiente do valor dos estados sem a necessidade de muitos cálculos adicionais. Esta maneira de escolher quais estados terão seus valores atualizado deve tornar as atualizações mais eficientes e, consequentemente, diminuir o número de atualizações e o tempo necessário para encontrar a política ótima em um SSP quando comparado com o LRTDP. Este artigo está organizado da seguinte maneira: na Seção 2 vamos descrever o modelo em que estamos interessados para o planejamento em IA (SSP) e alguns dos algoritmos usados para a sua resolução, na Seção 3 vamos propor um novo algoritmo para a resolução de SSPs que aprimora o LRTDP utilizando o gradiente do valor dos estados para escolher quais estados devem ser atualizados e na Seção 4 vamos comparar o novo algoritmo com o LRTDP em termos de eficiência e comportamento em qualquer instante.

2 2 Revisão Nesta seção, o modelo Caminho estocástico mínimo (SSP) será formalmente descrito, bem como o algoritmo Labeled Real-Time Dynamic Programming, que resolve SSPs. Também será feita uma breve descrição do algoritmo Bounded Real- Time Dynamic Programming e dos algoritmos da família do Prioritized Sweeping. 2.1 SSP - Shortest Stochastic Path O modelo SSP representa uma subclasse dos problemas que podem ser descritos como MDPs (Markov Decision Processes) (Puterman, 1994; Boutilier et al., 1999). Esta subclasse é particularmente interessante pela sua capacidade natural de modelar problemas de planejamento probabilístico. Além disso, permite um ganho computacional, já que uma solução para esses problemas só precisa estar definida para os estados relevantes. Ou seja, estados que podem ser alcançados a partir do estado inicial quando se utiliza a política gerada pelo agente. Os SSPs consideram que o tempo avança em intervalos discretos e que, em cada instante de tempo o agente deve realizar uma ação. Formalmente, o modelo pode ser descrito através das seguintes características (Bertsekas, 1995; Geffner e Bonet, 2003): Um conjunto discreto e finito de estados, S. Considera-se que os estados satisfazem a hipótese de Markov, isto é, cada estado contém toda a informação necessária para predizer os efeitos de todas as ações e eventos, independentemente de outras informações sobre o histórico do sistema (estados visitados e ações executadas no passado). Um estado inicial s 0 S 1. Um conjunto não vazio de estados meta,s G S. Um conjunto de ações A e subconjuntos A(s) A, para cada s S. Uma distribuição de probabilidades P ( s, a) sobre S para cada s S e a A(s), que descreve os efeitos das ações. Um custo não negativo, c(s, a) > 0 associado a cada par estado-ação. Os estados são totalmente observáveis. Dado este problema, o objetivo de um agente é criar uma política que o leve do estado inicial até algum estado final com o menor custo esperado, 1 O modelo e todos os algoritmos que aparecem neste artigo podem facilmente ser expandidos considerando-se um conjunto S 0 de estados iniciais. ou seja, com a menor média ponderada dos custos dos caminhos. Considerando este critério o valor de uma política ótima para um estado s, ou valor ótimo de um estado, pode ser dado por (Bellman, 1957): V (s) = min (c(a, s) + P (s s, a) V (s )) a A(s) s S (1) Como veremos a seguir, esta equação é a base para os algoritmo de programação dinâmica usados em planejamento probabilístico. 2.2 O algoritmo LRTDP O Labeled Real-Time Dynamic Programming (LRTDP) (Geffner e Bonet, 2003) faz simulações dos caminhos gerados a partir da execução da política gulosa enquanto a estimativa do valor dos estados nestes caminhos é melhorada. A idéia é parecida com um processo de treinamento. Isto é feito até que o valor ótimo (único ponto fixo da Equação 1 (Givan et al., 1997)) seja aproximado de maneira satisfatória. Para facilitar a computação as estimativas dos valores dos estados são guardadas em uma tabela, de acordo com os preceitos da programação dinâmica. Estas estimativas são sempre limitantes inferiores do valor ótimo dos estados. O algoritmo LRTDP é composto por duas rotinas principais que se alternam. A primeira é responsável por uma atualização assíncrona dos valores dos estados, enquanto a segunda é responsável por testar se o valor dos estados já está aproximado de uma maneira satisfatória. A primeira rotina (LRT DP T rial(), Algoritmo 1) parte do estado s 0 e simula a execução de uma política gulosa ao mesmo tempo em que calcula esta política, ou seja, para cada estado s alcançado, ela escolhe de maneira gulosa uma ação a de acordo com os valores armazenados para os estados. O próximo estado a ser atualizado será escolhido usando-se a distribuição de probabilidades P ( s, a), ou seja, se P (s s, a) = 0, 7 a probabilidade de que o estado s seja o próximo estado visitado pelo algoritmo é 0, 7. Com isso, a rotina privilegia os estados que influenciam mais na função valor. Quando o algoritmo encontra um estado pertencente a S G ou um estado já resolvido, isto é, um estado cujo valor já está aproximado de maneira satisfatória, ele chama a segunda rotina para cada um dos estados que foi visitado naquela simulação (por uma questão de eficiência, a rotina é chamada primeiro para os últimos estados visitados). A segunda rotina (checksolved(), Algoritmo 2) é responsável por testar se um estado s já está resolvido, isto é, se o seu valor já está aproximado de uma maneira satisfatória. Para isto, ela realiza uma busca em profundidade em todos os esta-

3 dos acessíveis a partir do estado s (utilizando-se a política gulosa) até os estados meta ou os estados que já estão marcados como resolvidos. Nesta busca, o valor de cada um dos estados é calculado e comparado com o valor armazenado para aquele estado. A diferença entre estes dois valores é chamada de erro de Bellman. Se, para algum estado visitado na busca em profundidade o erro de Bellman for maior do que um ɛ, dizemos que o estado s ainda não foi resolvido 2. Se durante a busca não for encontrado nenhum estado que tenha variado muito seu valor, o estado s e todos os estados alcançáveis a partir dele utilizando-se a política gulosa são marcados como resolvidos. É importante notar que não é possível criar uma fórmula fechada que relacione o valor de ɛ com a distância entre o valor final do estado marcado como resolvido e seu valor ótimo (Geffner e Bonet, 2003). Esta rotina é bastante importante para o algoritmo, pois ela é responsável por fazer com que os estados que têm pouca probabilidade de serem alcançados de acordo com a primeira rotina passem a ser visitados com mais frequência. A rotina LRT DP T rial() é chamada até que o estado inicial seja marcado como resolvido. Os Algoritmos 1 e 2 descrevem estas rotinas. Algoritmo 1: LRTDPTrial Entrada: s 0, epsilon. 1 s = s 0 2 visitado = pilhav azia 3 enquanto s.marcado = falso faça 4 visitado.push(s) 5 se s.meta = verdadeiro então break 6 a = s.acaogulosa() 7 s.update() 8 s = s.proximoestado() 9 enquanto visitado pilhav azia faça s = visitado.pop() se s.checksolved() = f also então break 2.3 BRTDP O algoritmo Bounded Real-Time Dynamic Programming (BRTDP) (McMahan et al., 2005) é similar ao LRTDP. A diferença é que o BRTDP também armazena uma estimativa que é um limitante superior do valor dos estados (V U ). Junto com a estimativa de limite inferior do LRTDP (V L ) o BRTDP é capaz de: (i) direcionar a escolha de estados para que o algoritmo priorize estados sobre os quais tem pouca informação, (ii) testar se um estado já convergiu simplesmente calculando se a diferença entre as duas heurísticas é menor 2 O valor ɛ deve ser dado como parâmetro do algoritmo. Algoritmo 2: checksolved Entrada: Um SSP, ɛ,s Saída: Verdadeiro se s tiver convergido, falso c.c. 1 resposta = verdadeiro 2 aberto = P ilhav azia 3 fechado = P ilhav azia 4 se s.m arcado então aberto.push(s) 5 enquanto aberto P ilhav azia faça 6 s = aberto.pop() 7 f echado.push(s) 8 se s.errodebellman(a) > ɛ então 9 resposta = falso continue //expande o estado a = s.acaogulosa() para todo s tal que P (s s, a) > 0 faça se s.marcado e Em(s, aberto f echado) então aberto.push(s ) fim para todo se resposta = verdadeiro então //marca os estados alcançáveis a partir da política gulosa para todo s fechado faça s.m arcado = verdadeiro fim para todo senão enquanto fechado P ilhav azia faça s = fechado.pop() s.update() Resultado: resposta do que a tolerância especificada. Com esta informação é possível determinar o quanto o valor de um estado está próximo de seu valor ótimo. Este algoritmo tem se mostrado muito eficiente, principalmente em domínios onde há muitas transições de baixa probabilidade, uma vez que o algoritmo poderia deixar de visitar muitos estados relevantes nestes domínios. Entretanto, o custo para calcular uma estimativa superior para o valor dos estados é muito alto e este cálculo pode fazer com que o BRTDP apresente um desempenho ruim para problemas grandes. O Algoritmo 3 mostra o pseudo-código da função princípal do BRTDP. Ela é chamada até que a diferença entre as duas heurísticas seja suficientemente pequena para o estado inicial. As funções State :: updatev U () e

4 Algoritmo 3: BRTDPTrial Entrada: s 0, τ. 1 s = s 0 2 visitado = pilhav azia 3 enquanto verdadeiro faça 4 visitado.push(s) 5 // V U é a estimativa superior para o valor dos estados e V L a estimativa inferior 6 V U (s) = s.updatev U () 7 a = s.greedyaction() 8 V L (s) = s.updatev L () 9 para todo s S faça b(s ) = (V U (s ) V L (s )) P (s s, a) fim para todo B = s S b(s ) se B < ((V U (s 0 ) V L (s 0 ))/τ) então break s é escolhido de acordo com a distribuição b(s )/B enquanto visitado pilhav azia faça s = visitado.pop() V U (s) = s.updatev U () V L (s) = s.updatev L () State :: updatev L () atualizam, respectivamente, as estimativas superiores e inferiores dos estados. A primeira devolve o valor da equação min a A(s) (c(a, s) + s S P (s s, a) V U (s)) e a segunda devolve o valor da equação min a A(s) (c(a, s) + s S P (s s, a) V L (s)). A ação gulosa é escolhida de acordo com V L. Segundo McMahan et al. (2005) o critério de parada das iterações (neste caso, B < ((V U (s 0 ) V L (s 0 ))/τ)) tem pouca influência no tempo de execução do algoritmo. 2.4 Prioritized Sweeping O algoritmo de Moore e Atkenson (1993) não foi originalmente proposto para ser utilizado em problemas de planejamento, mas sim em aprendizado computacional. Entretanto, novos algoritmos surgiram baseados nesta idéia, i.e. priorizar os estados segundo o erro de Bellman de seus sucessores. Exemplos destes algoritmos são os General Prioritized Solvers propostos por Wingate e Seppi (2005). Nestes algoritmos as iterações começam a partir de algum predecessor de um estado meta e toda vez que um estado é atualizado, e seu erro de Bellman é maior do que um dado valor, os seus predecessores são armazenados em uma lista de prioridades (a sua prioridade é calculada usando alguma métrica baseada no erro de Bellman). A lista de prioridades define qual o próximo estado a ser atualizado. Um algoritmo mais recente dessa família, Backward Value Iteration) (Dai e Hansen, 2007), propõe que não se use uma lista de prioridades, mas apenas uma lista. Todos os estados que são predecessores de estados que quando atualizados tem um erro de Bellman maior do que um dado ɛ são postos nessa lista. Uma das limitações destes algoritmos é assumir que a matriz de transição está completamente disponível e pode ser transposta facilmente. Ou seja, esses trabalhos assumem um modelo de estados descrito explicitamente. No entanto, esta suposição não deve ser feita quando se deseja resolver problemas grandes (principalmente quando o número de estados relevantes é pequeno em relação ao número total de estados). Essa suposição não é feita pelos algoritmos da família do RTDP (Algoritmos 1 e 3). Na próxima seção apresentaremos um algoritmo que combina as vantagens do LRTDP com a idéia do Prioritized Sweeping. 3 GRTDP A idéia do algoritmo proposto neste artigo (Gradient Oriented Labeled Real-Time Dynamic Programming - GRTDP) é modificar o LRTDP direcionando a escolha dos estados que devem ser atualizados privilegiando os estados sobre os quais o algoritmo tem poucas informações, de maneira similar a proposta do BRTDP. Para fazer isso sem muitas computações adicionais, ainda que utilizando um pouco mais de memória, o algoritmo utiliza o erro de Bellman (gradiente da função valor) na escolha dos estados. Esta mudança tem como objetivo melhorar a qualidade da informação utilizada nas próximas atualizações. No GRTDP, as funções utilizadas no LRTDP permanecem iguais, com exceção da função Estado :: proximoestado(), que passa a usar uma nova distribuição de probabilidades para a escolha dos estados. Esta nova distribuição de probabilidades é dada pelo valor normalizado de P (s s, a) E(s ), em que E(s ) é o erro de Bellman do estado s, armazenado na última vez em que o valor de s foi atualizado. Além disso, há uma mudança na função LRT DP T rial() para maximizar o fluxo de informações. Quando a função está checando se os estados convergiram e encontra um estado que ainda não convergiu ela para de testar a convergência dos estados visitados, mas continua atualizando seus valores. O Algoritmo 4 mostra a nova função GRT DP T rial(). A primeira alteração indica os estados sobre os quais o algoritmo tem pouca informação, ou tinha pouca informação até a última atualização e assim estes estados podem ser privilegiados. Com isso, as atualizações se tornam mais eficientes, uma vez que os próximos estados a serem atualizados utilizarão valores melhor aproximados. Esta maneira de medir quanta informação se tem sobre

5 Algoritmo 4: GRTDPTrial Entrada: s 0, epsilon. 1 s = s 0 2 visitado = pilhav azia 3 enquanto s.marcado = falso faça 4 visitado.push(s) 5 se s.meta = verdadeiro então break 6 a = s.acaogulosa() 7 s.update() 8 s = s.proximoestado() 9 flag = falso enquanto visitado pilhav azia faça s = visitado.pop() se flag = verdadeiro então s.update() senão se s.checksolved() = f also então flag = verdadeiro um estado não é tão precisa quanto a diferença entre as estimativas utilizada no BRTDP, mas é muito mais fácil de ser calculada. A segunda atualização permite que quando há uma mudança grande no valor de um estado (maior do que ɛ) essa informação seja propagada. 4 Resultados Para testar o desempenho do GRTDP frente ao LRTDP implementamos o GRTDP no sistema minigpt (Bonet e Geffner, 2005). Sistema usado pelos autores do LRTDP na competição International Planning Competition de 2004 (IPC 04). Esse sistema funciona em conjunto com o sistema mdpsim utilizado na competição para simular a execução das políticas devolvidas pelos planejadores. Testamos quatro problemas da competição, dois do famoso domínio blocksworld e dois do domínio schedule. Cada planejador resolveu os problemas 5 vezes e os resultados apresentados são a média do consumo de tempo gasto pelos planejadores. bw1 bw2 sc1 sc2 LRTDP 15456, ,8 8, ,4 GRTDP 8294,8 9505,8 77, ,4 % 53,66 67,66 60,28 82,04 Tabela 1: Consumo médio de tempo para a resolução dos quatro problemas usando a heurística atom-min-1-forward e ɛ = A última linha mostra a porcentagem do tempo gasto pelo GRTDP em relação ao tempo gasto pelo LRTDP. Na Tabela 1 podemos ver que o GRTDP foi bem mais rápido que o LRTDP para todas as instâncias consideradas (o GRTDP chegou a gastar 47% menos tempo). Com isso podemos perceber que a nova maneira de escolher quais estados devem ser atualizados proporciona resultados melhores e que, como ela exige pouco processamento o tempo gasto para calcular esta nova prioridade é compensado. Os problemas retirados do conjunto de testes do IPC 04 foram: bw (bw1 ), bw (bw2 ), a-schedule-problem4 (sc1 ) e a-scheduleproblem74 (sc2 ). Em todos os testes usamos a heurística atom-min-1-forward (Haslum and Geffner, 2000). Por falta de tempo não foi possível realizar uma implementação do BRTDP para comparálo diretamente com o GRTDP. Entretanto, podemos fazer uma comparação indireta, que, apesar de não ser muito precisa, pode nos indicar como o GRTDP se comporta em relação ao BRTDP. No artigo que apresenta o BRTDP (McMahan et al., 2005) podemos ver que o algoritmo é muito mais rápido que o LRTDP quando o domínio têm muitas transições de baixa probabilidade, já que o BRTDP pode não visitar todos os estados relevantes. No artigo foram feitos dois testes em domínios que não apresentam esta característica em um dos testes o BRTDP foi aproximadamente três vezes mais rápido que o LRTDP no outro teste o BRTDP foi aproximadamente três vezes mais lento que o LRTDP. Assim, como o GRTDP apresentou resultados consistentemente melhores que o LRTDP em todos os testes, vemos que os resultados são comparáveis aos resultados obtidos pelo BRTDP. 5 Conclusões Neste artigo foi proposta uma modificação do algoritmo LRTDP com relação a maneira de escolher os estados que devem ter seu valor atualizado e uma alteração no fluxo da informação. Os experimentos mostraram que estas alterações podem ter bastante influência na eficiência das atualizações e, consequentemente, no tempo necessário para resolver problemas de planejamento probabilístico modelados como SSPs. A maneira utilizada para medir quanta informação o algoritmo tem sobre os estados é particularmente interessante por não utilizar muitos recursos adicionais. Como trabalhos futuros pretendemos testar o GRTDP em outros domínios para garantir que as características observadas não dependem dos domínios testados, bem como fazer uma implementação do BRTDP para que uma comparação direta possa ser realizada e uma implementação de algum algoritmo da familia do Prioritized Sweeping, ambas no sistema minigpt. Esta pesquisa conta com o apoio da FAPESP através do processo 2008/

6 Referências Barto, A., Bradtke, S., Singh, S. (1995). Learning to act using real-time dynamic programming, Artificial Intelligence 72:81-8. Bellman, R.E. (1957), Dynamic Programming, Princeton University Press. Bertsekas, D. (1995), Dynamic Programming and Optimal Control. Athena Scientific. Bonet, B., Geffner, H. (2005), mgpt: A Probabilistic Planner Based on Heuristic Search, Journal of Artificial Intelligence Research 24: , AAAI Press. Smith, T., Simmons, R. (2006), Focused Real-Time Dynamic Programing for MDPs: Squeezing More Out of a Heuristic, Proceedings of the National Conference on Artificial Intelligence (AAAI), Boston MA. Wingate, D., Seppi, K. D. (2005), Prioritization Methods for Accelerating MDP Solvers, Journal of Machine Learning Research, Younes, H.L.S., Littman, M.L.(2003), PPDDL1.0: An extension to PDDL for expressing planning domains with probabilistic effects. Technical Report CMU-CS , Carnegie Mellon University. Boutilier, C., Dean, T., Hanks, S. (1999), Decision-Theoretic Planning: Structural Assumptions and Computational Leverage, Journal of Artificial Intelligence Research, Dai, P., Hansen, E. A. (2007), Prioritizing Bellman Backups Without a Priority Queue, International Conference on Automated Planning and Scheduling. Geffner, H., Bonet, B.(2003), Labeled RTDP: Improving the convergence of Real-Time Dynamic Programming, Proceedings of ICAPS Givan,R., Leach, S., Dean, T. (1997), Bounded Parameter Markov Decision Processes, Artificial Intelligence 2: Haslum, P., Geffner, H. (2000), Admissible Heuristic for Optimal Planning, Proceedings of the Artificial Intelligence Planning Systems 2000, McMahan, H.B., Likhachev, M., Gordon, G.J. (2005), Bounded real-time dynamic programming: RTDP with monotone upper bounds and performance guarantees, Proceedings of the 22nd international conference on Machine learning, Moore, A., Atkenson, C. (1993), Prioritized Sweeping: Reinforcement Learning with less data and less real time, Machine Learning Journal :3-0. Puterman, M. (1994), Markov Decision Processes - Discrete Stochastic Dynamic Programming, John Wiley and Sons, Inc.. Russell, S., Norvig, P. (1995), Artificial Intelligence: A Modern Approach, Prentice Hall Series in Artificial Intelligence, Englewood Cliffs, New Jersey.