Controle Ótimo - Aula 1 (Prova do Algoritmo da PD e Exemplo 1)

Transcrição

1 1 Controle Ótimo - Aula 1 (Prova do Algoritmo da PD e Exemplo 1) Adriano Almeida Gonçalves Siqueira e Marco H. Terra Algoritmo da Programação Dinâmica: Para cada condição inicial x 0, o custo ótimo J (x 0 ) do problema básico é igual a J 0 (x 0 ), o último passo do seguinte algoritmo que evolui de modo reverso no tempo de N 1 até 0 : Passo N: J N (x N ) := g N (x N ) para todo x N S k Passo k: J k (x k ) = min uk U k (x k ){E wk {g k (x k, u k, w k ) + J k+1 (f k (x k, u k, w k ))}}, k = N 1,..., 0 Passo 0: J (x 0 ) = J 0 (x 0 ) Se u k = µ k (x k) minimiza o lado direito da equação do passo k, a política π = {µ 0, µ 1,..., µ } é ótima Prova: (I) Notação: Para qualquer política admissível π = {µ 0, µ 1,..., µ } e para cada k = 0, 1,..., N 1 denote: Políticas de controle admissíveis do instante k ao instante final N: Distúrbios do instante k ao instante final N: π k := {µ k, µ k+1,..., µ } d k := {w k, w k+1,..., w } Custo ótimo para o problema que começa no estado x k =x k no instante k e termina no instante N: { } J k (x k) := min π ke d k g N (x N ) + i=k Custo ótimo para o problema que começa no estado x N no instante final N: J N (x N) := g N (x N ) (II) As funções de custo ótimas J k são exatamente as funções J k computadas pelo Algoritmo da Programação Dinâmica para todo k. Prova por indução: A hipótese de indução vale para N:

2 2 Segue pelas definições que J N = g N = J N. Suponha que a hipótese de indução valha para k + 1, ou seja, suponha que a função custo ótima J k+1 seja dada exatamente pela função J k+1 computada pelo Algoritmo da Programação Dinâmica, ou seja, temos J k+1 (x k+1) = J k+1 (x k+1 ), para todo x k+1 S k+1 Vamos mostrar que a hipótese é válida para k: Fixe x k S k e note que π k = {µ k, π k+1 } e d k = {w k, d k+1 }. Temos por definição: J k (x k ) :=min π ke dk {g N (x N ) + =min {µk,π k+1 }E {wk,d k+1 } { i=k } g k (x k, µ k (x k ), w k ) + g N (x N ) + i=k+1 Sendo a distribuição de w k independente da distribuição de d k+1 := {w k+1,..., w }, J k (x k) = min {µk,π k+1 }E wk {g k (x k, µ k (x k ), w k ) + E d k+1 [ g N (x N ) + i=k+1 Como o termo g k (x k, µ k (x k ), w k ) não depende da política de controle futura π k+1 J k (x k ) = min µk E wk {g k (x k, µ k (x k ), w k ) + min π k+1e d k+1 Segue da definição do custo ótimo a partir do instante k + 1 que [ g N (x N ) + i=k+1 J k (x k ) = min µk E wk { gk (x k, µ k (x k ), w k ) + J k+1 (f k (x k, µ k (x k ), w k )) } Sendo válida a hipótese para k + 1 J k (x k) = min µk E wk {g k (x k, µ k (x k ), w k ) + J k+1 (f k (x k, µ k (x k ), w k ))} } Sendo x k fixo, variar a função: µ k : S k U k (x k ), x k u k é o mesmo que variar u k, assim, ]} ]} J k (x k ) =min uk U k (x k )E wk {g k (x k, u k, w k ) + J k+1 (f k (x k, u k, w k ))} =J k (x k ) Exemplo1: Problema de Rota de Avião com gasto mínimo de combustível [Lewis p.294, ex 4.1-1] Um avião pode voar da esquerda para a direita ao longo dos caminhos mostrados na figura 1. As intercecções a,b,c,... representam cidades. Os números representam o combustível requerido para completar cada caminho (custo para cada instante g k (x k, u k )). A cada instante k pode-se decidir movimentarse para o próximo estágio k + 1 indo para cima (u k = +1), ou indo para baixo (u k = 1).

3 3 Fig. 1. Problema de Rota Ótima. O problema é determinar o caminho que o avião deve percorrer partindo de a e chegando a i com gasto mínimo de combustível. Vamos colocar o problema na forma padrão ([B95]p.10) 1) O estado corrente é o nó onde estamos fazendo a decisão corrente. Assim, o estado inicial é x 0 = a. No instante k = 1, o estado pode ser x 1 = b ou x 1 = d. Pela figura, o espaço de estados para cada instante k é dado por S 0 = {a}, S 1 = {b, d}, S 2 = {c, e, g}, S 3 = {f, h}, S 4 = {i} 2) A variável de decisão (controle) u k a ser selecionada no instante k pertence ao espaço C k = {+1, 1}. Note que o controle u k é retringido a tomar valores em um sub-conjunto U k (x k ) C k que depende do instante k e do valor corrente do estado x k. Por exemplo, para k = 2, x 2 = c e assim, temos U 2 (x 2 = c) = { 1} C 1 = {+1, 1}. 3) O sistema dinâmico x k+1 = f k (x k, u k ) pode ser dado de forma tabular pelos dados contidos na figura (por exemplo, é evidente que x 2 = c quando x 1 = b e u 1 = +1). 4) O custo a cada instante g k (x k, u k ) pode ser dado de forma tabular pelos dados contidos na figura (por exemplo, é evidente que g 2 (x 2 = b, u 2 = 1) = 2). Podemos determinar a rota ótima de x 0 = a para x N = i fazendo-se comparações com todos os possíveis caminhos u = (u 0,..., u ) de x 0 = a para x N = i conforme a expressão: J (x 0 = a) = min u=(u0,...,u ){g N (x N ) + A solução por este procedimento requer um grande número de cálculos. k=0 g k (x k, u k )} Baseados no princípio de otimalidade de Bellman, vamos aplicar o algorítmo da Programação Dinâmica para reduzir o número de cálculos necessários (por restringir o número de decisões a serem tomadas).

4 4 Comece com k = N = 4. Nenhuma decisão é necessária aqui. Assim, J 4 (x 4 = i) = g 4 (x 4 = i) = 0. k = N 1 = 3 O espaço de estados é S 3 = {f, h}. Se x 3 = f o custo ótimo é e a lei de controle ótimo é J 3 (x 3 = f) =min u3 U 3 (x 3 =f){g 3 (x 3 = f, u 3 ) + J 4 (f 3 (x 3 = f, u 3 ))} =g 3 (x 3 = f, u 3 = 1) = 4 µ 3 (x 3 = f) =arg{min u3 U 3 (x 3 =f){g 3 (x 3 = f, u 3 ) + J 4 (f 3 (x 3 = f, u 3 ))}} = 1 Se x 3 = h o custo ótimo é J 3 (x 3 = h) =min u3 U 3 (x 3 =h){g 3 (x 3 = h, u 3 ) + J 4 (f 3 (x 3 = h, u 3 ))} =g 3 (x 3 = h, u 3 = 1) = 4 e a lei de controle ótimo é µ 3 (x 3 = h) = 1. Assim, a função J 3 : S 3 R + e a lei de controle admissível µ 3 : S 3 C 3 são dados pela tabela x 3 J 3 (x 3 ) µ 3 (x 3 ) f 4 1 h 2 +1 k = 2 O espaço de estados é S 2 = {c, e, g}. Se x 2 = c o custo ótimo é J 2 (x 2 = c) =min u2 U 2 (x 2 =c){g 2 (x 2 = c, u 2 ) + J 3 (f 2 (x 2 = c, u 2 ))} e a lei de controle ótimo é µ 2 (x 2 = c) = 1. Se x 2 = e o custo ótimo é =g 2 (x 2 = c, u 2 = 1) + J 3 (f) = = 7

5 5 J 2 (x 2 = e) =min u2 U 2 (x 2 =e){g 2 (x 2 = e, u 2 ) + J 3 (f 2 (x 2 = e, u 2 ))} =min{g 2 (x 2 = e, u 2 = 1) + J 3 (f 2 (x 2 = e, u 2 = 1)), g 2 (x 2 = e, u 2 = 1) + J 3 (f 2 (x 2 = e, u 2 = 1))} =min{g 2 (x 2 = e, u 2 = 1) + J 3 (f), g 2 (x 2 = e, u 2 = 1) + J 3 (h)} =min{3 + 4, 2 + 2} = 4 e a lei de controle ótimo é µ 2 (x 2 = e) = 1. Se x 2 = g o custo ótimo é J 2 (x 2 = g) =min u2 U 2 (x 2 =g){g 2 (x 2 = g, u 2 ) + J 3 (f 2 (x 2 = g, u 2 ))} e a lei de controle ótimo é µ 2 (x 2 = g) = +1. =g 2 (x 2 = g, u 2 = 1) + J 3 (h) = = 6 Assim, a função J 2 : S 2 R + e a lei de controle admissível µ 2 : S 2 C 2 são dados pela tabela x 2 J 2 (x 2 ) µ 2 (x 2) c 7 1 e 4 1 g 6 +1 k = 1 O espaço de estados é S 1 = {b, d}. Se x 1 = b o custo ótimo é J 1 (x 1 = b) =min u1 U 1 (x 1 =b){g 1 (x 1 = b, u 1 ) + J 2 (f 1 (x 1 = b, u 1 ))} =min{g 1 (x 1 = b, u 1 = 1) + J 2 (f 1 (x 1 = b, u 1 = 1)), g 1 (x 1 = b, u 1 = 1) + J 2 (f 1 (x 1 = b, u 1 = 1))} =min{g 1 (x 1 = b, u 1 = 1) + J 2 (c), g 1 (x 1 = b, u 1 = 1) + J 2 (e)} =min{2 + 7, 1 + 4} = 5 e a lei de controle ótimo é µ 1 (x 1 = b) = 1. Se x 1 = d o custo ótimo é J 1 (x 1 = d) =min u1 U 1 (x 1 =d){g 1 (x 1 = d, u 1 ) + J 2 (f 1 (x 1 = d, u 1 ))} =min{g 1 (x 1 = d, u 1 = 1) + J 2 (e), g 1 (x 1 = d, u 1 = 1) + J 2 (g)} =min{3 + 4, 2 + 6} = 7 e a lei de controle ótimo é µ 1 (x 1 = d) = +1. Assim, a função J 1 : S 1 R + e a lei de controle admissível µ 1 : S 1 C 1 são dados pela tabela

6 6 x 1 J 1 (x 1 ) µ 1 (x 1) b 5 1 d 7 +1 k = 0 O espaço de estados é S 0 = {a}. O custo ótimo é J 0 (x 0 = a) =min u0 U 0 (x 0 =a){g 0 (x 0 = a, u 0 ) + J 1 (f 0 (x 0 = a, u 0 ))} =min{g 0 (x 0 = a, u 0 = 1) + J 1 (b), g 0 (x 0 = a, u 0 = 1) + J 1 (d)} =min{3 + 5, 1 + 7} = 8 e a lei de controle ótimo não é única e podemos fazer µ 1 0 (x 0 = a) = +1 ou µ 2 0 (x 0 = a) = 1. Assim, pelo algoritmo da programação dinâmica chegamos à solução ótima do problema original J (x 0 = a) = J 0 (x 0 = a) = 8 e temos duas políticas (leis de realimentação) ótimas π i = {µ i 0, µ 1, µ 2, µ 3 } Em particular, percorrendo a partir de x 0 = a pela política ótima obtemos um sinal de controle ótimo em malha aberta e a correspondente trajetória ótima u = ( u 0,..., u ) = (u 0, u 1, u 2, u 3) = (+1, 1, 1, +1) x = (a, b, e, h, i) Para o outro sinal de controle ótimo em malha aberta e a correspondente trajetória ótima u = (u 0, u 1, u 2, u 3 ) = ( 1, +1, 1, +1) x = (a, d, e, h, i)