Controle Ótimo - Aula 8 Equação de Hamilton-Jacobi

Transcrição

1 Controle Ótimo - Aula 8 Equação de Hamilton-Jacobi Adriano A. G. Siqueira e Marco H. Terra Departamento de Engenharia Elétrica Universidade de São Paulo - São Carlos

2 O problema de controle ótimo Considere um sistema contínuo ẋ (t) = f (x (t), u (t)), 0 t T com x (0) = x 0 dado, u (t) U, 0 t T e um funcional custo associado da forma h (x (T )) + T 0 g (x (t), u (t)) dt O problema de controle ótimo consiste em determinar uma lei de controle (denominada lei de controle ótima) {u (t) : t [0, T ]} que aplicada ao sistema, minimize o funcional custo.

3 Equação de Hamilton-Jacobi-Bellman Usando o princípio de otimalidade de Bellman, podemos determinar uma condição necessária em forma de equação diferencial parcial, que a solução ótima deve satisfazer. Equação de Hamilton-Jacobi-Bellman O uso da princípio da otimalidade para derivar a equação de Hamilton-Jacobi-Bellman é referido como Abordagem da Programação Dinâmica

4 Equação de Hamilton-Jacobi-Bellman Aplicação da Programação Dinâmica na aproximação discreta do problema de controle ótimo contínuo Divisão do horizonte de tempo [0, T ] em N partes, usando o intervalo de discretização δ = T N Denote: x k = x(kδ) e u k = u(kδ) k = 0, 1,..., N Aproximação da equação dinâmica contínua x k+1 = x k + f(x k, u k )δ

5 Equação de Hamilton-Jacobi-Bellman Função custo h (x N ) + N 1 k=0 g (x k, u k ) δ Sejam J (t, x): custo ótimo no tempo t e estado x para o problema contínuo J (t, x): custo ótimo no tempo t e estado x para a aproximação discreta

6 Algoritmo da Programação Dinâmica J (Nδ, x) = h(x) Equação de Hamilton-Jacobi-Bellman J (kδ, x) = min u U [g(x, u)δ + J ((k + 1)δ, x + f(x, u)δ)] k = 0,..., N 1 Assumindo que J é diferenciável, vamos expandí-lo em série de Taylor de primeira ordem J ((k + 1)δ, x + f(x, u)δ) = J (kδ, x) + t J (kδ, x)δ + x J (kδ, x) T f(x, u)δ + o(δ) t : derivada parcial com relação a t e x : vetor coluna n-dimensional de derivadas parciais com relação a x

7 Equação de Hamilton-Jacobi-Bellman Substituindo no algoritmo da PD J (kδ, x) = min u U [g(x, u)δ + J (kδ, x) + t J (kδ, x)δ + x J (kδ, x) T f(x, u)δ + o(δ)] Cancelando J (kδ, x) dos dois lados, dividindo por δ, fazendo o limite δ 0 e assumindo lim k,δ 0,kδ=t J (kδ, x) = J (t, x) para todo t, x.

8 Equação de Hamilton-Jacobi-Bellman Temos: 0 = min u U [g(x, u) + t J (t, x) + x J (t, x) T f(x, u)] com condição limite J (T, x) = h(x). Equação de Hamilton-Jacobi-Bellman

9 Proposição 2.1, p.93 Seja V (t, x) uma solução da equação de Hamilton-Jacobi-Bellman, ou seja, V é continuamente diferenciável em (t, x) e é tal que 0 = min u U [g(x, u) + t V (t, x) + x V (t, x) T f(x, u)] com condição limite V (T, x) = h(x). Suponha que µ (t, x) resolve o problema de mínimo acima para todo (t, x) Seja {x (t) t [0, T ]} a trajetória de estados do sistema quando o controle u (t) = µ (t, x (t)) é aplicado e a condição inicial é x(0).

10 Proposição 2.1, p.93 Suponha que {u (t) : t [0, T ]} seja admissível (contínua por partes em t e contida em U). Então V (t, x) é a única solução da equação de HJB e é igual à função ótima, ou seja, V (t, x) = J (t, x), (t, x) Além disso, a lei de controle {u (t) : t [0, T ]} é ótima e a trajetória de estados ótima é {x (t) : t [0, T ]}.

11 Proposição 2.1, p.93 Prova: Primeiramente, pela definição de u e pela Eq. de HJB, note que as trajetórias {x (t) : t [0, T ]} e {u (t) : t [0, T ]} são tais que g (x (t), u (t)) + t V (t, x (t)) + x V (t, x (t)) T f (x (t), u (t)) = 0, t [0, T ] e para qualquer outra trajetória admissível {u a (t) : t [0, T ]} com a correspondente trajetória {x a (t) : t [0, T ]} temos c a (t) := g (x a (t), u a (t)) + t V (t, x a (t)) + x V (t, x a (t)) T f (x a (t), u a (t)) 0, t [0, T ]

12 Proposição 2.1, p.93 Como x a (t) e u a (t) satisfazem a equação do sistema ẋ a (t) = f (x a (t), u a (t)), x a (0) = x 0, pela regra da cadeia, c a (t) = g (x a (t), u a (t)) + d dt (V (t, x a (t))) 0 sendo d a derivada total com relação a t. Integrando em t de 0 a T dt obtemos T g (x 0 a (t), u a (t)) dt + V (T, x a (T )) V (0, x a (0)) 0

13 Proposição 2.1, p.93 Como a função V (t, x) satisfaz a condição terminal e como por hipótese x a (0) = x 0, temos que para qualquer trajetória de controle admisível vale V (0, x 0 ) h (x a (T )) + T 0 g (x a (t), u a (t)) dt Em particular, para a trajetória u (t) temos V (0, x 0 ) = h (x (T )) + T 0 g (x (t), u (t)) dt h (x a (T )) + T 0 g (x a (t), u a (t)) dt Ou seja, o custo para u (t) é V (0, x 0 ) e não é maior que qualquer outra política admissível u a (t).

14 Proposição 2.1, p.93 Segue que u (t) é ótimo e V (0, x 0 ) = J (0, x 0 ) O procedimento anterior pode ser aplicado para qualquer tempo inicial t [0, T ] e qualquer estado inicial x, Então V (t, x) = J (t, x), t, x

15 Exemplo 2.1, p. 94 Considere o sistema escalar ẋ (t) = u (t), t [0, T ] com a restrição u (t) 1, para todo t [0, T ]. Deternine o u(t) ótimo que minimiza o custo 1 2 x2 (T )

16 Exemplo 2.1, p. 94 Solução: A equação de HJB é 0 = min u(t) 1 [ t V (t, x) + x V (t, x) T u] com condição final V (T, x) = 1 2 x2. Vamos inicialmente considerar uma interpretação intuitiva do problema proposto. A equação ẋ (t) = u (t) nos diz que temos controle sobre a derivada de x, ou seja, podemos escolher a inclinação da curva x (t).

17 Exemplo 2.1, p. 94 O custo total 1 2 x2 (T ) nos fornece a distância normalizada do ponto final x (T ) em relação ao eixo horizontal. Assim, o problema proposto consiste em determinar a melhor inclinação a cada instante de tal forma a minimizar a distância do ponto final ao eixo horizontal, ou seja, fazer x(t ) o mais próximo possível de 0. Uma candidata natural para estratégia ótima de ação a cada instante é mover o estado para zero o mais rápido possível e caso atinja o zero, permanecer em zero.

18 Exemplo 2.1, p. 94 Assuma a política de controle candidata: 1 se x < 0 µ c (t, x) = sgn(x) = 0 se x = 0 1 se x > 0 Vamos calcular a função custo associada à política de controle candidata. (i) Para x (t 0 ) = 0 temos como política de controle candidata {u c (t) = 0 para todo t [t 0, T ]} Assim, x c (t) = 0 para todo t [t 0, T ], e J (t 0, x 0 = 0) = 0

19 Exemplo 2.1, p. 94 (ii) Para x (t 0 ) = x 0 > 0 temos u c (t) = 1 para t em algum intervalo [t 0, t 1 ]. Como neste intervalo, ẋ (t) = 1, temos x (t 1 ) = x (t 0 ) t 1 t 0 1dt = x 0 t 1 + t 0 Note que a ação u c (t) = 1 deve permanecer até o instante t = t 1, enquanto valer x 0 t 1 + t 0 > 0

20 Exemplo 2.1, p. 94 Assim, para x 0 T t 0, temos u c (t) = 1 em todo o intervalo [t 0, T ]. Neste caso, x (T ) = x 0 (T t 0 ) e o custo associado é J (t 0, x 0 ) = 1 2 x2 (T ) = 1 2 [x 0 (T t 0 )] 2 Para x 0 < T t 0, existe t 1 = x 0 + t 0 < T para qual x (t 1 ) = 0. A partir deste instante fazemos u c (t) = 0 para todo t [t 1, T ] e obtemos x (T ) = 0. Neste caso, o custo associado é J (t 0, x 0 ) = 0. Resumindo temos: { se x 0 > 0 então 1 (1) J (t 0, x 0 ) = [x 2 0 (T t 0 )] 2 se x 0 T t 0 0 se 0 x 0 T t 0

21 Exemplo 2.1, p. 94 (iii) Para x (t 0 ) = x 0 < 0 temos u c (t) = 1 para t em algum intervalo [t 0, t 2 ]. Como neste intervalo, ẋ (t) = 1, temos x (t 2 ) = x (t 0 ) + t 2 t 0 1dt = x 0 + t 2 t 0 Note que a ação u c (t) = 1 deve permanecer até o instante t = t 2, enquanto valer x 0 + t 2 t 0 < 0

22 Exemplo 2.1, p. 94 Assim, para x 0 T t 0, temos u c (t) = 1 em todo o intervalo [t 0, T ]. Neste caso, x (T ) = x 0 + (T t 0 ) e o custo associado é J (t 0, x 0 ) = 1 2 x2 (T ) = 1 2 [x 0 + (T t 0 )] 2 Para x 0 < T t 0, existe t 2 = t 0 x 0 < T para qual x (t 2 ) = 0. A partir deste instante fazemos u c (t) = 0 para todo t [t 2, T ] e obtemos x (T ) = 0. Neste caso, o custo associado é J (t 0, x 0 ) = 0. Resumindo temos: { se x 0 < 0 então 1 (2) J (t 0, x 0 ) = [ x 2 0 (T t 0 )] 2 se x 0 T t 0 0 se 0 x 0 T t 0

23 Exemplo 2.1, p. 94 De (1) e (2): J (t 0, x 0 ) = { 1 2 [ x 0 (T t 0 )] 2 se x 0 T t 0 0 se 0 x 0 T t 0 Ou, considerando qualquer instante inicial t e qualquer estado inicial x J (t, x) = 1 [max{0, x (T t)}]2 2 que satisfaz a condição final J(T, x) = 1 2 x2. Se esta função satisfaz a Eq. de HJB, a lei de controle candidata é ótima

24 Exemplo 2.1, p. 94 Portanto, considere: V (t, x) = J (t, x) = 1 [max{0, x (T t)}]2 2 Temos: t V (t, x) = max{0, x (T t)} x V (t, x) = sgn(x).max{0, x (T t)} lembrando que d/dx x = sgn(x)

25 Exemplo 2.1, p. 94 Substituindo na Equação de HJB 0 = min u(t) 1 [1 + sgn(x)u]max{0, x (T t)} que é satisfeita para todo (t, x). Além do mais, o mínimo é alcançado para u = sgn(x), ou seja, a política candidata é ótima.

26 O problema Linear Quadrático Considere o sistema linear ẋ (t) = Ax (t) + Bu (t) e o custo total x T (T ) Q T x (T ) + T 0 xt (t) Qx (t) + u T (t) Ru (t) dt sendo as matrizes Q T e Q simétricas semidefinidas positivas e a matriz R simétrica definida positiva

27 O problema Linear Quadrático Solução: Em termos do problema padrão temos as seguintes identificações f (x, u) = Ax + Bu h (x) = x T Q T x g (x, u) = x T Qx + u T Ru Então, a Equação de HJB fica min u {x T Qx + u T Ru + t V (t, x) + x V (t, x) T (Ax + Bu)} = 0 com condição final V (T, x) = x T Q T x

28 O problema Linear Quadrático Como V (T, x) = x T Q T x, é razoável assumir uma func ao V candidata da forma: V (t, x) = x T K (t) x sendo K (t) simétrica. Temos: t V (t, x) = x T K(t)x x V (t, x) = 2Kx

29 O problema Linear Quadrático Substituindo na Equação de HJB min u {x T Qx + u T Ru + t V (t, x) + x V (t, x) T (Ax + Bu)} = 0 min u {x T Qx + u T Ru + x T K(t)x + 2x T K(t)Ax + 2x T K(t)Bu} = 0 O mínimo é encontrado fazendo o gradiente com relação a u e igualando a zero: 2B T K(t)x + 2Ru = 0 Assim, u = R 1 B T K(t)x

30 O problema Linear Quadrático Substituindo na Equação de HJB x T Qx + x T K(t)BR 1 RR 1 B T K(t)x + x T K(t)x + 2x T K(t)Ax 2x T K(t)BR 1 B T K(t)x = 0 x T Qx + x T K(t)x + x T K(t)Ax + x T A T K(t)x x T K(t)BR 1 B T K(t)x = 0 x (Q T + K(t) ) + K(t)A + A T K(t) K(t)BR 1 B T K(t) x = 0 Equação de Riccati no tempo conítnuo K(t) = K(t)A A T K(t) + K(t)BR 1 B T K(t) Q

31 O problema Linear Quadrático Portanto, para que V (t, x) = x T K (t) x seja solução da Equação de HJB, K(t) deve satisfazer a Equação de Riccati. De forma contrária, se K(t) é solução da Equação de Riccati, então V (t, x) = x T K (t) x é solução da Equação de HJB, e pela proposição 2.1, o custo ótimo é J (t, x) = x T K (t) x e a política ótima é u = R 1 B T K(t)x

32 Lista 3 Exercício 1: Considere o sistema x 1 (k) = αw (k + 1) x 2 (k) = αw (k) sendo {w (k), k 0} uma sequência de variáveis aleatórias (escalares) Gaussianas independentes, de média zero e de variância unitária. Considere as observações y (k) = x 2 (k) + v (k), k 0 sendo {v (k), k 0} uma sequência de variáveis aleatórias (escalares) Gaussianas independentes, de média zero e de variância unitária. Suponha ainda que w (i) e v (j) são não-correlacionados para todo i, j 0.

33 Lista 3 Determinar o seguinte valor esperado condicional: [ ] [ ] x 1 (k) x 1 (k) := E{ y (k),..., y (0)} x 2 (k) x 2 (k) e a matriz de covariância do erro [ ] [ ] T x 1 (k) x 1 (k) x 1 (k) x 1 (k) P k = E{ } x 2 (k) x 2 (k) x 2 (k) x 2 (k) Dica: determinar a solução pelos primeiros princípios, sem se preocupar em colocá-los de forma recursiva de Kalman.

34 Lista 3 Exercício 2: Considere o sistema x k+1 = Ax k + w k z k = [ Cx k + v k para k ] = 0, 1, 2,..., sendo [ ] A =, C = Faça um programa em MATLAB para estimar os estados para uma dada condição inicial x 0, utilizando o filtro de Kalman. Plote (pelo menos) os seguintes gráficos (i) os estados x k (ii) as estimativas preditivas x k+1 k obtidas pelo filtro de Kalman (iii) as estimativas filtradas x k k obtidas pelo filtro de Kalman (iv) as estimativas filtradas x k k obtidas pelo filtro de Kalman em regime permanente (v) os erros de estimativa correspondentes aos itens (i)-(iv).