6.Introdução ao Controlo Óptimo

Transcrição

1 Introdução ao Controlo Óptimo 6.Introdução ao Controlo Óptimo J. Miranda Lemos Professor Catedrático do IST

2 Introdução ao Controlo Óptimo Bibliografia Luenberger, D. (979). Introduction to Dynamic Models - Theory, Models and Applications. Wiley. Lewis, F. e V. Syrmos (995). Optimal Control. ª ed. John Wiley & sons. Bryson A. e Ho (975). Applied Optimal Control. Hemisphere Publishing Corporation.

3 Introdução ao Controlo Óptimo 3 Exemplo: Carro de empurrar Pretende-se acelerar um carro de modo a maximizar a distância total percorrida num intervalo de tempo fixo T menos o esforço total medido por z= Esforço u ( t) dt T u z Qual deve ser a função u( t) t T?

4 Introdução ao Controlo Óptimo 4 Formulação matemática do problema Dinâmica do carro (assume-se massa=): Objectivo: Escolher a função d z dt u u( t) t T A dinâmica do carro impõe uma restrição que maximiza J( u) z( T) u ( t) dt Espaço total Esforço percorrido dispendido T J é uma "função" que transforma funções em números reais

5 Introdução ao Controlo Óptimo 5 O funcional J faz corresponder a cada elemento do espaço das funções seccionalmente contínuas no intervalo [, T] um número real. u T t J(u) R Repare-se que não podemos encontrar a função u que máximiza J resolvendo a equação dj du porque u é uma função e existe num espaço de dimensão infinita Consoante a "forma" da função, assim o valor de J correspondente.

6 Introdução ao Controlo Óptimo 6 O problema do Braquistocróno foi publicado em de Janeiro de 667 por Johann Bernouilli como um desafio à comunidade científica. Nada é mais atractivo para as pessoas inteligentes do que um honesto problema que as desafie e cuja solução traga fama e permaneça como um monumento duradouro, escrevia ele. Galileo sabia já, 6 anos antes, que o trajecto de tempo mínimo não podia ser uma recta, embora pensasse, erroneamente, que era um arco de circunferência. Ao desafio de Johann Bernouilli corresponderam seis dos espíritos mais brilhantes da época: O seu irmão mais velho Jacob, Leibniz, Tschirnhaus, l'hopital e Newton (que publicou a solução anonimamente e sobre a qual Leibniz disse a célebre frase "reconheço o leão pelas suas garras".

7 Introdução ao Controlo Óptimo 7 Uma perspectiva histórica do problema do Braquistocróno e das suas relações com o Controlo Óptimo pode ser vista em Sussmann, H. J. e J. C. Willems (997). 3 Years of Optimal Control: From the Brachystochrone to the Maximum Principle. IEEE Control Systems, 7(3):3-44.

8 Introdução ao Controlo Óptimo 8 Princípio de Pontryagin - Formulação do Problema Sendo x o estado do sistema com entrada u, que satisfaz a equação de estado seguinte T fixo u( t) U x f ( x, u) x() x t, T pretende-se determinar a função u, definida no intervalo, T que maximiza o funcional de custo J definido por J( u) ( x( T)) L( x, u) dt T

9 Introdução ao Controlo Óptimo 9 Examinemos a estrutura do funcional de custo Limite superior do intervalo L denomina-se função de optimização, suposto fixo Lagrangeana J( u) ( x( T)) L( x, u) dt T Contribuição para J associada ao estado terminal x(t) Contribuição para J, associada ao que sucede durante o intervalo de optimização

10 Introdução ao Controlo Óptimo Para perceber o papel do custo terminal imaginemos que somos donos de um restaurante que pretendemos gerir por forma a maximizar o lucro. O lucro obtido com o restaurante depende de duas parcelas Lucro total = Lucro obtido na venda + Lucro obtido ao longo do do tempo com a venda de comida Valor terminal

11 Introdução ao Controlo Óptimo Repare-se que há problemas importantes em que: O valor de T é livre e não fixo à partida Há restrições no estado terminal É possível estender o Princípio de Pontriagyn para estes casos.

12 Introdução ao Controlo Óptimo A variável manipulada u toma valores no conjunto U dos valores admissíveis para o controlo. Este conjunto traduz restrições no valor de u. Por exemplo, no caso em que a variável manipulada é a abertura de uma válvula, em que corresponde a válvula toda aberta e a válvula toda fechada, é U, Eventualmente, podemos estar interessados em resolver o problema de optimização num conjunto de valores admissíveis que é um subconjunto deste.

13 Introdução ao Controlo Óptimo 3 Princípio de Pontriagyn Ao longo da trajectória óptima para x, u e verificam-se as seguintes condições necessárias para a maximização de J: u( t) U x f ( x, u) x( ) x t, T ( t ) ( t ) f x t, u t L x t, u t x x x T Para cada t, a hamiltoniana H definida por x x x( T) H(, x, u) f ( x, u) L( x, u) Condição terminal no co-estado é máxima para o valor óptimo de u(t).

14 Introdução ao Controlo Óptimo 4 É utilizada a seguinte notação: x x x T x x T n x x T x x x x x ( ) ( ) ( ) ( ) ( ) ( ) L x u L x L x x n (, ) f f x f f f x f x f x f x f x f x f x x n n n n n n O vector designa-se por coestado e a respectiva equação diferencial por equação adjunta.

15 Introdução ao Controlo Óptimo 5 A condição de máximo para a Hamiltoniana significa que, ao longo das trajectórias de x e definidas pelo controlo óptimo u, se verifica para cada instante de tempo t H( ( t), x( t), v) H( ( t), x( t), u( t)) qualquer que seja o valor de v. O Princípio de Pontriagyn permite pois transformar um problema de minimização em ordem numa função num problema de minimização em ordem à variável u(t), para cada instante t.

16 Introdução ao Controlo Óptimo 6 No caso em que o óptimo da Hamiltoniana é atingido no interior do conjunto de controlos admissíveis U, a condição de máximo é satisfeita numa das soluções da equação dh du Repare-se que esta equação pode ter outras soluções, correspondentes a mínimos ou a pontos de estacionariedade. Se o óptimo fôr atingido na fronteira de U, a equação anterior não pode ser utilizada para o determinar.

17 Introdução ao Controlo Óptimo 7 O Princípio de Pontriagyn é uma condição necessária satisfeita pelas soluções do problema de controlo óptimo. Pode haver funções de controlo que satisfação o Princípio de Pontriagyn mas que não correspondem a máximos do funcional de custo. O interesse do Princípio de Pontriagyn nestes casos consiste em reduzir o número de hipóteses para as funções de controlo óptimo, tornando então possível eliminar as soluções não óptimas, por exemplo analisando-as uma a uma.

18 Introdução ao Controlo Óptimo 8 Tal como foi formulado, o Princípio de Pontriagyn diz respeito à maximização de um funcional. O problema da minimização de um custo pode ser facilmente tratado multiplicando o respectivo funcional por -.

19 Introdução ao Controlo Óptimo 9 Exemplo Pretende-se desenhar uma curva x( t) que comece em x( ), cuja inclinação máxima seja e que atinja a altura máxima para t T. O problema pode ser formulado como um problema de controlo óptimo com dinâmica x( t) u( t) x( ) U u u e funcional de custo J x( T) Quais as condições impostas pelo Princípio de Pontriagyn?

20 Introdução ao Controlo Óptimo Como ( t ) ( t ) f x t, u t L x t, u t a equação adjunta reduz-se a com a condição terminal x x T x fx ( x, u) e L( x, u) ( t) ( T) pois ( x( T)) x( T) x x x( T) Logo ( t) t T

21 Introdução ao Controlo Óptimo A Hamiltoniana é H f L u u Para cada t o valor de u que maximiza H no conjunto U é pois u ( opt t ) x(t) x(t) Curva óptima Curvas possíveis mas não óptimas T t

22 Introdução ao Controlo Óptimo O exemplo anterior pode ser facilmente resolvido sem ferramentas matemáticas avançadas (se queremos subir o mais possível, devemos ter a derivada sempre no valor máximo). No entanto, é interessante ver a resposta dada pelo Princípio de Pontriagyn. Considere-se agora um exemplo simples mas não trivial.

23 Introdução ao Controlo Óptimo 3 z= Exemplo - Carro de empurrar u z Objectivo: Escolher a função u( t) t T que maximiza J( u) z( T) u ( t) dt sendo a dinâmica do carro dada por (condições iniciais nulas): T d z dt u

24 Introdução ao Controlo Óptimo 4 Sugestão: Tomar como variáveis de estado x z " posiçao" x z " velocidade" e escrever o modelo de estado na forma x f ( x) Escrever as condições impostas pelo Princípio de Pontryagin Concluir destas condições qual o controlo óptimo

25 Introdução ao Controlo Óptimo 5 Modelo de estado x x x u (, ) x x f x x u f x u f x u x u (, ) (, ) f f x f x f x f x x

26 Introdução ao Controlo Óptimo 6 x( T) x ( T) J( u) x( T) u ( t) dt T donde x x( T) L( x, u) u ( t) donde L ( x, x u ) A equação adjunta é f x Lx ou seja ( T) ( T)

27 Introdução ao Controlo Óptimo 7 ( T) ( T) Neste caso a equação adjunta pode resolver-se independentemente da equação de estado. Como ( t ) conclui-se ( t) C te Da condição final ( T) conclui-se ( t)

28 Introdução ao Controlo Óptimo 8 A equação para ( t ) é ( t ) Como ( t) esta equação escreve-se ou seja Da condição final ( T) vem ( t ) te ( t) C t ( t) T t

29 Introdução ao Controlo Óptimo 9 Hamiltoniana: H, x, u x u u Neste caso não há restrições (os valores possíveis para u são todo o conjunto ) pelo que a condição de máximo para a Hamiltoniana se obtém de O controlo óptimo é, portanto H u ou seja u ( t ) ( opt t ) T t u para cada t u(t) T T t

30 Introdução ao Controlo Óptimo 3 Nestes dois exemplos é possível resolver as equações do co-estado independentemente das do estado e do valor do controlo óptimo. Normalmente não é assim. As equações do estado e do co-estado aparecem acopladas, formando um sistema de n equações diferenciais a n incógnitas, em que parte das incógnitas é especificada no início e outra parte no fim do intervalo de integração. Veremos (por exemplo para dinâmica linear e custo quadrático) que em certos casos é possível desacoplar estas equações.

31 Introdução ao Controlo Óptimo 3 Lev Pontryagin (98-988) é uma figura controversa. Matemático brilhante, cegou aos 4 anos num acidente, o que não o impediu de se distinguir pelos seus trabalhos na teoria do Controlo Óptimo. O anúncio do Princípio ao qual o seu nome é ligado, feito no Congresso Internacional de Matemática de 958, foi inicialmente recebido com grande frieza. A isto não foi alheia a motivação militar por detrás deste resultado relacionada com o planeamento das trajectórias de mísseis.

32 Introdução ao Controlo Óptimo 3 Demonstração do Princípio de Pontryagin Objectivo: Demonstrarar o Princípio do Máximo de Pontryagin para problemas sem restrições no estado terminal através de uma técnica de variação.

33 Introdução ao Controlo Óptimo 33 Princípio de Pontryagin - Formulação do Problema Sendo x o estado do sistema com entrada u, que satisfaz a equação de estado seguinte T fixo u( t) U x f ( x, u) x() x t, T pretende-se determinar a função u, definida no intervalo, T que maximiza o funcional de custo J definido por J( u) ( x( T)) L( x, u) dt T

34 Introdução ao Controlo Óptimo 34 Estratégia para demonstrar o Princípio de Pontryagin Se u opt é a função que maximiza o funcional J( u) qualquer "pequena" variação através de uma função u leva à diminuição do valor de J( u) : J J( u u) J( u ) opt opt

35 Introdução ao Controlo Óptimo 35 Passos na demonstração do Princípio de Pontryagin Modificação do funcional de custo através de uma funcional de custo por forma a simplificar o cálculo da sua variação quando o controlo é perturbado Cálculo da relação existente entre uma variação "pequena" no controlo óptimo e a correspondente variação no funcional. Retêm-se apenas termos de ª ordem Exprimir a condição de que a variação do funcional é negativa através de uma condição de máximo na Hamiltoniana para cada instante de tempo.

36 Introdução ao Controlo Óptimo 36 Modificação do custo T J J ( t ) x( t) f ( x( t), u( t)) dt Como o termo entre parentesis rectos é nulo ao longo das trajectórias do sistema, J optimiza J. J pelo que o valor de u que optimiza J é o mesmo que Assim, podemos escolher por forma a simplificar o problema. A esta quantidade (vectorial) dá-se o nome de co-estado.

37 Introdução ao Controlo Óptimo 37 A função Hamiltoniana é definida por A Hamiltoniana,,,, H x u f x u L x u Com esta definição, o funcional modificado pode pois escrever-se: ou seja T J J ( t ) x ( t ) f ( x ( t ), u ( t )) dt ( x ( T ) L x, u f x, u x dt T J x( T) H ( t), x( t), u( t) ( t)( x t) dt T

38 Introdução ao Controlo Óptimo 38 Seja u t t T Variação do Controlo Óptimo ( ), a função que traduz o controlo óptimo Em conjunto com a condição inicial imposta ao estado, ele determina a trajectória de estado x( t), t T. u(t) x(t) T t T t

39 Introdução ao Controlo Óptimo 39 É feita uma variação "pequena" da função u que define o controlo óptimo, obtendo-se uma função designada por v. A variação é pequena no sentido em que, para cada uma das componentes u i e v i dos vectores u e v, se tem T u ( t) v ( t) dt i i sendo um número pequeno.

40 Introdução ao Controlo Óptimo 4 A trajectória de estado correspondente a v depende essencialmente do controlo e desvia-se pouco do estado óptimo x correspondente a u. Seja x( t) esta variação no estado. v(t) u(t) x(t)+x(t) x(t) T t Seja J a correspondente variação na função objectivo J J ( v) J ( u) sendo u óptimo esta variação do custo é negativa. T t

41 Introdução ao Controlo Óptimo 4 Recorde-se que Cálculo da variação do funcional A variação é assim T J x( T) H ( t), x( t), u( t) ( t)( x t) dt T J x( T) x( T) x( T) H, x x, v H, x, u x dt

42 Introdução ao Controlo Óptimo 4 Recorde-se a regra de integração por partes: d Como dt ab ab ab é T T ab dt ab ab dt T Aplique-se esta regra com a x b T xdt ( T) x( T) ( ) x( ) xdt Repare-se que x( ) porque a variação do controlo óptimo não causa qualquer variação na condição inicial do estado. T

43 Introdução ao Controlo Óptimo 43 T xdt ( T) x( T) xdt Tinha-se concluído que a variação do funcional é T J x( T) x( T) x( T) H, x x, v H, x, u x dt Assim: J x( T) x( T) x( T) ( T) x( T) H, x x, v H, x, u x dt Através da integração por partes conseguimos exprimir as variações na derivada do estado em variações no estado (e derivadas do coestado ). T T

44 Introdução ao Controlo Óptimo 44 J x( T) x( T) x( T) ( T) x( T) H, x x, v H, x, u x dt T Vamos aproximar o efeito da variação do estado na variação dos termos em e H através de desenvolvimentos em série de Taylor de primeira ordem: x( T) x( T) x( T) x( T) x( T),,,,,, H x x v H x v H x v x x x

45 Introdução ao Controlo Óptimo 45 Assim, a menos de termos de ordem superior ou igual a : x x T J x ( T ) ( T ) x ( T ) H, x, u xdt H, x, v H, x, u dt Escolhendo de modo a que satisfaça a equação diferencial com a condição final ( t ) H ( t ), x ( t ), u ( t ) x ( T) x( T) a expressão da variação do funcional reduz-se a T x J H ( t), x( t), v( t) H ( t), x( t), u( t) dt T

46 Introdução ao Controlo Óptimo 46 T J H ( t), x( t), v( t) H ( t), x( t), u( t) dt Perturbado Óptimo Esta expressão traduz o efeito na variação do funcional de uma variação do controlo óptimo. Repare-se que, x e u são conhecidos e independentes da variação v. Em particular, x e são calculados integrando as equações do estado e do co-estado com o controlo óptimo u.

47 Introdução ao Controlo Óptimo 47 T J H ( t), x( t), v( t) H ( t), x( t), u( t) dt Se u é óptimo, tem então de ser para cada instante t: ( ), ( ), ( ), ( ), ( ) H t x t v H t x t u t v U Esta afirmação necessita ser demonstrada.

48 Introdução ao Controlo Óptimo 48 T J H ( t), x( t), v( t) H ( t), x( t), u( t) dt Suponhamos que existia um instante t e uma função tal que ( ), ( ), ( ) ( ), ( ), ( ) H t x t t H t x t u t Sendo H uma função contínua, existirá um intervalo t, t em que esta propriedade se verifica. Escolha-se v( t) u( t) excepto neste intervalo em que se faz v( t) ( t). Com esta escolha do controlo, a variação é t J H ( t), x( t), v( t) H ( t), x( t), u( t) dt t valendo a desigualdade porque a integranda é positiva em todo o intervalo. Isto contraria a hipótese de u ser o controlo óptimo.

49 Introdução ao Controlo Óptimo 49 Exemplo: Optimização de um Fermentador Objectivo: Aplicação do Princípio de Pontryagin à resolução de um problema com motivação em aplicações e em que a equação adjunta depende do controlo óptimo

50 Introdução ao Controlo Óptimo 5 X - Quantidade de fungos por unidade de volume P - Quantidade de penicila por unidade de volume u - Variável manipulada: taxa de adição de substracto Fermentador para a obtenção de penicilina (açúcares para "alimentação" dos fungos). Os fungos produzem penicilina. u água fria ar X, P agitador água aquecida

51 Introdução ao Controlo Óptimo 5 Um modelo muito simplificado do fermentador Crescimento devido ao "alimento" Mortalidade X bux X P c( u) X Inibição da Produção dos produção fungos pelo substracto Resultados mais realistas requerem modelos mais complexos.

52 Introdução ao Controlo Óptimo 5 Efeito inibidor do substracto A penicilina é produzida pelos fungos cuja população, para tal, deve crescer. Para tal deve ser adicionado substracto ("alimento"). O substracto tem no entanto um efeito de inibição da produção da penicilina. Para maximizar a produção de penicilina, há portanto um compromisso na escolha da taxa de adição de substracto, que vai ser a variável manipulada. Este efeito está incluído no modelo considerado.

53 Introdução ao Controlo Óptimo 53 X bux X P c( u) X Por simplicidade, admite-se que o sistema de unidades é tal que b c 5. Tem-se assim o modelo: X ux. 5X P ( u) X Condições iniciais: X ( ) P( )

54 Introdução ao Controlo Óptimo 54 Problema de Controlo Óptimo do Fermentador Modelo de estado e condições iniciais: X ux. 5X P ( u) X Objectivo: Determinar u( t) t T, T fixo, por forma a que J P( T) seja máximo, sujeito à restrição (que define o conjunto dos controlos admissíveis): u Escreva a equação adjunta para este problema. Condições iniciais: X ( ) P( )

55 Introdução ao Controlo Óptimo 55 Recordações úteis: dx dt f ( x, u) x( ) x J x( T) L( x, u) dt T Equação adjunta e condição terminal no co-estado: ' ' f ( x, u) L ( x, u) Atenção: Neste problema, x( t) x x ( T) x( x( T)) X ( t) P( t)

56 Introdução ao Controlo Óptimo 56 O funcional de custo em geral é Neste caso J x( T) L( x, u) dt J fermentador P ( T ) Conclui-se assim que neste problema a Lagrangiana é nula: L( x, u) e o custo terminal é: ( x( T)) P( T), pelo que T ( x( T) x x x xx( T )

57 Introdução ao Controlo Óptimo 57 O co-estado tem neste caso duas componentes '( t) ( t) ( t) Como a lagrangiana é nula, a sua derivada parcial em ordem ao estado também o é: Como f ( x, u) f f ( x, x, u) ( x, x, u) L x u x(, ) ( u 5. ) x ( u) x é f x ( x, u) u 5. u

58 Introdução ao Controlo Óptimo 58 Equação adjunta: ' ' f ( x, u) L ( x, u) f x ( x, u) u 5. u x x Lx( x, u) Neste caso particular a equação do co-estado é pois: ( u 5. ) ( u ) Com condição terminal ( T) ( T)

59 Introdução ao Controlo Óptimo 59 ( u 5. ) ( u ) ( T) ( T) Tendo em conta as condições terminais ( t) t e a equação para a primeira componente do co-estado reduz-se a T ( u 5. ) u Dificuldade: A equação depende de u( t) e u( t) depende de ( t )

60 Introdução ao Controlo Óptimo 6 Sugestão: a) Escreva a Hamiltoniana para este caso particular. Recorde que H(, x, u) ' f L b) Admita que conhece ( t ). Determine u( t) que maximiza H, para cada t. Tenha em conta a restrição u e admita que X c) Da alínea b) conhece a forma de u( t) em função de t. Em particular, qual o valor óptimo de u( t) para t próximo de T? E qual a correspondente equação para ( t ) neste período de tempo? d) Ande "para trás" no tempo. O que acontece a ( t )? E a u ( optimo t )?

61 Introdução ao Controlo Óptimo 6 Pode ser escrita como H ' f L H f ( X, P) f ( X, P) H ( u 5. ) X ( u) X H ( ) u ( 5. ) X A Hamiltoneana H é uma função linear de u. Admitindo que a biomassa é positiva ( X ), H ser crescente ou decrescente depende apenas do sinal de.

62 Introdução ao Controlo Óptimo 6 H ( ) u ( 5. ) X H(u) H(u) u u Neste caso u = opt Intervalo de valores admissíveis para u Neste caso u = opt

63 Introdução ao Controlo Óptimo 63 Como se tem a condição terminal ( T) para t próximo de T é, neste período de tempo, ( t) ( T), o controlo óptimo correspondente é: u ( opt t ) A equação adjunta (neste período, próximo do fim) fica ( u 5. ) u = = ( t ) 5.. Logo, como

64 Introdução ao Controlo Óptimo 64 A equação adjunta próximo do final do intervalo de optimização é Tem por solução ( t ) 5. ( t ) ( T) ( ) 5.. 5( t T ) t e (t) (t) u = opt T t Evolução do coestado e controlo óptimo próximo do fim do intervalo de optimização

65 Introdução ao Controlo Óptimo 65 (t) u = opt (t) T t "Andando" neste sentido u 5. 5( ts T ) e.. 5( ts T ) e 5. log ( t T) t T log o. 5 T 39. s s passa a ser no instante t s em que ( ) t s

66 Introdução ao Controlo Óptimo 66 Exemplo para a situação em que T= Lambda 3 uopt t

67 Introdução ao Controlo Óptimo X uoptimo P uoptimo Tempo A solução óptima admite a seguinte interpretação: Inicialmente, todo o esforço é para fazer crescer a população de fungos. Devido ao efeito inibidor do substracto não há produção de penicilina. A partir do instante de comutação o controlo é escolhido por forma a maximizar a produção de penicilina

68 P(T) Introdução ao Controlo Óptimo 68 É interessante ver que, admitindo a forma "tudo ou nada" da função de controlo, o instante de comutação calculado corresponde de facto a um máximo. Repare-se que o Princípio de Pontryagin nos deu não apenas o instante de comutação, mas também a forma da função de controlo óptimo ts

69 Introdução ao Controlo Óptimo 69 O modelo à partida é muito simplificado. A utilização de modelos mais realistas (em que as taxas de crescimento dependem, elas próprias, do estado) conduz a um problema de Controlo Óptimo dito "Singular", em que a Hamiltoniana não depende explicitamente de u. Num problema real de optimização de fermentadores, T não é à partida fixo, mas deve resultar da optimização. isto conduz aos problemas de tempo terminal livre. A existência de um modelo é crítica. Em processos de fermentação é muito difícil dispor de bons modelos devido à variabilidade genética dos fungos (a qual é encorajada para aumentar a produção).

70 Introdução ao Controlo Óptimo 7 Embora baseado num modelo muito simples, este exemplo ilustra alguns aspectos importantes: A maneira backwards (do fim para o princípio) de integrar as equações do co-estado A solução bang-bang (tudo ou nada) do controlo óptimo, que implica a existência de restrições

71 Introdução ao Controlo Óptimo 7 Princípio de Pontryagin - Formulação do Problema com restrições de igualdade no estado terminal Sendo x o estado do sistema com entrada u, que satisfaz a equação de estado seguinte T fixo x f ( x, u) x( ) x t, T u( t) U pretende-se determinar a função u, definida no intervalo, T que maximiza o funcional de custo J definido por J( u) ( x( T)) L( x, u) dt sujeita às restrições no valor terminal do estado x ( T) x i,,, r n i i T

72 Introdução ao Controlo Óptimo 7 Recorde-se a expressão para a variação do funcional de custo x x T J x ( T ) ( T ) x ( T ) H, x, u xdt H, x, v H, x, u dt T A variação é zero para as componentes especificadas x ( T) x i,,, r i i Para estas componentes, não existem assim condições terminais no coestado ou seja i ( T) i,,, r são livres.

73 Introdução ao Controlo Óptimo 73 Exemplo: Transferência entre órbitas com naves de pequeno impulso Um exemplo de aplicação de problemas de controlo óptimo com restrições no estado terminal é a transferência entre órbitas com naves em que está disponível um pequeno impuldo. A figura mostra um exemplo.

74 Introdução ao Controlo Óptimo 74 A resolução destes problemas implica métodos numéricos para a resolução do problema de valores na fronteira. Para naves fora da atmosfera terrestre pode ser utilizado o shooting method. Neste método, a condição inicial do coestado vai sendo ajustada por forma a gerar trajectórias que respeitem a condição final. Para aeronaves em que há termos de atrito o shooting method fica instável (numericamente) e é necessárioo recorrer a um método de gradiente. Referências: A. E. Bryson Jr. (996). Optimal Control - 95 to 985. IEEE Control Systems, 6(3)6-33.

75 Introdução ao Controlo Óptimo 75 O Problema Linear Quadrático Objectivo: Introduzir o Problema Linear Quadrático e os elementos básicos da sua solução. Mostrar que o controlo resultante estabiliza a cadeia fechada.

76 Introdução ao Controlo Óptimo 76 Dinâmica: Formulação do Problema Linear Quadrático x( t) Ax( t) bu( t) x( ) x u( t) R m Funcional de custo: T fixo T J x( t) Qx( t) urudt Q Q R R Pretende-se minimizar o funcional J pelo que a Lagrangiana deve ser L( x, u) ( xqx uru)

77 Introdução ao Controlo Óptimo 77 Equação adjunta f L ( t ) ( t ) A x ( t ) Q sujeita à condição terminal ( ) Hamiltoniana H(, x, u) f ( x, u) L( x, u) H(, x, u) ( t) Ax( t) ( t) bu( t) x( t) Qx( t) u( t) Ru( t) x x T

78 Introdução ao Controlo Óptimo 78 A Hamiltoniana Condição (necessária) de mínimo da Hamiltoniana H(, x, u) ( t) Ax( t) ( t) bu( t) x( t) Qx( t) u( t) Ru( t) é uma função quadrática. Uma condição necessária de mínimo é pois ou seja pelo que o controlo óptimo verifica H u ( t) b u( t) R u( t) R b( t)

79 Introdução ao Controlo Óptimo 79 A trajectória óptima do estado verifica pois x( t) Ax( t) br b ( t) u ( opt t ) ( t) Qx( t) A ( t) sujeiro às condições x( ) x ( T) Trata-se de um problema em que as incógnitas (x e ) estão específicadas em dois pontos ( e T). Diz-se um problema de valores na fronteira em dois pontos (Two point boundary value problem). Como resolvê-lo?

80 Introdução ao Controlo Óptimo 8 As equações do estado e do co-estado, com o controlo óptimo, são: x Ax br b Qx A Admita-se que existe uma matriz P( t), tal que Px Sendo assim, as equações do estado e do co-estado escrevem-se: x A br bp x Q AP x Repare-se que, se conhecermos a matriz P( t), a equação de estado fica desacoplada da do co-estado, podendo ser resolvida separadamente.

81 Introdução ao Controlo Óptimo 8 Vamos então tentar obter uma equação verificada pela matriz P( t). Tem-se Derivando Px Px Px Usando as equações diferenciais do estado e do co-estado: ou seja, pondo x em evidência: Q A P x Px P A br b P x P PA AP PbR bp Q x

82 Introdução ao Controlo Óptimo 8 P PA AP PbR bp Q x Para que esta identidade seja satisfeita para todo o x, o termo entre parêntesis tem de ser nulo. Obtém-se assim a equação diferencial de Riccati: P PA AP PbR bp Q P( T) (porquê?)

83 Introdução ao Controlo Óptimo 83 Problema Linear Quadrático (LQ) - Resumo Dado sistema com dinâmica linear x( t) Ax( t) bu( t) x( ) x u( t) R m O controlo que minimiza o custo quadrático de horizonte finito T J x( t) Qx( t) urudt Q Q R R é dado pela retroacção do estado de ganho variável no tempo: u( t) K( t) x( t) K( t) R B' P( t) em que P(t) é a matriz simétrica definida positiva que satisfaz a equação diferencial de Riccati P PA AP PbR bp Q P( T)

84 Introdução ao Controlo Óptimo 84 Exemplo (Controlo LQ de um Sistema de ª ordem) Considere-se o sistema de primeira ordem, instável em cadeia aberta x( t) x( t) u( t) x( ) Pretende-se determinar a lei de controlo que minimiza A solução é dada por J u T x ( ) ( t ) ru ( t ) dt T, r p( t) p( t) ( ) r p t u( t) K( t) x( t) K ( t ) r p( t) p( T)

85 Introdução ao Controlo Óptimo 85 u(t) x(t) - - r= r= r=. r= r=. K(t).5.4 P(t) para vários T 3 r=

86 Introdução ao Controlo Óptimo 86 Como se pode observar, diminuindo o peso no custo da acção de controlo, r, o sistema fica mais rápido (o transitório do estado extingue-se mais rapidamente), o mas o ganho aumenta (compare-se com a situação que se tem no Controlo de Variância Mínima dessintonizado). Aumentando o horizonte, a solução da equação de Riccati é inicialmente uma constante bem definida, tendo um transitório próximo do intervalo de optimização. Isto sugere que, quando o horizonte T a solução da equação de Riccati fica constante para todo o t.

87 Introdução ao Controlo Óptimo 87 O exemplo anterior sugere que se considere o problema de minimizar o custo quadrático sobre um horizonte infinito JLQ x'( t) Qx( t) u'( t) Ru( t) dt A solução deste problema vem dada pelo controlo por retroacção do estado u( t) Kx( t) K R B' P em que P é a solução da equação algébrica de Riccati, dada por PA AP PbR bp Q

88 Introdução ao Controlo Óptimo 88 Se o sistema x( t) Ax( t) bu( t) fôr estabilizável, i. e., se existir um vector de ganhos F tal que o sistema em cadeia fechada x( t) A bf x( t) é estável, então a solução da equação de Riccati algébrica é semidefinida positiva (pelo menos) e corresponde ao limite da solução da equação diferencial de Riccati quando o horizonte T é sucessivamente aumentado.

89 Introdução ao Controlo Óptimo 89 Problema: Dado o sistema definido pelo diagrama de blocos - u s+ Determinar os valores de k e k que optimizam x k s x k + + J x' Qx( t) u' Ru( t) dt Q. R

90 Introdução ao Controlo Óptimo 9 Modelo de estado do sistema em cadeia aberta X X ( s) s X ( s ) donde x ( t) x( ) ( s) U ( s) s ou sx( s) X( s) U( s) donde x ( t) x ( t) u( t) O modelo de estado é portanto x x x x u

91 Introdução ao Controlo Óptimo 9 A equação Algébrica de Riccati: PA A' P PBR C' P Q neste caso é p p ou seja p p p p p p p p p p p p p p. p p p p p p p p p p p p p p.

92 Introdução ao Controlo Óptimo 9 p p p p p p p p p p p p p p. Igualando as entradas correspondentes destas matrizes, obtêm-se as equações seguintes: p A equação p p p p p p p p. é verificada por p. No entanto, apenas a raíz positiva leva a uma matriz P definida positiva. Assim, é p.

93 Introdução ao Controlo Óptimo 93 p p p p p p p. Sendo p, estas equações reduzem-se a p p p p 9. A segunda equação tem como raízes. 9. Uma vez mais deve ser tomada a raiz positiva para que a matriz P seja sefinida positiva. Assim: P 7.. 7

94 Introdução ao Controlo Óptimo 94 P O vector de ganhos óptimo vem dado por K A lei de controlo óptimo LQ é pois: R B' P K. 7 u( t) x. 76 x

95 Introdução ao Controlo Óptimo 95 Regulação Quadrática da Saída com horizonte infinito Há situações em que se pretende regular a saída do sistema. Modelo: com o funcional de custo: x( t) Ax( t) bu( t) y( t) Cx( t) Repare-se que, como J y ( t) u ( t) dt y ( t) x'( t) C' Cx( t) este problema reduz-se ao anterior fazendo a seguinte escolha da matriz Q: Q C' C

96 Introdução ao Controlo Óptimo 96 A solução do problema de minimizar em que o sistema é modelado por é dada por J y ( t) u ( t) dt x( t) Ax( t) bu( t) y( t) Cx( t) u( t) Kx( t) K R B' P em que P é a única solução definida positiva da seguinte equação algébrica de Riccati PA AP PbbP C' C

97 Introdução ao Controlo Óptimo 97 Relativamente a esta lei de controlo tem-se o seguinte teorema: Se o par (A, B) fôr estabilizável (ver definição acima) e o par (A, C) fôr observável, a solução definida positiva da equação algébrica de Riccati existe e é única, e o sistema em cadeia fechada é assimptoticamente estável. O par (A,C) é observável se C CA car n CA n n dim( x)

98 Introdução ao Controlo Óptimo 98 Uma matriz P diz-se definida positiva se Diz-se semidefinida positiva se x' Px x x' Px x

99 Introdução ao Controlo Óptimo 99 Questão: Qual a colocação dos pólos da cadeia fechada que corresponde a minimizar J (no caso em que o sistema é SISO)? Resposta [Chang/Letov]: Os pólos do sistema realimentado óptimo (com T ) são as n raízes estáveis do polinómio (s) em que ( s) a( s) a( s) b( s) b( s) b ( s) C adj( si A) B de grau n dado por Zeros do sistema a( s) det( si A) Pólos do sistema

100 Introdução ao Controlo Óptimo ) ( ) ( ) ( ) ( ) ( s b s b s a s a s Se s s é uma raiz de ) (s, então: ) ( ) ( ) ( ) ( ) ( s b s b s a s a s Neste caso, também se tem para s s : ) ( ) ( ) ( ) ( ) ( s b s b s a s a s ou seja, se s s é uma raiz de ) (s, então s s também o é.

101 Introdução ao Controlo Óptimo As raízes de (s) são simétricas relativamente ao eixo imaginário. Podemos sempre escolher n pólos estáveis Como os pólos do sistema controlado são dados pelas raízes estáveis de (s), o sistema em cadeia fechada com controlo óptimo LQ de horizonte infinito é estável.

102 Introdução ao Controlo Óptimo Solução do Problema LQ ( T ) por colocação de pólos A solução do problema LQ de horizonte infinito pode ser feita do seguinte modo:. Determinar ( s) a( s) a( s) b( s) b( s). Determinar n a(s) raízes estáveis de (s). 3. Calcular o vector de ganhos de retroacção do estado tal que o sistema em cadeia fechada tem os pólos na posição dessas raízes.

103 Introdução ao Controlo Óptimo 3 Exemplo Dado o sistema x x u 4 y x Qual a lei de controlo por retroacção do estado que minimiza J y ( t) u ( t) dt

104 Introdução ao Controlo Óptimo 4 Em primeiro lugar é necessário obter a função de transferência em cadeia aberta. Em geral, isso pode ser feito com as expressões b ( s) C adj( si A) B a( s) det( si A) Neste caso, é fácil obter a função de transferência recorrendo à manipulação de diagramas de blocos. As equações de estado são representadas graficamente através de um diagrama de blocos, que é simplificado até se obter a função de transferência. Os alunos são convidados a resolver o mesmo problema recorrendo às expressões acima.

105 Introdução ao Controlo Óptimo 5 Equações de estado: Diagrama de blocos equivalente: x x x x 4 u

106 Introdução ao Controlo Óptimo 6 Y s ( s) U 4 s Y s s U 4 b( s) ( s) a ( s) s 4

107 Introdução ao Controlo Óptimo 7 Os pólos óptimos são as duas raízes estáveis de ( s) a( s) a( s) b( s) b( s) a ( s) s 4 b( s) ( s) ( s) ( s 4) ( s)( s) s Mudança de variável z s ( z 4) ( z) z 8.z 6. 6 z 4. z 3. 5 s.4 s. 4 s s 4. 87

108 Introdução ao Controlo Óptimo 8 O vector de ganhos óptimos é determinado por forma a que os pólos da cadeia fechada sejam.4 e.87 O polinómio característico desejado para a cadeia fechada é pois ( s) ( s.4)( s.87) s 4.s 4

109 Introdução ao Controlo Óptimo 9 Diagrama de blocos do sistema em cadeia fechada com retroacção (genérica) do estado: 4 - u - + x s s x +s y k k - s +s k -k s

110 Introdução ao Controlo Óptimo Equação característica da cadeia fechada 4 k ks s Polinómio característico da cadeia fechada K ( s) s k s k 4 Comparando com o polinómio característico desejado Obtêm-se os ganhos óptimos ( s) s 4. s 4 k opt 8 k 4. opt

111 Introdução ao Controlo Óptimo O "root square locus" As frequências naturais ("pólos") do sistema em cadeia fechada com controlo LQ de horizonte infinito são dadas pelas raízes estáveis de a( s) a( s) b( s) b( s) A esta equação pode dar-se a forma b( s) b( s) a( s) a( s) O que acontece a estas raízes quando o peso no controlo varia?

112 Introdução ao Controlo Óptimo a( s) a( s) b( s) b( s) Quando o peso no controlo é muito grande ( grande) a equação fica aproximadamente: a( s) a( s) Assim, neste caso, os pólos da cadeia fechada, ou são os pólos da cadeia aberta se estes forem estáveis ou os seus simétricos se estes estiverem no semiplano complexo direito.

113 Introdução ao Controlo Óptimo 3 a( s) a( s) b( s) b( s) Analogamente, se fôr muito pequeno, os pólos da cadeia fechada aproximam-se dos zeros da cadeia aberta se estes forem de fase mínima (ou seja, se estiverem à esquerda do eixo imaginário) ou dos seus simétricos se os zeros estiverem à direita. Se houver mais pólos do que zeros, os pólos restantes tendem para. Repare-se que não se pode ter para o problema LQ em tempo contínuo pois os ganhos do controlador seriam infinitos. Esta situação é diferente em tempo discreto, onde é possível ter.

114 Introdução ao Controlo Óptimo 4 Para valores intermédios de os pólos do sistema com controlo óptimo podem obter-se traçando o root-locus de b( s) b( s) a( s) a( s) e tomando a sua parte estável. É a isto que se chama o root-square-locus.

115 Introdução ao Controlo Óptimo 5 Root square locus - exemplo Considere-se o modelo do sistema instável em cadeia aberta correspondente à linearização do pêndulo invertido: x x u. 5 y A função de transferência em cadeia fechada é b( s) s a( s) s. 5

116 Imag Axis Introdução ao Controlo Óptimo 6 O root square locus correspondente é Real Axis

117 Introdução ao Controlo Óptimo 7 Estabilidade relativa do Controlador LQ Considere-se o sistema descrito pelo modelo de estado linear: Têm-se as seguintes definições: x( t) Ax( t) bu( t) y( t) Cx( t) Transformada de Laplace da Matriz de Transição de estado do sistema em cadeia aberta: ( s ) si A

118 Introdução ao Controlo Óptimo 8 Ganho de malha: Obtido interrompendo a cadeia de controlo à entrada e multiplicando todos os ganhos. - u (si-a) - b x k L ( s) k( s) b Desigualdade de Kalman: L ( j)

119 Introdução ao Controlo Óptimo 9 Consequência da Desigualdade de Kalman: L ( j) L( j) ( ) Im Conclusão: O diagrama de L(j )-(-) - Re Nyquist de L ( j) nunca entra dentro da cirdunferência de raio, centrada em. L(j )

120 Introdução ao Controlo Óptimo Im No caso mais desfavorável, o controlador LQ tolera uma redução do - - Re ganho de ½ até que o ganho de malha atinja o ponto. A margem de ganho é pois de pelo menos.5.

121 Introdução ao Controlo Óptimo Im No caso mais desfavorável o controlador LQ tolera uma redução - 6 o Re da fase de pelo menos 6 o até que o ganho de malha atinja o ponto. A margem de fase do controlador LQ é de pelo menos 6 o.

122 Introdução ao Controlo Óptimo O Filtro de Kalman-Bucy Objectivo: Dimensionar os ganhos do observador usando um critério de optimização. Modelo do processo: x ( t) Ax( t) bu( t) w( t) y( t) Cx( t) v( t) Sinais de ruído branco gaussiano Os sinais v e w são sinais grancos e Gaussianos tal que E T w( t) w ( t ) Qo ( ) T E v( t) v ( t ) Ro ( )

123 Introdução ao Controlo Óptimo 3 O filtro de Kalman-Bucy dá recursivamente a estimativa xˆ do estado que é: Centrada: Minimiza: E x( t) xˆ( t) x ( t) xˆ( t) dt ou seja o erro tem energia mínima.

124 Introdução ao Controlo Óptimo 4 Equações do filtro de Kalman-Bucy A estimativa xˆ é propagada no tempo resolvendo a equação diferencial: xˆ ( t) Axˆ( t) bu( t) Lo ( y( t) Cxˆ( t)) O vector de ganhos óptimo é dado por L o C T R o A matriz é a solução simétrica e semidefinida positiva da equação de Riccati algébrica do filtro, dada por: A A T Q o C T R o C

125 Introdução ao Controlo Óptimo 5 O filtro de Kalman-Bucy é um observador óptimo em que a larguira de banda é ajustada por forma a optimizar a relação sinal/ruído, escolhendo um ganho adequado. Repare-se que se não houver ruído de observação ( R singular, sendo o vector de ganhos infinito. ), o problema fica

126 Introdução ao Controlo Óptimo 6 Regulador Linear Quadrático Gaussiano (LQG) Combina: A estimação do estado com um filtro de Kalman com A realimentação da estimativa xˆ com um controlador óptimo LQ, projectado supondo que se tem acesso ao estado. u y Processo - Filtro K-B k O Teorerma de Separação é válido para o controlador LQG.

127 Introdução ao Controlo Óptimo 7 Rudolph Kalman nasceu em 93, em Budapest na Hungria. Emigrou para os U.S.A., onde estudou no MIT e, posteriormente, na Universidade de Colúmbia, onde fez o seu doutoramento. No início dos anos 6, o seu nome ficou ligado aos artigos que estabeleceram os fundamentos do Controlo LQ e LQG e à filtragem óptima linear com base no modelo de estado, que desenvolveu em conjunto com Richard Bucy. Foi Kalman que trouxe para a comunidade do Controlo os métodos desenvolvidos por Lyapunov 7 anos antes e que os aplicou ao estudo da estabilidade de sistemas descritos por modelos de estado lineares.

128 Introdução ao Controlo Óptimo 8 Equações do Regulador LQG Equações do estimador: xˆ ( t) Axˆ( t) bu( t) Lo ( y( t) Cxˆ( t)) L o C T R o A A T Q o C T R o C T Equações do regulador u( t) Kxˆ( t) K T T T B P A P PA PBB P Q

129 Introdução ao Controlo Óptimo 9 Função de transferência do regulador LQG G CLQG ( s) K si A BK LoC Lo É semelhante à do compensador baseado em observador que se estudou no capítulo sobre RLVE. A diferença reside no modo como são calculados os ganhos K e L o, que aqui são calculados por forma a optimizar um funcional (cada um deles).

130 Introdução ao Controlo Óptimo 3 Recuperação do Ganho de Malha Loop Transfer Recovery (LTR) Não há qualquer garantia sobre as margens de estabilidade (margem de ganho e margem de fase) do regulador LQG. Estas margens podem ser perigosamente baixas, dependendo das características estatísticas do ruído. Idéia: Usar os parâmetros que definem a estatística do ruído, Ro e Q o como parâmetros de ajuste para recuperar o ganho de malha que se obteria com um regulador LQ (e que tem boas características de estabilidade relativa). É nisto que consiste o controlo LQG-LTR (LQG com recuperação do ganho der malha).

131 Introdução ao Controlo Óptimo 3 Pode demonstrar-se que se: Então ) G (s) é de fase mínima; ) R e Q q lim BB q T L LQG ( s) Isto sugere que se projecte um filtro de Kalman-Bucy em que o parâmetro q é muito elevado. L LQ ( s)

132 Introdução ao Controlo Óptimo 3 Exemplo: Controlo de um integrador duplo Este e outros sistemas podem ser modelados como um integrador duplo, tomando como variáveis de estado x z x z

133 Introdução ao Controlo Óptimo 33 Modelo do integrador duplo Modelo de estado do integrador duplo: x y u x x x x Função de transferência do integrador duplo: ) ( s s G

134 Introdução ao Controlo Óptimo 34 Integrador duplo com regulador LQ - x x /s /s k k Pretende-se esciolher os ganhos k e k por forma a minimizar o custo quadrático de horizonte inifinito: J LQ y ( t) u ( t) dt Assume-se que se tem acesso directo à medida de x e x.

135 Introdução ao Controlo Óptimo 35 Equação Algébrica de Riccati (ARE): ' ' P PBB Q PA A P A B C C'C Q A ARE fica: p p p p p p p p p p p p p p p p 3 3 p p p p p p P

136 Introdução ao Controlo Óptimo 36 Ganho óptimo: K LQ B' P Como B ' P Vem K LQ

137 Introdução ao Controlo Óptimo 37 Com os ganhos óptimos, a dinâmica do sistema em cadeia fechada fica: A BK LQ Equação característica da cadeia fechada: det Pólos da cadeia fechada A BK s s si LQ s, ( j) O sistema em cadeia fechada fica estável e com um coeficiente de amortecimento. 77.

138 Introdução ao Controlo Óptimo 38 Resposta ao escalão do sistema com controlo LQ.4..8 x Time

139 Introdução ao Controlo Óptimo 39 Ganho de malha com controlo LQ: s L( s) s L LQ ( s) K( s) B KsI A B.5 /s /s L (s) LQ k +sk Como esperado, o ganho de malha não entra no círculo de raio.

140 Introdução ao Controlo Óptimo 4 Modelo do integrador duplo com ruído: ) ( ) ( ) ( ) ( ) ( ) ( ) ( t w t w t u t x t x t x t x ) ( ) ( ) ( ) ( t v t x t x t y Os sinais v, w e w são sinais estocásticos mutuamente independentes, cujas características estatísticas são usadas para ajustar o ganho de malha: o Q t w t w t w t w E ) ( ) ( ) ( ) ( o R t v E ) (

141 Introdução ao Controlo Óptimo 4 Diagrama de blocos do integrador duplo com ruído: u w w v x x s s y Vamos assumir Q R o

142 Introdução ao Controlo Óptimo 4 Integrador duplo com controlador LQG - u w w v x x s s y + k, k projectados tal como no regulador LQ. L L x + + s k s x k - L, L projectados de acordo com o dimensionamento do filtro de Kalman-Bucy +

143 Introdução ao Controlo Óptimo 43 Cálculo dos ganhos do filtro de Kalman-Bucy Equação de Riccati para o filtro: Assumindo A A 3 T Q o C T R o C indeterminados obtém-se a solução definida positiva: e usando o método dos coeficientes 3 3

144 Introdução ao Controlo Óptimo 44 Ganhos óptimos do filtro: L C T R o Função de transferência do compensador LQG: G CLQG K LQ ( si A BK 3 LQ LC) L G CLQG 3.4( s.3) s.57 j.4

145 Introdução ao Controlo Óptimo 45 Pólos da cadeia fechada do integrador duplo com LQG: j 3 j Pólos do sistema Pólos do filtro controlado com LQ, supondo acesso ao estado

146 Introdução ao Controlo Óptimo 46 Comparação dos reguladores LQ e LQG. O LQ tem maiores margens de estabilidade.. Nas baixa frequência o ganho de malha do LQ é maior do que o do LQG. Isto implica que o LQ tem melhores propriedades de seguimento do que o LQG. 3. A frequência de corte é maior no LQ do que no LQG a. O LQ é mais susceptível ao ruído b. O LQ é mais rápido a responder 4. Na alta frequência, a inclinação da curva de ganho é db/déc no LQ e 6db/déc no LQG. O LQ é mais susceptível ao ruído do que o LQG, mas tem melhor estabilidade relativa.

147 Phase [º] Gain [db] Introdução ao Controlo Óptimo 47 Recuperação do ganho de malha no integrador duplo com controlo LQG freq. [rad/s] q,,