Faculdade de Engenharia Optimização. Prof. Doutor Engº Jorge Nhambiu

Transcrição

1 1

2 Programação Não Lnear com Restrções Aula 9: Programação Não-Lnear - Funções de Váras Varáves com Restrções Ponto Regular; Introdução aos Multplcadores de Lagrange; Multplcadores de Lagrange e Condções Necessáras; Sentdo Geométrco dos multplcadores de Lagrange; Teorema dos Multplcadores de Lagrange; Condções Necessáras Kunhn-Tucker (K-T); Optmzação Global.

3 Programação Não Lnear com Restrções Em que consste o método geral de Optmzação? O método geral de optmzação consste em procurar um vector de varáves x=(x 1,x,...,x n ) para mnmzar a função custo:,,... 1 h ( x) 0 1 até p g ( x) 0 1 até m f x f x x x sujeta a restrções do tpo gualdade e as restrções do tpo desgualdade n 3

4 Programação Não Lnear com Restrções As restrções de desgualdade da equação serão ncalmente gnoradas para dscutr-se o teorema de Lagrange. O teorema será depos estenddo para as restrções de desgualdade com vsta a obter as condções necessáras de Kuhn - Tucker para os modelos geras. 4

5 Multplcadores de Lagrange e Condções Necessáras Cada restrção tem um multplcador escalar assocado a ela, o qual se chama Multplcador de Lagrange. Estes multplcadores têm um papel mportante na teora de optmzação bem como nos métodos numércos que serão posterormente dscutdos. O conceto de Multplcadores de Lagrange é bastante geral. Ele é utlzado em mutas aplcações de engenhara para alem da optmzação. Os Multplcadores de Lagrange para as restrções podem ser nterpretados como a força necessára para mpor as restrções. 5

6 Multplcadores de Lagrange e Condções Necessáras Veja-se agora que condções matemátcas são satsfetas no ponto mínmo C. Represente-se o ponto óptmo por (x 1 *,x *). Para dervar as condções e ntroduzr os Multplcadores de Lagrange, prmero assume-se que as restrções do tpo gualdade podem ser usadas para resolver uma varável em função da outra, sto é assume-se que pode se escrever: x x1 (a) Onde é uma função aproprada de x 1. Em certos casos não é possível explctar a função (x 1 ), mas para o efeto de cálculo das dervadas assume-se a sua exstênca. 6

7 Multplcadores de Lagrange e Condções Necessáras Usando as regras de dferencação em cadea pode-se escrever,,, df x1 x f x1 x f x1 x dx dx x x dx (b) Substtundo a equação (a), a equação precedente pode ser escrta para o ponto óptmo como: * * * * 1, 1, f x x f x x d 0 (c) x x dx 1 1 7

8 Multplcadores de Lagrange e Condções Necessáras Para não complcar-se, dferenca-se a equação das restrções h(x 1,x )=0, no ponto (x 1 *,x *) como: * * * * * * 1, 1, 1, dh x x h x x h x x d dx x x dx (d) resolvendo d /dx 1 obtém-se: d h x, x / x dx h x, x / x * * 1 1 * * 1 1 (e) 8

9 Multplcadores de Lagrange e Condções Necessáras Substtundo agora d /dx 1 da equação (e) na (d) obtém-se: * * * * * * * * f x, x f x, x h x, x / x x x h x, x / x (f) Se defnr-se v como: f x, x / x v h x, x / x * * 1 * * 1 (g) 9

10 Multplcadores de Lagrange e Condções Necessáras e substtur-se na equação (f) fca-se com: * * * * 1, 1, f x x h x x v x x (h) Também voltando arranjar a equação (g) que defne v obtém-se: * * * * 1, 1, f x x h x x v x x 0 () 10

11 Multplcadores de Lagrange e Condções Necessáras As equações (h) e () ao longo das quas h(x 1,x )=0 são as condções necessáras para a optmzação. Um ponto que vole estas condções não pode ser um ponto mínmo para o problema. O escalar v defndo na equação (g) é chamado multplcador de Lagrange. Se o ponto mínmo for conhecdo pode-se utlzar a equação v para conhecer o seu valor. 11

12 Multplcadores de Lagrange e Condções Necessáras É costume usar-se o que é conhecdo como função de Lagrange, para se escrever as condções necessáras. A função de Lagrange é desgnada por L e defnda usando as funções de restrções e de custo, como: L x, x, v f x, x vh x, x (h) é vsto que as condções necessáras das equações (h) e () dadas em termos de L são: * * * * 1, 1, L x x L x x 0 e 0 x x 1 1

13 Multplcadores de Lagrange e Condções Necessáras Em notação matrcal pode-se ver que o gradente de L é zero no ponto canddato a mínmo, sto é escrevendo esta condção usando a equação (g), ou escrevendo esta condção usando as equações (h) e (I) na forma matrcal, obtém-se: * * x vh x f 0 (m) Onde o gradente das funções custo e restrção são dados por: f x * f x, x x1 f x, x x * * 1 * * 1 e h h x, x x1 hx, x x * * 1 * * 1 13

14 Multplcadores de Lagrange e Condções Necessáras A equação (m) pode ser rescrta da segunte forma: * * f x v h x ( n) A ultma expressão dá o sentdo geométrco das condções necessáras. Ela mostra que no ponto mínmo canddato, o gradente da função custo e das funções restrções, estão ao longo da mesma lnha e são proporconas um ao outro e o multplcador de Lagrange v é a constante de proporconaldade. 14

15 Consdere-se o problema de mnmzar f(x) sujeta as restrções do tpo gualdade h (x)=0, onde =1 até p. Faça-se x* um ponto regular que é um mínmo local para o problema, daí exstem multplcadores de Lagrange tas como: Multplcadores de Lagrange e Condções Necessáras * * p j f x h x * v j 0 1 até n x x 1 j1 * hj x 0 j 1 até p 15

16 Escrevendo esta condção em termos de função de Lagrange obtém-se: Multplcadores de Lagrange e Condções Necessáras p L x, v f x v jhj x f x v h x T Daí pode-se escrever: j1 L x, v 0 * * ou L x, v x * * 0 1 até n 16

17 Multplcadores de Lagrange e Condções Necessáras Dferencando L(x,ν) em relação a v j pode-se converter as restrções de gualdade em: L x, v v * * j * hj x 0 j 1 até p Estas últmas condções mostram que a função de Lagrange é estaconára em relação a x e a v. 17

18 Teorema dos Multplcadores de Lagrange Qualquer ponto que não satsfaça as condções do teorema não pode ser um ponto mínmo local, contudo um ponto que satsfaça as condções não tem que ser um mínmo. É um smples canddato a ponto mínmo que pode ser um ponto de nflexão ou um máxmo. As n varáves x e os p multplcadores v são desconhecdos e as condções necessáras das equações apresentadas provdencam equações sufcentes para determna-los. Os multplcadores de Lagrange v, não têm snal, sto é, podem ser postvos, negatvos ou zero. Isto contrasta com os multplcadores de Lagrange para problemas com restrções do tpo desgualdade nos quas é requerdo que sejam não negatvos. 18

19 Multplcadores de Lagrange e Condções Necessáras Os gradentes das condções da equação de Lagrange podem ser arranjados na segunte forma: * * j f x h x * v j 1 até n x x Desta forma mostra-se que o gradente da função custo é uma combnação lnear das restrções no ponto canddato a mínmo. 19

20 Multplcadores de Lagrange e Condções Necessáras Os problemas de optmzação também oferecem restrções do tpo desgualdade na forma: g x até m 0 1 Pode-se transformar as restrções do tpo desgualdade, em do tpo gualdade por meo de adção a ela de novas varáves, estas varáves são chamadas varáves de folga 0

21 Como as restrções encontram-se na forma o seu valor é negatvo ou zero, então as varáves de folga devem ser não negatvas, sto é postvas ou zero, para transformar a desgualdade em gualdade. Uma restrção de desgualdade do tpo g (x) 0 é equvalente a uma restrção de gualdade do tpo g (x) + s = 0, onde s 0 é a varável de folga. Introduzndo uma nova varável s tem-se de ntroduzr uma restrção do tpo s 0 para cada restrção do tpo desgualdade. Isto aumenta a dmensão do problema de optmzação. Multplcadores de Lagrange e Condções Necessáras 1

22 Multplcadores de Lagrange e Condções Necessáras As restrções do tpo s 0 podem ser evtadas se usar-se s como varáves de folga em vez de s. As restrções de desgualdade do tpo g (x) 0 então, são convertdas para gualdades do tpo: g s 0 Onde s tem um valor real

23 Multplcadores de Lagrange e Condções Necessáras As m equações necessáras para determnar as varáves de folga obtêm-se da dervação da equação de Lagrange em função das varáves de folga da segunte manera: L s 0 Note-se que uma vez o ponto do óptmo seja especfcado ele pode ser usado para calcular a varável de folga, pela equação: g s 0 3

24 Se a restrção for satsfeta neste ponto, sto é se g (x) 0, então s 0. Multplcadores de Lagrange e Condções Necessáras Se for volada então s é negatvo o que não é acetável, sto é o ponto canddato não é um mínmo. Esta é uma condção necessára adconal para os multplcadores de Lagrange do tpo dada como: u 0 j 1 até m * j Onde u j * é o multplcador de Lagrange para a j-ésma restrção de desgualdade 4

25 Condções Necessáras Kunhn-Tucker (K - T) Seja x* um ponto regular de um conjunto de restrções e é um mínmo local para f(x) sujeto as restrções: h x até p 0; 1 g x até m 0; 1 Defne-se a função de Lagrange para o problema como: L x, v, u, s f x v h x u g x s 1 T T f x v h x u g x s p m 1 5

26 Condções Necessáras Kunhn-Tucker (K - T) Daí exstem multplcadores de Lagrange v* (um vector p) e u* (um vector m) tal que o Lagrangeano seja estaconáro em relação a x j, v, u e s, sto é: p * * v u j j 1 j j * h x 0 1 até p g x s 0 1 até m us * * L f h g x x x x * 0 1 até m u 0 1 até m 0; 6

27 Condções Necessáras Kunhn-Tucker (K - T) São de salentar os seguntes pontos mportantes relatvos as condções necessáras de prmera ordem de Kuhn Tucker: As condções K-T não são aplcáves nos pontos não regulares. Qualquer ponto que não satsfaça as condções K-T não pode ser um mínmo local, a não ser que seja um ponto rregular. Os pontos que satsfazem as condções são chamados pontos Kuhn-Tucker. 7

28 Condções Necessáras Kunhn-Tucker (K - T) Os pontos que satsfazem as condções K-T podem ser restrtos ou não restrtos. Eles são não restrtos quando não há gualdades e todas as desgualdades são nactvas. Se o ponto canddato for não restrto ele pode ser um mínmo ou máxmo local ou um ponto de nflexão dependendo da forma da matrz Hessana. Se houver restrções de gualdade e as desgualdades não forem actvas (.e. u=0), daí os pontos que satsfazem as condções K-T são só estaconáros. Eles podem ser mínmo máxmo ou ponto de nflexão. 8

29 Condções Necessáras Kunhn-Tucker (K - T) Se certas restrções de desgualdade estverem actvas e o seus multplcadores forem postvos, daí os pontos que satsfazem as condções K-T não podem ser um máxmo local da função custo (ele pode ser um máxmo local se as desgualdades actvas tverem zero multplcadores). Ele também não pode ser um mínmo local; dependerá das condções necessáras e sufcentes de segunda ordem, já anterormente dscutdas. 9

30 Condções Necessáras Kunhn-Tucker (K - T) É mportante notar que o valor dos multplcadores de Lagrange para cada restrção depende da forma funconal da restrção. Por exemplo os multplcadores de Lagrange para a restrção x/y (y0) é dferente da mesma restrção escrta na forma x - 10y 0, ou 0,1 x/y O óptmo do problema não muda trocando a forma da restrção, mas os multplcadores de Lagrange alteram-se. 30

31 Condções KT. Exemplo. Redução à forma padrão: Maxmzar z= x 1 x + x sujeto a x 1 + x 4 x 1, x 0 Mnmzar z= -x 1 x - x sujeto a x 1 + x 4 x 1, x 0 Introduz-se a função de Lagrange, derva-se esta função em relação a x 1 e x e depos ntroduzem-se as condções KT. 1,, L x x u x x x u x x s L -x u 0 x 1 L x -x x u 0 1 x x s us 0 u 0 31

32 Condções KT. Exemplo. Obtém-se um sstema de quatro equações com quatro ncógntas O sstema pode ser resolvdo fazendo u = 0 -x + u =0 - x 1 - x +u =0 x 1 + x -4 +s =0 us = 0 u 0 x =0 x 1 =0 f(x 1,x ) = 0 s =4 Fazendo agora s = 0 O ponto máxmo tem as coordenadas x 1 =1,33 e x =1,33 e corresponde ao valor da função f(x 1,x )=5,33 x =1,33 x 1 =1,33 f(x 1,x ) = -5,33 u =,66 3

33 Optmzação Global Uma função é convexa só e só se a sua Hessana for ao menos postva sem - defnda ou postva defnda em todos os pontos de domíno da função; e ela é chamada estrtamente convexa se a Hessana for postva defnda em todos os pontos. Uma restrção do tpo gualdade ou desgualdade sempre defne a regão de possível convexdade do problema. Uma restrção não lnear do tpo gualdade sempre defne a regão de não convexdade do problema. Se todas as funções restrções do tpo gualdade forem lneares e todas as restrções do tpo desgualdade escrtas na forma standart (mnmzação da função com restrções de desgualdade do tpo menor ou gual) forem convexas, a regão provável é convexa; por outro lado pode ou não ser convexa. 33

34 Optmzação Global Se a função custo for convexa sobre uma regão convexa possível, o problema é chamado problema de programação convexa. Para um problema de programação convexa, as condções necessáras Khun-Tucker de prmera ordem são também sufcentes, e qualquer mínmo local é também mínmo global. Os problemas não convexos podem também ter pontos de mínmo global. 34

35 Condções De Segunda Ordem Para Optmzação Com Restrções A solução das condções necessáras dão um canddato a mínmo. As condções sufcentes determnam quando um ponto canddato é um mínmo local ou não. Prmero va-se abordar as condções sufcentes para problemas de programação convexa e só depos para problemas de programação no geral. 35

36 Condções sufcentes para problemas convexos Quas são as condções sufcentes para problemas convexos? Para problemas de programação convexos as condções necessáras de prmera ordem K-T também se mostram sufcentes. Da se poder-se mostrar a convexdade do problema, qualquer solução das condções necessáras satsfaz automatcamente as condções sufcentes. 36

37 Teorema (I) Faculdade de Engenhara Optmzação Condções sufcentes para problemas convexos Se (fx) for uma função custo convexa defnda no domíno convexo (conjunto de restrções) da as condções Kuhn-Tucker de prmera ordem são necessáras como também sufcentes para defnrem um mínmo global. Para se usar o teorema deve-se mostrar que o conjunto de restrções S é convexo e dado por: S = {x h (x) = 0, = 1 até p; g (x)=0; = 1 até m} Todas as restrções de gualdade h (x) devem ser lneares e a Hessana das restrções de desgualdade g (x) deve ser postva semdefnda ou postva defnda para a convexdade do conjunto S. 37

38 Teorema (II) Faculdade de Engenhara Optmzação Condções sufcentes para problemas convexos Se um problema com restrções tver uma função não lnear do tpo restrção de gualdade ele não pode ser convexo. Se todas as funções do problema forem lneares quanto as sua varáves, daí o problemas é convexo. Depos de se mostrar a convexdade de S, é necessáro mostra-se que f(x) também é convexa em S para o problema ser convexo. Para estes problemas qualquer ponto que satsfaça as condções necessáras de K-T dará um mínmo global. 38

39 Condções de segunda ordem para Problemas em Geral Nos casos não sujetos à restrções usa-se a nformação de segunda ordem que se obtém das funções (sto é a curvatura) no ponto canddato x* para determnar se ele é um canddato a mínmo local. Nos problemas sem restrções nos quas a sufcênca local do teorema requer que a parte quadrátca da expansão em séres de Taylor para a função em x*, seja postva para todas as varações d, dferentes de zero. Nos casos restrtos deve-se também consderar as restrções actvas em x* para determnar as varações sensíves de d. 39

40 Condções de segunda ordem para Problemas em Geral Consdere-se só os pontos x=x*+d na vznhança de x* que satsfaçam as equações de restrções actvas. Qualquer d 0 satsfazendo as restrções actvas de prmera ordem deve estar no plano tangente restrto. Como os d's são ortogonas ao gradente das restrções actvas (os gradentes das restrções são normas ao plano tangente as restrções). Daí o produto escalar de d por cada gradente de restrções h e g deve ser zero, sto é: h T d T 0 e g d 0, Daí, a drecção d é determnante para defnr a regão possível em torno do ponto x*. Note-se que só as restrções de desgualdade actvas (g =0) são usadas para determnar d. 40

41 Condções de segunda ordem para Problemas em Geral Teorema (I): Seja x* que satsfaz as condções necessáras K-T de prmera ordem para problemas geras de optmzação. Defne-se a Hessana da função de Lagrange L no ponto x* como: L f P 1 v * h m 1 u * g 41

42 Condções de segunda ordem para Problemas em Geral Teorema (II): Seja dferente de zero a drecção provável (d 0) satsfazendo os seguntes sstemas lneares no ponto x*. T h d 0 1 até p g d 0 1 até m T para todas as desgualdades actvas (sto é aqueles com g (x*) = 0). Daí se x* for um mínmo local para um problema de optmzação será certo que: T * Q 0 Onde: Q d L x d Note-se que qualquer ponto que não satsfaça as condções necessáras de segunda ordem não pode ser um ponto mínmo local. 4

43 Condções sufcentemente fortes para Problemas Restrtos no Geral Teorema (I): Seja x * satsfazendo as condções necessáras K-T de prmera ordem para problemas geras de optmzação. Defne-se a Hessana da função de Lagrange L no ponto x* como: L f P 1 v * h m 1 u * g Defna-se a drecção possível (d 0) como solução dos sstemas lneares. T h d 0 1 ate p T g d 0 1 até m, para desgualdades actvas com u 0 43

44 Teorema (II): Seja também: Faculdade de Engenhara Optmzação Condções sufcentemente fortes para Problemas Restrtos no Geral T g d 0 para as restrções com u 0. T * Se Q 0 onde : Q d L x d Daí x* é um ponto mínmo local solado (solado sgnfca que não há outro ponto mínmo local na vznhança de x*). Este resultado pode ser sumarado no teorema segunte: 44

45 Condções sufcentemente fortes Teorema (I) Seja x* satsfazendo as condções necessáras K-T de prmera ordem para um problema de optmzação no geral, se: * L x for postvo defndo, x* é um ponto mínmo solado. Deve ser enfatzado que se a equação da Hessana de Lagrange, não for satsfeta não se pode conclur não ser x* um mínmo local. Pode ser um mínmo local mas não solado. Note-se também que o teorema não pode ser usado para qualquer x* se o assumdo não for satsfeto. Nesses casos, não se pode trar qualquer conclusão acerca do ponto x*. 45

46 Condções sufcentemente fortes Teorema (II) Um caso que acontece em algumas aplcações e precsa de uma menção especal, ocorre quando o número total de restrções actvas (com a últma uma desgualdade) no ponto canddato a mínmo x* for gual ao número de varáves ndependentes do problema. Desde que x* satsfaça as condções K-T o gradente de todas as restrções actvas são lnearmente ndependente. Daí a únca solução é d=0 e o teorema para Condções sufcentes para problemas restrtos no geral não pode ser usado. Contudo desde que d=0 for a únca solução, não há drecção provável na vznhança que possa reduzr a função custo no futuro. Daí o ponto x* é canddato a mínmo local da função custo. 46

47 Programação Não Lnear com Restrções (Resolução com o Solver) Maxmzar f(x)=x 1-6x 1 x +9x -18x 1 +9x Sujeto a:x 1 -x 10 4x 1-3x 0 x 1,x 0 =SUMPRODUCT(C7:D7,varaves) =SUMPRODUCT(C8:D8,varaves) =*(C10^)-6*C10*D10+9*(D10^)-18*C10+9*D10 47