Faculdade de Engenharia Optimização. Prof. Doutor Engº Jorge Nhambiu

Transcrição

1

2 Programação Não Linear Aula 7: Programação Não-Linear - Funções de Várias variáveis Vector Gradiente; Matriz Hessiana; Conveidade de Funções e de Conjuntos; Condições óptimas de funções irrestritas; Método de Busca por Gradiente.

3 Programação Não Linear Considere-se o problema de maimização de uma função f() com variáveis múltiplas = (,, n ) quando não eiste nenhuma restrição sobre os valores viáveis. A condição de optimalidade consegue-se igualando as primeira e segunda derivada a zero. Como a função agora tem várias variáveis, a primeira e segunda derivadas alcança-se introduzindo o conceito de vector Gradiente e matriz Hessiana 3

4 O que é o vector gradiente? Faculdade de Engenharia Optimização Vector Gradiente Chama-se gradiente de f no ponto a um vector cujas componentes são as derivadas parciais de f em. Pode representar-se por grad f(), ou por f(), em que (lê-se nabla) e é o operador diferencial definido por: * f * f * * * f * f f f... n * f n T 4

5 O que é a matriz Hessiana? Faculdade de Engenharia Optimização Matriz Hessiana Chama-se Matriz Hessiana de uma função de n variáveis a matriz quadrada n X n das derivadas parciais de segunda ordem da função: f f f f f f f f f f n n n n n 5

6 Conveidade O que é a Conveidade de uma função com uma única variável? Uma função com uma única variável f() é uma função convea se para cada um dos pares de valores de e ( < ) f[λ +(- λ) ] λ( )+(- λ)f( ) para todos os valores de λ tais que < λ<. Ela será uma função estritamente convea se puder ser substituído por <. Ela é uma função côncava (ou uma função estritamente côncava) se essa afirmação continuar válida quando for substituído por (ou por >) 6

7 Conveidade Função convea.5 Função côncava Função côncava 4 e convea Função côncava e convea

8 Conveidade Como se faz o teste de Conveidade de uma função com uma única variável? Considere-se uma função com uma única variável f() que possui uma segunda derivada em todos os possíveis valores de. Então f() é: Convea se e somente se para todos os d f d Estritamente Convea se e somente se para todos os d f d 8

9 Conveidade Côncava se e somente se para todos os Estritamente Côncava se e somente se para todos os d f d d f d É de notar que uma função estritamente convea também é convea, mas uma função convea não é estritamente convea se a segunda derivada for igual a zero para alguns valores de. de forma similar uma função estritamente côncava é côncava porém o inverso não é necessariamente verdadeiro. 9

10 Conveidade O que é a Conveidade de uma função com várias variáveis? Uma função com várias variáveis f(,,, n ) é uma função convea se para cada pares de pontos na curva f(,,, n ), o segmento de recta que une esses dois pontos cai inteiramente em cima ou sobre a curva de f(,,, n ). Ela é uma função estritamente convea se esse segmento de recta realmente cair inteiramente acima dessa curva ecepto nos pontos etremos do segmento de recta. As funções côncavas e estritamente côncavas são definidas da mesma forma, ecepto pelo facto de acima ser substituído por abaio.

11 Uma função de n variáveis f(,,... n ) definida num conjunto conveo S é: Conveidade Como se faz o teste de Conveidade de uma função com várias variáveis? Convea se e somente se a matriz Hessiana da função for positiva semi-definida em todos os pontos do conjunto S. Estritamente Convea se e somente se a matriz Hessiana da função for positiva definida em todos os pontos do conjunto S.

12 Conveidade Concava se e somente se a matriz Hessiana da função for negativa semi-definida em todos os pontos do conjunto S. Estritamente Concava se e somente se a matriz Hessiana da função for negativa definida em todos os pontos do conjunto S.

13 Conveidade Função convea Função côncava

14 O que um conjunto conveo? Faculdade de Engenharia Optimização Conveidade Um conjunto conveo é um conjunto de pontos tal que, para cada par de pontos no conjunto, todo o segmento de recta que une esses dois pontos também se encontra no conjunto. As figuras mostram alguns casos de conjuntos conveos e não conveos. 4

15 Conveidade Conjuntos Conveos P P P P Conjuntos não conveos P P P P 5

16 Condições Óptimas para Funções de várias Variáveis sem restrições Seja * um ponto mínimo local da função f(). Para investigar a sua vizinhança, seja um ponto perto de *. Escrevendo a Série de Taylor em notação matricial obtémse: f f f d d H d R * * T * T Defina-se o incremento f em em f(*) como: T * T * f f d d H d R 6

17 Condições Óptimas para Funções de várias Variáveis sem restrições Se assumir-se um mínimo local em * daí f não deve ser negativo, isto é f. Concentrando-se só nos termos de primeira ordem observa-se como antes que f pode ser não negativo para todos os d possíveis quando: * T f d Isto é o gradiente da função no ponto * tem de ser zero. Esta condição pode ser escrita na forma: f i * para i... n 7

18 Condições Óptimas para Funções de várias Variáveis sem restrições Os pontos que satisfazem a equação anterior são chamados pontos estacionários. Considerando o segundo termo na equação de Taylor avaliado para um ponto estacionário, a positividade de f está assegurada se: d H T * d para todos os d. Isso será verdadeiro se a Hessiana H(*) for uma matriz positiva definida que será a condição suficiente para um mínimo local de f() no ponto *. 8

19 Condições Óptimas para Funções de várias Variáveis sem restrições Teorema: Condições necessárias e suficientes para que haja um mínimo local. Se f() for um mínimo local no ponto * então: f * i para i...n Condições necessárias de segunda ordem. Se f() for um mínimo local no ponto *, daí a matriz Hessiana: H * f i j nn terá de ser semi-definida positiva ou definida positiva no ponto * 9

20 Condições Óptimas para Funções de várias Variáveis sem restrições Condições suficientes de segunda ordem: Se a matriz H(*) for definida positiva no ponto estacionário *, daí * é um ponto mínimo local para a função f(). Nota: As condições envolvem a derivada de f() e não o valor da função.

21 Forma da matriz (I) Teorema: Forma da matriz através de autovalores Seja i, i = até n, autovalores de uma matriz simétrica H n n, associada à forma quadrática pode-se determinar a partir dos seguintes resultados da forma quadrática ou da matriz A.

22 Forma da matriz (II) F() é positiva definida se e somente se, todos os autovalores de H forem positivos, isto é: i, i = até n. F() é positiva semi-definida se e só se os autovalores de H forem não negativos, isto é: i, i = até n. F() é negativa definida se e somente se todos os autovalores de H forem negativos isto é: i. F() é negativa semi-definida se e somente se todos os autovalores de H forem não positivos, isto é: i. F() é indefinida se alguns valores i e outros valores i.

23 Condições para que uma matriz seja Definida Positiva Uma matriz é definida positiva se e só se puder ser reduzida a uma matriz triangular superior, utilizando somente as operações elementares sobre linhas (adição a qualquer linha elemento por elemento de uma outra linha multiplicada por um escalar). Uma matriz é definida positiva se e só se todos os seus menores principais forem positivos. Uma matriz é definida positiva se e só se os seu valores próprios (autovalores) forem positivos. 3

24 Autovalores e autovectores Dada uma matriz a de n n, qualquer vector de valores diferentes de zero satisfaz a equação: A Onde λ é um factor de escala, chamado autovector e os escalares λ são chamados autovalores. Desde que, vê-se que λ dá as raízes da equação característica: A I A última equação dá-nos o grau do polinómio de λ 4

25 Autovalores e autovectores Depois da determinação dos autovalores, os autovectores podem ser determinados pela equação: A Os coeficientes da matriz A tanto podem ser simétricos como também assimétricos. Em muitas das aplicações A é uma matriz simétrica. Os autovalores e autovectores de uma matriz real são reais. Eles podem ser imaginários para matrizes reais não simétricas Os autovectores correspondentes a distintos autovalores de matrizes reais simétricas, são ortogonais 5

26 6 Autovalores e autovectores Eemplo 7. A I A Calcule os autovalores e os autovectores da matriz: A característica polinomial é dada por: Os autovalores do problema são definidos como:

27 Autovalores e autovectores Eemplo 7. Então: ou 4 3 As raízes deste polinómio são: λ = 3, λ =, daí os autovalores são 3 e Os autovectores para λ = 3,dados pela primeira equação são: ( 3) ( 3) Daí: () 7

28 Autovalores e autovectores Eemplo 7. Os autovectores para λ =,dados pela primeira equação são: ( ) ( ) Daí: () 8

29 Método da matriz triangular Eemplo 7. Dada a matriz A de dimensão 3 3 determine a sua forma. A 6 6 9

30 3 Método da matriz triangular Eemplo A A A Adicionando a primeira linha multiplicada por -/3 à segunda Adicionando a primeira linha multiplicada por /3 à terceira Adicionando a segunda linha multiplicada por /4 à terceira Os pivots 6, 6/3 e 7/3 são todos positivos a matriz e definida positiva

31 Os menores principais de A são: 6 6 Faculdade de Engenharia Optimização Método dos determinantes Eemplo 7. det Como todos os três menores principais são positivos, a matriz e definida positiva 3

32 Método da matriz triangular Eemplo 7.3 Dada a matriz A de dimensão 3 3 determine a sua forma: A

33 Método da matriz triangular Eemplo 7.3 Adicionando a primeira linha multiplicada por (-5) à segunda linha A Como o segundo pivot, -45 é negativo, A não e definida positiva nem semi-definida positiva, pode-se pôr de parte que A seja definida negativa ou semi-definida negativa, porque o primeiro pivot não é negativo. 33

34 Método da matriz triangular Eemplo 7.4 Dada a matriz A de dimensão 4 4 determine a sua forma: A

35 Método da matriz triangular Eemplo 7.4 Utilizando somente operações elementares sobre linhas: A Como nem todos os pivots,, /, 8/7 e são positivos, a matriz não é definida positiva. No entanto estes pivots são não negativos; assim A é semi-definida positiva. 35

36 Condições Óptimas para Funções de várias Variáveis sem restrições. Eemplo Procurar o mínimo local para a seguinte função de duas variáveis: 8 ) ( f Solução: As condições necessárias do problema dão: ) 4 ( ) ( f Esta equação é linear em relação as variáveis e. Se este sistema tiver solução, esta será única. Resolvendo o sistema em simultâneo obtém-se os pontos estacionários : 3, 5 *

37 37 Condições Óptimas para Funções de várias Variáveis sem restrições. Eemplo f f f f H Para saber se o ponto estacionário é um mínimo local é necessário Avaliar a Hessiana no ponto * H é positiva definida no ponto estacionário *, dai é um ponto mínimo local com f() = 4.75

38 Método de Busca por Gradiente Inicialização: Seleccione a tolerância ε e uma solução eperimental inicial qualquer. Vá primeiramente para a regra de paragem. Iteração:. Epresse f t f em função de t fazendo que : f j j t para j,,... n. j e depois substitua essa epressão em f 38

39 Método de Busca por Gradiente. Use um procedimento de busca para optimização irrestrita de uma variável (ou cálculo) para encontra t t* que maimize f tf ao longo de t. 3. Reinicialize t * f. A seguir vá para a regra de paragem Regra de Paragem: calcule f j para todo o j,,... n f em. Verifique se Caso positivo pare no e aceite - o como solução, caso contrário realize mais uma iteração. 39

40 Método de Busca por Gradiente Maimizar a função f()= As derivadas em função de e são dadas por: df ( ) d df ( ) d 4 Para iniciar o método de busca por gradiente, depois de escolher um valor adequadamente pequeno para (normalmente bem abaio de,) suponha que = seja seleccionado como solução eperimental inicial. 4

41 Método de Busca por Gradiente Pelo facto das respectivas derivadas parciais serem e nesse ponto o gradiente fica: f,, Como, a regra de paragem diz para realizar mais uma iteração. Iteração : Com valores iguais a e para as respectivas derivadas t, t t parciais a primeira iteração começa fazendo com que: 4

42 Método de Busca por Gradiente E depois substituindo essas epressões em f() para obter:, f t f f t como: t t t - - 4t- 8t, * ma, ma 4-8 f t f t t t t t d e 4t -8t 4-6t t* dt 4 Reinicialize,,, 4 4

43 Método de Busca por Gradiente Para essa nova solução eperimental o gradiente é: f,, Como, a regra de paragem diz para realizar mais uma iteração. Iteração : Com valores iguais a e para as respectivas derivadas t t, t parciais a primeira iteração começa fazendo que 43

44 Método de Busca por Gradiente E depois substituindo essas epressões em f() para obter: f tf f t, t como: t e t - t - t - t - t- t f t*, ma f, ma t - t t t d t* dt Reinicialize,,, 44

45 Método de Busca por Gradiente Uma maneira interessante de se organizar o trabalho é como se apresenta na tabela a seguir: Iteração df/d df/d f(, ) t*,5,5,5,5,5,5,5 3,5,5,75,5,5,75 4,5,75,5,875,5,75,75 5,75,75,5,9375,5,75,875 6,75,875,5,96875,5,875,875 7,875,875,5,984375,5,875,9375 8,875,9375,5,9988,5,9375,9375 9,9375,9375,5,99694,5,9375,96875,9375,96875,65,99847,5,96875,96875,96875,96875,65,9993,5,96875,984375,96875,984375,35,9995,5,984375, ,984375,984375,35,999756,5,984375,9988 4,984375,99875,565,999878,5,9988,

46 . (.75,.88) (.88,.94) (.97,.98) (.98,.99) (.9,.94).8 (.5,.75) (.88,.88) (.75,.75).6.4 (.,.5) (.5,.5)..;

47 Método de Busca por Gradiente Se f() não fosse uma função côncava o método de busca por gradiente ainda convergiria para um máimo local. A única alteração na descrição do procedimento para esse caso é que t* agora corresponderia ao primeiro máimo local de f( + tf( )) à medida que t for incrementado a partir de. Se, ao contrário, o objectivo fosse minimizar f(), uma alteração no procedimento seria mover-se na direcção oposta do gradiente a cada iteração. Em outras palavras, a regra para obter o ponto seguinte seria: 47

48 Método de Busca por Gradiente t f t f * min t Reinicialize t * f. A seguir vá para a regra, a única aletaração é que t* seria o valor não negativo de que minimiza isto é : f t f f t f 48