ISCTE/FCUL - Mestrado Matemática Financeira. Aula de Janeiro de 2009 Ano lectivo: 2008/2009. Diana Aldea Mendes

Transcrição

1 ISCTE/FCUL - Mestrado Matemática Financeira Aula 4 15 de Janeiro de 2009 Ano lectivo: 2008/2009 Diana Aldea Mendes Departamento de Métodos Quantitativos, IBS - ISCTE Business School Gab. 207 AA, diana.mendes@iscte.pt, deam 1

2 Optimização multi-dimensional - Métodos gradiente (gradiente descendente, gradiente conjugado) -Métodos de Newton e quase-newton -Método de Powell (non-gradiente search) - Método dos mínimos quadrados (não-linear) (Levenberg-Marquardt) 2

3 Nota-se que: -Os computadores não podem encontrar todas as soluções -Os computadores não podem provar a ausência de soluções -Os computadores não podem provar a existência de soluções -Oscomputadoresnão podem provar a unicidade de uma solução hbn/software/ (Software by Hans Bruun Nielsen) 3

4 min f (x) f (x) =0, x D 2 f (x) definida positiva x R n, f : D R n R (1) f (x) = f (x) função objectivo (2) " # f vector gradiente (3) x i i=1,...,n 2 f (x) = (derivadas parciais de primeira ordem) (4) " 2 # f H (x) = matriz Hessiana (5) x i x j i,j=1,...,n (derivadas parciais de segunda ordem) (6) 4

5 Aformulação do problema de mínimo émuitosimples,mas,apesardisto, não existe um algoritmo perfeito. A arte de minimizar funções não-lineares consta em saber qual éométodo à utilizar e como determinar se o método escolhido converge para a solução correcta. Em geral - Utilizamos métodos iterativos que calculam uma sequência de pontos x 0,x 1,... R n tal que f x k+1 <f(xk ). O algoritmo termina quando f (x k ) <ε para ε pré-definido -Sef é fortemente convexa, isto é, m>0talque 2 f (x) >> mi, x R n, então existe um critério de paragem definido por k f (x)k 2mε f (x) f (x ) ε 5

6 Classificação dos métodos de optimização não-condicionada multidimensional - Métodos anaĺıticos: resolver f (x) = 0 analiticamente - Métodos directos: precisam só a computação de f (x) em cada passo (Powell ou DogLeg, Nelder-Mead) - Métodos gradiente: requerem a computação de f (x) e f (x) em cada passo (gradiente descendente, gradiente conjugado) -Métodos de segunda ordem: requerem a computação de 2 f (x), f (x) e f (x) em cada passo (Newton e quase-newton) - Outros métodos: arrefecimento simulado, algoritmos genéticos, etc... 6

7 Método de Powell - Requere apenas o cálculo de f (x). Necessita de um grande número de avaliações da função objectivo, o que aumenta o custo computacional - Idéia básica: considerar um número elevado de vectores x ecalcularof (x) associado. O vector correspondente ao menor valor f (x) será considerado como o valor óptimo x. - Melhor: seja x 0 o ponto que aproxima inicialmente o minimizante de f (x). Opróximo valor do minimizante, o ponto x 1, obtem-se procurando sucessivamente um minimizante de f ao longo de cada um dos vectores da base canónica {e 1,..., e n } de R n. Este processo gera a sequência de pontos x 0 = P 0,P 1,...,P N = x 1. 7

8 Ao longo de cada um dos vectores da base canónica, a função f torna ser só de uma variável. Assim, minimizar f signifique aplicar os métodos de optimização unidimensional sobre intervalos onde a função éunimodal. Opontox 1 é determinado como sendo o ponto em qual o mínimo de f ocorre ao longo do vector P N P 0. Como o vector P N P 0 é considerado ser uma direcção de investigação viável, vai substituir um dos vectores direcção para a próxima iterada. A iteração é repetida para gerar uma sequência de pontos {x k } k 0. Algoritmo 1. P 0 = x i 2. Para k = 1,...,n encontre o valor de γ k que minimiza f (P 0 + γ k U k )e escolha P k = P k 1 + γ k U k 8

9 3. i = i U j = U j+1 para j =1,..., n 1. Seja U n = P n P 0 5. Encontre o valor γ que minimiza f (P 0 + γu n ). Escolha x i = P 0 + γu n 6. Repetir os passos (1)-(5). onde U =[U T 1...UT n ]=[e T 1...eT n]. 9

10 Exemplo: Seja f (x, y) =cosx+siny esejax 0 =(5.5, 2). Determine os pontos x 1 e x

11 Seja U = " e P 0 = x 0 =(5.5, 2). Para i =1, afunção f (P 0 + γ 1 U 1 )=f ((5.5, 2) + γ 1 (1, 0)) = cos (5.5+γ 1 )+sin2temummínimo em γ 1 = Logo P 1 =(3.1415, 2). # Para i =2, afunção f (P 1 + γ 2 U 2 )=f((3.1415, 2) + γ 2 (0, 1)) = cos (3.1415)+ sin (2 + γ 2 )temummínimo em γ 2 = Logo P 2 =(3.1415, ).Seja agora " # U2 T =(P 2 P 0 ) T e U =

12 Afunção f (P 0 + γu 2 ) = f ((5.5, 2) + γ ( , )) = cos( γ)+ sin( γ) temummínimo em γ = Logo x 1 =(3.1848, ). Seja P 0 = x 1. Quando i =1, afunção f (P 0 + γ 1 U 1 ) = f ((3.1848, ) + γ 1 (0, 1)) = cos(3.1848) + sin ( γ 1 ) temummínimo em γ 1 = Logo P 1 =(3.1484, ). Quando i =2, a função f (P 1 + γ 2 U 2 ) = f ((3.1848, ) + γ 2 ( , )) = cos( γ 2 )+sin( γ 2 ) 12

13 temummínimo em γ 2 = Logo P 2 =(3.1662, ). Seja U T 2 =(P 2 P 0 ) T e U = " #. Afunção f (P 0 + γu 2 ) = f ((3.1848, ) + γ ( , )) = cos( γ)+ sin( γ) temummínimo em γ = Logo x 2 =(3.1698, ). Afunção f (x, y) =cosx +siny tem um mínimo no ponto P =(π, 3π/2). 13

14 Métodos gradiente ou métodos descendentes Minimização ao longo de uma direcção - Problema geral Minimizar uma função real de n variáveis reais, f, onde: f é regular, o seu gradiente g = f é conhecido e é dada um direcção descendente u. Uma direcção u diz-se descendente para a função f em x se u T f 0 (x) < 0. -Consideram-se iterações de forma x k+1 = x k + λ k u k, onde u k é a direcção descendente investigada e λ k é o comprimento de passo obtido por uma procura unidimensional (faz decrescer a função f). Em todos 14

15 os métodos consideremos que f x k+1 <f(xk ), (descending condition) oque obriga a convergência para um ponto de mínimo, caso existe. O algoritmo termina quando satisfaz o críterio de paragem. Tem convergência linear e portanto é um algoritmo bastante lento. Problema: Dada uma função f (x), x =(x 1,...,x n ) R n, um ponto inicial x 0 R n eumadirecção u =(u 1,..., u n ) R n, como minimizar a função f ao longo da direcção u? Resposta: Começamos com um ponto inicial x 0 e procuramos um novo ponto tal que a função x = x 0 + λ u F (λ) =f (x 0 + λu) 15

16 é minimizada quando λ = λ. Nesta situação F (λ) é uma função só deuma variável (λ). Como escolher a direcção descendente: Nos métodos do gradiente conjugado não linear, a direcção de investigação édeforma u k = g k + β k u k 1 ou seja h k = f (x k )=g k, onde o escalar β k é escolhido de tal maneira que o método reduz-se ao método linear dos gradientes conjugados, quando afunção é quadrática e a linha de investigação é exacta. 16

17 Uma outra classe de métodos define a linha (direcção) de investigação por u k = Bk 1 g k onde B k é uma matriz regular ( B k 6= 0)esimétrica (b ij = b ji ). Casos especiais são dados quando B k = I the steepest descent method B k = 2 f (x k )=H (f (x k )) o método de Newton. Os métodos quase-newton ou métricos variáveis são também deste tipo, mas neste caso B k depende ainda de B k 1 edex k 1. Matlab: m-file opt steep.m [xo,fo] = opt steep(f,x0,tolx,tolfun,alpha0,maxiter) 17

18 Minimização ao longo de uma direcção - exemplo Seja f (x) =f (x 1,x 2 )=1+x 1 x 2 + x x2 2. Minimize f na direcção u =( 2, 1) para o ponto inicial x 0 =(0, 0). Definimos a linha de investigação x = x 0 + λu =(0, 0) + λ ( 2, 1) = ( 2λ, λ) eanovafunção F, isto é F (λ) =f (x 0 + λu) =f ( 2λ, λ) =1 3λ +6λ 2. O minimizante de F (λ) éobtidodef 0 (λ) =0, isto é F 0 (λ) =12λ 3=0 λ = 1 4, 18

19 ecomof 00 (λ )=12> 0, temos que λ = 1 4 éummínimo. Tem-se então que x = x 0 + λ u = ³ 1 2, 1 4 éomínimo de f (x) ao longo da linha x = x 0 + λu. Mais, podemos mostrar que x éomínimo global da função f (x). Escrevendo µ f (x) =f (x 1,x 2 )=1+x 1 x 2 + x x2 2 = x µ +2 x aúltima função tem curvas de nível (contorno) definidas por elipses centradas no ponto de mínimo x = ³ 1 2, 1 4. Observa-se que o mínimoaolongodadirecção 19

20 x = x 0 + λu passa pelo centro ³ 1 2, Funço f (x 1,x 2 )=1+x 1 x 2 + x x2 2 20

21 Método do gradiente conjugado (Fletcher-Reeves) A introdução do método do gradiente conjugado por Fletcher-Reeves nos anos 1960 conduz a possibilidade de optimizar problemas não lineares de larga escala, pois só são precissos O (n) operações por iteração e pouco espaço para armazenagem. São métodos simples e bastante fáceis de implementar. São superiores aos métodos que não utilizam informação sobre o gradiente, mas são inferiores aos métodos de tipo Newton. Considerando uma equação da forma f(x) = 0, é claro que f(x) = 0 sse f(x)f(x) = 0. Logo, se existirem, os zeros de f, são os pontos de mínimo absoluto de f 2. 21

22 De forma semelhante, no caso de funções com várias variáveis, usando a norma euclidiana, obtemos: F (x) =0<=> F (x) 2 =0<=> F(x).F (x) =0 e, se existirem, as soluções de F (x) =0são os pontos de mínimo absoluto de f(x) =F (x).f (x). Seja A uma matriz simétrica e definida positiva, e consideremos uma forma quadrática auxiliar: f (x) =a b T x xt Ax que transforma vectores em números reais. Como a forma équadrática, há apenas um vector que minimiza f eé exactamente o ponto crítico, ou seja, a 22

23 solução de f 0 (x) = 0, e neste caso, f 0 (x) = 1 2 (AT + A)x b = Ax b. Assim, se encontrarmos o ponto de mínimo, ele será solução do sistema linear Ax = b. Consideramos métodos iterativos de optimização de tipo investigação de linha, ou seja: x n+1 = x n + a n h n de forma que haja uma direcção descendente, ou seja, f(x n+1 ) <f(x n ). O vector h n define a direcção de investigação descendente. 23

24 Método do Gradiente No caso do método do gradiente (ou declive máximo - steepest descent), a direcção de descida escolhida é h n = f(x n )=b Ax n, e neste caso (de sistemas lineares) é também designado por resíduo. Resta encontrar o valor a n que minimiza f, deentreospossíveis valores x n +ah n. Encontramos o ponto de mínimo, derivando f (nesses pontos) em ordem a a, ou seja, d da (f (x n + ah n )) = f 0 (x n + ah n ).h n = (b A(x n + ah n )).h n = h n.h n aah n.h n 24

25 Assim, o valor mínimo a n será obtidocomozerodaderivada, h n.h n a n Ah n.h n =0<=> a n = h n.h n. Ah n.h n Em conclusão, dado um vector inicial x 0,ométododogradienteresume-seà iteração x n+1 = x n + a n h n = x n + h n.h n h n com h n = b Ax n h n.a h n Um critério de paragem consiste em exigir que h n 2 = h n.h n <ε com ε pequeno, notando que isso implica que Ax n épróximo de b. 25

26 Método das Direcções Conjugadas Começamos por definir direcções conjugadas: Um conjunto de direcções {h 1,h 2,...} diz-se conjugado com respeito a uma matriz A simétrica e definida positiva se h T i Ah j = 0 para qualquer i 6= j. Com este produto interno, dois vectores dizem-se A-ortogonais se <h i,h j > A = h i.ah j = h T i Ah j =0,comosinónimo diz-se que as direcções h i e h j são conjugadas. Seja N adimensão da matriz A esejamh 1,h 2,...,h N direcções conjugadas, que constituem uma base A-ortogonal em R N. Se considerarmos h n como direcções de descida, temos a iteração x n+1 = x n + a n h n 26

27 e queremos agora encontrar o valor a n que minimiza f, deentreospossíveis valores x n + ah n. De forma, semelhante, podemos obter a n = r n.h n, com r n = b Ax n h n.ah n eportantoométodo de direcções conjugadas é x n+1 = x n + r n.h n h n.ah n h n Teorema: Um método de direcções conjugadas atinge a solução ao fim de N iterações. 27

28 Método dos Gradientes Conjugados Consideramos agora o caso particular do método das direcções conjugadas, em que elas são obtidas através do gradiente. Recordamos que no caso linear o gradiente é dado pelo resíduo r n = b Ax n. Através de um processo de ortogonalização (ou melhor, A-ortogonalização) de Gram-Schmidt, através dos sucessivos resíduos (gradientes) podemos construir as direcções h n que serão conjugadas (A-ortogonais). Assim, podemos resumir o Método dos Gradientes Conjugados, 1. Dado x 0 definimos h 0 = r 0 = b Ax 0, 28

29 2. Definimos x n+1 = x n + a n h n com a n = r n.h n h n.ah n 3. Definimos r n+1 = r n a n Ah n e h n+1 = r n+1 + b n h n, com b n = r n+1.r n+1 r n.r n. 4. Regressamos ao 2 o passo, até que sejam efectuados N passos. Nota: Apesar de termos dito que o método atinge a solução exacta ao fim de N passos, um mau condicionamento da matriz poderá impedir que a solução seja efectivamente obtida. Nesse caso há que utilizar um critério de paragem, por exemplo, exigindo que o resíduo seja suficientemente pequeno. 29

30 (a). Método de Fletcher-Reeves (1964) onde x prev é a iterada prévia. b n = r n+1.r n+1 r n.r n = f 0 (x n+1 ) T f 0 (x n+1 ) f 0 (x n ) T f 0 (x n ) (b). Método de Polak-Ribière (1971) b n = (r n+1 r n ).r n+1 r n.r n = f 0 (x n+1 ) f 0 (x n ) T f 0 (x n+1 ) f 0 (x n ) T f 0 (x n ) Para uma função quadrática os dois métodos são identicos. 30

31 Mtododogradienteconjugado 31

32 Em Matlab o programa mincg.m está baseado neste método de optimização. [res, noiter]=mincg(f, derf, ftau, x, tol) onde f éafunção a optimizar, derf são as derivadas paciais de 1 a ordem da função (gradiente), ftau represente o método de investigação de linhas, x a condição inicial e tol a tolerância permitida. De forma alternativa tem-se o m-file opt conjg.m [xo,fo] = opt conjg(f,x0,tolx,tolfun,alpha0,maxiter,kc) Exemplo: Seja A = " #. 32

33 Determine os vectores próprios de A e motra que são A-conjugados. Primeira vez determinam-se os valores próprios, isto é A λi =0 λ 1 =1 e λ 2 =3. Logo " #" # " # v1 0 (A λi) v = 0 = v 1 = ³ v1 1 ³ 2,v1 = v 1 1,v1 1 = v 1 1 (1, 1), v1 1 R " #" # " # v1 0 = v 2 v 2 = ³ v 2 1,v2 2 = ³ v 2 1, v 2 1 = v 2 1 (1, 1), v 2 1 R v 2 33

34 Agora ³ v 1 T Av 2 = h 1 1 i " #" 1 1 # =0 Exemplo: Aplicando o método das direcções conjugadas, minimiza a seguinte função quadrática min x1,x 2 R f (x 1,x 2 )= 1 2 xt Ax b T x + c, onde " # " # " # A =, b =, c =5 e x =. 0 Calculamos os vectores conjugados de A (exemplo anterior) h 0 =(1, 1) eh 1 = (1, 1). 34

35 Agora r 0 = b Ax 0 = " 3 8 # " #" 0 0 # = " 3 8 # 6= 0 a 0 = rt 0 h 0 h T 0 Ah 0 = 11 2 x 1 = x 0 + a 0 h 0 = h " # " r 1 = b Ax 1 = i T #" # = " # a 1 = rt 1 h 1 h T 1 Ah 1 = 5 6 x 2 = x 1 + a 1 h 1 = r 2 = b Ax 2 = " 3 8 " # 2 # " # = " " #" # # = " #. 35

36 Exemplo: Aplicando o método do gradiente conjugado (Fletcher-Reeves), minimiza a seguinte função quadrática onde o ponto inicial é x 0 =(1, 2). min x 1,x 2 R f (x 1,x 2 )=x 2 1 x 1x 2 +3x 2 2, Calculamos o vector gradiente logo f (x) =f 0 (x) = f 0 (x 0 )= " 0 11 # " 2x1 x 2 x 1 +6x 2 e r 0 = h 0 = # " 0 11 # 36

37 Agora x 1 = x 0 + a 0 h 0 = h b 1 = f 0 (x 1 ) T f 0 (x 1 ) f 0 (x 0 ) T f 0 (x 0 ) = 1 36 h 1 = f 0 (x 1 )+b 1 h 0 = x 2 = x 1 + a 1 h 1 = " 0 0 " 116 #. i T e f 0 (x 1 )= # " # Exemplo: Determinar um mínimo local da função f (x, y) =0.5(x 4 16x 2 +5x)+0.5(y 4 16y 2 +5y) 37

38 Função f801.m >> x1=mincg( f801, f801pd, ftau2cg, x0, ) 38

39 > number of iter= 6, > Solution >> x=-4:0.1:4;y=-4:0.1:4; [X,Y]=meshgrid(x,y); >> z=0.5.*(x.ˆ4-16.*x.ˆ2+5.*x)+0.5.*(y.ˆ4-16.*y.ˆ2+5.*y); >> x1=[ ]; y1=[ ]; >> figure; axis([ ]); contour(-4:0.1:4, -4:0.1:4, z,15) >> hold on; plot(x1,y1,x1,y1, o ) 39

40 Método de Newton Ométodo de Newton inicía uma classe importante de algoritmos que, para serem aplicados, requerem a computação do vector gradiente g = f (x) = f x 1 (x). f x n (x), onde f : D R n R e x =(x 1,...,x n ) 40

41 edamatrizhessiana H (f (x)) = 2 f (x) = 2 f 2 f 2 f x 2 (x) (x)... (x) 1 x 1 x 2 x 1 x n 2 f 2 f 2 f (x) x 2 x 1 x 2 (x)... (x) 2 x 2 x n f (x) 2 f x n x 1 (x) 2 f x n x 2 (x)... x 2 n. Teorema: Suponhamos que f : D R n R é duas vezes diferenciável e x R n satisfaz 1. f (x )=0 41

42 2. 2 f (x ) édefinida positiva (em particular, não-singular) 3. 2 f élipschitzcontínua numa vizinhança do ponto x. Então x éummínimo local de f e para qualquer x 0 suficientemente próximo de x,ométodo de Newton define uma sequência que converge (local) quadraticamente para x. Nota: O método ainda converge se a matriz Hessiana é semidefinida positiva e singular. O método de Newton determina um modelo quadrático para a função objectivo em torno da iterada corrente x k definida por q k (h k )=f (x k )+ T f (x k ) h k ht k 2 f (x k ) h k. 42

43 Na versão básica do método de Newton, a próxima iterada éobtidaapartir do minimizante de q k. Quando a matriz Hessiana édefinida positiva, o modelo quadrático tem um único minimizante que pode ser obtido resolvendo o seguinte sistema simétrico (n n) 2 f (x k ) h k = f (x k ) h k = ³ 2 f (x k ) 1 f (xk ) Agora, a nova iterada vai ser x k+1 = x k + h k = x k ³ 2 f (x k ) 1 f (xk ) Como já referidoaconvergência (local) é garantida se o ponto de partida é suficientemente próximo de um minimizante local x. Ocritério de paragem é dado por α 2 µ 2 ε onde α (x) = T f (x) ³ 1/2 2 f (x) 1 f (x) = kx x k 43

44 Figura 1: Método de Newton. Caso (a), convergência imediata para p mínimo (1 iterada) e caso (b) convergência ao fim de10iteradas. 44

45 O algoritmo de Newton se funciona bem, funciona muito bem. Com tudo isto não é o método ideal, pois requere a computação da matriz hessiana em cada iterada, também como a resolução do sistema linear que envolve a hessiana. Falha facilmente se a matriz hessiana não é definida positiva ou regular. Nestes casos (quando a matriz hessiana não é definida positiva ou regular) convém substituir a matriz Hessiana H por uma nova matriz Ĥ = H + E. O método de Levenberg-Marquardt pode ser utilizado com sucesso, fazendo a substituição: Ĥ = H + γi, com I matriz identidade. O papel de γ émantera matriz H definida positiva. Matlab: m-file newtons.m [x,fx,xx] = newtons(f,x0,tolx,maxiter,varargin) 45

46 Exemplo: Minimizar a função f (x) =f (x 1,x 2 )= 1 2 x2 1 Ã! x x 2 arctan x ln ³ x

47 Precisamos do gradiente e da matriz Hessiana f (x) = x x 1 arctan x 2 e f (x) = x x 2 2 Atabelaseguintedá os resultados de iteração quando x 0 =(1, 0.7). Há convergência local quadrática. 47

48 Mudando a condição inicial, nomeadamente x 0 =(1, 2), ométodo de Newton comporta-se muito mal (não há convergência global), como pode ser visto na próxima tabela Na maioria dos casos, o método básico de Newton não converge e para se obter bons resultados é preciso modificar o algoritmo. Basicamente, há dois métodos para modificar o algoritmo de Newton em ordem a obter convergência: 48

49 1. Abordagem baseada numa investigação de linhas (direcções) (modifica a direcção da linha de investigação para obter uma outra direcção descendent para f) 2. Abordagem baseada numa região de confiança (utiliza a função quadrática original, mas condiciona-se que a nova iterada pertencer a uma vizinhança da iterada corrente) Estas técnicas são adequadas se o número de variáveis da função objectivo não é muito elevado e se a matriz Hessiana é acessível e fácil de calcular. Os algoritmos ficam não-alterados se a matriz Hessiana vem substituída por uma boa aproximação sua. Existem dois tipos de métodos que aproximam a matriz Hessiana, nomeadamente: Aproximações com diferenças e Métodos quase-newton 49

50 Métodos Quase-Newton ou métodos métricos variáveis Podem ser utilizados quando a matriz Hessiana é difícil de calcular ou demora muito tempo para ser avaliada. Este método constrói gradualmente uma matriz Hessiana aproximada utilizando informações a partir do gradiente avaliado para quase todas as iteradas anteriores visitadas pelo algoritmo. Consta de dois passos fundamentais - Determinação de uma direcção de investigação - Escolha do método de investigação da linha Dada a iterada corrente x k e a matriz Hessiana aproximada B k em x k, asolução do sistema linear B k h k = f (x k ) h k = Bk 1 f (x k) 50

51 gera uma direcção h k. Apróxima iterada encontra-se fazendo uma investigação linear sobre h k e considerando x k+1 = x k + α k h k, onde o comprimentos de passo α k satisfaz as condições de Wolfe, isto é, onde 0 <σ 1 <σ 2 < 1. f (x k + α k h k ) f (x k )+σ 1 α k T f (x k ) h k T f (x k + α k h k ) h k σ 2 T f (x k ) h k Para obter a aproximação B k+1 apartirdeb k é precisso considerar o Teorema Fundamental de Cálculo Integral. Se definimos s k = x k+1 x k y k = f x k+1 f (xk ) 51

52 então ( Z f (x k + ts k ) dt média da Hessiana sobre o segmento [x k,x k +s k ] ) s k = y k. A partir dessa observação podemos obter a aproximação B k+1 imitandoocomportamento da matriz 2 f e considerando a condição de quase-newton B k+1 s k = y k. Ao fim de cada passo a aproximação da matriz Hessiana vem actualizada. A mais comum (e utilizada) família de actualizações consideradas no método de quase-newton (para determinação da direcção de investigação) é a de Broyden de rang 2, isto é B k+1 = B k B ks k (B k s k ) T s T k B ks k + y ky T k y T k s k + φ k [s T k B ks k ]v k v T k, 52

53 onde φ k [0, 1] e v k = " yk y T k s k B ks k s T k B ks k Para φ k =0tem-seaactualização de Broyden-Fletcher-Goldfarb-Shanno (BFGS) eparaφ k =1tem-seaactualização de Davidon-Fletcher-Powell (DFP). #. Aplicando qualquer uma dessas actualizações a matriz Hessiana aproximada permanence definida positiva e portanto a direcção de procura ésempreumadi- recção descendente. São algoritmos que convergem rapidamente e evitam a computação das derivadas de segunda ordem. 53

54 Matlab fminunc é o m-file que determine extremos livres de uma função real de várias variáveis reais. >> x=fminunc( fname,x0) Inicia em x 0 e tenta encontrar o mínimo local x da função fname (definida como m-file também) Exemplo >>x =fminunc( ffdi,[2 3]) % sem gradiente 54

55 > f = > f = Optimization terminated: relative infinity-norm of gradient less than options.tolfun. x = Para minimizar esta função já com o gradiente dado modificamos a função como a seguir (indicando no comando fminunc que o gradiente está disponível utilizando OPTIONS) 55

56 >>x = fminunc( fname, x0, options); >> options=optimset( GradObj, on ); x0=[2 3] >> [x,fval]=fminunc( dffdi, x0, options) Optimization terminated: first-order optimality less than OPTIONS.TolFun, and no negative/zero curvature detected in trust region model. x = fval = -2 56

57 Método dos mínimos quadrados (problema não-linear) Consideremos, de novo, um conjunto de pontos x 0,...,x n aqueestão associados, respectivamente, os valores f(x 0 ),...,f(x n ). Temos que considerar agora uma classe de funções, entre as quais vamos tentar encontrar a que melhor aproxima aquele conjunto de valores, nos pontos dados. Vamos concentrar em funções da forma: g(x) =a 0 f 0 (x) a m f m (x) em que f 0,...,f m são funções base (linearmente independentes), e são conhecidas. Neste caso, apenas teremos que determinar os parâmetros a 0,..., a n,deforma que a soma quadrática das diferenças entre os f(x i )eosg(x i )sejamínima. Faz 57

58 então sentido introduzir a distância f g em que u 2 = aqueestáassociadaoprodutointerno <u,v>= nx i=0 nx i=0 u 2 (x i ) u (x i ) v (x i ). A norma e o produto interno estão bem definidos para funções que assumem quaisquer valores nos pontos x 0,...,x n. Pretende-se pois encontrar os parâmetros a 0,...,a n que minimizem a distância entre f e g,istoé: Q = f g 2 =<f g, f g> 58

59 Para obtermos esse mínimo, começamos por procurar os valores a 0,...,a m tais que todas as derivadas parciais de Q sejam nulas, isto é: Q a j (a 0,...,a m )=0, para j =0,...,m. Calculamos a derivada parcial, usando as propriedades de derivação do produto interno: Q = * + * + <f g, f g>= (f g),f g + f g, (f g) a j a j a j a j = 2 * Por outro lado f g, a j (f g) g a j = + = 2 * f g, a j g + a j (a 0 φ a m φ m )=φ j. 59

60 e assim obtemos, para cada j de 0 até m: D f g, φ j E =0 Podemos ainda substituir a expressão de g e obtemos um sistema linear: nx i=0 designado por sistema normal. a i <φ i,φ j >=< f,φ j > para cada j =0,...,m Teorema: Se as funções base φ 0,..., φ m forem linearmente independentes, a matriz do sistema normal é definida positiva. Observações: 1)A matriz Hessiana de Q coincide justamente com a matriz do sistema normal. Fica assim justificado que a solução do sistema normal, tratando-se de um ponto 60

61 crítico de Q, e como a matriz Hessiana édefinida positiva, seja o mínimo do funcional Q. 2) Como a matriz ésimétrica e definida positiva, um métodoapropriadopara resolver o sistema normal é o método de Cholesky. Mais geral: Seja f : R n R m, com m n. Objectivo: minimizar kf (x)k, ou equivalente, encontrar um x, tal que x =min x {F (x)} onde F (x) = 1 2 mx i=1 (f i (x)) 2 = 1 2 kf (x)k2 = 1 2 f T (x) f (x). Os problemas dos mínimos quadrados podem ser resolvidos pelos métodos usuais de optimização ou pelos métodos dos mínimos quadrados que se tornam mais efficientes 61

62 Temos F 0 (x) =J (x) T f (x) e F 00 (x) =J (x) T J (x)+ mx i=1 f i (x) f 00 i (x). Método de Levenberg-Marquardt Opassoh lm édefinido por ³ J T J + μi h lm = J T f. A principal dificuldade em implementar este algoritmo consta em encontrar uma estratégia efectiva para controlar o tamanho de μ em cada iteração de tal forma que será eficiente para um conjunto grande de problemas. O método utilizado neste algoritmo consta na medição da não linearidade relativa de f (x) utilizando uma soma linear de quadrados. Não procura explicitamente a direcção de investigação o que torna o algoritmo bastante rápido e exacto. 62

63 Algoritmo Iniciar k = 0;υ =2; x = x 0 ; A = J (x) T J (x); g = J (x) T f (x) found = (kgk ε 1 ); μ = τ max {a ii } while (not found) e (k <k max ) k = k +1; resolver (A + μi) h lm = g if kh lm k ε 2 (kxk + ε 2 ) found = true // else x new = x + h lm ; ρ = F (x) F (x new) L (0) L (h lm ) if ρ > 0 x = x new ; A = J (x) T J (x); g = J (x) T f (x) found = (kgk ε 1 ) μ = μ max n 1/3, 1 (2ρ 1) 3o ; υ =2 else μ = μν; ν =2ν end 63

64 Matlab Optimization Toolbox - lsqnonlin.m >> x=lsqnonlin(fun,x0) >> function F = lsqdi(x,a) >> F=[2*x(1)-exp(a*x(1)) -x(1)-exp(a*x(2)) x(1)-x(2)]; >> a = -1; x = lsqnonlin(@(x) lsqdi(x,a),[1;1]) Optimization terminated: TIONS.TolFun. relative function value changing by less than OP- 64

65 x = Função lsqdi.m 65