Programação de Matemática: Teoria, Algoritmos e Aplicações na Engenharia. Luiz Eloy Vaz Anderson Pereira Ivan F. Menezes

Transcrição

1

2 Programação de Matemática: Teoria, Algoritmos e Aplicações na Engenharia Luiz Eloy Vaz Anderson Pereira Ivan F. Menezes Rio de Janeiro, 08 de agosto de 2012

3

4 Sumário I Teoria e Algoritmos 3 1 Introdução O Problema Geral de Programação Matemática Exemplo de Aplicação em Otimização de Estruturas Treliça Plana de Duas Barras Fundamentos de Otimização sem Restrições (OSR) Série de Taylor Condições de Mínimo no Problema de OSR Condição de Primeira Ordem Condição de Segunda Ordem Métodos de Otimização sem Restrições (OSR) Métodos de Busca Unidimensional Método de Passo Constante ou Incremental Método de Armijo Método da Bisseção Método da Seção Áurea (Golden Section, em inglês) Método da Ortogonalidade Método Secante Métodos de Direção de Busca Método Univariante Método de Powell Direções Conjugadas no Método de Powell Convergência do Método de Powell Método do Máximo Declive (Steepest Descent, em inglês) Método de Fletcher Reeves Método de Hestenes Stiefel Método de Polak Ribière Método de Newton Raphson Métodos Quase Newton Algoritmo de Correção de Posto Um Algoritmo de Correção de Posto Dois ou DFP (Davison Fletcher Powell) Algoritmo BFGS (Broyden Fletcher Goldfarb Shanno) Fundamentos de Otimização Com Restrições (OCR) Condições de Mínimo no Problema de OCR Condições de Primeira Ordem Problemas com Restrições de Igualdade Problemas com Restrições de Desigualdade Problema Geral de Otimização com Restrições Condições de Segunda Ordem Problemas com Restrições de Igualdade i

5 ii SUMÁRIO Problemas com Restrições de Desigualdade Os Multiplicadores de Lagrange Exemplo de Aplicação Dualidade de Wolfe Exemplos Teóricos Programação Linear Programação Quadrática Métodos Indiretos em OCR Método de Penalidade Método de Barreira Problemas Especiais em OCR O Problema de Programação Linear (PL) Introdução Fundamentos matemáticos Dependência linear Bases Posto (ranking) de uma matriz A mxn Soluções básicas Pontos e conjuntos de pontos Teoremas importantes Algoritmo Simplex Formulação do problema de PL Hipóteses preliminares Redução de uma solução compatível qualquer para uma solução compatível básica Algumas definições e notações Formulação do método Simplex Soluções ilimitadas Condições de otimização Alternativa ótima Pontos extremos e soluções compatíveis básicas Solução compatível básica inicial O Problema de Programação Quadrática (PQ) Eliminação de restrições de igualdade Problemas de Programação Linear Complementar (PLC) Algoritmo de Lemke para a solução do PLC Esquema de Pivoteamento de Lemke O Problema Geral de Programação Não-Linear (PNL) Método de Programação Linear Seqüencial (PLS) Método dos Centros Método das Direções Viáveis Solução Inicial Viável Restrições de Igualdade Método do Gradiente Reduzido Generalizado (GRG) Método de Programação Quadrática Seqüencial (PQS) Problema P1 (problema original) Problema P2 (subproblema de PQS relativo a P1)

6 SUMÁRIO 1 8 Análise de Sensibilidade Introdução Métodos de Análise de Sensibilidade Método das Diferenças Finitas Método Direto Método Adjunto Comparação entre os Métodos de Análise de Sensibilidade Aplicação dos Métodos de Análise de Sensibilidade Análise Linear Elástica Método das Diferenças Finitas Método Direto Método Adjunto Problema de Autovalores e Autovetores Método das Diferenças Finitas Método Direto Método Adjunto Problema de Análise Não Linear Estática Método das Diferenças Finitas Método Direto Método Adjunto Problemas de Carga Limite Método das Diferenças Finitas Método Direto Método Adjunto Problemas de Fluxo Térmico Transiente Método das Diferenças Finitas Método Direto Método Adjunto Problemas de Análise Dinâmica Método das Diferenças Finitas Método Direto Método Adjunto A Exemplo de Análise de Sensibilidade 129

7 2 SUMA RIO

8 Parte I Teoria e Algoritmos 3

9

10 Capítulo 1 Introdução Programação Matemática (PM) é a área da Matemática que trata dos problemas de minimização ou otimização de funções. Ela se ocupa tanto do tratamento teórico do problema quanto do desenvolvimento de algoritmos para a sua solução. A função a ser minimizada ou otimizada num problema de PM é denominada de função objetivo, a qual pode ter um número qualquer de variáveis, que por sua vez, podem estar sujeitas a restrições de igualdade e/ou desigualdade. Restrições de desigualdade que definem limites inferior e superior para as variáveis são chamadas de restrições laterais. Existem vários problemas particulares de PM. No problema geral as variáveis são contínuas. Quando as variáveis só podem assumir valores inteiros, diz-se que o problema é de Programação Inteira (PI). Esse tipo de problema não será tratado neste texto. Os problemas de PM podem ainda ser classificados como de Programação Restrita (PR) ou Otimização Com Restrições (OCR) e Programação Irrestrita (PI) ou Otimização Sem Restrições (OSR). Nos problemas de OCR, quando a função objetivo e as restrições do problema são funções lineares das variáveis e todas as variáveis são sujeitas a restrições laterais do tipo maior ou igual a zero, o problema é chamado de problema padrão de Programação Linear (PL). Quando a função objetivo é quadrática e as restrições do problema de OCR são restrições lineares de desigualdade e todas as variáveis são do tipo maior ou igual a zero, o problema é chamado de problema padrão de Programação Quadrática (PQ). Esses problemas podem ser escritos na forma equivalente de problemas de Programação Linear Complementar (PLC). No caso geral de problemas de OCR onde a função objetivo e as restrições são não lineares o problema é dito de Programação Não Linear (PNL). Os algoritmos de PNL são classificados em algoritmos de ordem zero, de primeira e de segunda ordem, dependendo se eles usam ou não derivadas parciais de primeira e segunda ordem da função objetivo e das restrições, respectivamente, nas suas operações numéricas. O estudo das técnicas de obtenção dessas derivadas para os diversos problemas ganhou a denominação de análise de sensibilidade. Problemas particulares de PM apresentam algoritmos específicos para a sua solução. Assim, o algoritmo Simplex tem sido usado para a solução de problemas de PL, o algoritmo de Lemke tem sido aplicado na solução de problemas de PLC, dentre outros. Vários problemas de Engenharia, quando adequadamente formulados, recaem em problemas de PM. Dentre esses problemas podem-se citar a análise de estruturas por elementos finitos com comportamento não linear; a identificação de parâmetros ou retro-análise; a análise limite de estruturas; as otimizações topológica, de dimensões e de forma de estruturas; o problema de contato entre corpos elásticos; e a análise de confiabilidade. Devido à crescente importância da PM na engenharia, diversos programas comerciais de análise de estruturas por elementos finitos já incorporam algoritmos de PM em seus códigos. Entre eles estão o NASTRAN e o ANSYS. Existem ainda programas comerciais especializados em resolver problemas de PM nos quais o usuário tem que fornecer a função e as restrições explicitamente. Dentre os mais conhecidos nessa área citam-se LANCELOT [1], Lingo [5], Minos [6] e DOT. 5

11 6 CAPÍTULO 1. INTRODUÇÃO 1.1 O Problema Geral de Programação Matemática O problema geral de Programação Matemática (PM) pode ser representado matematicamente como: min f (x) x R n s.t. h k (x) = 0 k = 1... m c l (x) 0 l = 1... p x l i x i x u i i = 1... n e pode ser descrito nos seguintes termos: minimizar a função f(x), dita função objetivo, de n variáveis contidas no vetor x, designado de vetor das variáveis de projeto, sendo que as n variáveis estão submetidas ( s.t., subjected to, em inglês) a m restrições de igualdade h k (x), p restrições de desigualdade c l (x) e n restrições laterais do tipo maior ou igual a um limite inferior, x l i (l, do inglês lower limit) e um limite superior (u, do inglês upper limit). x u i O problema geral gera vários sub-problemas tais como: 1. Problema de Otimização Sem Restrições (OSR), quando nenhuma das restrições está presente. 2. Problema padrão de Programação Linear (PL), quando a função objetivo e as restrições são funções lineares das variáveis de projeto, as variáveis de projeto são maiores ou iguais a zero e as restrições laterais são do tipo maior ou igual a zero. 3. Problema padrão de Programação Quadrática (PQ), quando a função objetivo é uma função quadrática, as variáveis de projeto são maiores ou iguais a zero e as restrições são de desigualdade e são funções lineares das variáveis de projeto. 4. Problema de Programação Linear Complementar (PLC) que surge da aplicação das condições de ótimo ao problema padrão de Programação Quadrática. 1.2 Exemplo de Aplicação em Otimização de Estruturas Para os engenheiros de projeto, sejam eles civis, mecânicos, aeronáuticos ou navais, a aplicação clássica do problema de Programação Matemática é a otimização de estruturas Treliça Plana de Duas Barras Para se entender a importância do estudo da otimização estrutural, considerar o problema apresentado na Figura 1.1. (1.1) Projetar a treliça apresentada na Figura 1.1, em função de r 2 e H, raio da seção transversal da barra 2 e altura da treliça respectivamente, de tal forma que ela apresente um volume mínimo e que as tensões nas barras sejam inferiores às tensões de escoamento e de flambagem. Informações conhecidas: r 1 (raio da seção transversal da barra 1) L (dimensão horizontal da treliça) P (força vertical aplicada) E (módulo de elasticidade) σ Y (tensão de escoamento) Informações a serem obtidas (variáveis de projeto):

12 1.2. EXEMPLO DE APLICAÇÃO EM OTIMIZAÇÃO DE ESTRUTURAS 7 1 P H 2 r seção transversal L Figura 1.1: Treliça Plana de Duas Barras. r 2 (raio da seção transversal da barra 2) H (dimensão vertical da treliça) Informações adicionais (restrições laterais): 0.4 r 2 1 (intervalo de variação de r 2 ) 1 H 7 (intervalo de variação de H) Em função das variáveis r 2 e H, o volume (V ) da barra 2 é dado por: onde, de acordo com a Figura 1.1, tem-se: V = A 2 L 2 (1.2) L 2 = H 2 + L 2 A 2 = πr 2 2 Portanto, o volume da barra 2 pode ser expresso como: V (r 2, H) = πr 2 2 H2 + L 2 (1.3) Porém, as tensões nas barras (σ) não devem exceder os valores da tensão de escoamento do material (σ Y ) e os da tensão crítica de Euler (σ CR ), ou seja, deve-se ter: σ σ Y e σ σ CR Cálculo das Tensões nas Barras Fazendo-se o equilíbrio das forças horizontais (vide Figura 1.2), tem-se:

13 8 CAPÍTULO 1. INTRODUÇÃO y N 1 P x N 2 Figura 1.2: Esforços nas Barras da Treliça. N 1 = N 2 cos(α) (1.4) onde sen(α) = H H2 + L 2 e cos(α) = L H2 + L 2 Na direção vertical deve-se ter: P = N 2 sen(α) (1.5) Combinando-se as Equações (1.4) e (1.5) chega-se a: N 1 = P L H (1.6) e N 2 = P H2 + L 2 H (1.7) Portanto: e σ 2 = N P 2 = A 2 σ 1 = N P L 1 = H A 1 πr1 2 H2 + L 2 H πr 2 2 Como N 1 < N 2, tem-se que, a tensão crítica é σ 2. = P L Hπr 2 1 = P H 2 + L 2 Hπr 2 2 (1.8) (1.9)

14 1.2. EXEMPLO DE APLICAÇÃO EM OTIMIZAÇÃO DE ESTRUTURAS 9 Tensão Crítica de Euler σ CR = π2 EI L 2 ea (1.10) onde L e é o comprimento efetivo da barra, I = πr4 4 e A = πr 2, logo: σ CR = π2 Er 2 4L 2 e Formulação do Problema Com as expressões acime pode-se definir as restrições como: g 1 (r 2, H) = σ 1 σ e 0 ou g 1 (r 2, H) = P L Hπr1 2σ 1 0 e g 2 (r 2, H) = σ 2 σ e 0 ou g 2 (r 2, H) = P L 2 + H 2 Hπr2 2σ 1 0 e g 3 (r 2, H) = σ 2 σ CR 0 ou g 3 (r 2, H) = 4P ( L 2 + H 2) 3/2 Hπ 3 r O problema proposto pode ser formulado da seguinte maneira: min V (r 2, H) s.t. g 1 (r 2, H) 0 g 2 (r 2, H) 0 g 3 (r 2, H) r H 7 (1.11) Resultados O problema proposto em 1.11 foi resolvido para diferentes dados de entrada conforme a tabela 1.1. dados resultados restrições σ e r 1 E r 2 H g 1 g 2 g 3 função objetivo modo de falha e e e e e Tabela 1.1: Resultados.

15 10 CAPÍTULO 1. INTRODUÇÃO H 4 H r 2 (a) σ E = 350 e r 1 = r 2 (b) σ E = 350 e r 1 = H 4 H r 2 (c) σ E = 350 e r 1 = r 2 (d) σ E = 500 e r 1 = 0.3 Figura 1.3: Curvas para o módulo de eslasticidade igual a 2000.

16 1.2. EXEMPLO DE APLICAÇÃO EM OTIMIZAÇÃO DE ESTRUTURAS H 4 H r 2 (a) σ E = 350 e r 1 = r 2 (b) σ E = 350 e r 1 = H 4 H r 2 (c) σ E = 350 e r 1 = r 2 (d) σ E = 500 e r 1 = 0.3 Figura 1.4: Curvas para o módulo de eslasticidade igual a

17 12 CAPÍTULO 1. INTRODUÇÃO

18 Capítulo 2 Fundamentos de Otimização sem Restrições (OSR) 2.1 Série de Taylor A aproximação de uma função f(x) de uma variável, em torno de um ponto x 0, por meio da série de Taylor é um recurso utilizado em Programação Matemática, e será aqui apresentado para facilitar a compreensão de várias passagens matemáticas e demonstrações ao longo desse capítulo. A série de Taylor, designada pela função s(x), é dada pela seguinte expressão: s (x) f (x 0 ) + 1 1! df (x) dx (x x 0 ) + 1 x=x0 2! d 2 f (x) dx 2 (x x 0 ) 2 + (2.1) x=x0 A série acima foi truncada no termo de segunda ordem (assim denominado por conter a segunda derivada de f) e apresenta o seguinte termo genérico de ordem n: 1 d n f (x) n! dx n (x x 0 ) n (2.2) x=x0 A aproximação é tanto melhor quanto mais próximo x estiver de x 0 e quanto mais termos a série contiver. É possível observar as seguintes propriedades da função aproximadora s(x) no ponto x 0 : 1. s (x 0 ) = f (x 0 ) 2. ds (x) dx = x=x0 3. d 2 s (x) dx 2 x=x0 df (x) dx = d2 f (x) dx 2 x=x0 x=x0 4. E assim sucessivamente até o termo de ordem n, d n s (x) dx n x=x0 = dn f (x) dx n x=x0 A generalização da série de Taylor para o caso de uma função de n variáveis, f(x), é dada por: s (x) f (x 0 ) + [g(x)] t x=x0 (x x 0 ) (x x 0) t H(x) x=x0 (x x 0 ) + (2.3) onde g(x) é o vetor gradiente de f(x), cujos componentes são obtidos da seguinte forma: g i (x) = f(x) x i, i = 1 n (2.4) 13

19 14 CAPÍTULO 2. FUNDAMENTOS DE OTIMIZAÇÃO SEM RESTRIÇÕES (OSR) e H(x) é a matriz Hessiana 1 de f(x), cujos elementos são dados por: h ij (x) = 2 f(x) x i x j, i, j = 1 n (2.5) Exemplo 2.1 Série de Taylor para Função de Uma Variável Aproximar f(x) = sin(x) em torno do ponto x 0 = π 4. Solução: As derivadas de f(x) são: df d = cos (x) dx 2 f d = sin (x) dx2 3 f dx 3 = cos (x) (2.6) Utilizando-se a Equação (2.1), a expansão de primeira ordem para sin(x) em torno do ponto x 0 = π 4 é dada por: ( π ) ( π ) ( s 1 (x) = sin (x) sin + cos x π ) As expansões de segunda e terceira ordem são dadas, respectivamente, por: s 2 (x) = s 1 (x) 1 2 sin ( π 4 (2.7) ) ( x π 4 ) 2 (2.8) s 3 (x) = s 2 (x) 1 6 cos ( π 4 ) ( x π 4 ) 3 (2.9) A Figura 2.1 ilustra as aproximações em série de Taylor de primeira, segunda e terceira ordens, respectivamente, da função sin(x). Exemplo 2.2 Série de Taylor para Função de Duas Variáveis Obter a aproximação de f(x) = sin(x 1 ) sin(x 2 ) em torno do ponto x 0 = { π 4, π 4 } t. Solução: O vetor gradiente e a matriz Hessiana de f(x) no ponto x 0 Equações (2.4) e (2.5), ou seja: g(x) = f(x) x 1 f(x) x 2 = cos (x 1 ) sin (x 2 ) sin (x 1 ) cos (x 2 ) = { π 4, π 4 } t são obtidos utilizando-se as = (2.10) 1 A denominação Hessiana é uma homenagem ao matemático alemão Ludwig Otto Hesse, que trabalhou no desenvolvimento da teoria das Funções Algébricas e dos Invariantes.

20 2.1. SÉRIE DE TAYLOR sin(x) s1(x) s2(x) s3(x) approximação de sin(x) pi/ pi/4 0 pi/4 pi/2 3*pi/4 x Figura 2.1: Aproximações em Série de Taylor da Função sin(x). H(x) = = = 2 f(x) x f(x) x 2 x 1 2 f(x) x 1 x 2 2 f(x) x 2 2 sin (x 1 ) sin (x 2 ) cos (x 1 ) cos (x 2 ) 1 2 cos (x 1 ) cos (x 2 ) sin (x 1 ) sin (x 2 ) Substituindo-se as Equações (2.10) e (2.11) na Equação (2.3) chega-se a: (2.11) s (x) = t x 1 π 4 x 2 π 4 x 1 π x 2 π 4 t 1/2 1/2 1/2 1/2 x 1 π 4 x 2 π 4 (2.12) = x 1 2 π 4 + x x x 1x 2 2 x que é a aproximação de segunda ordem para a função sin(x 1 ) sin(x 2 ). Calculando-se os valores da função e de sua aproximação no ponto { π 5, } t, 3π 10 que representa uma variação de 20% de x0, obtém-se f( π 5, 3π 10 ) = e s( π 5, 3π 10 ) = , respectivamente. A função s(x) apresentou uma ótima aproximação de f(x) com um erro em torno de 0.05%, o que é bastante razoável.

21 16 CAPÍTULO 2. FUNDAMENTOS DE OTIMIZAÇÃO SEM RESTRIÇÕES (OSR) 2.2 Condições de Mínimo no Problema de OSR Condição de Primeira Ordem A condição de primeira ordem para que o vetor x seja um mínimo local x da função f(x) é dada por: g (x) x=x = g (x ) = 0 (2.13) ou seja, o vetor gradiente g(x) deve ser nulo em x = x. Para provar essa condição, considerar s(x) uma aproximação de f(x) em série de Taylor, em torno de x, até o termo de segunda ordem: s (x) f (x ) + [g(x )] t (x x ) (x x ) t H (x ) (x x ) (2.14) Considerando-se que x esteja bem próximo de x de tal maneira que o módulo de x x seja muito pequeno ( x x ϵ), onde os elementos do vetor ϵ são números muito menores que a unidade), o segundo termo da série de Taylor, ou seja, o que contém o vetor g(x ) predomina sobre o terceiro termo que contém a matriz Hessiana H(x) e um termo quadrático em (x x ). Num ponto de mínimo local, f(x) deve ser maior do que f(x ) para um valor arbitrário de x em torno de x. Representando-se f(x) por sua aproximação s(x) e desprezando-se o termo de segunda ordem em relação ao de primeira ordem tem-se: ou ainda: f (x) f (x ) s (x) f (x ) [g(x )] t (x x ) (2.15) df (x ) [g(x )] t dx (2.16) onde df(x ) é o incremento de f(x) em x e dx o incremento de x. O produto interno que define df(x ) pode ser reescrito usando seus módulos e o co-seno do ângulo α entre os dois vetores, ou seja: df (x ) g (x ) dx cos(α) (2.17) Fixando-se o módulo de dx e deixando-se α variar, df(x ) será uma função apenas de α, ou seja: No mínino local deve-se ter, para arbitrário α: df (α) g (x ) dx cos(α) (2.18) df (α) g (x ) dx cos(α) 0 (2.19) A expressão acima representa o acréscimo da função f(x) a partir de x para um passo de módulo dx na direção que forma um ângulo α com o vetor g(x ). Como cos(α) é arbitrário e o módulo do vetor dx na expressão acima é uma constante pré fixada, a única possibilidade de se garantir que a Equação (2.19) seja satisfeita é: ou: g (x ) = 0 (2.20) que é conhecida como a condição de mínimo local de primeira ordem. g (x ) = 0 (2.21)

22 2.2. CONDIÇÕES DE MÍNIMO NO PROBLEMA DE OSR Condição de Segunda Ordem Se o ponto x for um mínimo, ele deverá satisfazer a condição de primeira ordem, g (x ) = 0 (Eq. 2.21) e, portanto, a série de Taylor s(x) em torno de x pode ser reescrita desprezando-se o segundo termo e truncada no terceiro termo, ou seja: s (x) f (x ) (x x ) t H(x ) (x x ) (2.22) Analogamente às Equações (2.15) e (2.16), a Equação (2.22) pode ser escrita como: Para que x seja um mínimo local, a Equação (2.22) deve satisfazer: df (x ) 1 2 (x x ) t H(x ) (x x ) (2.23) ou: df (x ) 0 (2.24) (x x ) t H(x ) (x x ) 0 (2.25) A restrição acima representa a condição de segunda ordem para um mínimo local x e significa que a matriz Hessiana de f(x), em x, deve ser positiva semi definida. Exemplo 2.3 Exercício 2.1 de Nocedal & Wright [7] (Pág. 27) Calcular o gradiente f(x) e a Hessiana 2 f(x) da função de Rosenbrock f(x) = 100 ( x 2 x 2 1) 2 + (1 x1 ) 2. Mostrar que x = {1, 1} t é um ponto de mínimo local desta função, e que a matrix Hessiana neste ponto é positiva definida. Solução: f(x) = 400 ( x 2 x ) 2 1 x x 1 200x 2 200x f(x) = 1200x x x 1 400x A condição de mínimo local, dada pela Equação (2.13), requer que o gradiente no ponto x = {1, 1} t seja nulo. Desta forma: { } f(x ) = g(x 0 ) = 0 satisfazendo-se assim a condição de mínimo de primeira ordem. A Hessiana de f(x) avaliada em x é: [ ] 2 f(x ) = H(x ) = Sabe-se que uma matriz A é positiva definida se todos os seus autovalores forem positivos, ou seja, se todos os valores de λ que satizfazem a equação forem positivos. A λi = 0

23 18 CAPÍTULO 2. FUNDAMENTOS DE OTIMIZAÇÃO SEM RESTRIÇÕES (OSR) Usando-se os valores de H(x ) na equação acima tem-se: [ ] [ ] [ ] λ = 802 λ = λ λ = λ Obtendo-se os valores λ 1 = e λ 2 = Como λ 1 > 0 e λ 2 > 0 pode-se concluir que H(x ) é positiva definida. Outra maneira de se testar se a matriz A é positiva definida envolve o cálculo de n determinantes, ou seja: A 1 = a 11 A n = A 2 = a 11 a 12 a 21 a 22 a 11 a 12 a 13 A 3 = a 21 a 22 a 23 a 31 a 32 a 33. a 11 a 12 a 13 a 1n a 21 a 22 a 23 a 2n a 31 a 32 a 33 a 3n. a n1 a n2 a n3 a nn A matrix A será positiva definida se todos os valores de A 1, A 2, A 3,..., A n forem positivos. Os determinantes das submatrizes quadradas de H são: H 2 = H 1 = 802 = 802 > 0 = ( 400) ( 400) = 400 > 0 Então a matrix H é positiva definida e, portanto, o ponto x = {1, 1} t corresponde a um ponto de mínimo de f(x).

24 Capítulo 3 Métodos de Otimização sem Restrições (OSR) Neste capítulo, estudaremos a minimização de uma função sem a presença de restrições, conhecida como minimização irrestrita, isto é, resolvemos o problema min f (x), x R n (3.1) Em geral, os algoritmos de otimização são procedimentos iterativos e geram uma sequência de pontos onde o valor da função no novo ponto decresce em relação ao ponto anterior. Muitos algoritmos de otimização irrestrita têm em comum a seguinte estrutura: Escolha ϵ > 0, x 0 e faça k = 0 Enquanto f ( x k) ϵ Passo 1: Encontre d k Passo 2: Determine α k de modo que f ( x k + α k d k) < f ( x k) Passo 3: Faça x k+1 = x k + α k d k Fim enquanto x = x k No passo 1, para um dado ponto x k, determina-se a direção de descida, ou direção de busca. No passo 2 é realizada uma busca unidimensional para encontrar o tamanho do passo α k. No passo 3 um novo ponto é calculado através da fórmula de recorrência x k+1 = x k + α k d k e o processo se repete até que o critério de parada seja satisfeito. Este capítulo se divide em duas partes, a primeira, apresentada na seção 3.1, estuda os métodos de busca unimensional para determinação do tamanho do passo α k. A seguda parte, apresentada na seção 3.2, estuda os métodos de determinação da direção de busca d k. 3.1 Métodos de Busca Unidimensional A minimização unidimensional surge como um subproblema do na maioria do métodos de otimização multidimensionais. Precisa-se obter o valor α k, da variável α, para que se possa avançar para o próximo ponto x k+1. Vale salientar que a incógnita α é um escalar e, portanto, essa tarefa não é das mais complexas, pois consiste em se buscar o mínimo de uma função de uma variável f(α). Essa tarefa é conhecida na literatura técnica como busca unidimensional (line search, em inglês) 1. Os métodos de busca unidimensional apresentados nesse capítulo são: de Passo Constante ou Incremental; Armijo; Bisseção; Seção (ou Razão) Áurea; Ortogonalidade; e Secante. 1 Em algumas referências, o termo line search é traduzido como busca linear ou busca unidirecional. 19

25 20 CAPÍTULO 3. MÉTODOS DE OTIMIZAÇÃO SEM RESTRIÇÕES (OSR) Método de Passo Constante ou Incremental O método de passo constante ou incremental é o mais simples da família dos métodos de busca unidimensional e surgiu associado ao método de direção de busca univariante, seção 3.2.1, também o mais primitivo da família dos métodos de direção de busca. A idéia básica deste método de passo constante consiste na escolha de um incremento α que será usado na expressão: α i+1 = α i + α, i = 0,..., n (3.2) O valor de α 0 na expressão (3.2) deve ser igual a zero e o número de iterações deve ser o necessário para se obter o mínimo de f (α). A cada novo valor de α na iteração i + 1, f (α) deve ser avaliada para saber se seu valor é menor do que o encontrado na iteração anterior. Caso não seja, faz-se α k = α i, i.e., o valor de α que minimiza f (α) foi encontrado e é colocado em α k, para se avançar para x k+1. O algoritmo de passo incremental adota α constante nas duas primeiras iterações. A partir da terceira iteração o valor de α vai sendo dobrado em relação ao valor anterior. Os incrementos para cada nova iteração, a partir da terceira, passam a ser 2 α, 4 α, 8 α,. Espera-se com isso acelerar o processo iterativo e diminuir o número de avaliações de f (α). Como no caso de α constante, o processo iterativo é interrompido assim que se obtém um α i+1 para o qual f (α) é maior do que na iteração anterior. A escolha de α é uma tarefa delicada, pois o incremento tem que ser compatível com a ordem de grandeza da variável x. Se a variável x for uma dimensão em mm o valor do incremento α deve ser diferente daquele para o qual a variável x seja dada em Km. A precisão de α k depende do valor relativo de α em relação ao valor de α k Método de Armijo Esse método, assim como os de passo constante ou incremental, é chamado de método de busca inexata, pois não se preocupa em obter o valor exato de α que minimiza f (α) e sim caminhar na direção de decréscimo até que não seja mais possível com o incremento α escolhido. O método faz uso do conceito de taxa de decréscimo m. O valor de α pode ser incrementado como no método de passo constante ou incremental. A determinação de α k se dá quando a seguinte restrição é violada: f(x k + αd k ) r(α) = f α=0 mα (3.3) onde α k é o valor de α para o qual a função f é maior do que o valor da reta r que passa por f(x k ) (que corresponde ao valor de f para α = 0) e tem inclinação m. A taxa de decréscimo m deve ser um valor entre 0.2 e 0.4 dependendo do problema. Recomenda-se o valor m = Método da Bisseção O método da Bisseção objetiva encontrar o mínimo de f (α) no intervalo ou região de busca 0 α β. Caso o mínimo não esteja na região de busca pré-definida, o método converge para α k = 0 ou para α k = β. Para a busca do mínimo, o intervalo é subdividido em dois intervalos iguais, pelo ponto α = β/2. Cada um desses dois novos intervalos é, por sua vez, subdividido em outros dois intervalos iguais e assim sucessivamente. Em cada nova divisão, um intervalo é escolhido para continuar a busca do mínimo e o outro é descartado. Para se escolher o intervalo descartado, calcula-se f no ponto médio dos dois intervalos. O intervalo descartado é aquele que apresenta o maior valor de f no seu ponto médio. A idéia do método é reduzir progressivamente a região de busca em torno do mínimo. A precisão de α k depende do critério de convergência adotado para se interromper as iterações Método da Seção Áurea (Golden Section, em inglês) Para se explicar o conceito da razão áurea, deve-se introduzir, inicialmente, a sequência de Fibonacci. Essa sequência, denominada F N, gera números que começam com N = 0 e F 0 = 1 e segue com N = 1 e F 1 = 1. A partir daí utiliza-se a seguinte fórmula de recorrência:

26 3.1. MÉTODOS DE BUSCA UNIDIMENSIONAL 21 f( ) f( ) m r( ) k Figura 3.1: Método da Armijo. F N = F N 1 + F N 2 (3.4) Com os números de Fibonacci F N, pode-se definir a razão de Fibonacci, R F, da seguinte forma: R F = F N 1 F N (3.5) A Tabela 3.1 mostra uma seqüência de números e razões de Fibonacci desde N = 0 até N = 10. N F N R F Tabela 3.1: Sequência de Fibonacci para N = 0 até N = 10. É interessante observar que a razão de Fibonacci converge para um determinado valor, próximo de 0.618, que se denomina razão áurea (R A ). Esse número aparece outras vezes nas relações da natureza, como por exemplo: o número π e o número Neperiano e. Vários artistas, como Leonardo da Vinci, usavam em seus quadros essa razão entre as dimensões por achá-la harmônica. Da Vinci identificou também que essa razão poderia ser encontrada entre dimensões do corpo humano, como a razão entre a distância da sola do pé ao umbigo e a altura total do indivíduo.

27 22 CAPÍTULO 3. MÉTODOS DE OTIMIZAÇÃO SEM RESTRIÇÕES (OSR) O método da Seção Áurea apresenta uma idéia semelhante ao da Bisseção. A diferença está na razão utilizada para reduzir o intervalo de busca. No método da Bisseção essa razão é 0.5, enquanto que no método da Seção Áurea utiliza-se a razão áurea. A partir do comprimento do intervalo de busca inicial β, dois novos pontos são determinados: α1 d = R A β e α1 e = (1 R A )β que definem dois novos intervalos, 0 α α1 d e α1 e α β. Qual intervalo deve ser descartado na próxima iteração? Para se tomar essa decisão, deve-se calcular f (α1 d ) e f (α1 e ); o ponto α correspondente ao maior valor da função f define este intervalo a ser descartado e, consequentemente, os novos limites da busca. Se for α1 d, o novo intervalo deverá ser 0 α α1 d, se for α1 e, o novo intervalo será α1 e α β, conforme ilustrado na Figura 3.2. Os subscritos d e e caracterizam os pontos do intervalo localizados na direita e na esquerda, respectivamente. 1 =(1-R ) e A 1 d =R A 0 Figura 3.2: Intervalos de Busca do Método da Seção Áurea. A vantagem de se usar a razão áurea R A para dividir os intervalos e não qualquer outra razão, está no fato desta razão economizar uma avaliação da função f por divisão de intervalo. Isso se deve à coincidência entre um dos pontos novos e um ponto antigo de extremidade de intervalo quando se usa a razão áurea. Para esclarecer esse ponto, considere uma razão qualquer R no procedimento acima e que o segundo intervalo α1 e α β, tenha sido escolhido, conforme ilustrado na Figura 3.3. O comprimento do novo intervalo é dado por: β α1 e = β (1 R) β = R β (3.6) Como o ponto inicial do intervalo é α1 e e seu comprimento R β, os dois novos pontos seriam: α2 d = α1 e + R (R β) e α2 e = β R (R β) = (1 R 2 ) β (3.7) Para que o novo ponto α2 e coincida com o antigo ponto α1 d descartado, deve-se ter: ou: com raízes iguais a: R β = (1 R 2 ) β (3.8) R 2 + R 1 = 0 (3.9) R 1 = = (3.10)

28 3.1. MÉTODOS DE BUSCA UNIDIMENSIONAL e 1 d 1 e 2 e 2 d 1 e 3 e 3 d 2 d 3 e e 4 d 2 d 3 e 5 e 5 d 4 d 6 e 6 d 3 e 5 d Figura 3.3: Escolha dos Intervalos de Busca no Método da Seção Áurea.

29 24 CAPÍTULO 3. MÉTODOS DE OTIMIZAÇÃO SEM RESTRIÇÕES (OSR) R 2 = = (3.11) Desprezando-se a raíz negativa, o valor de R para poupar uma avaliação de f em cada subdivisão dos intervalos é exatamente igual à razão áurea, i.e., R A = A precisão de α k depende, como nos métodos anteriores, do critério de convergência adotado no processo iterativo Método da Ortogonalidade Sejam x(α) = x k + αd k, o próximo ponto para um determinado valor de α, e f [x(α)] o valor da função f nesse ponto. Derivando-se f [x(α)] em relação a α, obtém-se: df [x(α)] dα = f(x) x dx dα = {g [x(α)]}t d k (3.12) O valor α k de α que minimiza f [x(α)] a partir de x k na direção d k é obtido da condição: ou então: df(α) dα = 0 (3.13) [ g(x k + αd k ) ] t d k = 0 (3.14) O significado geométrico da Equação (3.14) é que o valor α k de α que minimiza f (α), é o mesmo que torna o vetor gradiente g (α) ortogonal ao vetor d k. Para se obter α k numericamente, deve-se incrementar α até que se obtenha um valor que torne o produto escalar acima nulo, segundo uma tolerância numérica pré-estabelecida. A Figura 3.4 ilustra o comportamento do método da ortogonalidade. d k x k+1 g[ x( )] x k Figura 3.4: Comportamento do Método da Ortogonalidade.

30 3.2. MÉTODOS DE DIREÇÃO DE BUSCA Método Secante O método de Newton faz uso das segundas derivadas para minimizar uma função f(α), ou seja: Aproximando-se a segunda derivada f por: α k+1 = α k f (α k ) f (α k ) pode-se obter o seguinte algoritmo: f (α k ) f (α k 1 ) α k α k 1 α k+1 = α k α k α k 1 f (α k ) f (α k 1 ) f (α k ) o qual é conhecido como algoritmo secante. Pode-se ainda reescrever esse algoritmo da seguinte forma: α k+1 = f (α k ) α k 1 f (α k 1 ) α k f (α k ) f (α k 1 ) 3.2 Métodos de Direção de Busca Nesta seção, serão apresentados os seguintes métodos de direção de busca: Univariante; Powell; Máximo Declive; Fletcher Reeves; Hestenes Stiefel; Polak Ribière; e Newton-Raphson, além dos métodos Quase- Newton: de Correção Um; DFP e BFGS. Os métodos Univariante e de Powell são da família dos métodos de ordem zero, os de Máximo Declive, Fletcher Reeves, Hestenes Stiefel e Polak Ribière pertencem à família dos métodos de primeira ordem e, finalmente, o método de Newton-Raphson pertence à família dos métodos de segunda ordem. Os métodos Quase-Newton, apesar de serem efetivamente de primeira ordem, têm ambição de funcionar como métodos de segunda ordem. Os métodos de direção de busca define uma expressão para de obter d k. A partir daí, o mínimo de f (x (α)) será procurado ao longo da reta x (α) = x k + αd k Método Univariante No método Univariante, a direção de busca na iteração k é definida por: d k = e k, k = 1,, n (3.15) onde e k é um vetor com elementos nulos, exceto na posição k, onde o elemento vale 1. Esse procedimento é equivalente a modificar uma variável de cada vez no processo iterativo, ou seja, apenas a variável na posição k do vetor de variáveis x, é modificada na iteração k. Para um problema com n variáveis, se, ao final de n iterações, a posição x não tiver convergido para a solução x, então um novo ciclo de iterações deve ser iniciado com as mesmas direções usadas no primeiro ciclo, e assim sucessivamente até a convergência Método de Powell O método Univariante é computacionalmente pouco eficiente e requer, em geral, muitas iterações até a solução. Uma maneira de acelerar esse processo é incorporar uma nova direção de busca, denominada de movimento padrão, ao conjunto de n direções de busca, no final de cada ciclo iterativo formado por n iterações. Durante os n primeiros ciclos, uma direção padrão é incorporada, ao fim de cada ciclo, ao conjunto das n direções de busca do ciclo, substituindo uma das direções univariantes que é descartada. Depois de n ciclos, nenhuma direção univariante deve restar no conjunto de direções de busca. Essas novas direções de busca foram propostas por Powell e são obtidas de acordo com a expressão abaixo:

31 26 CAPÍTULO 3. MÉTODOS DE OTIMIZAÇÃO SEM RESTRIÇÕES (OSR) Ponto inicial Ponto final Figura 3.5: Univariante.

32 3.2. MÉTODOS DE DIREÇÃO DE BUSCA 27 d j = x n x 0, j = 1,, m (3.16) onde x n é o ponto obtido no final de cada ciclo de n iterações e x 0 é o ponto inicial. Para cada novo ciclo, caso não haja convergência, uma nova direção padrão é criada com esse mesmo procedimento, ou seja: ponto final menos ponto inicial. A metodologia do método de Powell pode ser resumida nos seguintes passos: 1. Inicializar j = 1; 2. Realizar um ciclo de n iterações (com as direções univariantes e k, k = 1... n), do ponto x 0 até o ponto x n ; 3. Criar uma direção de movimento padrão d j = x n x 0 ; 4. Minimizar f(x) na direção d j, determinando-se o novo ponto x 0 ; 5. Substituir e j por d j da seguinte forma: e i = e i+1, i = 1, n 1; e n = d j ; j = j + 1; 6. Repetir os passos de 2 a 5, enquanto j n; 7. Reinicializar as direções e k e voltar para o passo 1, até que a convergência numérica seja atingida Direções Conjugadas no Método de Powell Considerações Iniciais Se um determinado método de minimização sempre encontra o mínimo de uma função quadrática em um número de passos (operações) proporcional ao tamanho do problema (n variáveis), este método é dito quadraticamente convergente [3]. Se um método quadraticamente convergente é aplicado a uma função genérica para a qual a série de Taylor é dominada pelo seu termo quadrático, espera-se que o método tenha uma convergência rápida. Muitos métodos quadraticamente convergentes se baseiam no conceito de direções conjugadas. Se uma função quadrática q(x), de n variáveis, é minimizada sequencialmente, uma vez em cada direção de um conjunto de n direções linearmente independentes (LI) e Q conjugadas (a definição de Q será vista adiante), o mínimo global será obtido em até n passos, independentemente do ponto inicial x 0. Proposição Seja q(x) uma função quadrática dada por: q(x) = 1 2 xt Q x b t x (3.17) onde Q é uma matriz quadrada, positiva semi-definida e b um vetor. Dados dois pontos x a e x b e uma direção de busca d a, e supondo-se que y a e y b sejam, respectivamente, os mínimos de q(x) na direção d a partindo-se de x a e x b, mostrar que as direções d a e ( y a y b) são Q conjugadas. Demonstração A condição de mínimo dessa função quadrática é garantida apenas pela condição de primeira ordem, fazendo-se com que o gradiente de q(x) seja igual a um vetor nulo. A condição de segunda ordem está previamente satisfeita pelo fato da matriz Q (Hessiana de q(x)) ser positiva semi-definida. Portanto:

33 28 CAPÍTULO 3. MÉTODOS DE OTIMIZAÇÃO SEM RESTRIÇÕES (OSR) g (x) = Q x b = 0 (3.18) ou: Q x = b (3.19) Para se obter a solução do problema acima por meio da fórmula de recorrência, parte-se de: x k+1 = x k + α k d k, k = 0,, n 1 (3.20) onde as direções de busca d k serão direções Q conjugadas, ou seja: ( d i ) t Q d j = 0, i j (3.21) Considere-se, inicialmente, o ponto x a e a direção de busca d a. Deve-se determinar α a na expressão dada a seguir, que é o valor de α que minimiza q (x) a partir do ponto x a na direção d a. x(α) = x a + αd a (3.22) Uma vez obtido α a, chega-se ao ponto x(α a ) que, doravante, será denominado de y a, ou seja: e, da condição de mínimo em y a : y a = x a + α a d a (3.23) onde: dq [x(α)] dα = q(x) dx(α) x dα = {g [x(αa )]} t d a = 0 (3.24) g [x(α a )] = Q x(α a ) b (3.25) Partindo-se de y a na direção de d a, pode-se prever que α a = 0 pois y a é um mínimo nessa direção. Logo: [Q (y a + 0d a ) b] t d a = 0 (3.26) ou: [Q y a b] t d a = 0 (3.27) Considerando-se agora a minimização de q(x) a partir de x b, na mesma direção d a, tem-se: x (α) = x b + αd a (3.28) Denominando-se x(α b ) doravante de y b e, com raciocínio análogo ao anterior, tem-se em y b : y b = x b + α b d a (3.29) onde: dq [x(α)] dα = q(x) dx(α) x dα = { g [ x(α b ) ]} t d a = 0 (3.30) g [ x(α b ) ] = Q x(α b ) b (3.31) Analogamente, partindo-se de y b na mesma direção de d a, pode-se prever que α b = 0 pois y b é um mínimo nessa direção. Logo: y b = x b + α b d a (3.32)

34 x a x b 3.2. MÉTODOS DE DIREÇÃO DE BUSCA 29 [ Q (y b + 0d a ) b ] t d a = 0 (3.33) [ Q y b b ] t d a = 0 (3.34) Subtraindo-se as Expressões (3.27) e (3.34), obtém-se: (d a ) t Q (y a y b ) = 0 (3.35) o que demonstra que as direções d a e ( y a y b) são Q conjugadas. A Figura 3.6 ilustra o processo iterativo descrito acima até as posições y a e y b, respectivamente. a d y y a - y b a d a y b Figura 3.6: Direções Q Conjugadas do Método Powell [3]. Se d a foi criada no final de um dado ciclo como movimento padrão, as duas operações anteriores são exatamente o que recomenda o método de Powell. A primeira operação corresponde ao passo dado no final de cada ciclo e a segunda corresponde ao primeiro passo de cada novo ciclo, onde a direção de busca d a, criada no final de um ciclo, é repetida no início do novo ciclo Convergência do Método de Powell Proposição 1 O método de Powell converge para o mínimo de uma função quadrática, q(x), de n variáveis, em um número finito de iterações, dado por (n + 1) 2. Demonstração Inicia-se mostrando que o conjunto de vetores d i, Q conjugados, é linearmente independente (LI). Como dito anteriormente, dois vetores d i e d j são Q conjugados (ou Q ortogonais) quando:

35 30 CAPÍTULO 3. MÉTODOS DE OTIMIZAÇÃO SEM RESTRIÇÕES (OSR) ( d i ) t Q d j = 0, i j (3.36) A prova se dará por contradição. equação: Supor que existam α i, não todos nulos, que satisfaçam à seguinte α 0 d 0 + α 1 d α n 1 d n 1 = 0 (3.37) Nesse caso, os vetores d i são linearmente dependentes. Pré-multiplicando-se a equação acima por ( d i) t Q, chega-se a: α i ( d i ) t Q d i = 0 (3.38) uma vez que as demais parcelas se anulam porque o conjunto de vetores é Q conjugado. Todavia, como Q deve ser positiva semi-definida em q (x), então: ( d i ) t Q d i 0, logo: α i = 0 o que contradiz a hipótese inicial, de α i não serem todos nulos, e assim o conjunto de vetores d i é LI. Dessa forma, o conjunto dos n vetores d i pode formar uma base para o espaço de n dimensões e, portanto, o vetor x desse espaço, solução do problema de minimização de q (x), pode ser representado nessa base por: x = α 0 d 0 + α 1 d α n 1 d n 1 (3.39) Pré-multiplicando-se ambos os lados da equação acima por ( d i) t Q e considerando-se o que já foi visto até o momento, obtém-se: α i = ( ) d i t ( ) Q x d i t b (d i ) t Q d = i (d i ) t (3.40) Q d i Conclui-se portanto, que, quando se tem um conjunto de n vetores Q conjugados, pode-se obter x usando a expressão (3.39) e com os valores de α i calculados segundo (3.40) a partir da matriz Q, do vetor b e do conjunto de vetores d i, como indicado. A solução x pode ser vista como uma aplicação da fórmula geral de recorrência dos métodos de OSR, partindo-se de x 0 = 0 e indo-se, sucessivamente, aos pontos x 1, x 2,, até o ponto x k+1, ou seja: Após n passos, chega-se ao ponto x : x k+1 = α 0 d 0 + α 1 d α k d k ; (3.41) x = α 0 d 0 + α 1 d α (n 1) d n 1 (3.42) Proposição 2 A partir de um ponto inicial x 0, arbitrário, e um conjunto de n vetores Q conjugados, a sequência gerada por: x k+1 = x k + α k d k (3.43) sendo: α k = ( g k) t d k (d k ) t Q d k (3.44) g k = Q x k b (3.45)

36 3.2. MÉTODOS DE DIREÇÃO DE BUSCA 31 converge para a solução x que minimiza q(x) depois de n passos, ou seja: x n = x. Demonstração Como os vetores d i são LI, é possível representar qualquer vetor do espaço de x usando esses vetores como base do espaço, ou seja: x x 0 = α 0 d 0 + α 1 d α n 1 d n 1 (3.46) Pré-multiplicando-se a expressão acima por ( d k) t Q, obtém-se: α k = ( d k ) t Q ( x x 0) (d k ) t Q d k (3.47) Considerando-se a expressão acima como um processo iterativo, ter-se-ia na iteração k o ponto x k, ou seja: x k x (0) = α 0 d 0 + α 1 d α k 1 d k 1 (3.48) Pré-multiplicando-se mais uma vez por ( d k) t Q e lembrando-se que o conjunto é Q conjugado, obtém-se: A expressão de α k na Equação (3.47) pode ser reescrita como: (d k ) t Q ( x k x 0 ) = 0 (3.49) Como: α k = ( d k ) t Q [( x x k) + ( x k x 0)] (d k ) t Q d k (3.50) Q x = b (3.51) e, considerando-se a Equação (3.45): finalmente, considerando-se a Equação (3.49), chega-se a: Q x k = g k + b (3.52) α k = ( g k) t d k (d k ) t Q d k (3.53) Vale observar que esse valor de α k é justamente o que minimiza a função q (x) a partir de x k na direção d k. Considerar que q (x) seja representada por uma série de Taylor de segunda ordem dada por s 2 (x), a partir do ponto x k, com um passo αd k. Como a função q (x) é quadrática, a aproximação por série de Taylor de q (x), s 2 (x), até o termo de segunda ordem é exata, ou seja: s 2 (x k + αd k ) = q(x k ) + α ( g k) t d k α2 ( d k) t Q d k (3.54) Para se obter α que minimiza s 2 (x), calcula-se: obtendo-se: ds 2 (x k + αd k ) dα = 0 (3.55) que fornece o mesmo valor de α k, ou seja: ( g k ) t d k + α ( d k) t Q d k = 0 (3.56)

37 32 CAPÍTULO 3. MÉTODOS DE OTIMIZAÇÃO SEM RESTRIÇÕES (OSR) A Figura 3.7 ilustra o processo de convergência do método de Powell. α = α k = ( g k) t d k (d k ) t Q d k (3.57) Figura 3.7: Passos do Método de Powell Método do Máximo Declive (Steepest Descent, em inglês) O método do Máximo Declive utiliza o gradiente como sendo a direção de busca, ou seja: d k = g k (3.58) Para se demonstrar que a direção definida pela expressão (3.58) é a direção de maior decréscimo da função f(x), no ponto x, considerar a expansão de f(x) em série de Taylor de primeira ordem, s 1 (x), em torno do ponto (x + s): s 1 (x + s) f(x) + [g(x)] t s (3.59) onde g(x) é o gradiente de f(x) no ponto x. O crescimento da função f(x) quando se vai do ponto x para (x + s) é dado por: df(x) [g(x)] t s (3.60)

38 3.2. MÉTODOS DE DIREÇÃO DE BUSCA 33 ou ainda: df(x) g(x) s cos(θ) (3.61) onde θ é o ângulo entre os vetores g(x) e s. Para um dado ponto x, df depende apenas de θ, já que os módulos dos vetores s e gradiente de f em x são conhecidos. O valor de θ que minimiza df é θ = π, quando cos(θ) = 1, ou seja, quando s tem a direção de: Método de Fletcher Reeves s = d = g(x) O método de Fletcher Reeves é uma extensão do Método dos Gradientes Conjugados. Utilizando-se da fórmula geral de recorrência dos métodos de OSR, o método dos Gradientes Conjugados visa, de forma iterativa, minimizar somente funções quadráticas q (x). Ele apresenta uma expressão para gerar direções de busca d k+1, na iteração k + 1, que têm a propriedade de serem Q conjugadas em relação a todas as k direções geradas anteriormente. Essa propriedade garante que o processo iterativo para minimizar uma função quadrática q (x) converge em n passos. Vale lembrar que, ao minimizar a função quadrática q (x), o método terá encontrado a solução do sistema de equações lineares Q x = b. Os principais passos do algoritmo que representa o método dos Gradientes Conjugados são: 1. k = 0; Dado: x 0 ; 2. g 0 ; 3. Se: g 0 = 0 = Fim; 4. d 0 = g 0 5. α k = (gk ) t d k (d k ) t Q d k ; 6. x k+1 = x k + α k d k ; 7. g k+1 ; 8. Se: g k+1 = 0 = Fim; 9. β k = (gk+1 ) t Q d k (d k ) t Q d k ; 10. d k+1 = g k+1 + β k d k ; 11. k = k + 1; 12. Volta para o passo 5. A fórmula que permite o cálculo de β k (passo 9 do algoritmo acima) é obtida pré-multiplicando-se a expressão que calcula a direção d k+1 (passo 10 do algoritmo acima) por ( d k) t Q, ou seja: ( d k ) t Q d k+1 = ( d k) t Q ( g k+1 + β k d k) = 0 (3.62) Como as direções d k e d k+1 são Q conjugadas, chega-se a: β k = ( g k+1 ) t Q d k (d k ) t Q d k (3.63)