FLAVIA MESCKO FERNANDES VELOCIDADE DE CONVERGÊNCIA DE MÉTODOS DE OTIMIZAÇÃO IRRESTRITA

Transcrição

1 FLAVIA MESCKO FERNANDES VELOCIDADE DE CONVERGÊNCIA DE MÉTODOS DE OTIMIZAÇÃO IRRESTRITA CURITIBA DEZEMBRO, 2010

2 FLAVIA MESCKO FERNANDES VELOCIDADE DE CONVERGÊNCIA DE MÉTODOS DE OTIMIZAÇÃO IRRESTRITA Monografia apresentada como requisito parcial à obtenção do grau de Licenciado em Matemática, pelo Departamento de Matemática, Setor de Ciências exatas, Universidade Federal do Paraná. Orientador: Ademir Alves Ribeiro Co-Orientadora: Elizabeth Wegner Karas CURITIBA DEZEMBRO, 2010

3 Termo de Aprovação FLAVIA MESCKO FERNANDES VELOCIDADE DE CONVERGÊNCIA DE MÉTODOS DE OTIMIZAÇÃO IRRESTRITA Monografia apresentada como requisito parcial à obtenção do grau de Licenciado em Matemática, pelo Departamento de Matemática, Setor de Ciências exatas, Universidade Federal do Paraná, pela seguinte banca examinadora: Prof Dr. Ademir Alves Ribeiro Universidade Federal do Paraná Prof a. Dra. Lucelina Batista dos Santos Universidade Federal do Paraná Curitiba, Dezembro de 2010

4 Dedicatória A Deus, Pelo dom da vida. ii

5 Agradecimentos Agradeço primeiramente ao Senhor Jesus Cristo por mais uma importante etapa concluída. Agradeço também a minha família, pelo apoio e dedicação. Meus amigos do curso, pelo companheirismo e boas horas de estudo. Agradeço aos meus professores pelos conhecimentos que me transmitiram, ao professor Paulo Henrique e à professora Elizabeth que me orientaram e auxiliaram em pesquisas no decorrer do curso. E agradeço especialmente ao professor Ademir, que com dedicação me orientou e me ajudou na conclusão deste trabalho, pelo exemplo e lições que contribuiram para minha formação profissional. iii

6 Sumário Lista de Figuras vi Resumo viii 1 INTRODUÇÃO ESTUDO DE SEQUÊNCIAS Convergência de Sequências Número de Ouro Velocidade de Convergência MÉTODO DE CAUCHY Algoritmo de Cauchy Algoritmo Convergência Global Velocidade de Convergência MÉTODO DE NEWTON Método de Newton para Resolução de Equações Método de Newton para Otimização Irrestrita iv

7 4.3 Algoritmo Convergência MÉTODO DA SEÇÃO ÁUREA Busca Unidimensional Método da Seção Áurea - Busca exata Algoritmo Convergência do Método da Seção Áurea Velocidade de Convergência CONCLUSÃO Referências v

8 Lista de Figuras Figura 1 Termos da sequência (x k ) na reta Figura 2 Termos da Sequência (x k ) Figura 3 Passos do Algoritmo de Cauchy Figura 4 Passos do Algoritmo de Cauchy Figura 5 Uma iteração do Método de Newton para equações Figura 6 Uma iteração do Método de Newton Figura 7 Busca unidimensional exata Figura 8 Funções Unimodais Figura 9 Seção áurea Figura 10 Intervalo dividido em três partes iguais vi

9 Figura 11 Partição do intervalo [a, b] Figura 12 Partição do intervalo [a, b] Figura 13 Análise da primeira etapa do algoritmo Figura 14 Análise do item (i) do teorema Figura 15 Todos os intervalos [a k, b k ] contém o minimizador da função quadrática. 39 vii

10 Resumo Um conceito importante em Análise Matemática é o de convergência de uma sequência. Neste trabalho aprofundamos este estudo, analisando também a velocidade com que uma sequência converge. Concentramos nosso estudo em três velocidades de convergência: linear, superlinear e quadrática. Para isto consideramos uma nova sequência: a sequência de erros definida pela diferença entre cada termo e o limite da sequência. Note que a sequência converge se e somente se a sequência de erros tende a zero. A motivação deste trabalho é a análise da convergência de métodos de otimização, visto que para fins práticos é fundamental que os algoritmos tenham uma convergência rápida. Discutimos alguns métodos clássicos para otimização irrestrita. O método de Cauchy que faz a cada iteração uma busca unidirecional na direção de máxima descida, ou seja, na direção oposta ao gradiente, tem convergência linear. O método de Newton, por outro lado, minimiza, em cada iteração, a aproximação quadrática da função objetivo. Provamos que, se o ponto inicial estiver próximo de um minimizador, a sequência gerada por este método converge superlinearmente. Além disso, se a Hessiana da função a ser minimizada for Lipschitz, então a convergência do método de Newton é quadrática. Nos métodos de busca unidirecional, precisamos minimizar uma função a partir de um certo ponto, segundo uma direção dada, que é a direção de busca. Este problema é equivalente a minimizar uma função real de uma variável, que pode ser resolvido por vários métodos. Um deles é o Método da Seção Áurea, que faz a minimização exata desta função. Apresentamos neste trabalho um estudo da convergência deste método, provando que é linear e cuja taxa é o número de ouro. Palavras-chave: Velocidade de Convergência, Método de Cauchy, Método de Newton, Método da Seção Áurea. viii

11 1 1 INTRODUÇÃO Em otimização a solução de um problema de minimizar uma função é obtida por meio de um processo iterativo. Consideramos um ponto inicial x 0, obtemos um ponto melhor x 1, isto é, que diminui o valor da função objetivo e repetimos o processo gerando uma sequência na qual a função objetivo decresce. Basicamente temos três aspectos concernentes aos métodos de otimização. O primeiro consiste na criação do algoritmo propriamente dito, que deve levar em conta a estrutura do problema e as propriedades satisfeitas pelas soluções, entre outras coisas. O segundo aspecto se refere as sequências geradas pelo algoritmo, onde a principal questão é se tais sequências realmente convergem para uma solução do problema. O terceiro ponto a ser considerado é a velocidade com que a sequência converge para uma solução, para fins práticos, não basta que esta seja convergente é preciso que uma aproximação do limite possa ser obtida em um tempo razoável. Deste modo, bons algoritmos são os que geram sequências que convergem rapidamente para uma solução. Uma forma geral de construir um algoritmo consiste em escolher, a partir de cada ponto obtido, uma direção para dar o próximo passo. A direção escolhida no Algoritmo de Cauchy é a oposta ao grandiente, pois esta é a de maior decrescimento da função. Já o algoritmo de Newton minimiza, em cada iteração, a aproximação quadrática da função objetivo. Quando a direção de busca já é dada e precisamos minimizar uma função a partir de um certo ponto, segundo esta direção, recaimos em um problema de minimizar uma função real de apenas uma variável. Um dos métodos que podem ser usados para resolver este problema é o Método da Seção Áurea, que faz a minimização exata desta função.

12 2 Este trabalho se organiza da seguinte forma: inicialmente são apresentados alguns conceitos de Análise que serão utilizados nos próximos capítulos. É feita uma revisão sobre convergência de sequências e velocidade de convergência. O segundo e terceiro capítulos apresentam os algoritmos de Cauchy e de Newton, além da análise da velocidade de convergência destes métodos. Encerrando o trabalho com um estudo sobre o Método da Seção Áurea, abordado no quarto capítulo, bem como a análise das etapas deste algoritmo e sua velocidade de convergência, algumas das demonstrações apresentadas neste capítulo não foram encontradas nas principais literaturas, portanto este estudo ocorreu de forma independente.

13 3 2 ESTUDO DE SEQUÊNCIAS Neste capítulo apresentamos algumas definições básicas e alguns resultados de Análise relevantes para este trabalho. As principais referências deste capítulo são (LIMA, 1981b; RIBEIRO; KARAS, 2010). 2.1 Convergência de Sequências Uma sequência em IR n é uma aplicação k IN x k IR n, definida no conjunto IN dos números naturais. Denotaremos uma sequência por (x k ) k IN, ou simplesmente por (x k ). Por conveniência, consideramos que IN = {0, 1, 2, 3,...}. Definição 2.1 Diz-se que o ponto a IR n é o limite da sequência (x k ) quando, para todo ε > 0 dado, é possível obter k 0 IN tal que k k 0 x k a < ε. Neste caso, também dizemos que a sequência (x k ) converge para a e indicamos este fato por x k a ou lim k x k = a. Vemos da definição anterior que o ponto a IR n é o limite da sequência (x k ) se para cada ε > 0, o conjunto IN 1 = {k IN x k a ε} é finito, ou seja, fora da bola B(a, ε) só poderão estar, no máximo, os termos x 1,..., x k 0. Uma subsequência de (x k ) é a restrição desta sequência a um subconjunto infinito IN = {k 1 < k 2 <... < k i <...} IN. Equivalentemente, uma subsequência

14 4 de (x k ) é uma sequência do tipo (x k ) k IN ou (x k i ) i IN, onde (k i ) i IN é uma sequência crescente de inteiros positivos. Note que k i i, para todo i IN. Teorema 2.2 Se uma sequência (x k ) converge para um limite a, então toda subsequência (x k i ) também converge para a. Demonstração. Dado ε > 0 existe um k 0 tal que para todo k > k 0 tem-se x k a < ε. Como os índices da subsequência formam um subconjunto infinito, existe entre eles um k i0 k 0. Então para k i k i0 temos k i k 0. Logo x k i a < ε. O limite de uma subsequência (x k ) k IN é chamado valor de aderência ou ponto de acumulação da sequência (x k ). Exemplo 2.3 Considere a sequência x k = ( 1) k + 1 k + 1. Sabemos que x k tem dois pontos de acumulação, os valores, 1 e 1, portanto não é convergente. Veja a figura a seguir. Figura 1: Termos da sequência (x k ) na reta. Exemplo 2.4 Considere uma sequência (x k ) IR. Se x k a > 0 então existe k 0 IN tal que, para k k 0 tem-se x k a 2. De fato, para ε = a 2, existe k 0 tal que, k k 0 temos x k a < a 2. Então, a 2 < xk a < a 2 a 2 < xk < 3a 2 Assim temos que, x k a. (Conforme ilustração na Figura 2). 2

15 5 Figura 2: Termos da Sequência (x k ) Definição 2.5 Uma sequência (x k ) IR n é limitada, quando o conjunto formado pelos seus elementos é limitado, ou seja, quando existe um número real M > 0 tal que x k M para todo k IN. Definição 2.6 Seja (x k ) IR uma sequência limitada. Definimos o limite inferior da sequência (x k ) como seu menor ponto de acumulação e denotamos por lim inf x k. Analogamente definimos o limite superior da sequência como seu maior ponto de acumulação e denotamos por lim sup x k. Exemplo Sendo a sequência x k = ( 1) k + 1 k + 1, temos lim inf xk = 1 e lim sup x k = E a sequência (x k ) = (1, 2, 3, 1, 2, 3,...), temos lim inf x k = 1 e lim sup x k = 3. A seguir enunciaremos alguns resultados importantes da análise de convergênia de sequências. As demonstrações não apresentadas aqui podem ser encontradas em (LIMA, 1981a, 1981b). Teorema 2.8 Toda sequência convergente é limitada. Demonstração. Digamos que x k a. Para ε = 1, existe um k 0 tal que k k 0 x k a 1 Veja que x k = x k a + a x k a + a 1 + a

16 6 Desta forma, a partir do índice k 0, a sequência é certamente limitada por 1 + a. Para englobarmos todos os termos da sequência, basta considerar M = max{ x 1, x 2,..., x k 0, 1 + a }. Assim, x k M para todo k IN. Teorema 2.9 Toda sequência (x k ) IR monótona limitada é convergente. Demonstração. Seja (x 1 x 2 x 3... x k...) uma sequência não decrescente limitada. Os outros casos são análogos. Como (x k ) é limitada, o conjunto X = {x 1, x 2, x 3,..., x k,...} possui supremo. Digamos sup X = a. Dado qualquer ε > 0, temos a ε < a. Pela propriedade do supremo, existe algum k 0 IN tal que a ε < x k. Como x k a para todo k IN, vemos que k k 0 a ε < x k a < a + ε, donde segue que x k a Teorema 2.10 Uma sequência limitada em IR n é convergente se, e somente se, possui um único ponto de acumulação. Teorema 2.11 (Bolzano-Weierstrass) Toda sequência limitada em IR n possui uma subsequência convergente. Teorema 2.12 Seja (x k ) IR uma sequência monótona que possui uma subsequência convergente, digamos x k IN a. Então x k a. Exemplo 2.13 Seja (x k ) IR definida por x 0 = 1 e x k+1 = 1 + x k. Temos x k = Afirmamos que x k 1 ϕ, onde 1 ϕ = é o inverso do número de ouro.

17 7 De fato, podemos provar por indução finita que esta sequência é crescente e limitada, com 1 x k 2. Então, pelo Teorema 2.9, (x k ) converge, digamos x k x. De acordo com o Teorema 2.2, a subsequência (x k+1 ) também converge para o mesmo limite, isto é, x k+1 x. Então (x k+1 x k ) 0. O que resulta em x 1 + x = 0 (x) 2 x 1 = 0 Portanto a sequência converge para x = Número de Ouro O Número de Ouro é um número irracional misterioso e enigmático que nos surge numa infinidade de elementos da natureza na forma de uma razão, sendo considerada por muitos como uma oferta de Deus ao mundo. A designação adoptada para este número ϕ 0, 618, é a inicial do nome de Fídias que foi escultor e arquiteto encarregado da construção do Pártenon, em Atenas. A história deste enigmático número perde-se na antiguidade. Esta razão ou secção áurea aparece em muitas estátuas da antiguidade que apresentavam uma especial harmonia estética. A excelência dos desenhos de Leonardo Da Vinci ( ), como a Monalisa e o Homem Vitruviano revelam os seus conhecimentos matemáticos bem como a utilização da razão áurea como garantia de uma perfeição, beleza e harmonia únicas.

18 8 2.3 Velocidade de Convergência No contexto de otimização existe outro aspecto importante a ser analisado em uma sequência: a velocidade de convergência. Considere, por exemplo sequências x k = 1 k + 5, yk = 1 3 k, wk = 1 2 k2 e z k = 1 2 2k Vemos que todas elas convergem para 0, mas não com a mesma rapidez, conforme sugere a tabela abaixo. k x k y k w k , , , , z k , Diante disto é conveniente estabelecer uma maneira de medir a velocidade de sequências convergentes. Considere então uma sequência (x k ) IR n convergente para x IR n. Assim, e k = x k x 0. O que faremos é avaliar como o erro tende a 0. Observação: Ao longo deste trabalho utilizaremos a notação x para indicar a norma euclidiana de um vetor em IR n. Definição 2.14 Dizemos que a sequência (x k ) IR n converge linearmente para x IR n quando existe uma constante r [0, 1) e um número k 0 IN, tais que x k+1 x x k x r (2.1) para todo k k 0 É importante ressaltar que a condição (2.1) implica que x k x, pois x k0+p x r p x k 0 x, para todo p IN e r [0, 1).

19 9 Exemplos: A sequência x k = 1 k + 5 De fato, temos converge para 0, mas não linearmente. x k+1 x k = k + 5 k A sequência y k = 1 converge linearmente para 0, pois 3k y k+1 y k = 1 3. As sequências w k = 1 2 k2 e z k = 1 2 2k também convergem linearmente para 0. Vejamos agora uma forma mais veloz de convergência. Definição 2.15 A sequência (x k ) IR n converge superlinearmente para x IR n quando x k+1 x x k x 0. (2.2) Veja que a condição (2.2) também implica que x k x. Note que: y k não converge superlinearmente. A sequência w k = 1 converge superlinearmente para 0. 2 k2 De fato, temos w k+1 = 2k2 = 1 0. w k 2 (k+1)2 22k+1 z k também converge superlinearmente para 0.

20 10 Outra forma de convergência, ainda mais rápida é dada abaixo. Definição 2.16 Suponha que x k x. A convergência é dita quadrática quando existe uma constante M > 0, tal que x k+1 x M. (2.3) x k x 2 Note que: É importante observar que apenas a condição (2.3) não implica que x k x. z k = 1 2 2k converge quadraticamente para 0, pois, z k+1 z k = 1 2 2k+1 ( 1 2 2k As demais não convergem quadraticamente. 22k 21 ) 2 = = 2 0 = k Por exemplo, note que w k = 1 2 k2 não converge quadraticamente, pois, ) 2 w k+1 w k = (2k2 = 22k2 2 2 (k+1)2 2 = 2k2. k2 +2k+1 22k+1 Logo não existe M > 0, tal que wk+1 w k 2 M.

21 11 3 MÉTODO DE CAUCHY Vamos agora discutir um dos métodos para resolver o problema de minimizar uma função em IR n. Algumas referências para este assunto são (MOTA, 2005; RIBEIRO; KARAS, 2010). 3.1 Algoritmo de Cauchy Um dos métodos mais conhecidos para minimizar uma função é o método clássico do gradiente, também chamado método de Cauchy. Neste método, a direção de busca em cada iteração é o oposto do vetor gradiente da função objetivo no ponto corrente. A justificativa desta escolha se baseia no fato de que, dentre as direções ao longo das quais f decresce, a direção oposta ao gradiente é a de decrescimento mais acentuado. De fato, se d = f(x) e v IR n é tal que v = d, então calculando a derivada direcional de f em x na direção do vetor d, temos f(x) d = f(x) T d = f(x) 2 = f(x) f(x) Usando que f(x) = f(x) e a desigualdade Cauchy-Schwarz, temos: Portanto, f(x) f(x) = f(x) v f(x) T v = f(x) v. f(x) d f(x) v. Concluímos que a direção oposta ao gradiente é a de maior decrescimento da função.

22 Algoritmo O Algoritmo de Cauchy faz uso da busca exata, que consiste em encontrar o minimizador da função a partir de um ponto x e uma direção d. Algoritmo 3.1 Algoritmo de Cauchy Dado: x 0 IR n k = 0 REPITA enquanto f(x k ) 0 Defina d k = f(x k ) Obtenha t k > 0 tal que f(x k + t k d k ) < f(x k ) Faça x k+1 = x k + t k d k k = k + 1 A Figura 3 mostra 4 iterações do Algoritmo de Cauchy com a busca exata aplicado para minimizar uma função quadrática, onde as curvas de níveis desta função são elipses. Figura 3: Passos do Algoritmo de Cauchy

23 13 A Figura 3 sugere duas propriedades do algoritmo. Uma delas é o fato de duas direções consecutivas serem ortogonais. De fato, definindo ϕ(t) = f(x k + td k ), temos (d k+1 ) T d k = f(x k+1 ) T d k = f(x k + t k d k ) T d k = ϕ (t k ) = 0. A outra propriedade se refere à convergência, que será discutida na próxima seção. 3.3 Convergência Global Teorema 3.2 O Algoritmo de Cauchy, com o tamanho do passo t k calculado pela busca exata, é globalmente convergente, isto é, para qualquer sequência (x k ) gerada pelo algoritmo, qualquer ponto de acumulação x é estacionário. Sejam (x k ) uma sequência gerada pelo algoritmo e x um ponto de acumulação de (x k ), digamos x k IN x. Suponha por absurdo que x não seja estacionário, isto é, f( x) 0. Assim d = ( x) é uma direção de descida o que garante a existência de t > 0, tal que f( x + t d) < f( x). Considere h : IR n IR dada por h(x) = f(x) f(x t f(x)). Como h é contínua, pois f é diferenciável, temos que h(x k ) IN h( x). Chamamos h( x) = δ > 0. Logo temos que: h(x k ) δ. Assim, para todo k IN, suficientemente grande temos que h(x k ) δ 2, como vimos no Exemplo 2.4. Deste modo, como t k foi obtido pela busca exata, podemos concluir que f(x k+1 ) = f(x k + t k d k ) f(x k + td k ) f(x k ) δ 2. Logo, f(x k ) f(x k+1 ) δ 2 (3.1) para todo k IN, suficientemente grande. Por outro lado pela continuidade de f, temos f(x k ) IN f( x). Como a sequência (f(x k )) k IN é monótona decrescente pois temos que f(x k+1 ) < f(x k ), o Teorema 2.12 garante que f(x k ) f( x), contradizendo (3.1).

24 Velocidade de Convergência Os resultados mais importantes sobre a velocidade de convergência do algoritmo de Cauchy são revelados quando a função objetivo é quadrática. Vamos então considerar f(x) = 1 2 xt Ax + b T x + c com A IR n n definida positiva, b IR n e c IR. Assim f é convexa e tem um único minimizador x, que é global e satisfaz f( x) = A x + b. Mostraremos agora que, usando a norma euclidiana, a sequência gerada pelo método de Cauchy com busca exata converge linearmente para x, com taxa de convergência 1 λ 1 λ n. De fato, Primeiramente note que o passo ótimo é dado por t k = (dk ) T d k (d k ) T Ad k. d dt f(xk + td k ) = f(x k + td k )d k = [A(x k + td k ) + b] T d k = [Ax k + b + Atd k ] T d k = [ f(x k ) + tad k ] T d k = f(x k ) T d k + t(d k ) T Ad k Como t k é o passo ótimo temos: f(x k ) T d k + t(d k ) T Ad k = 0. Então, t k = f(xk )d k (d k ) T Ad k = (dk ) T d k (d k ) T Ad k.

25 15 No que segue, para facilitar a notação, sem perda de generalidade, vamos supor que x = 0 e f( x) = 0, isto é, f(x) = 1 2 xt Ax. Lema 3.3 Dado x IR n, x 0, considere d = Ax. Então, d T d d T Ad xt Ax x T A 2 x. Demonstração. Temos x T Ax = d T A 1 d e x T A 2 x = d T d. De fato, d T A 1 d = ( Ax) T A 1 ( Ax) = (x T )A T A 1 ( Ax) = x T Ax; d T d = ( Ax) T ( Ax) = (x T )A T ( Ax) = x T A 2 x. Portanto, d T d x T A 2 x d T Ad x T Ax = (d T d) 2 (d T Ad)(d T A 1 d) (3.2) Como A > 0, pela decomposição de Choleski, existe G IR n n tal que A = GG T. Fazendo u = G T d e v = G 1 d, temos que: u T v = (G T d) T (G 1 d) = d T GG 1 d = d T d; u T u = (G T d) T (G T d) = d T GG T d = d T Ad; v T v = (G 1 d) T (G 1 d) = d T (G 1 ) T G 1 d = d T A 1 d. Pela desigualdade de Cauchy-Schwarz, temos (d T d) 2 (d T Ad)(d T A 1 d) = (ut v) 2 (u T u)(v T v) Podemos concluir da equação (3.2) que: completando a prova. d T d x T A 2 x d T Ad x T Ax = u, v 2 u, u v, v = u, v 2 u 2 v , (3.3)

26 16 Antes de enunciarmos o Teorema da Velocidade de Convergência do Algoritmo de Cauchy, vamos apresentar um resultado importante de matrizes simétricas, cuja demonstração pode ser encontrada em (LEON, 1999). Lema 3.4 Se A IR n n é uma matriz simétrica com λ 1 e λ n sendo o menor e o maior autovalor, respectivamente, então λ 1 x 2 x T Ax λ n x 2, para todo x IR n. Teorema 3.5 Considere a função quadrática f(x) = 1 2 xt Ax e a sequência (x k ) gerada pelo Algoritmo 3.1, com busca exata. Se γ = então x k+1 γ x k, para todo k IN. 1 λ 1 λ n, Demonstração. Como d k = f(x k ) = Ax k, temos: x k+1 2 = (x k + t k d k ) T (x k + t k d k ) = (x k ) T x k + (x k ) T t k d k + (d k ) T t k x k + (d k ) T t 2 kd k = x k 2 + 2t k (x k ) T d k + (t k ) 2 (d k ) T d k = x k 2 + 2t k (x k ) T ( Ax k ) + (t k ) 2 ( Ax k ) T ( Ax k ) = x k 2 2t k (x k ) T Ax k + (t k ) 2 (x k ) T A 2 x k Pelo Lema 3.3 temos que: (d k ) T d k (d k ) T Ad k (xk ) T A 2 x k (x k ) T Ax k.

27 17 Como t k = (dk ) T d k > 0, temos (d k ) T Adk Assim, (t k ) 2 (x k ) T A 2 x k = t k (d k ) T d k (d k ) T Ad k (xk ) T A 2 x k t k (x k ) T Ax k. x k+1 2 = x k 2 2t k (x k ) T Ax k + (t k ) 2 (x k ) T A 2 x k x k 2 t k (x k ) T Ax k. anterior obtemos Caso x k = 0 não há nada a fazer. Suponha então que x k 0. Da relação x k+1 2 x k 2 xk 2 t k (x k ) T Ax k x k 2 = 1 t k(x k ) T Ax k x k 2 = 1 (dk ) T d k (d k ) T Ad k (xk ) T Ax k (x k ) T x k.(3.4) Pelo Lema 3.4 temos (d k ) T d k (d k ) T Ad k 1 λ n e (x k ) T Ax k (x k ) T x k λ 1. Substituindo isto em (3.4), segue que ( ) x k λ 1. x k λ n De acordo com a Definição 2.14, concluímos que a velocidade de convergência da sequência gerada pelo Algoritmo de Cauchy é linear, com taxa 1 λ 1. λ n

28 18 O Teorema 3.5 tem uma interpretação geométrica interessante. As curvas de nível de f são elipsóides cuja excentricidade depende da diferença entre o maior e o menor autovalor de A. Se λ 1 λ n então as curvas de nível são quase esferas e a convergência ocorre de forma mais veloz. Entretanto, se λ 1 << λ n os elipsóides ficam muito excêntricos e a convergência se dá de forma lenta. Veja ilustração na Figura 4. Figura 4: Passos do Algoritmo de Cauchy

29 19 4 MÉTODO DE NEWTON O método de Newton é uma das ferramentas mais importantes em otimização. Tanto o algoritmo básico quanto suas variantes são muito utilizados para minimização. Neste trabalho estudaremos o Método de Newton puro. Para isso utilizaremos as seguintes referências (FRIEDLANDER, ; IZMAILOV; SOLODOV, 2007; RIBEIRO; KARAS, 2010). 4.1 Método de Newton para Resolução de Equações Considere F : IR n (normalmente não linear) IR n de classe C 1 e o problema de resolver o sistema F (x) = 0. Como na maioria das vezes não conseguimos resolvê-lo de forma direta, os processos iterativos constituem a forma mais eficiente de lidar com tais situações. A idéia é aproximar F por seu polinômio de Taylor de primeira ordem. Dada uma estimativa x, considere o sistema linear F ( x) + J F ( x)(x x) = 0, (4.1) onde J F representa a matriz jacobiana de F. Caso J F ( x) seja inversível, o sistema (4.1) pode ser resolvido, fornecendo x = x (J F ( x)) 1 F ( x).

30 20 Isto corresponde a uma iteração do método de Newton para resolução de equações (veja a Figura 5). Figura 5: Uma iteração do Método de Newton para equações 4.2 Método de Newton para Otimização Irrestrita Agora consideremos o problema de minimização irrestrita minf(x) e x IR n (4.2) onde f : IR n IR é uma função de classe C 2. Os pontos estacionários deste problema são caracterizados pela equação f(x) = 0. Vamos então aplicar a relação (4.1) para F : IR n IR n dada por F (x) = f(x). Seja x k IR n uma aproximação de um ponto estacionário x do problema (4.2). A aproximação seguinte x k+1 é computada como solução do sistema de equações lineares f(x k ) + 2 f(x k )(x x k ) = 0 (4.3) em relação a x IR n. Supondo que 2 f(x k ) seja não-singular para todo k, obtemos o esquema iterativo seguinte: x k+1 = x k ( 2 f(x k )) 1 f(x k ), k = 0, 1,... (4.4)

31 Algoritmo Com base na relação (4.4) podemos agora formalizar o método de Newton para minimizar a função f. Basicamente, temos três variantes do algoritmo. Uma delas é o método puro, onde não fazemos busca unidirecional e aceitamos o passo completo (t k = 1 para todo k IN). As outras duas fazem uso de busca (exata ou Armijo), que podem ser encontradas em (RIBEIRO; KARAS, 2010). Algoritmo 4.1 Newton Dado: x 0 IR n k = 0 REPITA enquanto f(x k ) 0 Defina d k = ( f(x k )) 1 f(x k ) Determine o tamanho do passo t k > 0 Faça x k+1 = x k + t k d k k = k + 1 O Algoritmo de Newton pode não estar bem definido, caso a matriz Hessiana 2 f(x k ) seja singular. Além disso mesmo que o passo d k seja calculado, esta direção pode não ser de descida. Entretanto, se 2 f(x k ) é definida positiva, então o passo d k está bem definido e é uma direção de descida. O passo de Newton também pode ser obtido por uma abordagem diferente da que foi exposta acima. Para isso considere a aproximação de Taylor de segunda ordem de f, dada por p(x) = f(x k ) + f(x k ) T (x x k ) (x xk ) T 2 f(x k )(x x k ) Com o objetivo de minimizar p, fazemos f(x k ) + 2 f(x k )(x x k ) = p(x) = 0,

32 22 obtendo exatamente o passo d k do Algoritmo de Newton. (Veja a Figura 6). Esta última abordagem sugere que se o Método de Newton for aplicado em uma função quadrática, então basta uma iteração para resolver o problema. De fato, considere a quadrática f(x) = 1 2 xt Ax + b T x + c. Dado x 0 IR n, obtemos: d 0 = ( 2 f(x 0 )) 1 f(x 0 ) = A 1 (Ax 0 + b) = x 0 A 1 b. Portanto, o minimizador x é obtido em um só passo, pois x 1 = x 0 + d 0 = A 1 b = x. Figura 6: Uma iteração do Método de Newton 4.4 Convergência A direção de Newton pode não ser de descida, assim, não garantimos convergência global quando o problema a ser resolvido envolver uma função arbitrária. No entanto, para uma classe de funções convexas, podemos tirar conclusões positivas.

33 23 Lema 4.2 Suponha que 2 f( x) > 0. Então existem constantes δ > 0 e M > 0 tais que 2 f(x) > 0 e ( 2 f(x)) 1 M, para todo x B( x, δ). Demonstração. Seja λ > 0 o menor autovalor de 2 f( x). Pela continuidade de 2 f, dado ε = λ 2 existe δ > 0 tal que 2 f(x) 2 f( x) λ 2, (4.5) para todo x B( x, δ). Assim, dado d IR n, com d = 1, temos que d T 2 f(x)d = d T 2 f( x)d + d T [ 2 f(x) 2 f( x)]d (4.6) Note que, usando o Lema 3.4 temos que d T 2 f(x)d λ. Usando a desigualdade de Cauchy-Schwarz temos que, d T [ 2 f(x) 2 f( x)]d d 2 f(x) 2 f( x) d λ 2. Assim, da relação (4.6) concluímos que d T 2 f(x)d λ λ 2 = λ 2, provando que 2 f(x) é definida positiva para todo x B( x, δ). Para provar a outra afirmação, considere x B( x, δ). Vamos denotar A = 2 f( x) e B = 2 f(x). Usando novamente o Lema 3.4, agora aplicado em A 2, obtemos Ad 2 = Ad, Ad = (Ad) T Ad = d T A t Ad = d T A 2 d λ 2 d T d = λ 2 d 2 para todo d IR n. Portanto, usando a relação (4.5), concluímos que Bd = Ad + (B A)d Ad (B A)d λ d λ 2 d = λ 2 d.

34 24 Considere agora y IR n, com y = 1. Aplicando a relação acima para d = B 1 y, concluímos que 1 = y = BB 1 y λ 2 B 1 y. Mas B 1 B 1 x = sup x 0 x = sup x 0 B 1 x x 2 λ. Pela desigualdade acima, definindo M = 2, segue que λ completando a demonstração. ( 2 f(x)) 1 = B 1 M, Lema 4.3 Sejam U IR n aberto convexo e β = sup 2 f(x) 2 f(y). Então x,y U para todo x, y U. f(x) f(y) 2 f(y)(x y) β x y, Demonstração. Fixando y U, considere h(x) = f(x) 2 f(y)x. Assim, J h (x) = 2 f(x) 2 f(y) β para todo x U. Usando a Desigualdade do Valor Médio, obtemos f(x) f(y) 2 f(y)(x y) = h(x) h(y) β x y, completando a demonstração. Lema 4.4 Sejam U IR n aberto e convexo. Se 2 f é Lipschitz com constante L, então para todo x, y U. f(x) f(y) 2 f(y)(x y) L x y 2,

35 25 Demonstração. Fixados x, y U, defina β = L x y e h : IR n IR n dada por h(z) = f(z) 2 f(y)z. Assim, para todo z [x, y], como 2 f é Lipschitz temos J h (z) = 2 f(z) 2 f(y) L z y L x y = β. Usando a Desigualdade do Valor Médio, obtemos f(x) f(y) 2 f(y)(x y) = h(x) h(y) β x y = L x y 2, completando a demonstração. Teorema 4.5 Seja f : IR n IR de classe C 2. Suponha que x IR n seja um minimizador local de f,com 2 f( x) definida positiva. Então existe δ > 0 tal que se x 0 B( x, δ), o Algoritmo de Newton, aplicado com t k = 1 para todo k IN, gera uma sequência (x k ) tal que: (i) 2 f(x k ) é definida positiva, para todo k IN; (ii) (x k ) converge superlinearmente para x; (iii) Se 2 f é Lipschitz, então a convergência é quadrática. Demonstração. Sejam δ 1 e M as constantes definidas no Lema 4.2 e U 1 = B( x, δ 1 ). Assim, se x k U 1, o passo de Newton está bem definido e, como f( x) = 0, vale x k+1 x = ( 2 f(x k )) 1 ( f( x) f(x k ) 2 f(x k )( x x k )). (4.7) Pela continuidade de 2 f, para ε = 1 4M, existe δ 2 > 0 tal que 2 f(x) 2 f(x) 1 4M, para todo x B(x, δ 2 ). Se y B(x, δ 2 ), vale 2 f(y) 2 f(x) 1 4M,

36 26 Então 2 f(x) 2 f(y) = 2 f(x) 2 f(x) + 2 f(x) 2 f(y) 2 f(x) 2 f(x) + 2 f(y) + 2 f(x) 1 4M + 1 4M = 1 2M Portanto sup 2 f(x) 2 f(y) < 1 x,y U 2M, onde U = B(x, δ) e δ = min{δ 1, δ 2 }. Pelos Lemas 4.2 e 4.3, concluímos que x k+1 x ( 2 f(x k )) 1 f( x) f(x k ) 2 f(x k )( x x k ) Mβ x k x. Portanto x k+1 x 1 2 xk x. Isto prova que a sequência (x k ) está bem definida, que x k U, para todo k IN e que x k x, donde segue (i). Vejamos que a convergência é superlinear. Dado ε > 0, considere δ 0 < δ tal que sup 2 f(x) 2 f(y) < ε x,y U M, onde U 0 = B( x, δ 0 ). Tome k 0 IN tal que x k U 0, para todo k k 0. Aplicando novamente os Lemas 4.2 e 4.3 na relação (4.7), obtemos provando assim (ii). para obter x k+1 x ε x k x, Finalmente, se 2 f é Lipschitz, podemos usar os Lemas 4.2 e 4.4 em (4.7) completando a demonstração. x k+1 x ML x k x 2,

37 27 5 MÉTODO DA SEÇÃO ÁUREA Neste capítulo apresentamos a análise do Algoritmo da Seção Áurea e da sua velocidade de convergência. A referência (NOCEDAL; WRIGHT, 1999; RIBEIRO; KARAS, 2010) serão utilizadas para este estudo. 5.1 Busca Unidimensional Dada f : IR n IR, e um ponto x IR n e uma direção de descida d IR n, queremos encontrar t > 0 tal que f( x + td) < f( x). Figura 7: Busca unidimensional exata

38 28 Mais precisamente, temos que resolver o problema minimizar ϕ(t) = f( x + td) sujeito a t > 0. Este problema é, em geral, difícil de se resolver de forma exata. Entretanto, para certas funções especiais, existem algoritmos para resolvê-lo. Por isto, vamos agora definir função unimodal, para a qual existem algoritmos para minimizá-la. Em seguida veremos o algoritmo da seção áurea, que encontra um ponto próximo de um minimizador com a precisão que se queira. (Conforme ilustrado na Figura 7). 5.2 Método da Seção Áurea - Busca exata Ao aplicarmos o Método da Seção Áurea em funções unimodais obtemos resultados satisfatórios, por isso definiremos a seguir este tipo de função. Definição 5.1 Uma função contínua ϕ : [0, ) IR é dita unimodal quando admite um conjunto de minimizadores [t 1, t 2 ], é estritamente decrescente em [0, t 1 ] e estritamente crescente em [t 2, ). Veja os exemplos de funções unimodais a seguir e note que o intervalo de minimizadores [t 1, t 2 ] pode ser degenerado, como ilustrado no segundo gráfico. x 1 x 2 x 1 =x 2 Figura 8: Funções Unimodais

39 29 Para facilitar a descrição do algoritmo, vamos considerar a Figura 9. a u v b Figura 9: Seção áurea Descrição do Algoritmo Suponha que o minimizador de ϕ pertence ao intervalo [a, b] i) Considere a < u < v < b em [0, ) ii) Se ϕ(u) < ϕ(v) então o trecho (v, b] não pode conter o minimizador e pode ser descartado. iii) Se ϕ(u) ϕ(v) então o trecho [a, u) pode ser descartado. iv) Particione o intervalo que ficou e repita o processo. Agora vamos analisar como o intervalo [a, b] deve ser particionado. A obtenção deste intervalo, que deve conter um minimizador de ϕ será tratada adiante. A estratégia mais natural é dividir o intervalo em três partes iguais, ou seja, definir u = a (b a) e v = a + 2 (b a). 3 Desta forma descartamos 1 do intervalo a cada iteração, conforme ilustrado na 3 Figura 10. Além disso, se o intervalo descartado for o (v, b], temos como novo intervalo [a +, b + ], onde a + = a e b + = v, mas não podemos utilizar o antigo ponto u, calculado

40 30 na iteração anterior, o que é uma desvantagem. a u v b a + u + v + b + Figura 10: Intervalo dividido em três partes iguais Uma outra estratégia é escolher u e v que dividem o segmento [a, b] na razão áurea, de acordo com a definição dada seguir. Definição 5.2 Um ponto c divide o segmento [a, b] na razão áurea quando a razão entre o maior segmento e o segmento todo é igual à razão entre o menor e o maior dos 5 1 segmentos. Tal razão é conhecida como o número de ouro e vale Desta forma, temos que u e v devem satisfazer b u b a = u a b u e v a b a = b v v a (5.1) Considerando θ 1 e θ 2 tais que Substituindo u em (5.1) temos: u = a + θ 1 (b a) e v = a + θ 2 (b a) (5.2) b (a + θ 1 (b a)) b a = a + θ 1(b a) a b (a + θ 1 (b a)) Desta forma, obtemos: (b a)(1 θ 1 ) b a = θ 1 (b a) (1 θ 1 )(b a) 1 θ 1 = θ 1 1 θ 1 (5.3)

41 31 Analogamente se substituirmos v em (5.1) obtemos: θ 2 = 1 θ 2 θ 2 (5.4) Como u, v [a, b], encontramos θ 1 = relações (5.3) e (5.4) temos: 0, 382 e θ 2 = , 618. Das (1 θ 1 ) 2 = θ 1 (5.5) E, ainda (θ 2 ) 2 = 1 θ 2 (5.6) Se α = 1 θ 1. Da relação (5.5), α 2 = 1 α. Então por (5.6), temos que α = θ 2. Assim apresentamos outras duas relações importantes: (θ 2 ) 2 = θ 1 e θ 1 + θ 2 = 1 (5.7) Uma das vantagens da divisão na razão áurea em relação à divisão em três partes iguais é que descartamos mais de 38% do intervalo ao invés de 33, 33%. Outra vantagem, é que podemos aproveitar o ponto u ou v após termos descartado o intevalo [v, b] ou [a, u] na iteração anterior. Indicamos por [a +, b + ] o novo intervalo que será particionado pelos ponto u + e v +. Conforme veremos no próximo resultado, o ponto v é aproveitado na próxima etapa e passa a ser u + quando descartamos [a, u). Assim, o valor da função ϕ(v) é aproveitado para a próxima etapa.

42 32 Lema 5.3 Na seção áurea, se [a, u) é descartado então u + = v. Demonstração. Como [a, u] foi descartado então a + = u e b + = b. Logo, temos que: u + = a + + θ 1 (b + a + ) = u + θ 1 (b u) = a + θ 1 (b a) + θ 1 (b (a + θ 1 (b a))) = a + (2θ 1 (θ 1 ) 2 )(b a) Note que, da relação (5.7), temos (θ 1 ) 2 = 3θ 1 1. Então, u + = a + (2θ 1 3θ 1 + 1)(b a) = a + (1 θ 1 )(b a) = a + θ 2 (b a) = v A Figura 11 ilustra o Lema 5.3. a u v b a + u + v + b + Figura 11: Partição do intervalo [a, b]

43 33 Lema 5.4 Na seção áurea, se (v, b] é descartado então v + = u. Demonstração. Como (v, b] é descartado então a + = a e b + = v. Usando (5.2) e a relação (5.6) obtemos: v + = a + + θ 2 (b + a + ) = a + θ 2 (v a) = a + θ 2 (a + θ 2 (b a) a) = a + θ 2 2 (b a) = a + θ 1 (b a) = u A Figura 12 a ilustra o Lema 5.4. a u v b a + u + v + b + Figura 12: Partição do intervalo [a, b] Apresentamos agora o algoritmo da seção áurea, que tem duas fases. Na primeira, obtemos um intervalo [a, b] que contém um minimizador de ϕ. A idéia desta etapa é considerar um intervalo inicial [0, 2ρ], com ρ > 0, e ampliá-lo, deslocando para a direita, até que um crescimento de ϕ seja detectado. Na segunda fase, o intervalo [a, b] é reduzido, por meio do descarte de subintervalos, até que reste um intervalo de tamanho suficiente para que uma precisão ε seja alcançada.

44 Algoritmo Algoritmo 5.5 Seção Áurea Dados ρ > 0; ε > 0 Fase 1: Obtenção do intervalo [a, b] a 0 = 0, s 0 = ρ e b 0 = 2ρ k = 0 REPITA enquanto ϕ(b k ) < ϕ(s k ) a = a k e b = b k a k+1 = s k, s k+1 = b k e b k+1 = 2b k k = k + 1 Fase 2: Obtenção de t [a, b] a 0 = a, b 0 = b u 0 = a 0 + θ 1 (b 0 a 0 ), v 0 = a 0 + θ 2 (b 0 a 0 ) k = 0 REPITA enquanto b k a k > ε Defina t = u k + v k 2 SE ϕ(u k ) < ϕ(v k ) a k+1 = a k, b k+1 = v k, u k+1 = a k+1 + θ 1 (b k+1 a k+1 ) SENÃO a k+1 = u k, b k+1 = b k, u k+1 = a k+1 + θ 2 (b k+1 a k+1 ) k = k + 1 Mas o algoritmo realmente funciona? Na primeira fase, após um número finito de etapas é possível encontrar um intervalo [a, b] que contém pelo menos um minimizador? Este é um resultado que será demonstrado no teorema a seguir.

45 35 Teorema 5.6 O Algoritmo da Seção Áurea, na primeira fase, encontra um intervalo [a, b] que contém pelo menos um minimizador da função em um número finito de iterações. Demonstração. Vejamos inicialmente que o loop da primeira fase é finito. Suponha por absurdo que ϕ(b k ) < ϕ(s k ), para todo k IN. Então s k, pois s k+1 = b k = 2b k 1 = 2s k. Assim, existe k IN tal que s k t 1. Como ϕ é unimodal, ela é não decrescente em [t 1, ). Logo ϕ(b k ) ϕ(s k ), uma contradição. Portanto, a Fase 1 do algoritmo termina em um certo k IN. Resta ver que o intervalo obtido de fato contém um minimizador de ϕ. Temos dois casos a considerar. (i) Caso s k < t 1, temos b k > t 2, pois do contrário teríamos ϕ(b k ) < ϕ(s k ). Veja o primeiro gráfico na Figura 13. Assim, [t 1, t 2 ] [s k, b k ] [a k, b k ]. (ii) Caso s k t 1, afirmamos que a k < t 1 (veja o segundo gráfico na Figura 13). De fato, note que a k = { 0, se k = 0 s k 1, caso contrário. Se fosse s k 1 t 1, teríamos ϕ(b k 1 ) ϕ(s k 1 ) e a Fase 1 teria terminado na iteração k 1 ao invés da iteração k. Temos então a k < t 1 s k < b k, o que implica que t 1 [a k, b k ].

46 36 Figura 13: Análise da primeira etapa do algoritmo A seguir enuciaremos o teorema que analisa se na segunda fase do algoritmo ao descartar um dos intervalos aquele que sobrou contém um minimizador. Teorema 5.7 Seja ϕ uma função unimodal. (i) Se ϕ(v) ϕ(u) e o intervalo [a, u) é descartado, então o intervalo que sobrou [u, b] contém pelo menos um minimizador. (ii) Se ϕ(v) > ϕ(u) e o intervalo (v, b] é descartado, então o intervalo que sobrou [a, v] contém pelo menos um minimizador. Demonstração. Considere [t 1, t 2 ] o intervalo de minimizadores da Definição 5.1. (i) Suponha por absurdo que não existe minimizador em (u, b], portanto, existe um mínimo t [a, u). Note que t 2 < u pois do contrário teríamos t 2 > b e assim [u, b] [t, t 2 ] [t 1, t 2 ], o que é uma contradição, pois estamos supondo que não existe minimizador em (u, b]. Veja ilustração na Figura 14. Como ϕ é unimodal, ou seja, é estritamente crescente em [t 2, ), temos que t 2 < u < v, implica em ϕ(u) < ϕ(v), o que contradiz a hipótese.

47 37 (ii) Suponha por absurdo que não exista minimizador no intervalo [a, v], portanto existe um mínimo t (v, b]. Note que t 1 > v pois do contrário teríamos t 1 < a e assim [a, v] [t 1, t ] [t 1, t 2 ], o que é uma contradição, pois estamos supondo que não existe minimizador em [a, v]. Como ϕ é unimodal, ou seja, é estritamente decrescente em [0, t 1 ], temos que u < v < t 1, implica em ϕ(u) > ϕ(v), o que contradiz a hipótese. Figura 14: Análise do item (i) do teorema Convergência do Método da Seção Áurea Antes de analisarmos a convergência do método, iremos enunciar um teorema auxiliar que prova a convergência do tamanho do intervalo [a k, b k ] obtido na primeira etapa que contém o minimizador da função. Teorema 5.8 Seja [a k, b k ] o intervalo obtido pelo algoritmo da seção áurea, então b k a k 0. Demonstração. Seja r k o tamanho do intervalo [a k, b k ], ou seja, r k = b k a k. Como o Método da Seção Áurea descarta mais de 38% do intervalo [a 0, b 0 ], ou seja, descarta θ 1 = , temos que b 1 a 1 = r 1 = r 0 θ 1 r 0 = r 0 θ 2. Repetindo o 2 processo com o intervalo de cada iteração, temos: b 2 a 2 = r 2 = r 0 θ 2 θ 1 (r 0 θ 2 ) = r 0 θ 2 (1 θ 1 ) = r 0 (θ 2 ) 2 b k a k = r 0 (θ 2 ) k

48 38 Como r 0 > 0 é uma constante e θ 2 (0, 1), Concluímos, assim que b k a k 0. lim r 0(θ 2 ) k = r 0 lim (θ 2 ) k = 0. k k E as sequências (a k ), (u k ), (v k ) e (b k ) convergem? Como as sequências (a k ) e (b k ) são monótonas, limitadas inferiormentes por a 0 e superiormente por b 0, de acordo com o Teorema 2.9 estas sequências convergem. O próximo teorema estabelece a convergência para um minimizador de ϕ. Teorema 5.9 Seja ϕ uma função unimodal conforme a Definição 5.1. Então as sequências (a k ), (u k ), (v k ) e (b k ) convergem para um minimizador de ϕ em [t 1, t 2 ]. Demonstração. Como (a k ) é não decrescente e limitada temos a k a. Além disso, (b k ) é não crescente e limitada. Então b k b. Sabemos pelo Teorema 5.8 que a k b k 0, mas a k b k a b. Logo, a = b = t. Como a k u k v k b k, o teorema do confronto garante que u k t e v k t. Devemos agora provar que t é um minimizador de ϕ. Seja r k um minimizador de ϕ em [a k, b k ]. Então, pelo Teorema do Confronto temos que r k t. Como (r k ) é uma sequência de minimizadores da função ϕ que pertencem ao conjunto [t 1, t 2 ] e ainda, r k t, temos que t é ponto de acumulação de [t 1, t 2 ]. Mas [t 1, t 2 ] é fechado, logo t [t 1, t 2 ]. Agora vejamos um caso particular de função unimodal. Considere que a função ϕ seja quadrática, ou seja, tenha apenas um minimizador t, assim t 1 = t 2 = t. Como sugere a Figura 15, provaremos que o minimizador da função objetivo pertence a todo intervalo [a k, b k ].

49 39 Figura 15: Todos os intervalos [a k, b k ] contém o minimizador da função quadrática. Teorema 5.10 Seja t o minimizador da função quadrática, então t [a k, b k ], para todo k. Demonstração. Suponha que na primeira iteração do Método da Seção Áurea, [a 0, u 0 ) foi descartado. (O outro caso é análogo) Pelo lema 5.3 temos que a 1 = u 0 e b 1 = b 0. Assim, t [a 1, b 1 ] [a 0, b 0 ]. Aplicando o algoritmo sucessivamente, temos que t [a n, b n ] [a n 1, b n 1 ] [a 0, b 0 ]. Assim temos que t [a k, b k ] para todo k IN. Teorema 5.11 Seja (t k ) a sequência definida por t k minimizador da função quadrática. Então t k t. = u k + v k 2 = a k + b k 2 e t o Demonstração. De acordo com o Teorema 5.10 temos que b k a k 0. E pelo Teorema 5.10 temos que t [a k, b k ], para todo k. Como (t k ) [a k, b k ], concluímos que t k converge para o minimizador t.

50 Velocidade de Convergência Provaremos que a velocidade de convergência da sequência b k é linear com taxa de convergência igual ao número de ouro. Suponha que o intervalo (v k, b k ] foi descartado. Assim temos que a k+1 = a k, v k+1 = u k e b k+1 = v k. Teorema 5.12 As sequências (a k ) e (b k ) geradas pelo Algoritmo da Seção Áurea tem convergência linear e a taxa de convergência é θ 2, ou seja, b k+1 t θ 2 b k t para todo k IN. Demonstração. Para simplificar a notação vamos suprimir o indice k. função g : [a, v] IR, onde g(t) = v k t, temos que: b k t Considere a g (t) = ( 1)(b t) (a + θ 2(b a) t)( 1) (b t) 2 = b + t + a + θ 2(b a) t (b t) 2 = (b a)( 1 + θ 2) (b t) 2 = θ 1(b a) (b t) 2 < 0 para todo t [a, v]. Como g é negativa, então g é decrescente. Portanto para todo t [a, v]. g(t) g(a) = v a b a = a + θ 2(b a) a b a Em particular para t [a, v], temos que: = θ 2, b k+1 t b k t = v k t b k t = g(t) θ 2 Portanto a sequência (b k ) gerada pelo algoritmo tem convergência linear e a taxa de convergência o número de ouro. O outro caso é análogo.

51 41 6 CONCLUSÃO Neste trabalho, utilizamos alguns conceitos de Análise para introduzir o estudo de velocidade de convergência das sequências geradas pelos algoritmos clássicos de otimização irrestrita. Concentramos nosso estudo em três velocidades de convergência: linear, superlinear e quadrática. Como para fins práticos é fundamental que os algoritmos tenham uma convergência rápida, discutimos alguns métodos clássicos para otimização irrestrita. O método de Cauchy que faz a cada iteração uma busca unidirecional na direção de maior decrescimento da função, ou seja, na direção oposta ao gradiente. A sequência gerada por este algoritmo tem convergência global e a velocidade de convergência linear. Se a função objetivo for de classe C 2 e o ponto inicial estiver próximo de um minimizador, o método de Newton gera uma sequência que converge superlinearmente. Caso a Hessiana da função a ser minimizada seja Lipschitz, então a convergência do método de Newton é quadrática. Concluindo assim, que o Algoritmo de Newton encontra o minimizador mais rapidamente que o Algoritmo de Cauchy. Nos métodos de busca unidimensional, precisamos minimizar uma função a partir de um certo ponto, segundo uma direção dada, que é a direção de busca. Este problema é equivalente a minimizar uma função real de uma variável, um dos métodos que podem ser usados para resolver este problema é o Método da Seção Áurea, que faz a minimização exata desta função. Analisamos as etapas deste algoritmo, ou seja, se na primeira fase o algoritmo encontra o intervalo com pelo menos um minimizador, o que de fato ocorre, além de que ao descartar intervalos em cada iteração do algoritmo, o

52 42 intervalo que sobrou contém pelo menos um minimizador. Mostramos que o algoritmo realmente converge para um minimizador. E finalmente, demonstramos que a sequência (a k ) ou (b k ) gerada pelo algoritmo converge linearmente, com taxa o número de ouro. Realizamos o estudo deste capítulo com base nas literaturas já citadas ao longo do trabalho, mas os resultados demonstrados obtemos com um estudo independente.

53 43 Referências FRIEDLANDER, A. Elementos de Programação Não-Linear. [S.l.]: Unicamp. IZMAILOV, A.; SOLODOV, M. Otimização: Métodos Computacionais. Rio de Janeiro: IMPA, LEON, S. J. Álgebra Linear com Aplicações. Rio de Janeiro: [s.n.], LIMA, E. L. Curso de Análise, v 1. Rio de Janeiro, Brasil: IMPA, LIMA, E. L. Curso de Análise, v 2. Rio de Janeiro, Brasil: IMPA, MOTA, A. M. Convergência de Algoritmos para Programação Não-linear. Brasil, NOCEDAL, J.; WRIGHT, S. J. Numerical Optimization. [S.l.]: Springer-Verlag, (Springer Series in Operations Research). RIBEIRO, A. A.; KARAS, E. W. Um Curso de Otimização. [S.l.: s.n.], 2010.