UM CURSO DE OTIMIZAÇÃO. Ademir Alves Ribeiro Elizabeth Wegner Karas

Transcrição

1 UM CURSO DE OTIMIZAÇÃO Ademir Alves Ribeiro Elizabeth Wegner Karas Curitiba 2011

2 Sumário Prefácio 1 Introdução 2 1 Revisão de Conceitos Sequências Definições e resultados clássicos Velocidade de convergência Noções de topologia Resultados de álgebra linear Fórmula de Taylor e teorema da função implícita Exercícios do capítulo Introdução à Otimização O problema de otimização Condições de otimalidade Exercícios do capítulo Convexidade Conjuntos convexos Funções convexas Exercícios do capítulo Algoritmos Algoritmos de descida Métodos de busca unidirecional Busca exata - método da seção áurea Busca inexata - condição de Armijo Convergência global de algoritmos Convergência global de algoritmos de descida Teorema de Polak Exercícios do capítulo ii

3 5 Métodos de Otimização Irrestrita Método de Cauchy Algoritmo Convergência global Velocidade de convergência Método de Newton Motivação Algoritmo Convergência Métodos de direções conjugadas - variedades Minimização em variedades lineares Direções conjugadas Algoritmo de gradientes conjugados Método de direções conjugadas - versão clássica Direções conjugadas Algoritmo de gradientes conjugados Método de região de confiança Algoritmo O passo de Cauchy Convergência O método dogleg Exercícios do capítulo Implementação computacional Funções para teste Otimização com Restrições Cones Condições de Karush-Kuhn-Tucker O cone viável linearizado O cone gerado pelos gradientes das restrições O cone tangente O teorema de Karush-Kuhn-Tucker Condições de qualificação Problemas com restrições lineares Condição de qualificação de Slater Condição de qualificação de independência linear Condição de qualificação de Mangasarian-Fromovitz Exercícios do capítulo Dicas e soluções dos exercícios 116 iii

4 Referências Bibliográficas 129 iv

5 Prefácio O presente texto foi escrito com o propósito de servir como material didático para um curso de otimização. Procuramos abordar aspectos teóricos e computacionais. Interpretações geométricas são evocadas sempre que possível com o auxílio de diversas figuras que aparecem no texto para ilustrar conceitos, exemplos e teoremas. A teoria de otimização com restrições é apresentada com uma abordagem de cones que, além de ter um forte apelo geométrico, consideramos ser mais moderna. Para um bom aproveitamento do livro, é desejável que o estudante tenha os conhecimentos de álgebra linear e análise no IR n. Além disso, é importante dar especial atenção aos vários exercícios que aparecem tanto no meio do desenvolvimento da teoria, quanto no final de cada capítulo. Muitos exercícios servem para fixar os conceitos, outros para verificar se o leitor consegue identificar e aplicar certos conceitos para resolver um determinado problema e outros ainda servem para complementar a teoria. Apresentamos, no final do livro, dicas, soluções ou respostas de alguns dos exercícios propostos. Entretanto, recomendamos fortemente que o estudante tente fazer os exercícios antes de ver a solução, pois é desta forma que o aprendizado bem sucedido. Este livro pode ser usado tanto em cursos de graduação quanto na pós-graduação. Entretanto, para alunos de graduação, que ainda não possuem uma certa maturidade matemática, algumas seções podem ser omitidas, pois apresentam argumentos mais elaborados. Gostaríamos de manifestar nossa imensa gratidão a várias pessoas que ajudaram a construir ou melhorar este trabalho: Clóvis Gonzaga, Sandra Santos, Flavia Fernandes, Gislaine Periçaro, Paulo Conejo, Rodrigo Garcia e Tuanny Brufati. Ademir e Elizabeth Curitiba, 16 de Fevereiro de 2011.

6 Introdução Otimização, direta ou indiretamente, faz parte do nosso dia a dia. Muitas vezes nem nos damos conta, mas estamos otimizando algo. Mais formalmente, podemos dizer que otimização consiste em encontrar pontos de mínimo ou de máximo de uma função real sobre um conjunto Ω IR n. Isto pode ser colocado na forma (P Ω ) minimizar f(x) sujeito a x Ω. Em geral, o conjunto Ω é definido por restrições de igualdade e/ou desigualdade, ou seja, Ω = {x IR n g(x) 0, h(x) = 0}, onde g : IR n IR p e h : IR n IR m são funções quaisquer. O problema de otimização pode então ser reescrito como (P ) minimizar f(x) sujeito a g(x) 0 h(x) = 0. Conforme as características do conjunto Ω e as propriedades das funções objetivo, teremos os diferentes problemas de otimização. Por exemplo, as funções envolvidas no problema podem ser contínuas ou não, diferenciáveis ou não, lineares ou não. O caso particular em que a função objetivo e as funções que definem Ω são funções lineares é conhecido como um Problema de Programação Linear (PPL) e é resolvido por métodos específicos, como o famoso Método Simplex. Esta abordagem não será tratada neste trabalho. Estudaremos aqui problemas onde todas as funções usadas para definí-los são continuamente diferenciáveis e, normalmente, não lineares, isto é, estudaremos o problema geral de Programação Não Linear (PNL). Um caso particular é o problema irrestrito, quando Ω = IR n. O problema irrestrito pode ser considerado simples em comparação com o problema geral de PNL e o estudo de suas propriedades bem como dos métodos que o resolvem é de fundamental importância em otimização, porque muitos métodos para resolver o problema geral de PNL fazem uso dos métodos que resolvem o caso irrestrito.

7 Introdução 3 É conhecido na literatura que se o conjunto viável Ω é formado apenas por restrições de igualdade e x Ω é um minimizador, então existe λ IR m tal que f(x ) + m λ i h i (x ) = 0. i=1 As componentes do vetor λ são chamadas de Multiplicadores de Lagrange e a condição acima é um resultado central na teoria de otimização. Contudo, um pouco antes de 1950, foi observado que existiam aplicações importantes nos problemas em que eram envolvidas restrições representadas por desigualdades. Por esta razão, alguns matemáticos têm desenvolvido métodos para tratar de problemas com este tipo de restrições. As primeiras condições de otimalidade neste sentido foram estabelecidas por Fritz-John [12] em 1948 e depois por Kuhn e Tucker [14] em Mais tarde foi descoberto que as condições de Kuhn-Tucker já teriam sido estabelecidas por W. Karush em 1939 em sua dissertação de mestrado, porém essa dissertação nunca foi publicada, mas partes essenciais foram reproduzidas por Kuhn [15] em Assim as condições de Kuhn-Tucker passaram a ser chamadas de condições de Karush-Kuhn-Tucker (KKT). Este trabalho apresenta o desenvolvimento teórico das condições de otimalidade para o problema geral de otimização, bem como métodos iterativos para obter soluções.

8 Capítulo 1 Revisão de Conceitos Neste capítulo apresentamos algumas definições básicas e alguns resultados de análise e álgebra linear relevantes para este trabalho. As principais referências deste capítulo são [4, 9, 16, 17, 18]. 1.1 Sequências Uma sequência em IR n é uma aplicação k IN x k IR n, definida no conjunto IN dos números naturais. Denotaremos uma sequência por (x k ) k IN, ou simplesmente por (x k ). Por conveniência, consideramos que IN = {0, 1, 2, 3,...} Definições e resultados clássicos Definição 1.1 Diz-se que o ponto a IR n é o limite da sequência (x k ) quando, para todo ε > 0 dado, é possível obter k 0 IN tal que k k 0 x k a < ε. Neste caso, também dizemos que a sequência (x k ) converge para a e indicamos este fato por x k a ou lim k x k = a. Vemos da Definição 1.1 que o ponto a IR n é o limite da sequência (x k ) se para cada ε > 0, o conjunto IN 1 = {k IN x k a ε} é finito, ou seja, fora da bola B(a, ε) só poderão estar, no máximo, os termos x 0,..., x k 0 1. Uma subsequência de (x k ) é a restrição desta sequência a um subconjunto infinito IN = {k 1 < k 2 <... < k i <...} IN. Equivalentemente, uma subsequência de (x k ) é uma sequência do tipo (x k ) k IN inteiros positivos. Note que k i i, para todo i IN. ou (x k i ) i IN, onde (k i ) i IN é uma sequência crescente de Teorema 1.2 Se uma sequência (x k ) converge para um limite a, então toda subsequência (x k i ) também converge para a. 4

9 Revisão de Conceitos 5 Demonstração. Dado ε > 0 existe um k 0 tal que para todo k > k 0 tem-se x k a < ε. Como os índices da subsequência formam um subconjunto infinito, existe entre eles um k i0 k 0. Então para k i k i0 temos k i k 0. Logo x k i a < ε. O limite de uma subsequência (x k ) k IN de acumulação da sequência (x k ). Exercícios 1.3 é chamado valor de aderência ou ponto 1. Considere a sequência x k = ( 1) k + 1 k + 1. Mostre que (xk ) tem dois pontos de acumulação e portanto não é convergente. 2. Podemos dizer que se a sequência tem um único ponto de acumulação, então ela é convergente? 3. Considere uma sequência (x k ) IR. Se x k a > 0, então existe k 0 IN tal que para k k 0 tem-se x k a 2. Definição 1.4 Uma sequência (x k ) IR n é limitada, quando o conjunto formado pelos seus elementos é limitado, ou seja, quando existe um número real M > 0 tal que x k M para todo k IN. Definição 1.5 Seja (x k ) IR uma sequência limitada. Definimos o limite inferior da sequência (x k ) como seu menor ponto de acumulação e denotamos por lim inf x k. Analogamente definimos o limite superior da sequência como seu maior ponto de acumulação e denotamos por lim sup x k. Exercícios Determine lim inf x k e lim sup x k, sendo x k = ( 1) k + 1 k Faça o mesmo para (x k ) = (1, 2, 3, 1, 2, 3,...). Definição 1.7 Sejam (v k ) IR n e (λ k ) IR {0} sequências com λ k 0. Dizemos que v k = o(λ k ) quando v k 0. Mais geralmente, considere g : J IR IR n com 0 sendo λ k um ponto de acumulação de J. Dizemos que g(λ) = o(λ) quando g(λ k ) = o(λ k ) para toda sequência (λ k ) J com λ k 0. A seguir enunciaremos alguns resultados importantes. As demonstrações podem ser encontradas em [4, 17, 18]. Teorema 1.8 Toda sequência convergente é limitada. Teorema 1.9 Toda sequência (x k ) IR monótona limitada é convergente.

10 Revisão de Conceitos 6 Teorema 1.10 Uma sequência limitada em IR n é convergente se, e somente se, possui um único ponto de acumulação. À luz do Teorema 1.10, reveja o Exercício 1.3 (2). Teorema 1.11 (Bolzano-Weierstrass) Toda sequência limitada em IR n subsequência convergente. possui uma O próximo resultado será útil na análise da convergência de algoritmos, que trataremos no Capítulo 4. Teorema 1.12 Seja (x k ) IR uma sequência monótona que possui uma subsequência convergente, digamos x k IN a. Então x k a. Demonstração. Suponha que (x k ) é não crescente (os demais casos são análogos). Afirmamos que x k a, para todo k IN. De fato, do contrário existiria k 0 IN tal que x k x k 0 < a, para todo k IN, k k 0. Assim nenhuma subsequência de (x k ) poderia convergir para a. Provamos então que (x k ) é limitada, pois a x k x 0, para todo k IN. Pelo Teorema 1.9, temos que (x k ) é convergente e aplicando o Teorema 1.2 segue que x k a Velocidade de convergência No contexto de otimização existe outro aspecto importante a ser analisado em uma sequência: a velocidade de convergência. Considere, por exemplo, as sequências x k = 1 k + 5, yk = 1 3 k e z k = 1 2 2k. Vemos que todas elas convergem para 0, mas não com a mesma rapidez, conforme sugere a tabela abaixo. k x k y k z k Diante disto, é conveniente estabelecer uma maneira de medir a velocidade de sequências convergentes. Considere então uma sequência (x k ) IR n convergente para x IR n. Assim, e k = x k x 0. O que faremos é avaliar como o erro e k tende para 0. Na primeira forma o erro a cada iteração não supera uma fração do erro anterior.

11 Revisão de Conceitos 7 Definição 1.13 Dizemos que a sequência (x k ) IR n converge linearmente para x IR n quando existem uma constante r [0, 1) e um número natural k 0 IN, tais que x k+1 x x k x r, (1.1) para todo k k 0. Note que a condição (1.1) implica que x k x, pois x k 0+p x r p x k 0 x, para todo p IN e r [0, 1). Exemplo 1.14 A sequência x k = 1 k + 5 não converge linearmente para 0. De fato, temos x k+1 x k = k + 5 k Exemplo 1.15 A sequência y k = 1 converge linearmente para 0. 3k Basta notar que y k+1 y k = 1 3. Vejamos agora uma forma mais veloz de convergência. Definição 1.16 A sequência (x k ) IR n converge superlinearmente para x IR n quando x k+1 x x k x 0. (1.2) Note que a condição (1.2) também implica que x k x. Além disso, é imediato verificar que a convergência superlinear implica na convergência linear. Exemplo 1.17 A sequência x k = 1 2 k2 converge superlinearmente para 0. Temos x k+1 x k = 2k2 = (k+1)2 22k+1 Outra forma de convergência, ainda mais rápida, é definida abaixo.

12 Revisão de Conceitos 8 Definição 1.18 A sequência (x k ) IR n converge quadraticamente para x IR n quando x k x e existe uma constante M > 0 tal que x k+1 x M. (1.3) x k x 2 É importante observar que apenas a condição (1.3) não implica que x k x, como podemos ver na sequência x k = 2 k. Exemplo 1.19 A sequência z k = 1 2 2k converge quadraticamente para 0. Temos x k+1 x k = (22k ) 2 = k+1 Pode-se provar (Exercício 1.4) que a convergência quadrática implica na convergência superlinear. converge superlinearmente mas não quadratica- Exemplo 1.20 A sequência x k = 1 k! mente para 0. Temos e x k+1 x k = k! (k + 1)! = 1 k x k+1 x k 2 = (k!)2 (k + 1)! = k! k + 1 = k (k 1)!. k + 1 Exercícios Estude a convergência de x k = 1 k k. 2. Faça o mesmo para x k = e k Noções de topologia Definição 1.22 Um ponto a IR n é dito ponto de fronteira de um conjunto X IR n quando qualquer vizinhança de a contém algum elemento de X e algum elemento do complementar de X. O conjunto dos pontos fronteira de X é chamado de fronteira de X e será denotado por X. por X. O fecho de um conjunto X é a união de X com a fronteira de X e será denotado

13 Revisão de Conceitos 9 Definição 1.23 Um conjunto X é fechado quando contém sua fronteira, ou seja, quando X X. Se além disso X for limitado, diremos que ele é compacto. De forma equivalente, podemos dizer que X IR n é fechado se, e somente se, toda sequência convergente formada por elementos de X tem seu limite em X. Também podemos caracterizar a compacidade de X em termos de sequências. O conjunto X é compacto se, e somente se, toda sequência de elementos de X possui uma subsequência que converge para algum elemento de X (Veja os Exercícios 1.8 e 1.9). Exercícios Considere a X. Mostre que existem sequências (x k ) X e (y k ) IR n \ X tais que x k a e y k a. 2. Determine a fronteira dos conjuntos abaixo e verifique se são compactos: (a) X = {x IR n x < 1}; (b) IQ, o conjunto dos racionais; (c) X = {x IR n x = 1}; (d) X = {x IR n Ax b}, onde A IR m n e b IR m são dados. Definição 1.25 Um ponto a X IR n é chamado um ponto interior de X quando é centro de alguma bola aberta contida em X, ou seja, quando existe δ > 0 tal que B(a, δ) X. O interior de um conjunto X é formado pelos pontos interiores a X e denotado por int(x). Definição 1.26 Um conjunto X IR n é aberto quando todos os seus pontos são interiores, ou seja, para todo a X existe δ > 0 tal que B(a, δ) X. 1.3 Resultados de álgebra linear As principais referências desta seção são [9, 16]. Definição 1.27 O núcleo de uma matriz A IR m n, denotado por N (A), é um subconjunto de IR n formado por todas as soluções do sistema homogêneo Ax = 0, ou seja, N (A) = {x IR n Ax = 0}. Temos que N (A) é um subespaço vetorial de IR n. O número dim(n (A)) é chamado nulidade de A.

14 Revisão de Conceitos 10 Lema 1.28 Considere A IR m n. Então N (A T A) = N (A). Demonstração. Seja x N (A T A), isto é, A T Ax = 0. Multiplicando por x T, obtemos 0 = x T A T Ax = (Ax) T Ax = Ax 2. Assim, Ax = 0, logo x N (A). Reciprocamente, se x N (A), então Ax = 0. Multiplicando por A T, obtemos A T Ax = A T 0 = 0, o que completa a prova. Definição 1.29 A imagem de uma matriz A IR m n é o conjunto Im(A) = {y IR m y = Ax, para algum x IR n }. Note que Im(A) é o espaço vetorial gerado pelas colunas de A, chamado espaço coluna de A. O posto de A é definido por posto(a) = dim(im(a)). Prova-se em álgebra linear que posto(a) = posto(a T ), ou seja, o espaço-linha e o espaço-coluna de A tem a mesma dimensão. Portanto, posto(a) min{m, n}. Quando ocorre a igualdade na expressão acima, dizemos que a matriz A tem posto cheio ou posto completo e em consequência disto, ou as colunas ou as linhas de A são linearmente independentes. Outro fato clássico afirma que dim(n (A)) + dim(im(a)) = n, o que equivale a dim(n (A)) + posto(a) = n. (1.4) Exercícios Mostre que N (A) Im(A T ). 2. Mostre que posto(a) = posto(a T A). Definição 1.31 Seja Y um subespaço de IR n. O complemento ortogonal de Y é o conjunto dado por Y = {x IR n x T y = 0 para todo y Y }. Lema 1.32 Se A IR m n, então N (A) = Im(A T ). Demonstração. Dado x Im(A T ), temos (Ax) T y = x T A T y = 0, para todo y IR m. Portanto, Ax = 0, o que implica que x N (A). Reciprocamente, se x N (A), então Ax = 0. Logo x T (A T y) = (Ax) T y = 0, para todo y IR m, isto é, x Im(A T ). Portanto N (A) = Im(A T ). A definição que segue é de fundamental importância em otimização. Ela será usada mais adiante para estabelecer condições de otimalidade de um problema de PNL. Definição 1.33 Seja A IR n n uma matriz simétrica. Dizemos que A é definida positiva quando x T Ax > 0, para todo x IR n \ {0}. Tal propriedade é denotada por A > 0. Se x T Ax 0, para todo x IR n, A é dita semidefinida positiva, fato este denotado por A 0.

15 Revisão de Conceitos 11 Exemplo 1.34 Considere A = De fato, dado x = ( x 1 x 2 ), temos ( a b ) b. Se A > 0, então a > 0 e det(a) > 0. c x T Ax = ax bx 1 x 2 + cx 2 2 > 0. ( ) ( ) 1 t Em particular, fazendo x =, obtemos a > 0. Além disso, tomando x =, 0 1 obtemos at 2 + 2bt + c > 0, para todo t IR. Isto implica que o discriminante 4b 2 4ac é negativo, donde segue que det(a) = ac b 2 > 0. A recíproca do fato provado acima também é verdadeira. Mais ainda, o resultado vale em IR n n. Veja o Exercício 1.13 no final do capítulo. Podemos inverter as desigualdades na Definição 1.33 para dizer o que é uma matriz definida negativa ou semidefinida negativa. Entretanto, existem matrizes que não são nem positivas nem negativas, o que motiva a seguinte definição. Definição 1.35 Seja A IR n n uma matriz simétrica. Dizemos que A é indefinida quando existem x, y IR n tais que x T Ax < 0 < y T Ay. Se A IR n n é uma matriz simétrica, então existe uma base ortonormal de autovetores, digamos {v 1, v 2,..., v n }. Sendo {λ 1, λ 2,..., λ n } os autovalores associados, P = (v 1 v 2... v n ) e D = diag(λ 1, λ 2,..., λ n ), temos AP = (Av 1 Av 2... Av n ) = (λ 1 v 1 λ 2 v 2... λ n v n ) = P D. Além disso, P T P = I e, portanto, A = P DP T. (1.5) A relação (1.5) permite caracterizar a positividade de uma matriz em função dos seus autovalores. Basta notar que dado x IR n, definindo y = P T x, temos x T Ax = y T Dy = n λ i yi 2. (1.6) i=1 Os detalhes são deixados para o Exercício 1.14, no final do capítulo. Outros dois resultados importantes que decorrem de (1.5) são apresentados nos seguintes lemas. Lema 1.36 Se A IR n n é uma matriz simétrica com λ 1 e λ n sendo o menor e o maior autovalor, respectivamente, então λ 1 x 2 x T Ax λ n x 2,

16 Revisão de Conceitos 12 para todo x IR n. Demonstração. Use a relação (1.6) e note que y 2 = y T y = x T x = x 2. Lema 1.37 Seja A IR n n uma matriz definida positiva. Dado x IR n, temos (x T x) 2 (x T Ax)(x T A 1 x). Demonstração. Seja D = diag( λ 1, λ 2,..., λ n ). Definindo L = P D, podemos escrever A = LL T. Fazendo u = L T x e v = L 1 x, temos que u T v = x T x, u T u = x T Ax e v T v = x T A 1 x. Assim, o resultado segue diretamente da desigualdade de Cauchy- Schwarz. 1.4 Fórmula de Taylor e teorema da função implícita As aproximações de Taylor para uma função constituem uma das mais importantes ferramentas em otimização, tanto no desenvolvimento da teoria quanto na construção de algoritmos. Aparecem por exemplo, na demonstração das condições de otimalidade de segunda ordem, que veremos no próximo capítulo, bem como na ideia do Método de Newton. Também apresentaremos nesta seção o teorema da função implícita, um outro conceito de análise que será importante no desenvolvimento teórico na parte de otimização com restrições. A Figura 1.1 ilustra as aproximações de Taylor de ordens 1 e 2 da função seno Figura 1.1: aproximações de Taylor de ordens 1 e 2. Trabalharemos aqui com aproximações de primeira e segunda ordem. As de ordem superior, apesar de serem mais precisas (veja Figura 1.2), deixam de ser convenientes pelo alto custo computacional para o cálculo das derivadas. Antes de apresentar as fórmulas de Taylor vamos trabalhar um pouco com derivadas em várias variáveis. Inicialmente, considere f : IR n IR uma função de classe C 2.

17 Revisão de Conceitos Figura 1.2: aproximações de Taylor de ordens 3, 4 e 5. Indicaremos o gradiente e a hessiana de f, respectivamente, por f 2 f 2 f x 1 f =. f e x 1 x 1 x 1 x n 2 f = f 2 f. x n x n x 1 x n x n Agora considere uma função vetorial f : IR n IR m. Sua derivada, chamada de jacobiana, é a matriz f 1 f 1 x 1 x n J f = f =..... f m f m. x 1 x n Note que a linha i da jacobiana de f é o gradiente transposto da componente f i. Em particular, para m = 1, temos f = ( f) T. Além disso, 2 f = J f. O gradiente de uma função tem propriedades muito interessantes, tanto algébricas quanto geométricas. Destacamos algumas delas. 1. O gradiente é uma direção de crescimento da função; 2. é a direção de crescimento mais rápido e 3. o gradiente é perpendicular à curva de nível da função. As justificativas dessas afirmações podem ser encontradas no Capítulo 3 de [18]. A Figura 1.3 ilustra as propriedades citadas. Exercícios Considere f : IR n IR dada por f(x) = x 2 = x T x. Calcule f(x) e 2 f(x). 2. Generalizando o exercício anterior, considere A IR n n e defina f(x) = x T Ax. Calcule f(x) e 2 f(x). Outra relação importante surge quando restringimos uma função definida em IR n aos pontos de um segmento de reta. Mais formalmente, dados a, d IR n e f : IR n IR,

18 Revisão de Conceitos 14 Figura 1.3: propriedades do vetor gradiente. definimos ϕ : I IR IR por ϕ(t) = f(a+td). Vamos calcular as derivadas de ϕ. Temos ϕ (t) = lim s 0 ϕ(t + s) ϕ(t) s = f d (a + td) = f(a + td)t d. Para calcular ϕ, note que ϕ (t) = n j=1 d j f x j (a + td). Assim ϕ (t) = n j=1 d j f x j (a + td) T d = d T 2 f(a + td)d. Na Figura 1.4 temos uma superfície ilustrando o gráfico de f, um segmento de reta representando os pontos a + td e uma curva sendo o gráfico de ϕ. Figura 1.4: restrição de uma função a um segmento. Finalmente vamos apresentar as Fórmulas de Taylor. As demonstrações podem

19 Revisão de Conceitos 15 ser encontradas em [18]. Teorema 1.39 (Taylor de primeira ordem) Considere f : IR n IR uma função diferenciável e a IR n. Então podemos escrever r(x) com lim x a x a = 0. f(x) = f(a) + f(a) T (x a) + r(x), O polinômio p 1 (x) = f(a) + f(a) T (x a) é chamado polinômio de Taylor de ordem 1 da função f. Dentre todos os polinômios de grau menor ou igual a 1, ele é o que melhor aproxima f. É também o único que satisfaz p(a) = f(a) e p (a) = f (a). Na Figura 1.5 ilustramos o erro cometido ao se aproximar f por p 1. Figura 1.5: resto de Taylor de ordem 1. O limite nulo no Teorema 1.39 significa que para x próximo de a o resto r(x) é muito pequeno e vai para zero mais rápido que x a. Também é conveniente observar que podemos reescrever o Teorema 1.39 fazendo uma simples mudança de variável. De fato, definindo d = x a, temos f(a + d) = f(a) + f(a) T d + r(d), com lim d 0 r(d) d = 0. Agora podemos nos perguntar qual é a melhor quadrática que aproxima uma dada função em uma vizinhança de um ponto. A resposta é dada pelo próximo teorema. Teorema 1.40 (Taylor de segunda ordem) Se f : IR n IR é uma função duas vezes diferenciável e a IR n, então f(x) = f(a) + f(a) T (x a) (x a)t 2 f(a)(x a) + r(x),

20 Revisão de Conceitos 16 r(x) com lim x a x a = 0. 2 Analogamente ao que vimos anteriormente, o polinômio p 2 (x) = f(a) + f(a) T (x a) (x a)t 2 f(a)(x a) é chamado polinômio de Taylor de ordem 2 da função f e é a melhor aproximação para f dentre todos os polinômios de grau menor ou igual a 2. Além disso é o único que satisfaz p(a) = f(a), p (a) = f (a) e p (a) = f (a). Na Figura 1.6 ilustramos o erro cometido ao se aproximar f por p 2. Figura 1.6: resto de Taylor de ordem 2. O limite nulo no Teorema 1.40 significa que para x próximo de a o resto r(x) é muito pequeno e vai para zero muito mais rápido que x a. com Aqui também podemos reescrever o Teorema 1.40 fazendo d = x a. Ficamos com lim d 0 r(d) d 2 = 0. f(a + d) = f(a) + f(a) T d dt 2 f(a)d + r(d), Exemplo 1.41 Considere a função f : IR 2 IR dada por f(x) = x 1 cos x 2 + x 2 sin x 1. Determine as aproximações de Taylor de ordens 1 e 2 para f em torno de 0. Estime o erro da linear na região [ 1, 1] [ 1, 1]. ( ) cos x 2 + x 2 cos x 1 Temos f(x) =. Assim, p 1 (x) = f(0) + f(0) T x = x 1. Para sin x 1 x 1 sin x 2 estimar o erro, note que se z 1, então cos z > e sin z < 2. Portanto, f(x) p 1 (x) = f(x) x 1 x 1 cos x x 2 sin x 1 < 1, 367.

21 Revisão de Conceitos 17 ( ) Esta estimativa é razoável pois f 1 1 1, 3. 1 Veremos agora outra fórmula de Taylor, na qual não supomos d 0 para estimar a diferença f(a + d) f(a). Para ordem 1, ela é exatamente o Teorema do Valor Médio. De modo geral a chamamos de Taylor com resto de Lagrange. Teorema 1.42 (Teorema do Valor Médio) Sejam f : IR n IR contínua e a, d IR n. Se f é diferenciável no segmento (a, a + d), então existe t (0, 1) tal que f(a + d) = f(a) + f(a + td) T d. A Figura 1.7 ilustra o TVM. a a+td a+d Figura 1.7: Teorema do Valor Médio. Teorema 1.43 (Taylor com resto de Lagrange) Considere f : IR n IR uma função de classe C 1 e a, d IR n. Se f é duas vezes diferenciável no segmento (a, a + d), então existe t (0, 1) tal que f(a + d) = f(a) + f(a) T d dt 2 f(a + td)d. O próximo teorema garante que, sob certas hipóteses, podemos definir implicitamente uma variável como função de outra em uma equação. A prova deste resultado também pode ser encontrada em [18]. Teorema 1.44 (Teorema do função implícita) Seja ϕ : IR n+1 IR n uma função de classe C 1. Considere o sistema de n equações e n + 1 variáveis definido por ( ) x ϕ = 0, (1.7) t

22 Revisão de Conceitos 18 ( ) onde x IR n x e t IR. Se o ponto é uma solução de (1.7), na qual a jacobiana de 0 ϕ em ( relação) a x tem posto n, então existe uma curva diferenciável γ : ( ε, ε) IR n tal γ(t) que ϕ = 0, para todo t ( ε, ε). Além disso, a função γ é única. t 1.5 Exercícios do capítulo 1.1. Considere a sequência definida por y 1 = 0, y k+1 = (a) 0 y k 1 para todo k IN. (b) (y 2k 1 ) k IN é crescente e (y 2k ) k IN é decrescente. (c) y k Mostre que: 1 + 2yk 1.2. Considere as sequências definidas por a 1 = 0, a 2 = 1, a k+2 = ak+1 + a k x 2 = 1, x k+2 = x k+1 + 2x k. Mostre que: 2 e x 1 = 0, (a) a k = xk para todo k IN. 2k 2 (b) x k+1 + x k = 2 k 1 para todo k IN. (c) x k x k (d) a k Generalize o exercício anterior. Considere a sequência definida por a 1 = α, a 2 = β, a k+2 = ak+1 + a k, com α < β e mostre que a k α + 2 (β α) Mostre que a convergência quadrática implica na superlinear Seja x k = 2k k!, k IN. Mostre que (xk ) converge para zero com velocidade superlinear mas não quadrática Considere a sequência definida por x 1 = 2, x k+1 = 2 + x k. Mostre que: (a) 1 x k 2 para todo k IN. (b) (x k ) é crescente. (c) x k 2 linearmente com taxa Sejam A IR m n uma matriz de posto n e x k x. Defina y k = Ax k e ȳ = A x. Mostre que se a convergência de (x k ) é superlinear, então o mesmo vale para (y k ). Isto continua válido se trocarmos superlinear por linear?

23 Revisão de Conceitos Mostre que X IR n é fechado se, e somente se, dada (x k ) X tal que x k x, temos x X Mostre que X IR n é compacto se, e somente se, toda sequência (x k ) X possui uma subsequência que converge para algum elemento de X Considere X IR n e (z k ) X, tal que z k a. Mostre que a X Se V é um subespaço de IR n, então IR n = V V Seja A IR n n uma matriz simétrica. Sendo {v 1, v 2,..., v n } uma base ortonormal de autovetores e {λ 1, λ 2,..., λ n } os autovalores associados. Supondo que nenhum autovalor é nulo, obtenha uma expressão para a inversa A A matriz simétrica A IR n n é definida positiva se, e somente se, os determinantes principais são positivos A matriz simétrica A IR n n é definida positiva se, e somente se, todos os seus autovalores são positivos Seja A IR m n uma matriz de posto n. Mostre que A T A é definida positiva Considere g : IR n IR m e defina f(x) = g(x) 2 2. Calcule f(x) e 2 f(x) Considere f : IR n IR dada por f(x) = Ax b 2 2, onde A IR m n e b IR m. Calcule f(x) Obtenha os polinômios de Taylor de ordens 1 e 2 das funções dadas em torno do ponto 0 IR 2. (a) f(x) = x x 2. (b) f(x) = e x x Aproxime f(x) = e x em a = 0 pelos polinômios de Taylor de ordem 3 e 4. A seguir, calcule os valores dessas aproximações em x = 0, 2 e x = 1 e compare com os valores corretos Calcule os polinômios de Taylor de ordem 1, 2 e 3 da função f(x) = x + 1 em a = 0 e da função g(x) = ln x em x = 1. A seguir, calcule os valores dessas aproximações em x = 0, 2 e x = 1 e compare com os valores corretos.

24 Capítulo 2 Introdução à Otimização Estudaremos neste capítulo os conceitos básicos de otimização. Começamos com algumas situações que garantem a existência de um minimizador e em seguida discutimos as condições de otimalidade para o problema de minimização irrestrita. Algumas referências para este assunto são [5, 10, 20]. 2.1 O problema de otimização Vamos considerar aqui o problema minimizar f(x) sujeito a x Ω, (2.1) onde Ω IR n é um conjunto qualquer. Definição 2.1 Considere uma função f : IR n IR e x Ω IR n. Dizemos que x é um minimizador local de f em Ω quando existe δ > 0, tal que f(x ) f(x), para todo x B(x, δ) Ω. Caso f(x ) f(x), para todo x Ω, x é dito minimizador global de f em Ω. Quando as desigualdades na Definição 2.1 forem estritas para x x, diremos que x é minimizador estrito. Se não for mencionado o conjunto Ω, significa que Ω = IR n e portanto estamos trabalhando com um problema irrestrito. Veremos em seguida condições que garantem a existência de minimizadores. Na Seção 2.2 discutiremos critérios de otimalidade. Teorema 2.2 (Weierstrass) Sejam f : IR n IR contínua e Ω IR n compacto não vazio. Então existe minimizador global de f em Ω. Demonstração. Vejamos primeiro que o conjunto f(ω) = {f(x) x Ω} é limitado inferiormente. Suponha por absurdo que não. Então, para todo k IN, existe x k Ω tal que f(x k ) k. Como a sequência (x k ) está no compacto Ω, ela possui uma subsequência 20

25 Otimização Irrestrita 21 convergente para um ponto de Ω, digamos x k IN x Ω. Pela continuidade de f, temos f(x k ) IN f(x ), uma contradição. Portanto, f(ω) = {f(x) x Ω} é limitado inferiormente. Considere f = inf{f(x) x Ω}. Então, para todo k IN, existe x k Ω tal que f f(x k ) f + 1 k, o que implica f(x k ) f. Repetindo o argumento acima, obtemos f(x k ) IN f(x ), com x Ω. Pela unicidade do limite, temos f(x ) = f f(x), para todo x Ω, o que completa a demonstração. O Teorema 2.2 tem uma consequência interessante, que pode garantir a existência de minimizador global em IR n. Corolário 2.3 Seja f : IR n IR contínua e suponha que existe c IR tal que o conjunto L = {x IR n f(x) c} é compacto não vazio. Então f tem um minimizador global. Demonstração. Pelo Teorema 2.2, existe x L tal que f(x ) f(x), para todo x L. Por outro lado, se x / L, temos f(x) > c f(x ). Assim, f(x ) f(x), para todo x IR n. Exercícios Sejam A IR n n uma matriz simétrica e f : IR n IR dada por f(x) = x T Ax. Mostre que f tem um minimizador global x em B = {x IR n x = 1}. 2. Seja A IR n n uma matriz simétrica. Usando o exercício anterior, mostre que existe λ IR tal que x T Ax λ x 2, para todo x IR n. Veremos agora outro resultado que garante a existência de minimizador global em IR n, sem supor compacidade. Em contrapartida, fazemos uma hipótese a mais sobre a função. Definição 2.5 Dizemos que a função f : IR n IR é coerciva quando lim f(x) =. x Teorema 2.6 Seja f : IR n IR uma função contínua e coerciva. Então, f tem um minimizador global. Demonstração. Considere a IR n e b = f(a). Como lim x f(x) =, existe r > 0 tal que f(x) > b, sempre que x > r. Como o conjunto B = {x IR n x r} é um compacto, o Teorema 2.2 garante que existe x B tal que f(x ) f(x), para todo x B. Além disso, a B, pois f(a) = b. Para x / B, temos f(x) > b = f(a) f(x ). Isto prova que x é minimizador de f. Observação: o Exercício 2.11 no final do capítulo fornece outra demonstração para o Teorema 2.6.

26 Otimização Irrestrita 22 Exercícios Seja δ > 0 e suponha que d T Ad 0, para todo d IR n tal que d = δ. Prove que d T Ad 0, para todo d IR n. Dica. Considere d IR n \ {0}. Tomando v = δd, temos que v = δ. Portanto, d ( ) 2 δ usando a hipótese, temos que d T Ad = v T Av 0. Assim, d T Ad 0. d 2. Sejam A IR n n uma matriz simétrica, b IR n e c IR. Suponha que a função f : IR n IR dada por f(x) = 1 2 xt Ax + b T x + c (2.2) tem um minimizador local x. Mostre que Ax + b = 0. Mostre também que x é minimizador global. Dica. Dado d IR n, temos f(x + td) f(x ) = 1 2 t2 d T Ad + t(ax + b) T d. Como x é minimizador local, temos que 1 2 tdt Ad + (Ax + b) T d 0 para t suficientemente pequeno e positivo. Portanto, Ax + b = 0. Para ver que x é global, note que 1 2 dt Ad = f(x + d) f(x ) 0 para d próximo de 0, donde segue que d T Ad 0 para todo d IR n, tendo em vista o que foi provado no item anterior. 3. Se A IR n n é definida positiva, mostre que a função definida em (2.2) é coerciva. Dica. Se λ é o menor autovalor de A, temos f(x) λ x 2 b x + c. 2.2 Condições de otimalidade Teorema 2.8 (Condição necessária de 1 a ordem) Seja f : IR n IR diferenciável no ponto x IR n. Se x é um minimizador local de f, então f(x ) = 0. (2.3) Demonstração. Considere d IR n \ {0} arbitrário. Como x é minimizador local, existe δ > 0 tal que f(x ) f(x + td), (2.4)

27 Otimização Irrestrita 23 para todo t [0, δ). Pela expansão de Taylor, f(x + td) = f(x ) + t f(x ) T d + r(t), r(t) com lim = 0. Usando 2.4 e dividindo por t, obtemos 0 f(x ) T d + r(t). Passando t 0 t t o limite quando t 0, obtemos f(x ) T d 0. Se f(x ) não fosse nulo, poderíamos escolher d = f(x ), resultando em f(x ) 2 = f(x ) T d 0, o que é uma contradição. Logo f(x ) = 0. Definição 2.9 Um ponto x IR n que cumpre a condição (2.3) é dito ponto crítico ou estacionário da função f. Teorema 2.10 (Condição necessária de 2 a ordem) Seja f : IR n IR duas vezes diferenciável no ponto x IR n. Se x é um minimizador local de f, então a matriz Hessiana de f no ponto x é semidefinida positiva, isto é, d T 2 f(x )d 0, (2.5) para todo d IR n. Demonstração. Considere d IR n \ {0} arbitrário. Por Taylor, f(x + td) = f(x ) + t f(x ) T d + t2 2 dt 2 f(x )d + r(t), r(t) com lim = 0. Como x é minimizador local, o Teorema 2.8 garante que f(x ) = 0. t 0 t 2 Portanto, para t suficientemente pequeno, 0 f(x + td) f(x ) = t2 2 dt 2 f(x )d + r(t), Dividindo por t 2 e passando o limite quando t 0, obtemos d T 2 f(x )d 0. Exemplo 2.11 Seja f : IR 2 IR dada por f(x) = (x 1 x 2 2)(x x2 2). Verifique que x = 0 é o único ponto estacionário de f e não é minimizador. No entanto, fixada qualquer direção d IR n \ {0}, x minimiza localmente f ao longo de d. ( ) 2x Temos f(x) = x2 2. Assim, se f(x) = 0, então x = 0. Além disso, 3x 1 x 2 + 2x ( ) f t = t2 < 0, o que significa que x = 0 não é minimizador local de f. Porém, t 18 dado d IR n \ {0}, temos f( x + td) = t 2( d 1 td2) ( 2 d 1 1 ) 2 td2 2.

28 Otimização Irrestrita 24 Se d 1 = 0, então f( x + td) = 1 2 t4 d Caso d 1 0, a expressão (d 1 td 2 2)(d td2 2) é positiva em t = 0 e, por continuidade, também para t próximo de 0. A Figura 2.1 ilustra este exemplo. Figura 2.1: ilustração do Exemplo Teorema 2.12 (Condição suficiente de 2 a ordem) Seja f : IR n IR duas vezes diferenciável no ponto x IR n. Se x é um ponto estacionário e se a matriz Hessiana de f em x é definida positiva, então x é minimizador local estrito do problema (P ). Demonstração. Seja λ o menor autovalor de 2 f(x ). Como esta matriz é definida positiva, temos λ > 0. Além disso, pelo Lema 1.36 (veja também Exercícios 2.4 da Seção 2.1), d T 2 f(x )d λ d 2. Por Taylor, já usando o fato de x ser estacionário, temos f(x + d) = f(x ) dt 2 f(x )d + r(d) f(x ) λ d 2 + r(d), r(d) onde lim d 0 d = 0. Podemos então escrever f(x + d) f(x ) λ 2 d r(d) d. Como ( 2 λ lim d r(d) ) > 0, existe δ > 0 tal que λ d r(d) > 0, para todo d B(0, δ) \ {0}, d 2 donde segue que f(x + d) f(x ) > 0, para todo d B(0, δ) \ {0}, ou, equivalentemente, f(x ) < f(x), para todo x B(x, δ) \ {x }. Salientamos que as definições e resultados envolvendo minimizadores podem ser reformulados para maximizadores de forma inteiramente análoga. No entanto, convém estudar com mais detalhes alguns pontos que não são nem minimizadores nem maximizadores. Definição 2.13 Considere uma função diferenciável f : IR n IR e x IR n um ponto estacionário de f. Dizemos que x é um ponto de sela da função f quando para todo ε > 0, existem x, y B( x, ε) tais que f(x) < f( x) < f(y).

29 Otimização Irrestrita 25 O próximo teorema nos fornece uma condição suficiente (mas não necessária) para que um ponto seja sela. Teorema 2.14 Seja f : IR n IR duas vezes diferenciável no ponto estacionário x IR n. Se 2 f( x) é indefinida, então x é ponto de sela de f. Demonstração. Considere d IR n tal que d T 2 f( x)d < 0. Por Taylor, já usando o fato de x ser estacionário, temos f( x + td) f( x) t 2 = 1 2 dt 2 f( x)d + r(t) t 2, r(t) com lim t 0 t 2 = 0. Portanto, f( x + td) < f( x), para todo t suficientemente pequeno. Considere agora v IR n tal que v T 2 f( x)v > 0. Analogamente, podemos concluir que f( x + tv) > f( x), para t suficientemente pequeno. Isto prova que x é ponto de sela. Exemplo 2.15 Seja f : IR 2 IR dada por f(x) = 2x 3 1 3x 2 1 6x 1 x 2 (x 1 x 2 1). Descreva os pontos estacionários da função f. ( ) 6x x 1 x 2 6x 1 + 6x x 2 Temos f(x) =. Logo, os pontos estacionários são 6x x 1 x 2 + 6x 1 soluções do sistema { 6x x 2 = 0 6x x 1 x 2 6x 1 = 0, ( ) ( ) ( ) ( ) que podemos verificar que são x 1 =, x 2 =, x 3 = e x 4 =. Além disso, ( ) 2 12x 1 12x x x f(x) =. 12x x x 1 ( ) ( ) ( ) Fazendo A j = f(x j ), temos A 1 =, A 2 =, A 3 = ( ) ( ) ( ) e A 4 =. Note que A 1 é indefinida, pois u = e v = fornecem u T A 1 u < 0 e v T A 1 v > 0. Portanto x 1 é ponto de sela. Já o ponto x 2 é minimizador local, pois A 2 > 0. Além disso, A 3 = A 1 também é indefinida, sendo então x 3 ponto de sela. Finalmente, A 4 = A 2 < 0, o que implica que x 4 é maximizador local. A Figura 2.2 ilustra este exemplo.

30 Otimização Irrestrita Figura 2.2: ilustração do Exemplo Exemplo 2.16 Dado σ > 1, mostre que o sistema tem uma solução x 0. { σ cos x 1 sin x 2 + x 1 e x2 1 +x2 2 = 0 σ sin x 1 cos x 2 + x 2 e x2 1 +x2 2 = 0 f : IR 2 IR dada por f(x) = σ sin x 1 sin x ex2 1 +x2 2. Fazendo u = x 2 ( ) 1 + x 2 2, temos que σ cos x 1 sin x 2 + x 1 e u f(x) = e σ sin x 1 cos x 2 + x 2 e u 2 f(x) = ( σ sin x 1 sin x 2 + e u + 2x 2 1e u σ cos x 1 cos x 2 + 2x 1 x 2 e u σ cos x 1 cos x 2 + 2x 1 x 2 e u σ sin x 1 sin x 2 + e u + 2x 2 2e u ( ) 1 σ Portanto, 2 f(0) =. Como σ > 1, 2 f(0) não é semidefinida positiva e assim, σ 1 x = 0 não pode ser minimizador local de f. Mas f é coerciva e portanto tem um minimizador local x 0. ). 2.3 Exercícios do capítulo Alguns dos exercícios propostos abaixo foram tirados ou reformulados a partir daqueles apresentados em [5, Capítulo 2]. Indicaremos, quando for o caso, o exercício correspondente desta referência [5, Exerc. 2.1] Sejam g : IR IR uma função estritamente crescente e f : IR n IR. Prove que minimizar f(x) é equivalente a minimizar g ( f(x) ) [5, Exerc. 2.3(a)] Considere números reais a < b < c e as funções f, g : IR IR, definidas por f(x) = x a + x b e g(x) = x a + x b + x c.

31 Otimização Irrestrita 27 Determine os minimizadores destas funções [5, Exerc. 2.4] Sejam a, b IR dois números reais positivos. Considere a função de Rosenbrock f(x) = a(x 2 x 2 1) 2 + b(1 x 1 ) 2. Encontre o (único) ponto estacionário de f e verifique se é minimizador local. Prove que 2 f(x) é singular se e somente se x 2 x 2 1 = b 2a Sejam f : IR n IR contínua, x IR n e f = f(x ). Suponha que todo x tal que f(x) = f é um minimizador local de f. Mostre que x é um minimizador global de f Seja f : IR 2 IR dada por f(x) = sin x 1 sin x 2 + e x2 1 +x2 2. Mostre que x = 0 é ponto estacionário de f. Diga se é minimizador, maximizador ou sela Verifique se a função f(x) = (x 1 + x 2 ) 2 + x 3 1 tem algum ponto estacionário. Caso afirmativo diga se é minimizador, maximizador ou sela Seja f : IR 2 IR dada por f(x) = x x 2 2 x 1 x 2 2. Determine e faça um esboço do conjunto {x IR 2 2 f(x) > 0} Seja f : IR 2 IR dada por f(x) = x 2 1 x 1 x 2 + 2x 2 2 2x 1 + 2x e x 1+x 2. ( ) (a) Mostre que x = 1 1 é um ponto estacionário de f. 3 1 (b) Calcule 2 f( x) e diga se x é minimizador local [5, Exerc. 2.10] Considere o problema irrestrito minimizar f(x) = x 2 1 x 1 x 2 + 2x 2 2 2x 1 + e x 1+x 2 sujeito a x IR 2. (a) Verifique que o ponto x = 0 não é ótimo. (b) Minimize a função a partir de x na direção d = f( x) [5, Exerc. 2.17] Se for possível, determine a e b de modo que f(x) = x 3 + ax 2 + bx tenha um máximo local em x = 0 e um mínimo local em x = Seja f : IR n IR uma função contínua e coerciva. Dado a IR n, mostre que o conjunto L = {x IR n f(x) f(a)} é compacto não vazio Sejam f : IR n IR contínua e x IR n tal que {x IR n f(x) f( x)} é limitado. Mostre que f tem minimizador global.

32 Capítulo 3 Convexidade Dentre as várias classes de funções estudadas em matemática, existe uma que se destaca pelas excelentes propriedades que possui: a classe das funções convexas. Em otimização, a convexidade permite por exemplo concluir que minimizadores locais são globais, ou ainda, que pontos estacionários são minimizadores. Algumas referências para este assunto são [2, 8, 22]. 3.1 Conjuntos convexos Os conjuntos convexos constituem o domínio natural para as funções convexas, conforme veremos agora. Definição 3.1 Um conjunto C IR n é dito convexo quando dados x, y C, o segmento [x, y] = {(1 t)x + ty t [0, 1]} estiver inteiramente contido em C. Na Figura 3.1 ilustramos 2 conjuntos, um convexo e outro não. y y x x Figura 3.1: conjuntos convexo e não convexo. Exercícios 3.2 m 1. Sejam C i, i = 1,..., m conjuntos convexos. Então o conjunto C = C i também é i=1 convexo. 2. Mostre que o conjunto solução de um sistema de equações lineares é convexo. 28

33 Convexidade 29 Veremos agora alguns resultados que além de sua importância em análise convexa, podem também ser usados para provar o clássico Lema de Farkas, fundamental para a obtenção das condições de Karush-Kuhn-Tucker para problemas com restrições. Lema 3.3 Sejam u, v IR n com u v. Se u 2 = v 2 = r, então (1 t)u + tv 2 < r, para todo t (0, 1). Demonstração. Pela desigualdade triangular, temos (1 t)u + tv 2 (1 t) u 2 + t v 2 = r. Suponha, por absurdo, que (1 t)u + tv 2 = r. Então (1 t) 2 u T u + 2t(1 t)u T v + t 2 v T v = (1 t)u + tv 2 2 = r 2. Como u T u = v T v = r 2 e t (0, 1), obtemos u T v = r 2. Portanto, u v 2 = u T u 2u T v + v T v = 0, o que é um absurdo. Assim, (1 t)u + tv 2 < r, completando a demonstração. Considere agora um conjunto S IR n, um ponto z IR n e o problema de encontrar um ponto de S mais próximo de z. Este problema pode não ter solução e quando tem, não garantimos unicidade. No entanto, conforme provaremos a seguir, se S é fechado, então existe solução. Se além de fechado, for convexo, a solução é única e será chamada de projeção de z sobre S, denotada por proj S (z). Veja ilustração na Figura 3.2. S z S z S proj S z z Figura 3.2: projeção sobre um conjunto. Lema 3.4 Seja S IR n um conjunto fechado não vazio. Dado z IR n, existe z S tal que z z z x, para todo x S.

34 Convexidade 30 Demonstração. Seja α = inf{ z x x S}. Então, para todo k IN, existe x k S tal que Em particular, z x k α + 1, para todo k IN. α z x k α + 1 k. (3.1) Logo, existe uma subsequência convergente, digamos, x k IN z. Sendo S fechado, temos que z S. Além disso, z x k IN z z. Mas por (3.1), z x k α, donde segue que z z = α, completando a prova. Ao contrário do lema anterior, o próximo resultado depende da norma e será estabelecido usando a norma euclidiana. Lema 3.5 Seja S IR n um conjunto não vazio, convexo e fechado. Dado z IR n, existe um único z S tal que z z 2 z x 2, para todo x S. Denotaremos z = proj S (z). Demonstração. A existência é garantida pelo Lema 3.4. Para provar a unicidade, suponha que existam z z em S tais que z z 2 z x 2 e z z 2 z x 2, (3.2) para todo x S. Tomando x = z na primeira desigualdade e x = z na segunda, obtemos z z 2 = z z 2. Por outro lado, o ponto x = 1 ( z + z) está no convexo S. Além disso, pelo Lema 3.3, com 2 r = z z 2 = z z 2 e t = 1 2, temos z x 2 = (1 t)(z z) + t(z z) 2 < r, contradizendo (3.2). Vejamos agora o principal resultado desta seção. Por simplicidade vamos indicar a norma euclidiana por. Teorema 3.6 Sejam S IR n um conjunto não vazio, convexo e fechado, z IR n e z = proj S (z). Então (z z) T (x z) 0, para todo x S.

35 Convexidade 31 Demonstração. Considere um ponto arbitrário x S. Dado t (0, 1), pela convexidade de S, temos que (1 t) z + tx S. Portanto, z z z (1 t) z tx = z z + t( z x). Assim, z z 2 z z + t( z x) 2 = z z 2 + 2t(z z) T ( z x) + t 2 z x 2. Como t > 0, temos que 2(z z) T (x z) t z x 2. Passando o limite quando t 0, obtemos (z z) T (x z) 0, completando a demonstração (veja ilustração na Figura 3.3). S proj S z z x Figura 3.3: ilustração do Teorema Funções convexas As funções que trataremos agora tem ótimas propriedades, particularmente no contexto de otimização. Definição 3.7 Seja C IR n um conjunto convexo. Dizemos que a função f : IR n IR é convexa em C quando f ( (1 t)x + ty ) (1 t)f(x) + tf(y), para todos x, y C e t [0, 1]. Apesar deste conceito ser muito simples, pode não ser tão fácil provar diretamente da definição que uma função é convexa, mesmo ela sendo elementar. Verifique isto nos exercícios abaixo. Exercícios Mostre, pela definição, que a função f : IR IR dada por f(x) = x 2 é convexa. Dica. ( x + t(y x) ) 2 = x 2 + 2tx(y x) + t 2 (y x) 2 x 2 + 2tx(y x) + t(y x) 2.

36 Convexidade Faça o mesmo para f : IR IR dada por f(x) = e x. Dica. Como e d 1 + d, temos e x e z + e z (x z) e e y e z + e z (y z). Multiplique a primeira por (1 t) e a segunda por t para obter e (1 t)x+ty (1 t)e x + te y. Veja na Figura 3.4 uma função convexa e outra não convexa. f(y) (1 t)f(x)+tf(y) f((1 t)x+ty) f(y) f((1 t)x+ty) (1 t)f(x)+tf(y) f(x) f(x) x (1 t)x+ty y x (1 t)x+ty y em otimização. Figura 3.4: funções convexa e não convexa. O teorema seguinte justifica o fato de funções convexas serem muito bem vistas Teorema 3.9 Sejam C IR n convexo e f : C IR uma função convexa. Se x C é minimizador local de f, então x é minimizador global de f. Demonstração. Seja δ > 0 tal que f(x ) f(x), para todo x B(x, δ) C. Dado y C, y / B(x δ, δ), tome 0 < t < y x. Assim, o ponto x = (1 t)x + ty satisfaz x x = t y x < δ e portanto, x B(x, δ) C (veja a Figura 3.5). Deste modo temos donde segue que f(x ) f(y). f(x ) f(x) (1 t)f(x ) + tf(y), x * x y Figura 3.5: auxiliar para o Teorema 3.9. Quando temos diferenciabilidade, podemos caracterizar a convexidade de forma mais simples. Apresentamos a seguir dois resultados importantes.

37 Convexidade 33 Teorema 3.10 Sejam f : IR n IR uma função diferenciável e C IR n convexo. A função f é convexa em C se, e somente se, f(y) f(x) + f(x) T (y x) para todos x, y C. Demonstração. Seja f convexa. Para x, y C e t (0, 1] quaisquer, definindo d = y x, temos x + td C e f(x + td) = f ( (1 t)x + ty ) (1 t)f(x) + tf(y). Portanto, f(y) f(x) lim t 0 + f(x + td) f(x) t = f(x) T d = f(x) T (y x). Para provar a recíproca, considere z = (1 t)x + ty e observe que f(x) f(z) + f(z) T (x z) e f(y) f(z) + f(z) T (y z). Multiplicando a primeira por (1 t) e a segunda por t obtemos (1 t)f(x) + tf(y) f ( (1 t)x + ty ), completando a demonstração. O teorema acima tem uma interpretação geométrica simples: dados a, x C, temos f(x) f(a) + f(a) T (x a), ou seja, uma função convexa está sempre acima da sua aproximação linear. A Figura 3.6 ilustra o teorema. a Figura 3.6: aproximação linear de f. O Teorema 3.10 também tem uma consequência forte em otimização, dada no seguinte resultado.