Análise Semi-Local do Método de Gauss-Newton Sob uma Condição Majorante

Transcrição

1 UNIVERSIDADE FEDERAL DE GOIÁS INSTITUTO DE MATEMÁTICA E ESTATÍSTICA ADEMIR ALVES AGUIAR Análise Semi-Local do Método de Gauss-Newton Sob uma Condição Majorante Goiânia 2014

2

3 ADEMIR ALVES AGUIAR Análise Semi-Local do Método de Gauss-Newton Sob uma Condição Majorante Dissertação apresentada ao Programa de Pós Graduação do Instituto de Matemática e Estatística da Universidade Federal de Goiás, como requisito parcial para obtenção do título de Mestre em Matemática. Área de concentração: Otimização. Orientador: Prof. Dr. Max Leandro Nobre Gonçalves Goiânia 2014

4 Ficha catalográfica elaborada automaticamente com os dados fornecidos pelo(a) autor(a). Alves Aguiar, Ademir Análise Semi-Local do Método de Gauss-Newton Sob uma Condição Majorante [manuscrito] / Ademir Alves Aguiar f. Orientador: Prof. Dr. Max Leandro Nobre Gonçalves. Dissertação (Mestrado) - Universidade Federal de Goiás, Instituto de Matemática e Estatística (IME), Programa de Pós-Graduação em Matemática, Goiânia, Bibliografia. 1. Método de Gauss-Newton. 2. Condição Majorante. 3. Sistemas de Equações não-linear. 4. Convergência Semi-Local. I., Dr. Max Leandro Nobre Gonçalves, orient. II. Título.

5

6 Todos os direitos reservados. É proibida a reprodução total ou parcial do trabalho sem autorização da universidade, do autor e do orientador(a). Ademir Alves Aguiar Graduou-se em Licenciatura em Matemática pela UVA - Universidade Estadual Vale do Acaráu. Durante o Mestrado foi bolsista da CAPES.

7 À minha querida esposa Gislene, pelo carinho e apoio.

8 Agradecimentos À Deus, por me amar e dar a oportunidade e capacidade de ver um sonho sendo realizado, pois sem Deus não seria possível a conclusão deste projeto. Acima de tudo, louvado e exaltado seja seu nome, a Ele toda honra e toda glória. À minha esposa Gislene, já dedicado este trabalho, mas que merece todo agradecimento por seu amor, amizade, afeto, carinho, paciência e compreensão. Sua ajuda e apoio foram determinantes para realização desta conquista. À minha mãe Jaci, pelo amor, carinho, apoio, orientação em me fazer persistir sempre, sem suas palavras de esforço seria impossível terminar esta dissertação. À meu padrasto Gilberto, pelo incentivo e apoio. À meu pai Isaias (em memória). Aos amigos da pós-graduação, em especial Jefferson dos Santos, Marcos Tsujii, Aderval Alves, Carlos Antônio, Pedro Bonfim, Fernando Zuniga, Vando Adona, pelo convívio e amizade, além de me ajudarem nos momentos de dificuldades, sempre lembrarei de vocês. Ao meu orientador, professor Dr. Max Leandro Nobre Gonçalves, pela orientação, confiança, competência, paciência, amizade, motivação e dedicação que foram indispensáveis para concretização deste trabalho. Aos professores do Instituto de Matemática e Estatística da UFG, que passaram pela minha trajetória durante o Mestrado em Matemática, em especial aos professores Glaydston, Maurício Pieterzack, Durval e José Valdo. À CAPES pela bolsa de estudos concedida, sem a qual seria difícil a concretização dos estudos.

9 Resumo Aguiar, Ademir Alves. Análise Semi-Local do Método de Gauss-Newton Sob uma Condição Majorante. Goiânia, p. Dissertação de Mestrado. Instituto de Matemática e Estatística, Universidade Federal de Goiás. Nesta dissertação apresentamos uma análise de convergência semi-local do método de Gauss-Newton para resolver uma classe especial de sistemas de equações não-lineares, sob a hipótese que a derivada do operador não-linear satisfaz uma condição majorante. As demonstrações e condições de convergência apresentadas neste trabalho são simplificadas pelo uso de uma simples condição majorante. Outra ferramenta de demonstração que simplifica o nosso estudo é a identificação de regiões onde a iteração de Gauss-Newton está bem-definida. Além disso, casos especiais da teoria geral são apresentados como aplicações. Palavras chave <Método de Gauss-Newton, Condição Majorante, Sistemas de equações nãolinear, Convergência Semi-local.>

10 Abstract Aguiar, Ademir Alves. <Semi-local Analysis of the Gauss- Newton under a majorant condition>. Goiânia, p. MSc. Dissertation. Instituto de Matemática e Estatística, Universidade Federal de Goiás. In this dissertation we present a semi-local convergence analysis for the Gauss-Newton method to solve a special class of systems of non-linear equations, under the hypothesis that the derivative of the non-linear operator satisfies a majorant condition. The proofs and conditions of convergence presented in this work are simplified by using a simple majorant condition. Another tool of demonstration that simplifies our study is to identify regions where the iteration of Gauss-Newton is well-defined. Moreover, special cases of the general theory are presented as applications. Keywords <Gauss-Newton Method, Majorant Condition, Non-Linear systems of equations, Semi-local Convergence.>

11 Sumário 1 Introdução 9 2 Notações e Resultados Preliminares Noções Topológicas e Análise no Espaço Euclidiano Noções sobre Transformações Lineares e Matrizes Norma de Matrizes Pseudo-Inversa de Moore-Penrose Noções de Análise Convexa Funções Analíticas 27 3 Análise Semi-Local para o Método de Gauss-Newton Convergência do Método de Gauss-Newton A função auxiliar e a sequência{t λ,k } Convergência 34 4 Aplicações Resultado de Convergência quando F (x 0 ) é sobrejetivo Resultado de Convergência sob Condição Lipschitz Resultado de Convergência sob Condição Smale Exemplos Numéricos 49 5 Considerações Finais 53 Referências Bibliográficas 54

12 Introdução CAPÍTULO 1 Considere o sistema de equações não-lineares F(x)=0, (1-1) onde Ω R n é um conjunto aberto e F : Ω R m é uma função continuamente diferenciável em Ω. Se F (x) é invertível, o método de Newton e suas variações são os métodos mais eficientes conhecidos para resolver (1-1), veja por exemplo [7, 11, 12, 33]. Entretanto, se F (x) não é necessariamente invertível, uma generalização do método de Newton, denominado método de Gauss-Newton, encontra soluções de mínimos quadrados de (1-1), os quais podem ou não ser soluções de (1-1). Estas soluções de mínimos quadrados de (1-1) estão relacionadas ao problema de mínimos quadrados não-linear: min x Ω F(x) 2, (1-2) i.e., tais soluções são pontos críticos da função G(x) = F(x) 2. Em todo trabalho, a menos que seja mencionado o contrário explicitamente,. refere-se a norma-2. Existem diversas aplicações prática para o problema de mínimos quadrados nãolinear, veja por exemplo [13, 28, 31]. Tais aplicações têm como estratégia a estimação de parâmetros num modelo matemático. Estes problemas de estimação de parâmetros surge numa grande variedade de disciplinas científicas, tais como o processamento de sinais, engenharia em geral, estatística, física, economia, biologia, medicina, entre outras, usando uma função da forma (1-2) para medir a disparidade entre as saídas do modelo e o conjunto de dados. Quando F (x) é sobrejetivo, pode ser provado que toda solução de mínimos quadrados de (1-1) é uma solução do respectivo sistema. Formalmente o método de Gauss-Newton é descrito como: dado um ponto inicial x 0 Ω, defina x k+1 = x k F (x k ) F(x k ), k=0,1,..., (1-3) onde F (x k ) denota a inversa de Moore-Penrose do operador linear F (x k ). Para mais

13 10 informações sobre o método de Gauss-Newton e o problema de mínimos quadrados nãolinear, veja por exemplo [1, 3, 5, 22, 28]. Em nossa análise, iremos considerar a classe especial de sistemas de equações não-lineares estudadas em [16, 18, 19, 23], i.e., sistemas de equações não-lineares onde a função F em consideração satisfaz F (y) (I R m F (x)f (x) )F(x) κ x y, x,y Ω (1-4) para algum 0 κ < 1 e I R m denota o operador identidade do R m. Quando F (x) é sobrejetivo, pode ser provado que κ = 0 satisfaz (1-4). Daí, a classe de sistemas de equações não-lineares, a qual estudaremos, contém os sistemas de equações não-lineares com derivada sobrejetiva. Além disso, esta classe contém outros exemplos de sistemas com derivada não sobrejetivas, ver seção 4.4. Nos últimos anos, vários trabalhos, veja por exemplo [7, 8, 9, 10, 11, 12, 15, 16, 18, 23], relacionados com a convergência do método de Newton e Gauss-Newton relaxam a hipótese de continuidade Lipschitz de F. As principais condições que relaxam a continuidade Lipschitz de F são a condição majorante para o operador não-linear F, que usaremos nesta dissertação, e a condição de Wang, usada por exemplo em [23, 33]. Vale ressaltar, que a condição majorante usada neste trabalho é a seguinte: seja R > 0, uma função continuamente diferenciável f :[0,R) R, é uma função majorante para o operador F se satisfaz as seguintes hipóteses F (x 0 ) F (y) F (x) f ( y x + x x 0 ) f ( x x 0 ), para quaisquer x,y Ω, x x 0 + y x <R, e além disso, (h1) f(0)=0, f (0)= 1; (h2) f é convexa e estritamente crescente. Para mais informações sobre a função majorante, veja por exemplo [7, 8, 9, 10, 11, 12, 15, 16]. Pode ser provado que sob as hipóteses deste trabalho, as duas condições, i.e., a condição majorante e a condição de Wang são equivalentes, ver comentário 4 de [15]. Entretanto, a adotada em nossa análise tem a vantagem de deixar clara sua relação com o operador não-linear. O presente trabalho tem por objetivo apresentar uma análise de convergência semi-local do método de Gauss-Newton para resolver (1-1), onde F satisfaz (1-4), sob uma condição majorante. As demonstrações e condições de convergência apresentadas neste trabalho são simplicadas pelo uso de uma simples condição majorante. Outra ferramenta de demonstração que simplifica o nosso estudo é a identificação de regiões onde a iteração de Gauss-Newton está bem-definida quando comparada com uma determinada função iteração. Também veremos que a condição majorante usada aqui nos permite obter

14 11 importantes casos particulares. Ressaltamos que nosso estudo está fortemente baseado no trabalho [16]. Porém nossa contribuição é de fazer um estudo abrangente da função majorante, onde quase todos os resultados necessários para a convergência semi-local do método de Gauss- Newton serão demonstrados. Uma outra contribuição de nosso estudo em relação à [16], é de darmos exemplos numéricos que demonstram a importância da classe de sistemas de equações não-linear mencionada acima. Esta dissertação está organizada da seguinte forma. No capítulo 2, estabeleceremos as notações e alguns resultados preliminares para o entendimento dos conceitos envolvidos na apresentação do método de Gauss-Newton e no estudo de convergência do método. No capítulo 3, apresentaremos a discussão sobre a convergência semi-local do método de Gauss-Newton sob uma condição majorante. Mostraremos que sob certas condições, a sequência gerada pelo método está bem definida e converge para um ponto crítico de (1-1). No capítulo 4, casos especiais da teoria geral serão apresentados juntamente com alguns exemplos numéricos. Finalmente, no capítulo 5 faremos as considerações finais.

15 Notações e Resultados Preliminares CAPÍTULO 2 No presente capítulo, apresentaremos alguns conceitos básicos e resultados de Análise e Álgebra Linear que serão utilizados posteriormente. Iremos dar algumas noções de análise convexa e também estudaremos a pseudo-inversa de Moore-Penrose de uma matriz. Por fim, estudaremos o conceito de funções analíticas. 2.1 Noções Topológicas e Análise no Espaço Euclidiano Nesta seção definiremos alguns conjuntos importantes do espaço euclidiano R n, sequências em R n e o conceito de taxa de convergência de uma sequência. Inicialmente, sejam dados o ponto a R n e o número real ε>0. A bola aberta de centro a e raio ε é o conjunto B(a,ε)={x R n ; x a <ε}, isto é, o conjunto dos pontos x R n cuja a distância ao ponto a é menor do que ε. Analogamente a bola fechada de centro a e raio ε é o conjunto B[a,ε]={x R n ; x a ε}. Uma sequência {x k } R n é uma aplicação x : N R n, que associa a cada número natural k um vetor x k R n. Diz-se que uma sequência {x k } é limitada quando o conjunto de seus termos é limitado em R n, isto é, quando existe um número real c>0 tal que x k c, para todo k N. Uma sequência {x k } R diz-se monótona quando se tem x k x k+1 para todo k N ou então x k+1 x k para todo k N. No primeiro caso, diz-se que{x k } é monótona não-decrescente e, no segundo, que{x k } é monótona não-crescente. Um conjunto A R n é aberto quando todos os seus pontos são interiores, ou seja, para cada a A existe ε>0 tal que B(a,ε) A. Um conjunto A R n é fechado quando contém todos os seus pontos de aderência. Diz-se que um ponto a é aderente ao conjunto

16 2.1 Noções Topológicas e Análise no Espaço Euclidiano 13 A R n quando a é limite de alguma sequência de pontos x k A. Evidentemente, todo ponto a A é aderente a A, basta tomar x k = a para todo k N. Chama-se f echo de um conjunto A ao conjunto A formado por todos os pontos aderentes a A. Logo um conjunto A é fechado se, e somente se, A=A, isto é, quando todo ponto aderente a A pertence a A. Seja A R n. Um ponto a R n diz-se ponto de acumulação do conjunto A quando toda bola aberta de centro a contém algum ponto do conjunto A diferente do próprio a, ou seja, para todo ε>0, deve existir x Atal que 0< x a <ε. Definição 2.1 Diz-se que uma sequência{x k } converge para x R n, se dado ε>0existe n 0 tal que x k x <ε, k n 0 Uma sequência {x k } é chamada sequência de Cauchy, se dado ε>0 existe n 0 tal que x m x k <ε, m,k n 0 Uma consequência imediata da Definição 2.1 é que lim x k = x lim x k x = 0. Uma das maneiras de medir a velocidade de convergência de uma sequência é calculando sua ordem de convergência. A seguir definiremos o conceito de ordem de convergência de uma sequência, para mais informações veja por exemplo [6, 28, 29]. Definição 2.2 Seja {x k } uma sequência em R n que converge para x. Dizemos que a convergência é Q-linear se existem uma constante α (0,1) e k 0 > 0 tal que x k+1 x α x k x, k k 0. A convergência é dita Q-quadrática se existem uma constante M positiva e k 0 > 0, tal que x k+1 x M x k x 2, k k 0. A desvantagem da definição acima é que, mesmo se não forem satisfeitas as condições, a convergência de algumas sequências ainda pode ser razoavelmente rápida, porém essa "velocidade"é variável. Dessa forma, a definição de taxa de convergência é, às vezes, estendida como se segue. Definição 2.3 Seja {x k } uma sequência em R n que converge para x. Dizemos que a convergência é R-linear se existe uma sequência{σ k } tal que x k x σ k, k,

17 2.2 Noções sobre Transformações Lineares e Matrizes 14 e a sequência {σ k } converge Q-linearmente para zero. A convergência é dita R- quadrática se existe uma sequência{σ k } tal que x k x σ k, k, e a sequência{σ k } converge Q-quadraticamente para zero. em [28]. A seguir, daremos um exemplo de convergência R-linear que pode ser encontrado Exemplo 2.4 Seja a sequência 1+ 1, k par x k = 2 k 1, k impar. Note que a sequência {x k } converge para x = 1. Além disso, x k x 1 2 k =: σ k. Onde{σ k } converge Q-linearmente para zero. Logo{x k } converge R-linearmente. 2.2 Noções sobre Transformações Lineares e Matrizes Nesta seção, apresentaremos os conceitos básicos de transformações lineares e matrizes, que nos auxiliarão nas demonstrações de resultados posteriores neste trabalho. Também estudaremos a pseudo-inversa de Moore-Penrose de uma matriz. Para mais informações sobre os dois primeiros assuntos veja por exemplo[4, 26]. Inicialmente, denotaremosr m n o conjunto das matrizes m n. Dado A R m n, denotemos a transposta da matriz A por A T. O espaço das transformações lineares de R n em R m é denotado por L(R n,r m ). É importante mencionar que se A L(R n,r m ), então A R m n. O posto segundo colunas de uma matriz A R m n é o número máximo de colunas linearmente independentes em A. Este número é igual à dimensão do subespaço vetorial der m gerado pelos vetores-coluna de A. De maneira análoga, definimos o posto segundo linhas da matriz A R m n como o número máximo de linhas linearmente independentes em A, ou seja, como a dimensão do subespaço vetorial der n gerado pelos vetores-linha da matriz A. Embora o vetores coluna e os vetores linha de A sejam sub-espaços de espaços vetoriais diferentes, o seguinte resultado é válido:

18 2.2 Noções sobre Transformações Lineares e Matrizes 15 Proposição 2.5 Para toda matriz A R m n, o posto segundo linhas e o posto segundo colunas são iguais. Demonstração. Ver Teorema 8.2, pp. 95 de Lima[26]. Portanto, segue a seguinte definição sobre o posto de uma matriz. Definição 2.6 Seja A R m n. O posto de A, denotado por posto(a), é o número de linhas ou de colunas linearmente independentes da matriz A. Observação 2.7 Se posto(a)=min{m,n}, então A R m n é posto completo. A seguir definiremos núcleo e a imagem de uma matriz. Definição 2.8 Seja A R m n. Designa-se por Núcleo ou Kernel de uma matriz A, denotado N(A), o seguinte subconjunto, N(A)={x R n Ax=0}. Denomina-se imagem de uma matriz A, o seguinte subconjunto, R(A)={y R m y=ax, para algum x R n }. A seguir daremos a definição de matrizes invertíveis. Definição 2.9 Uma matriz A R n n é dita invertível ou não singular, se existe uma matriz B R n n tal que AB = BA = I n, onde I n é a matriz identidade de ordem n. A matriz B é chamada de inversa de A. Escrevemos A 1 para inversa de A. Se A não tem inversa, dizemos que A é singular ou não invertível. Proposição 2.10 Uma matriz A R n n admite inversa se, e somente se, posto(a)= n. Demonstração. Ver Corolário 3.8.2, pp. 47 de Mendes [27] Norma de Matrizes Nossa meta nesta subseção é estudar algumas propriedades de norma de matrizes ou equivalentemente norma de transformações lineares. Além disso, demonstraremos o conhecido Lema de Banach. Iniciaremos definindo norma. Seja T,S L(R n,r m ). Uma norma. é uma aplicação que associa a cada matriz um número real não negativo satisfazendo as seguintes propriedades.

19 2.2 Noções sobre Transformações Lineares e Matrizes 16 N1. T 0 T >0; N2. αt = α T, α R; N3. T + S T + S. A condição N3 é conhecida como desigualdade triangular. A seguir daremos um exemplo de norma matricial induzida pela norma vetorial. Exemplo 2.11 Seja T L(R n,r m ). Considere a norma das transformações lineares. como sendo o número T x T = sup x 0 x É fácil ver que (2-1) satisfaz as propriedades N1, N2 e N3. (2-1) Além disso, a aplicação norma matricial induzida pela norma vetorial goza das seguintes propriedades. Lema 2.12 Dados T,S L(R n,r n ) e x R n, então são válidas as seguintes propriedades: i) T x T x ; ii) T S T S ; iii) T k T k, k=0,1,2,... Demonstração. i) Se x é o vetor nulo segue imediato da definição de norma em R n. Se x não é o vetor nulo, considere o vetor y=x/ x e usando (2-1) temos Portanto T x T x. T Ty = 1 T x. x ii) É fácil ver de (2-1), do item i e propriedades do supremo que T Sx T S = sup x 0 x sup T Sx = T S, x 0 x o que prova o item ii. iii) É consequência imediata do item ii. Observação 2.13 Existem normas matriciais que satisfazem as propriedades N1, N2 e N3, sem necessariamente satisfazer (2-1) como por exemplo a norma de Frobenius.

20 2.2 Noções sobre Transformações Lineares e Matrizes 17 Além disso, existem normas matriciais que satisfazem satisfazem as propriedades N1, N2 e N3 mas não satisfazem o item ii do Lema 2.12, como por exemplo a norma l (norma do máximo). Para mais informações sobre normas matriciais, veja por exemplo, [14, 24]. Lema 2.14 (Lema de Banach) Sejam B L(R n,r n ) um operador linear e I o operador identidade der n. Se B I <1, então B é não singular e vale B 1 1/(1 B I ). (2-2) Demonstração. Primeiro, devemos mostrar que se T L(R n,r n ) é tal que T <1, então I T é inversível e vale (I T) T. Para isso, considere as seguintes sequências{s k } e{t k } definidas respectivamente por: S k = I+ T + T T k, t k = 1+ T + T T k. Observe que, S k+p S k S k+p S k+p 1 + S k+p 1 S k+p S k+1 S k T k+p + T k+p T k+1 =(t k+p t k+p 1 )+(t k+p+1 t k+p 2 )+...+(t k+1 t k ) = t k+p t k Agora, como T < 1, temos então que {t k } é uma sequência convergente, com limite t = 1/(1 T ). Portanto, deste fato e da equação acima, {S k } é uma sequência de Cauchy em L(R n,r n ) (o qual é espaço completo), e assim existe lim n S n. Agora, observe que S k (I T)=(I+ T +...+T k )(I T)=I T k+1 (2-3) Por outro lado, temos que lim k I T k = I, pois I (I T k ) = T k T k, lim T k = 0. k Assim, pela última equação e (2-3), concluímos que lim k S k =(I T) 1. Note ainda que (I T) 1 = lim k S k lim k ( I + T T k ) lim k t k = 1/(1 T ). Agora, tomando T = I B e observando a hipótese B I <1, temos que(i T)=B é inversível e vale a estimativa dada em (2-2) para a norma da inversa B 1.

21 2.2 Noções sobre Transformações Lineares e Matrizes Pseudo-Inversa de Moore-Penrose Apresentaremos nesta subseção a pseudo-inversa ou inversa generalizada de Moore-Penrose de uma matriz A R m n, que desempenha o papel de A 1 quando A não possui inversa. Para mais informações sobre inversas generalizadas e suas aplicações, veja por exemplo [1, 2, 5]. Seja a seguinte equação matricial AXA=A, onde A R m n é uma matriz dada e X R n m é uma matriz à qual queremos determinar. Observe que se A é uma matriz quadrada não singular, então a equação acima tem uma única solução X = A 1. Daremos agora o conceito de pseudo-inversa que pode ser encontrada em [5] e discutiremos sua existência. Definição 2.15 Dada uma matriz A R m n. Uma matriz A R n m é chamada pseudoinversa da matriz A se AA A=A, e existem as matrizes U R n n e V R m m tais que A = UA T e A = A T V. (2-4) Segue que a pseudo-inversa possui as seguintes propriedades: a. (A T ) =(A ) T ; b. (A ) = A. Observe que as duas propriedades acima são similares as propriedades da matriz inversa usual. Porém, no Exemplo 2.21, verifica-se que a propriedade (A 1 A 2 ) = A 2 A 1 não é em geral válida. A partir de (2-4), temos que cada linha da pseudo-inversa A de A é uma combinação linear das linhas de A T, e cada coluna de A é uma combinação linear das colunas de A T. Quando A R m n, m n e posto(a)=n, podemos facilmente verificar que a pseudo-inversa de A é: V A =(A T A) 1 A T. Realmente, pois A(A T A) 1 A T A = A, e se definirmos U = (A T A) 1 = A(A T A) 1 (A T A) 1 A T, então A = UA T = A T V. Note que A A = I R n. Daí, (A T A) 1 A T é chamada de pseudo-inversa a esquerda de A. e

22 2.2 Noções sobre Transformações Lineares e Matrizes 19 que: Agora, quando A R m n, m n e posto(a)= m, podemos facilmente verificar A = A T (AA T ) 1, AA = I R m. (2-5) Daí, A T (AA T ) 1 é chamada de pseudo-inversa a direita de A. Agora discutiremos como obter a inversa de Moore-Penrose, para isso usaremos a propriedade de que uma matriz não nula de posto r pode ser expressa como o produto de uma matriz posto coluna completo por uma matriz de posto linha completo. Esta propriedade é denominada como fatorização de posto completo. A prova deste resultado é descrito no seguinte lema. Lema 2.16 (Fatorização de Posto Completo) Seja A R m n, posto(a) = r min(m,n). Então, existem matrizes B R m r e C R r n tal que A = BC, onde posto(a) = posto(b)= posto(c)= r. Demonstração. Como posto(a) = r, segue que existem r colunas linearmente independentes em A. Sem perda de generalidade, seja a 1,a 2,...,a r tais colunas, onde a i é a i- ésima coluna de A. As colunas restantes de A podem ser expressas como combinações lineares de a 1,a 2,...,a r. Assim, uma possível escolha das matrizes B e C com posto completo são B=[a 1,...,a r ] R m r, c 1,r+1... c 1,n C= Rr n, c r,r+1... c r,n onde as entradas c i, j são tais que para cada j= r+1,...,n, temos a j = c i, j a c r, j a r. Portanto, A=BC. Note que se m<n e posto(a)= m, então obtemos B=I m, C=A, onde I m é uma matriz identidade R m m. Caso contrário, se m > n e posto(a) = n, então temos que B=A, C= I n. Exemplo 2.17 Considere a matriz A R 3 4 definida por A=

23 2.2 Noções sobre Transformações Lineares e Matrizes 20 Observe que Posto(A) = 2. Assim, a partir do Lema 2.16, temos que uma fatorização de posto completo de A é: 2 1 [ ] A= 1 0 = BC O próximo resultado garante que pseudo-inversa de uma matriz é única. Proposição 2.18 Seja A R m n. Se existe a pseudo-inversa A de A, então ela é única. Demonstração. Sejam A 1 e A 2 as inversas generalizadas de A. Devemos mostrar que A 1 = A 2. Pela definição 2.15 temos, AA 1 A=AA 2 A=A, e existem as matrizes U 1,U 2 R n n e V 1,V 2 R m m, tais que A 1 = U 1A T = A T V 1, A 2 = U 2A T = A T V 2. Seja Então, temos que D=A 2 A 1,U = U 2 U 1,V = V 2 V 1. O=ADA,D= UA T = A T V. Logo, usando as duas equações acima, obtemos (DA) T DA=A T D T DA=A T V T ADA=O, o que implica que, DA=O. Por outro lado, como DA=O, temos DD T = DAU T = O, o que implica em D=A 2 A 1 = O portanto A 2 = A 1.

24 2.2 Noções sobre Transformações Lineares e Matrizes 21 Provaremos agora que a pseudo-inversa de uma matriz sempre existe. Na verdade, mostraremos que a pseudo-inversa de qualquer matriz A é dada pela fórmula A = C B, onde B e C são pseudo-inversas das matrizes B e C que formam uma fatorização de posto completo de A, isto é, A=BC onde B e C são de posto completo (veja Lema 2.16). Note que já sabemos como calcular B e C, ou seja, B =(B T B) 1 B T, e C = C T (CC T ) 1. Proposição 2.19 Seja uma matriz A R m n que possui fatorização de posto completo A=BC, com posto(a)= posto(b)= posto(c)= r, B R m r, C R r n. Então, A = C B. Demonstração. Devemos mostrar que A = C B = C T (CC T ) 1 (B T B) 1 B T satisfaz a condição da Definição 2.15 para a pseudo-inversa. De fato, primeiro observe que AC B A=BCC T (CC T ) 1 (B T B) 1 B T BC=BC=A. Agora, definiremos e U = C T (CC T ) 1 (B T B) 1 (CC T ) 1 C V = B(B T B) 1 (CC T ) 1 (B T B) 1 B T. É fácil ver que as matrizes U e V acima satisfazem A = C B = UA T = A T V. Portanto, A = C B, é a pseudo-inversa de A.

25 2.2 Noções sobre Transformações Lineares e Matrizes 22 Iremos calcular a seguir a pseudo-inversa de uma matriz que não possui inversa, exemplificando o resultado acima. Exemplo 2.20 Seja A R 3 4 dada por A= = 2 1 [ ] = BC. Calculando B e C, temos [ B =(B T B) 1 B T = ], e Assim, obtemos 9 5 C = C T (CC T ) 1 = A = C B = Ressaltamos que a fórmula A = C B não funciona no caso em que A não tenha fatorização de posto completo. O seguinte exemplo ilustra isto. Exemplo 2.21 Seja A=[1]. Obviamente, A = A 1 = A=[1]. A matriz A também pode ser representada da seguinte forma [ ] [ ] 1 A= 0 1 = BC. 1 Observe que A não possui uma fatorização de posto completo. Seja então a matriz [ ] B = B T (BB T ) 1 0 =, 1 e [ C =(C T C) 1 C T = 1/2 1/2 ].

26 2.3 Noções de Análise Convexa 23 (Note que fórmulas das matrizes B e C são diferentes do Exemplo 2.20 por causa das dimensões de B e C neste exemplo.) Assim, C B =[1/2], diferente da matriz A. Finalmente, é importante ressaltar que a pseudo-inversa pode ser definida de uma forma equivalente a Definição Especificamente, a definição de Penrose de pseudoinversa de uma matriz A R m n é uma matriz única A R n m que satisfaz as seguintes propriedades: 1. AA A=A; 2. A AA = A ; 3. (AA ) T = AA ; 2. (A A) T = A A. Além disso, a partir da definição da pseudo-inversa de Moore-Penrose obtemos: A A=Π N(A), AA = Π R(A), (2-6) onde Π E denota a projeção ortogonal der n sobre o subespaço E. Com respeito a pseudo-inversa de Moore-Penrose, damos a seguir um resultado que será necessário para garantir a boa definição do método de Gauss-Newton. Lema 2.22 Sejam A,B :R n R m operadores lineares contínuos. Assuma que Posto(A) 1, Posto(B) Posto(A), A A B <1. Então Posto(A)= Posto(B), B A 1 A A B. Demonstração. Ver Teorema 8.15, pp. 43 de [22]. 2.3 Noções de Análise Convexa Destinamos esta seção a um estudo dos conceitos relacionados aos conjuntos convexos e as funções convexas. Para mais informações sobre análise convexa veja [3, 5, 17, 20]. Iniciaremos definindo conjunto convexo.

27 2.3 Noções de Análise Convexa 24 Definição 2.23 Um conjunto D R n é chamado conjunto convexo, se λx+(1 λ)y D, x,y D, λ [0,1]. Geometricamente, esta definição nos diz que o segmento de reta [x,y]={λx+(1 λ)y : 0 λ 1}, está inteiramente contido em D. Exemplo 2.24 O conjunto vazio, o espaço euclidiano R n, um conjunto que contém um ponto só e uma bola em R n são exemplos de conjuntos convexos. Definição 2.25 Seja D R n um conjunto convexo. Uma função ϕ : D Rédita convexa quando para quaisquer x D,y D e λ [0,1], tem-se ϕ(λx+(1 λ)y) λϕ(x)+(1 λ)ϕ(y). A função ϕ é dita estritamente convexa quando a desigualdade acima é estrita para todos x,y D com x yeλ (0,1). real. Agora apresentaremos a caracterização de funções convexas de uma variável Proposição 2.26 Sejam I R um intervalo e ϕ : I R uma função diferenciável. Então ϕ é convexa se, e somente se, ϕ(y) ϕ(x)+ϕ (x)(y x), y I,x I. (2-7) Se (2-7) é estrita para todo y I e x I, então ϕ é estritamente convexa. Demonstração. Dados y I e x I, temos por hipótese que ϕ(λy+(1 λ)x) λϕ(y)+(1 λ)ϕ(x). Após algumas manipulações algébricas segue que ϕ(x+λ(y x)) ϕ(x) λ ϕ(y) ϕ(x), para todo λ (0,1]. Fazendo λ 0 + na última desigualdade, temos ϕ (x)(y x)+ϕ(x) ϕ(y),

28 2.3 Noções de Análise Convexa 25 que prova a primeira parte. Reciprocamente, considere z=(1 λ)x+λy e observe que ϕ(x) ϕ(z)+ϕ (z)(x z) (2-8) e ϕ(y) ϕ(z)+ϕ (z)(y z). (2-9) Multiplicando a desigualdade (2-8) por (1 λ) 0 e a desigualdade (2-9) por λ 0, e adicionando o resultado, obtemos ϕ(λx+(1 λ)y) λϕ(x)+(1 λ)ϕ(y). Portanto ϕ é convexa. Agora se (2-7) é estrita para todo x,y I, então (2-8) e (2-9) valem para desigualdade estrita e analogamente concluímos que ϕ é estritamente convexa. Proposição 2.27 Sejam I R um intervalo e ϕ : I R uma função convexa. (i) Dados a,b e c I, com a<b<c, temos ϕ(b) ϕ(a) b a ϕ(c) ϕ(a) c a ϕ(c) ϕ(b) c b (2-10) (ii) Para qualquer u 0 int(i), a aplicação não-decrescente e existe (em R) s(u)= ϕ(u 0) ϕ(u), u I,u u 0, u 0 u D ϕ(u 0 )= lim u u 0 ϕ(u 0 ) ϕ(u) u 0 u = sup u<u 0 ϕ(u 0 ) ϕ(u). u 0 u Demonstração. Seja a<b<c, obtemos após algumas manipulações algébricas que b= c b b a a+ c, (2-11) c a c a onde c b c a < 1 e b a < 1. Como ϕ é convexa, segue de (2-11) e alguns cálculos que c a ϕ(b) ϕ(a) ( ) c b c a 1 ϕ(a)+ b a c a ϕ(c), que é equivalente a ϕ(b) ϕ(a) b a ϕ(c) ϕ(a), c a

29 2.3 Noções de Análise Convexa 26 o que prova a primeira desigualdade em (2-10). A segunda desigualdade em (2-10) é feita de modo análogo. Assim o item (i) está provado. É imediato concluir a partir de (2-10) que a função s é não-decrescente. Além disso, como u 0 int(i) então existe a I tal que u 0 < a, daí segue que s(u)= ϕ(u 0) ϕ(u) u 0 u ϕ(u 0) ϕ(a) u 0 a = s(a), u 0 > u. Logo, s é limitada superiormente. Devido a monotonicidade da função s, existe o limite D ϕ(u 0 )= lim u u 0 ϕ(u 0 ) ϕ(u) u 0 u = sup u<u 0 ϕ(u 0 ) ϕ(u). u 0 u Segue que o item (ii) é válido. Proposição 2.28 Sejam I R um intervalo e ϕ : I R uma função derivável. Então ϕ é convexa (estritamente convexa) se, e somente se, ϕ é crescente (estritamente crescente). Demonstração. Suponhamos que ϕ seja convexa e derivável. Vamos mostrar que ϕ é crescente. Sejam x 1 < x 3 pontos de I. Consideremos pontos x 2 e x 4 de I tais que x 1 < x 2 < x 3 < x 4. Pela Proposição 2.27 temos que, ϕ(x 2 ) ϕ(x 1 ) x 2 x 1 ϕ(x 4) ϕ(x 3 ) x 4 x 3. Fazendo x 2 x 1 e x 4 x 3, obtemos ϕ (x 1 ) ϕ (x 3 ). Provando que ϕ é crescente. Reciprocamente, seja ϕ crescente. Iremos provar que ϕ é convexa. Sejam x,y em I tal que x < y. Pelo teorema do valor médio exite c (x,y) de modo que ϕ(y) = ϕ(x)+ϕ (c)(y x). Da monotonicidade de ϕ segue-se ϕ (x) ϕ (c). Logo ϕ(y) ϕ(x)+ϕ (x)(y x). Daí pela Proposição 2.26 obtemos que ϕ é convexa. Corolário 2.29 Uma função ϕ : I R, duas vezes derivável no intervalo I, é convexa se, e somente se, ϕ 0. Demonstração. Com efeito, ϕ (x) 0 para todo x I, equivale a afirmar ϕ : I R é monótona crescente.

30 2.4 Funções Analíticas Funções Analíticas Nesta seção estamos interessados em abordar os conceitos de funções analíticas em R os quais serão necessários no desenvolvimento do capítulo 4, quando trataremos do resultado de convergência sob condição de Smale. Definição 2.30 Sejam I R um intervalo aberto. Uma função f : I R chama-se analítica quando pode ser localmente expandida em séries de Taylor, i.e., para cada x 0 I, existe um ε>0 tal que a série de Taylor n=0 converge para f(x 0 + h) quando h <ε. Observação 2.31 A fim de que a série n=0 f (n) (x 0 ) h n, n! f (n) (x 0 ) h n, convirja para f(x 0 +h) é necessá- n! rio e suficiente que lim r n (h)=0, onde r n = f(n) (x 0 + θ n h) h n, com 0<θ n < 1. n n! Proposição 2.32 Se 0 t < 1, então i=0 (i+2)(i+1)t i = 2/(1 t) 3. Demonstração. Consideremos a função g : ( 1,1) R, dada por g(t) = (1 t) 1. É fácil mostrar que esta função é analítica e que g (t)=(1 t) 2, g (t)=2(1 t) 3,..., g (i) (t)=i!(1 t) (i+1). (2-12) Pela Definição 2.30, podemos escrever g da seguinte forma g(t)= i=0 g (i) (0) t i. i! Agora combinando (2-12) e a igualdade acima, obtemos que g(t) = i=0 ti. Derivando duas vezes, resulta que g (t)= i=0 (i+2)(i+1)t i. Daí combinando este resultado com a segunda equação em (2-12) concluí a demonstração da Proposição. Agora com todos os resultados obtidos neste capítulo, estamos preparados a provar a convergência semi-local do método de Gauss-Newton sob uma condição majorante.

31 Análise Semi-Local para o Método de Gauss-Newton CAPÍTULO 3 No presente capítulo, apresentaremos a convergência semi-local do método de Gauss-Newton. Sob a hipótese que a função não-linear associada com o sistema de equações satisfaz uma condição majorante, provaremos que o método supracitado está bem definido e converge para um ponto x tal que F (x ) F(x ) = 0. Esta análise não exige o conhecimento prévio da solução dos problemas de mínimos quadrados e tem a vantagem de fazer hipóteses apenas sobre o ponto inicial, diferentemente da análise local ao qual o conhecimento prévio da solução dos problemas de mínimos quadrados é exigido, além de requerer que o ponto inicial esteja suficientemente próximo desta solução, veja por exemplo [8, 9, 15]. Além disso, daremos resultados sobre a taxa de convergência da sequência gerada. A ordem dos resultados apresentados aqui, ressalta a importância de cada hipótese na análise de convergência do método. 3.1 Convergência do Método de Gauss-Newton Começaremos esta seção com a seguinte definição de função majorante. Definição 3.1 Sejam Ω R n um conjunto aberto e F : Ω R m uma função continuamente diferenciável em Ω. Tome x 0 Ω, R > 0. Dizemos uma função continuamente diferenciável f : [0,R) R é uma função majorante para o operador F se satisfaz as hipóteses F (x 0 ) F (y) F (x) f ( y x + x x 0 ) f ( x x 0 ), para quaisquer x,y Ω, x x 0 + y x <R, e além disso, (h1) f(0)=0, f (0)= 1; (h2) f é convexa e estritamente crescente. Para mais informações sobre a função majorante veja por exemplo [7, 8, 9, 10, 11, 12, 15, 16]. Provaremos nesta seção, um teorema semi-local do método de Gauss-

32 3.1 Convergência do Método de Gauss-Newton 29 Newton, i.e., x k+1 = x k F (x k ) F(x k ), k=0,1,..., para resolver o sistema de equações não-lineares F(x)=0, onde F satisfaz a seguinte classe de sistemas de equações não lineares F (y) (I R m F (x)f (x) )F(x) κ x y, x,y Ω. para algum 0 κ<1. Primeiramente, mostraremos que este teorema é valido para uma função auxiliar associada com a função majorante. Então, provaremos a boa definição do método de Gauss-Newton e sua convergência. Teorema 3.2 Sejam Ω R n um conjunto aberto e F : Ω R m uma função continuamente diferenciável. Suponha que F (y) (I R m F (x)f (x) )F(x) κ x y, x,y Ω (3-1) para algum 0 κ<1. Seja x 0 Ω tal que β := F (x 0 ) F(x 0 ) >0,F (x 0 ) 0 e Posto(F (x)) Posto(F (x 0 )), x Ω. (3-2) Assuma que existam R>0 e uma função continuamente diferenciável f :[0,R) R tal que, B(x 0,R) Ω, F (x 0 ) F (y) F (x) f ( y x + x x 0 ) f ( x x 0 ), (3-3) para quaisquer x,y Ω, x x 0 + y x <R, e além disso, (h1) f(0)=0, f (0)= 1; (h2) f é convexa e estritamente crescente. Seja λ 0tal que λ κ f (β) e considere a função auxiliar h λ :[0,R) R, h λ (t) := β+λt+ f(t). (3-4) Se h λ satisfaz (h3) h λ (t)=0 para algum t (0,R), então h λ (t) tem uma menor raiz t λ, as sequências para resolver h λ(t) = 0 e F(x) = 0,

33 3.1 Convergência do Método de Gauss-Newton 30 com pontos iniciais t λ,0 = 0 e x 0, respectivamente, t λ,k+1 = t λ,k h 0 (t λ,k) 1 h λ (t λ,k ), x k+1 = x k F (x k ) F(x k ), k=0,1,..., (3-5) estão bem definidas, {t λ,k } é estritamente crescente, está contida em [0,tλ ), e converge para tλ, {x k} está contida na B(x 0,tλ ), converge para um ponto x B[x 0,tλ ] tal que F (x ) F(x )=0, x k+1 x k t λ,k+1 t λ,k, x x k t λ t λ,k, k=0,1,..., (3-6) e x k+1 x k t λ,k+1 t λ,k (t λ,k t λ,k 1 ) 2 x k x k 1 2, k=1,2,... (3-7) Além disso, se λ = 0, as sequências {t 0,k } e {x k } convergem Q-linearmente e R- linearmente (ou se, λ=0 e h 0 (t 0 )<0, Q-quadraticamente e R-quadraticamente) para t 0 e x, respectivamente. Observação 3.3 É fácil ver que a melhor escolha de λ é a menor possível. Logo, se f (β) 0 então λ= κ f (β) é a melhor escolha. Além disso, como f (β)< f (0)=1 (h2), uma possível escolha para λ é κ, apesar de não ser a melhor. Observação 3.4 Se F (x) é sobrejetivo, segue da segunda equação em (2-5) que F (x)f (x) =I R m. Daí, podemos escolher λ = 0, visto que F satisfaz (3-1) com κ=0. Portanto, o Teorema 3.2 estende os resultados obtidos no Teorema 2 em [12]. Alguns resultados preliminares serão necessários para provar o Teorema 3.2. De agora em diante vamos assumir que todas as hipóteses do Teorema 3.2 são válidas A função auxiliar e a sequência {t λ,k } Nesta subseção, estudaremos a função auxiliar h λ, associada com a função majorante f, além disso provaremos todos os resultados do Teorema 3.2 em relação a sequência{t λ,k }. Proposição 3.5 As seguintes afirmações são válidas (i) h λ (0)=β>0, h λ (0)=λ 1 e h 0 (t)= f (t); (ii) h λ é convexa e estritamente crescente; (iii) h λ é estritamente convexa.

34 3.1 Convergência do Método de Gauss-Newton 31 Demonstração. Usando (3-4), a diferenciabilidade da função f e as afirmações (h1) e (h2), então os itens (i) e (ii) seguem imediatamente. Para provar o item (iii) basta usar o item (ii) e a Proposição Proposição 3.6 A função h λ possuí uma menor raiz tλ (0,R), é estritamente crescente e Além disso, h 0 (t λ ) 0. h λ (t)>0, h 0(t)< 0, t < t h λ(t) h 0 (t) < t λ, t [0,t λ ). (3-8) Demonstração. Como h λ é uma função contínua em [0,R) e possui uma raiz neste intervalo (h3), segue que h λ possuí uma menor raiz tλ, que é maior que zero devido a primeira desigualdade no item (i) da Proposição 3.5. A primeira desigualdade em (3-8) segue da primeira afirmação no item (i) da Proposição 3.5 e da definição de t λ (0,R) como sendo a menor raiz de h λ. Sabemos pelo item (iii) da Proposição 3.5 que h λ é estritamente convexa, então 0=h λ (t λ )>h λ(t)+h λ (t)(t λ t), t [0,R),t t λ. (3-9) Se t [0,tλ ) então h λ(t)>0 e tλ t > 0, as quais combinadas com (3-9), implicam que h λ (t)<0 para todo t [0,t λ ). Daí como λ 0 e h λ (t)=λ+h 0 (t) para todo t [0,t λ ), então a segunda desigualdade em (3-8) está provada. Usando a primeira e a segunda desigualdade de (3-8), obtemos a terceira. Para provarmos a última desigualdade em (3-8), dividiremos a inequação (3-9) por h λ (t)>0 e com algumas manipulações algébricas, temos que t h λ (t)/h λ (t)<t λ, t [0,t λ ). Daí, usando a primeira desigualdade em (3-8) e 0 < h λ (t) h 0 (t) para todo t [0,tλ ), temos a desigualdade desejada. Agora como h λ(t)>0 em [0,tλ ) e h λ(tλ )=0, logo h λ (t λ ) 0. Portanto, a última desigualdade da proposição segue do fato que h λ (t λ )=λ+h 0 (t λ ) e λ 0. De acordo com a segunda inequação em (3-8), a seguinte função iteração para h λ está bem definida em [0,t λ ) n λ :[0,t λ ) R t t h λ (t)/h 0 (t). (3-10) Note que, se λ=0, a sequência n λ se reduz a sequência de Newton. Proposição 3.7 Se t [0,t λ ), então β n λ(t)<t λ.

35 3.1 Convergência do Método de Gauss-Newton 32 Demonstração. Sabemos da Proposição 3.5 que h λ é estritamente convexa. Daí usando as duas primeiras igualdades do item (i) da Proposição 3.5 e propriedades de convexidade, obtemos (1 λ)t β h λ (t), que combinado com λ 0, implica que t β h λ (t). Daí, obtemos de (3-10) que n λ (t) β=t h λ(t) h 0 (t) β h λ(t) h λ(t) h 0 (t) = h λ(t) h 0 (t)[h 0 (t)+1], t [0,t λ ). Sabemos dos itens (i) e (ii) da Proposição 3.5 que h 0 (0) = 1 e h 0 é estritamente crescente. Daí, obtemos que h 0 (t)+1 0, t [0,t λ ). Portanto, combinando a inequação acima com as duas primeiras inequações em (3-8), a primeira inequação da proposição está provada. Para provar a última inequação da proposição, combine (3-10) e a última desigualdade em (3-8). Proposição 3.8 A iteração n λ leva[0,t λ ) em [0,t λ ), e t < n λ (t), t [0,t λ ). Além disso, se λ = 0 ou (λ = 0 e h 0 (t 0 ) < 0), então temos as seguintes inequações, respectivamente, t0 n 0(t) 1 2 (t 0 t), t 0 n 0(t) D h 0 (t 0 ) 2h 0 (t 0 )(t 0 t)2, t [0,t0 ). (3-11) Demonstração. As duas primeiras afirmações da proposição seguem trivialmente das duas últimas inequações em (3-8) e (3-10). Agora se λ=0, então a sequência em (3-10) reduzse a sequência de Newton, i.e., n 0 (t)=t h 0 (t)/h 0 (t), t [0,t 0 ). (3-12) Note que h λ (tλ ) = 0 (Proposição 3.6), em particular h 0(t0 ) = 0. Daí, usando (3-12) e a continuidade de h, temos que t 0 n 0(t) = = = 1 h 0 (t)[h 0 (t)(t 0 t)+h 0(t)] 1 h 0 (t)[h 0 (t)(t 0 t)+h 0(t) h 0 (t0 )] 1 t 0 ( h h 0 (t) 0 (u) h 0 (t)) du. t

36 3.1 Convergência do Método de Gauss-Newton 33 Sabemos pelo item (ii) da Proposição 3.5 que h λ é convexa. Além disso, como t < t 0, segue do item (i) da Proposição 2.27 que h 0(u) h 0(t) [ h 0(t 0) h 0(t) ] u t t 0 t, u [t,t 0]. Por outro lado, pela segunda inequação em (3-8) temos que h 0 (t) < 0, ou equivalentemente 1/h 0 (t) > 0. Daí, combinando este resultado com as duas últimas inequações, obtemos t 0 n 0(t) ( 1 ) t 0 [ h h 0 (t) 0 (t0 ) h 0 (t)] u t t t0 du. t Agora, o último termo da desigualdade acima juntamente com algumas manipulações algébricas, implicam t 0 n 0(t) 1 2 ( h 0 (t 0 ) h 0 (t) h 0 (t) ) (t0 t). (3-13) Portanto, a desigualdade acima junto com h 0 (t) < 0 e h 0 (t 0 ) 0 prova a primeira inequação em (3-11). Para concluir a prova, assumimos que λ=0eh 0 (t 0 )<0. Tomando t [0,t0 ). Além disso, usando que h λ é crescente e h 0 (t)<0, temos que h 0 (t 0 ) h 0 (t) h 0 (t) h 0 (t 0 ) h 0 (t) h 0 (t 0 ) 1 h = h 0 (t 0 ) h 0 (t) 0 (t 0 ) t0 t (t0 t) D h (t 0 ) h 0 (t 0 ) (t 0 t), onde a última desigualdade segue do item (ii) da Proposição Finalmente, combinando a inequação acima com (3-13) obtemos a segunda inequação em (3-11), o que conclui a prova da proposição. A definição de{t λ,k } no Teorema 3.2 é equivalente a seguinte definição: t λ,0 = 0, t λ,k+1 = n λ (t λ,k ), k=0,1,... (3-14) O resultado a seguir é consequência imediata da Proposição 3.8. Corolário 3.9 A sequência {t λ,k } está bem definida, é estritamente crescente, está contida em [0,t λ ) e converge para t λ. Além disso, se λ=0 ou (λ=0 e h 0 (t 0 )<0), então a sequência{t 0,k } converge Q-linearmente ou Q-quadraticamente para t 0, respectivamente,

37 3.1 Convergência do Método de Gauss-Newton 34 como segue t 0 t 0,k (t 0 t 0,k), t 0 t 0,k+1 D h 0 (t 0 ) 2h 0 (t 0 )(t 0 t 0,k) 2, k=0,1,... estão provadas. Portanto, todas as afirmações envolvendo a sequência {t λ,k } no Teorema Convergência Nesta subseção, provaremos que a sequência{x k } gerada pelo método de Gauss- Newton (ver Teorema 3.2), está bem definida e converge para um ponto x tal que F (x ) F(x ) = 0. Começaremos com uma proposição que garante a boa definição de Gauss-Newton na B(x 0,tλ ), depois iremos expor dois lemas que destacam as relações entre a função majorante f e a função não-linear F. Proposição 3.10 Se x x 0 t < t λ, então Posto(F (x)) = Posto(F (x 0 )) 1 e F (x) F (x 0 ) /h 0 (t). Em particular, Posto(F (x)) = Posto(F (x 0 )) em B(x 0,t λ ). Demonstração. Seja x B[x 0,t], tal que 0 t < tλ. Usando as hipóteses (3-3), (h1), (h2), a última igualdade do item (i) da Proposição 3.5 e a segunda inequação em (3-8), obtemos F (x 0 ) F (x) F (x 0 ) f ( x x 0 ) f (0) f (t)+1= h 0(t)+1< 1. Combinando a última inequação com (3-2) e o Lema 2.22, concluímos que Posto(F (x)) = Posto(F (x 0 )) 1 e F (x) F (x 0 ) 1 ( f (t)+1) = F (x 0 ) f = F (x 0 ) (t) h (t) É conveniente estudar o erro linear de F para cada ponto em Ω, por isso definimos E F (x,y) := F(y) [ F(x)+F (x)(y x) ], y, x Ω. (3-15) Iremos limitar este erro pelo erro da linearização da função majorante f e f (t,v) := f(v) [ f(t)+ f (t)(v t) ], t, v [0,R). (3-16)

38 3.1 Convergência do Método de Gauss-Newton 35 Lema 3.11 Sejam x,y B(x 0,R) e 0 t < v<r. Se x x 0 t e y x v t, então F (x 0 ) E F (x,y) e f (t,v) y x 2 (v t) 2. Demonstração. Sejam x,y B(x 0,R). Como a bola é convexa então x+u(y x) B(x 0,R), u [0,1]. Daí, usando o fato que F é continuamente diferenciável na B(x 0,R), (3-15), temos que E F (x,y)= 1 0 [ F (x+u(y x)) F (x) ] (y x)du. Combinando a equação anterior e a hipótese (3-3) do Teorema 3, obtemos F (x 0 ) E F (x,y) F (x 0 ) F (x+u(y x)) F (x) y x du [ f ( x x 0 +u y x ) f ( x x 0 ) ] y x du. (3-17) Agora, usando a convexidade de f, as hipóteses x x 0 t, y x v t, v<r e o item (i) da Proposição 2.27, segue que para qualquer u [0,1] f ( x x 0 +u y x ) f ( x x 0 ) f (t+ u y x ) f (t) É fácil ver, que (3-17) e (3-18) implicam F (x 0 ) E F (x,y) 1 0 [ f (t+ u(v t)) f (t) ] y x. (3-18) v t [ f (t+ u(v t)) f (t) ] y x 2 du, v t Finalmente, calculando a integral acima, obtemos o resultado desejado. A Proposição 3.10 garante, em particular que Posto(F (x)) 1, x B(x 0,t λ ) e, consequentemente, a iteração de Gauss-Newton está bem definida. Denotaremos de G F à função iteração de Gauss-Newton para F nesta região, isto é, G F : B(x 0,t λ ) Rn x x F (x) F(x). (3-19) Observe que podemos aplicar a função iteração de Gauss-Newton em qualquer x B(x 0,t λ ) para se obter G F(x), o qual pode ou não pertencer a B(x 0,t λ ) ou mesmo, pode não pertencer ao domínio de F. Assim, os resultados anteriores são apenas para garantir

39 3.1 Convergência do Método de Gauss-Newton 36 a boa definição de apenas uma iteração. Para assegurar que as iterações de Gauss-Newton podem ser repetidas indefinidamente, devemos garantir que G F (x) B(x 0,tλ ), para isso precisaremos de alguns resultados adicionais. Primeiramente, definiremos alguns subconjuntos de B(x 0,tλ ) e iremos provar que as iterações de Gauss-Newton (3-19) estão "bem comportadas"nestes subconjuntos. Sejam { K(t) := x Ω : x x 0 t, F (x) F(x) h } λ(t) h 0 (t), t [0,tλ ), (3-20) K := K(t). (3-21) t [0,t λ ) Como 0 t < tλ em (3-20), então temos que, h 0 (t) 0 e segue da Proposição 3.10 que Posto(F (x)) 1 na B[x 0,t] B(x 0,tλ ). Portanto, as definições são consistentes. Lema 3.12 Se t [0,tλ ), então são válidas as seguintes afirmações: (i) K(t) B(x 0,t λ ); (ii) G F (G F (x)) G F (x) h λ(n λ (t)) h 0 (n λ(t)) (iii) G F (K(t)) K(n λ (t)). Além disso, K B(x 0,t λ ) e G F(K) K. ( ) GF (x) x 2, n λ (t) t x K(t); Demonstração. O item (i) segue trivialmente da definição de K(t). Agora tomemos t [0,tλ ) e x K(t). Usando (3-20) e duas primeiras afirmações na Proposição 3.8, temos que Note que, x x 0 t, F (x) F(x) h λ(t) h 0 (t), t < n λ(t)<t λ. (3-22) G F (x) x 0 x x 0 + G F (x) x = x x 0 + F (x) F(x) t h λ (t)/h 0 (t)=n λ(t)<t λ, o que implica G F (x) B[x 0,n λ (t)] B(x 0,tλ ). (3-23) Observemos que G F (x),n λ (t) pertencem aos domínios de F e f, respectivamente. Daí usando as definições (3-4), (3-10), (3-19), os erros de linearização (3-15) e (3-16) e

40 3.1 Convergência do Método de Gauss-Newton 37 algumas manipulações algébricas, obtemos as seguintes igualdades h λ (n λ (t))=h λ (n λ (t)) [ h λ (t)+h 0 (t)(n λ(t) t) ] = e f (t,n λ (t)) λh λ (t)/h 0(t) (3-24) e F(G F (x))=f(g F (x)) [ F(x)+F (x)(g F (x) x) ] +(I R m F (x)f (x) )F(x) = E F (x,g F (x))+(i R m F (x)f (x) )F(x). A partir da última equação, com algumas manipulações algébricas, implicam que F (G F (x)) F(G F (x)) F (G F (x)) E F (x,g F (x)) + F (G F (x)) (I R m F (x)f (x) )F(x). (3-25) Como G F (x) x 0 n λ (t), segue da Proposição 3.10 que Posto(F (G F (x))) 1 e F (G F (x)) F (x 0 ) /h 0 (n λ(t)). (3-26) A partir de (3-25), (3-26) e (3-1), obtemos F (G F (x)) F(G F (x)) F (x 0 ) h 0 (n λ(t)) E(x,G F(x)) +κ G F (x) x. Por outro lado, usando (3-22), Lema 3.11 e (3-24), temos ( ) F (x 0 ) GF (x) x 2 E F (x,g F (x)) e f (t,n λ (t)) n λ (t) t ( ) GF (x) x 2 h λ (n λ (t)) + λh n λ (t) t λ (t)/h 0 (t). Assim, as duas últimas inequações, junto com a segunda equação em (3-22), implicam que F (G F (x)) F(G F (x)) h λ(n λ (t)) h 0 (n λ(t)) ( GF (x) x n λ (t) t ) 2 + ( κ+λ(h 0 (n λ(t))) 1)( h λ (t)/h 0 (t)). (3-27) Tomando λ κ f (β), a segunda inequação em (3-8) e (3-22), obtemos que ( κ+λ(h 0 (n λ (t))) 1) κ ( 1 f (β)(h 0 (n λ(t))) 1). (3-28)

41 3.1 Convergência do Método de Gauss-Newton 38 Como f (t)=h 0 (t), então usando a Proposição 3.7, (h2) e a segunda inequação em (3-8), temos que κ ( 1 f (β)(h 0(n λ (t))) 1) = κ ( h 0(β) h 0(n λ (t)) )( h 0(n λ (t) ) 1 0. (3-29) Combinando (3-27), (3-28), (3-29) com as duas primeiras desigualdades em (3-8), concluímos F (G F (x)) F(G F (x)) h λ(n λ (t)) h 0 (n λ(t)) ( ) GF (x) x 2. n λ (t) t Portanto o item (ii) segue da última inequação e (3-19). Agora, combinando a última inequação com (3-10), (3-19) e a segunda desigualdade em (3-22), obtemos F (G F (x)) F(G F (x)) h λ(n λ (t)) h 0 (n λ(t)). Este resultado, junto com (3-23), implicam que G F (x) K(n λ (t)), assim o item (iii) está provado. A primeira inclusão da segunda parte do lema, segue trivialmente das definições (3-20) e (3-21). Para verificar a última inclusão, tomemos x K. Segue que x K(t) para algum t [0,t λ ). Usando o item (iii) do lema, temos que G F(x) K(n λ (t)). Agora, usando a definição de K e como n λ (t) [0,tλ ), chegamos a última inclusão do lema. Finalmente, estamos prontos para provar o resultado principal desta seção, que é consequência imediata do último resultado. Primeiramente note que a sequência {x k } (veja (3-5)) satisfaz a igualdade ao qual é uma definição equivalente desta sequência. x k+1 = G F (x k ), k=0,1,..., (3-30) Corolário 3.13 A sequência {x k } está bem definida, contida na B(x 0,tλ ), converge para um ponto x B[x 0,tλ ] tal que F (x ) F(x )=0. As sequências {x k } e {t λ,k } satisfazem (3-6), (3-7). Além disso, se λ=0, a sequência{x k } converge R-linearmente (ou se, λ=0 e h 0 (t λ )<0, R-quadraticamente) para x. Demonstração. Primeiramente, mostraremos por indução que x k K(t λ,k ), k=0,1,... (3-31) Com efeito, como F (x 0 ) F(x 0 ) =β, então usando o item (i) da Proposição 3.5, tem-se que x 0 K(0) K,