Sistemas Lineares com Múltiplos Lados Direitos e Operadores de Projeção

Transcrição

1 Sistemas Lineares com Múltiplos Lados Direitos e Operadores de Projeção Valéria S. Motta Departamento Básico, Instituto Militar de Engenharia - IME, Praça General Tibúrcio, 80, Praia Vermelha, , Rio de Janeiro, RJ. valeria@ime.eb.br. Luiz M. Carvalho Departamento de Matemática Aplicada, Instituto de Matemática e Estatística, Universidade do Estado do Rio de Janeiro - UERJ, Rua São Francisco de Xavier, 524, sala 6026, bloco D, Maracanã, , Rio de Janeiro, RJ. luizmc@ime.uerj.br. Nelson Maculan Programa de Engenharia de Sistemas e Computação - COPPE, Universidade Federal do Rio de Janeiro - UFRJ, C. P , , Rio de Janeiro - RJ. maculan@cos.ufrj.br. 1 Introdução A resolução de sistemas lineares com grande número de incógnitas é uma área de muito interesse na Ciência da Computação. Vários métodos foram desenvolvidos nessa busca, podemos citar alguns deles: Lanczos [?], [?], Gradiente Conjugado (CG) [?], [?], Mínimo Resíduo Generalizado (GMRES) [?], Gradiente Bi-Conjugado (Bi-CG) [?], Gradiente Conjugado Quadrado (CGS) [?], Gradiente Bi-Conjugado Estabilizado (Bi-CGSTAB) [?], Gradiente Bi-Conjugado Estabilizado em Bloco (Bi-CGSTAB em Bloco) [?]. A escolha do melhor método para se resolver um determinado sistema depende de algumas características da matriz principal do sistema, se ela é simétrica, positiva-definida, nãosimétrica, semi-definida, esparsa, entre outras. Esses métodos iterativos são baseados em projeções em subespaços de Krylov e precisam Aluna de doutorado do Programa de Engenharia de Sistemas e Computação - COPPE - UFRJ. mvaleria@cos.ufrj.br construir bases para esses espaços. Tais bases devem ser numericamente estáveis, então, devem ser ortogonalizadas. A ortogonalização de uma base de um subespaço de Krylov pode ser conseguida através de, principalmente, dois métodos básicos, o de Arnoldi [?], [?] e o da Bi-Ortogonalização de Lanczos [?], [?]. Alguns dos algoritmos acima apresentam sua versão em Bloco, a saber: o algoritmo de Lanczos em Bloco [?], o Gradiente Conjugado em Bloco (BCG) (em mais de uma versão)[?], [?], o Gradiente Bi-Conjugado em bloco (BBi-CG) [?]. Neste trabalho, as letras maiúsculas denotarão matrizes; o índice superior em uma matriz, vetor ou em um escalar denota o número da iteração considerada; colunas de uma matriz são indicadas pelo índice baixo; elementos de uma matriz têm indicado no índice baixo o número de sua linha e coluna. Assim, por exemplo x (k) i,j é o elemento da matriz X (k) da i-ésima linha e j-ésima coluna. As letras α, β, γ, ε, η, ν, e ω denotam matrizes de ordem s s. A letra σ i

2 denota os valores singulares, enquanto que λ i denota os autovalores. Em relação aos teoremas enunciados, no decorrer do trabalho, serão indicadas referências para cada uma de suas demonstrações. Esse trabalho é baseado principalmente em [?], analisando os métodos a partir de operadores de projeção, como contribuição algumas proposições novas são propostas e demonstradas. Serão chamados de Teoremas os resultados que se encontram em [?] e Proposições os resultados que obtivemos. Na segunda seção, faremos uma revisão sobre operadores de projeção, nessa seção apresentamos a primeira proposição. Na terceira seção definimos um subespaço de Krylov e o método e algoritmo de Arnoldi [?], [?], a segunda proposição é apresentada e sob seu enfoque o algoritmo é reescrito. Na quarta seção abordamos os algoritmos de Lanczos [?], [?], teoremas e conceitos relacionados, segue daí a terceira proposição e o algoritmo de Lanczos Bi-Ortogonal [?], [?], [?] reescrito. Na quinta seção, o algoritmo do Gradiente Bi- Conjugado Estabilizado em Bloco [?], [?], [?] é o exemplo de algoritmo para resolução de sistemas com múltiplos lados direitos. Esse algoritmo é estudado e a partir dele temos a quarta proposição. 2 Operadores de Projeção Definição 1 Considere P uma transformação linear, P é dita uma projeção, P : C n C n se P 2 = P, P é chamado também idempotente. Todo elemento de C n (espaço vetorial complexo n-dimensional) pode ser escrito na forma, x = P(x) + (I P)(x) (1) portanto, pode-se provar que, o espaço C n pode ser decomposto na seguinte soma direta: C n = N(P) Im(P), (2) onde N(P) = {x C n P(x) = 0} é o núcleo de P e Im(P) = {y C n x C n ; P(x) = y}, a imagem de P. A recíproca é dada no teorema a seguir. Teorema 1 Para todo par de subespaços M e S de C n, tais que, a soma direta desses dois su- Px K x Px L Figura 1: Projeção de x sobre M e ortogonal a L bespaços resulta em C n, então, existe uma única projeção P onde Im(P) = M e N(P) = S. Prova [?]. Essa transformação linear P é dita projeção sobre M, ao longo ou paralela ao subespaço linear S. O espaço vetorial C n se expressa como a soma direta da Im(P) = M e N(P) = S, sabemos que N(P) = Im(I P). Se dim(im(p)) = m então, dim(n(p)) = dim(im(i P)) = n m. Portanto, podemos definir S a partir de seu complemento ortogonal L = S, onde dim(l) = dim(s ) = m. { P(x) M (3) x P(x) L. As equações dadas em (??) definem uma projeção sobre M e ortogonal ao subespaço L. Uma projeção genérica é ilustrada na Figura (1) Métodos Gerais de Projeção Sejam A uma matriz real de ordem n n e, ainda, K e L dois subespaços m-dimensionais de R n. Uma técnica de projeção sobre o subespaço K e ortogonal a L é um processo de encontrar a solução aproximada x de Ax = b tendo condições para que x pertença a K e a de que o novo vetor resíduo seja ortogonal a L. Determine x K tal que b A x L. Se desejarmos utilizar uma solução inicial x 0, então a solução aproximada deve ser procurada no espaço afim x 0 + K ao invés de no espaço vetorial K. O problema pode ser redefinido por: Determine x x 0 + K tal que b A x L. x Px L K

3 Observe que, se x é escrito na forma x = x 0 +δ e o vetor resíduo inicial r 0 é definido como r 0 = b Ax 0, (4) então a equação acima é dada por b A(x 0 + δ) L ou r 0 Aδ L. (5) Em outras palavras, a solução aproximada pode ser definida como: x = x 0 + δ, δ K (6) (r 0 Aδ, w) = 0, w L. (7) Esse é o passo básico da projeção, na sua forma mais geral. A maioria das técnicas usam uma sucessão de projeções. Normalmente, cada novo passo da projeção usa um novo par de subespaços K e L e uma nova solução inicial x 0, essa, igual a mais recente aproximação obtida no passo anterior da projeção. Métodos projetivos formam uma estrutura para os principais métodos iterativos utilizados na resolução se sistemas lineares. Um protótipo da técnica de projeção é representada no algoritmo a seguir. Algoritmo 2.1. Protótipo do Método de Projeção 1. Sejam a matriz A e os vetores x 0 e b, Do 2. Selecione um par de subespaços K e L 3. Escolha bases V = [v 1,...,v m ] e W = [w 1,...,w m ] para K e L 4. r := b Ax 5. y := (W H AV ) 1 W H r 6. x := x + V y 7. EndDo Proposição 1 Seja o Algoritmo 2.1. Então, existe um operador de projeção P, que projeta o erro e sobre o subespaço K. A matriz que representa tal operador é dada por: P = V (W H AV ) 1 W H A (8) O passo (6) do algoritmo é semelhante à equação (??), tomemos δ = V y. No passo (7) temos y = (W H AV ) 1 W H r, sabendo que r = Ae, onde e é o erro, temos que: y = (W H AV ) 1 W H Ae, (9) e δ = V (W H AV ) 1 W H Ae. (10) Considere P = V (W H AV ) 1 W H A, podemos verificar que P 2 = P, ou seja, P é a projeção dada na Proposição 1. Da equação (??) segue que δ = Pe, por hipótese temos que δ K, então podemos concluir que δ é a projeção do erro e sobre o subespaço K. Para que o Algoritmo 2.1 funcione, devemos ter que a matriz W H AV é invertível. Teorema 2 Sejam A, K e L satisfazendo às condições abaixo: (i) A é positiva definida e K = L ou (ii) A é não-singular e L = AK. Então a matriz W H AV é não-singular para quaisquer bases de V e W de K e L, respectivamente. [?]. 3 Método de Arnoldi 3.1 Subespaço de Krylov Definição 2 O espaço m-dimensional gerado pelo vetor v e pelas potências de A multiplicadas por v até o expoente (m 1), é chamado subespaço de Krylov m-dimensional [?], [?], [?], notamos tal subespaço por K m (A, v). Os métodos iterativos que serão abordados buscam a solução aproximada do sistema Ax = b em um subespaço de Krylov conveniente. Considerando x 0 = 0 a solução inicial, x i a solução aproximada e r i = b Ax i o resíduo, ambos na iteração i, sabemos que: r i = p i (A)r 0. (11) onde p i (A) é um polinômio de grau i. Segue que: x i+1 = i (I A) j r 0 [r 0, Ar 0,...,A i r 0 ] j=0 K i+1 (A, r 0 ). (12) Nessa abordagem o subespaço de Krylov é o conjunto ao qual pertencem as soluções aproximadas de um sistema linear da forma, Ax = b.

4 Vamos obter uma base para esse subespaço. Uma base que deve ser obviamente considerada é: {r 0, Ar 0,...,A i 1 r 0 } K i (A, r 0 ) (13) mas essa base pode não ser muito atrativa sob o ponto de vista numérico. Os vetores A j r 0 apontam mais e mais para a direção do autovetor associado ao maior autovalor, quando j cresce. Com isso, a base dos vetores pode ir se tornando linearmente dependente em aritmética finita. Na próxima seção veremos como construir uma base adequada para um subespaço de Krylov. 3.2 Método de Arnoldi O processo de Arnoldi é um método para se computar uma base ortonormal {v 1, v 2,...,v j } do subespaço de Krylov, K j (A, v 1 ). A ortonormalização admite diferentes procedimentos, um deles é o Gram-Schmidt modificado. Algoritmo 2.2. Algoritmo de Arnoldi 1. v 1 = r0 r for j = 1,...,m 1 3. w j+1 = Av j ; 4. for i = 1,...,j 5. h i,j = vi Tw j+1; 6. w j+1 = w j+1 h i,j v i ; 7. end; 8. h j+1,j = w j+1 2 ; 9. v j+1 = wj+1 h j+1,j ; 10. end. Em termos matriciais, os passos (2) a (7) do Algoritmo 2.2 podem ser escritos como: V H m AV m = H m (14) onde H m é uma matriz de Hessenberg superior, ou seja, são nulos todos os elementos abaixo da primeira subdiagonal (diagonal logo abaixo da diagonal principal). Proposição 2 Seja o Algoritmo 2.2. Então, existe um operador de projeção P, que projeta o vetor Av i sobre o subespaço de Krylov K i (A, v 1 ), onde i = 1,...,m. A matriz que representa tal operador é dada por: P = V V H (15) Consideremos V uma base para o subespaço de Krylov, K m (A, v 1 ). Considerando do passo (2) ao passo (7), teremos: w = Av j h i,j v i (16) i=1 Façamos Av = x e P(x) = j i=1 h i,jv i, mas P(x) pode ser escrita como P(x) = V y. Queremos provar que P é uma projeção, ou seja, P 2 = P. Temos que: w = x V y (17) V H w = V H x V H V y Mas, por hipótese, as colunas de V são ortogonais a w, assim V H w = 0 e temos também que V H V = I, então: y = V H x, como P(x) = V y, temos P = V V H, observe que P 2 = P, logo P é a projeção dada na Proposição 2. Podemos concluir que a projeção P = V V H projeta o vetor Av i sobre o subespaço de Krylov, K i (A, v 1 ), com i = 1,...,m. 4 Métodos de Lanczos O algoritmo simétrico de Lanczos [?], [?], [?], pode ser visto como uma simplificação do método de Arnoldi para o caso particular em que a matriz considerada é simétrica. Quando A é simétrica, então a matriz de Hessenberg H m é uma tridiagonal simétrica. Algoritmo 2.3. Algoritmo de Lanczos 1. Escolha um vetor v 1 tal que v 1 2 = 1. Seja β 1 0,v Para j = 1,2,...,m, Do 3. w j = Av j β j v j 1 4. α j = (w j,v j ) 5. w j = w j α j v j 6. β j+1 = w j 2. Se β j+1 = 0 então Stop 7. v j+1 = wj β j+1 8. EndDo Relacionando o método de Lanczos com a projeção, os resultados são análogos ao método de Arnoldi, sua projeção é dada por P = V V H e

5 projeta o vetor Av i sobre o subespaço de Krylov dado por K i (A, v 1 ), com i = 1,...,m. A particularidade é que a matriz H é tridiagonal, como já vimos anteriormente. Em aritmética exata, o ponto central do algoritmo de Lanczos é a relação da forma: β j+1 v j+1 = Av j α j v j β j v j 1. (18) Nessa recorrência temos três vetores envolvidos, v j 1, v j e v j+1, por isso é chamada recorrência de três termos [?], [?], [?]. Temos que guardar três vetores a cada iteração no Algoritmo de Lanczos, enquanto que no Algoritmo de Arnoldi guardamos todos os vetores da base do subespaço de Krylov calculados até a iteração corrente. Vamos considerar agora a matriz A nãosimétrica. Definição 3 Dois conjuntos de vetores U = {u 1,...,u m } e V = {v 1,...,v m } são ditos biortogonais se: (u i, v j ) = δ ij, onde { 1,se i = j, delta ij = 0,se i j. Na forma matricial temos V H U = I. Não poderemos resolver o sistema Ax = b com uma única recorrência de três termos, mas podemos obter uma base adequada, nãoortogonal, com uma recorrência de três termos, desde que essa base seja bi-ortogonal em relação a alguma outra base dada anteriormente. Vamos construir os conjuntos de vetores, {v 1,...,v i } K i (A, r 0 ) e {w 1,...,w i } K i (A H, ˆr 0 ), partindo de um dos algoritmos de Lanczos(pag. 34 [?]). Algoritmo 2.4. Algoritmo da Bi-Ortogonalização de Lanczos 1. Escolha dois vetores v 1, w 1 tais que (v 1,w 1 ) = 1 2. Sejam β 1 δ 1 0, w 0 v Para j = 1,2,...,m. Do 4. α j = (Av j,w j ) 5. ṽ j+1 = Av j α j v j β j v j 1 6. w j+1 = A H w j α j w j δ j w j 1 7. δ j+1 = (ṽ j+1, w j+1 ) 1/2. If δ j+1 = 0 Stop 8. β i+1 = (ṽ j+1, w j+1 )/δ j+1 9. w j+1 = w j+1 /β j v j+1 = ṽ j+1 /δ j EndDo Nessa formulação cada vetor das duas bases, V e W, têm norma unitária e (v j, w j ) = 1, mas os vetores podem ser também escolhidos de tal forma que (v j, w j ) = d j. Teorema 3 Se não ocorre falha no Algoritmo (2.4) antes de m passos, então: { 1,se i = j, (v i, w j ) =, 1 i, j m. (19) 0,se i j. [?]. A condição de bi-ortogonalidade implica que: V H W = I (20) Proposição 3 Seja o Algoritmo 2.4. Então, existe um operador de projeção P, que projeta o vetor Av i sobre o subespaço de Krylov K i (A, v 1 ), onde i = 1,...,m. A matriz que representa tal operador é dada por: P = V W H (21) Temos também, o operador de projeção Q = P H, que projeta o vetor A H w i sobre o subespaço de Krylov K i (A H, w 1 ), onde i = 1,...,m. A matriz que representa tal operador é dada por: Q = WV H (22) Partindo do passo (5) e fazendo x = Av j e j α jv j β j v j 1 = P(x) = V y, temos: façamos: x = x V y (23) W H x = W H x W H V y (24) como as colunas de W são ortogonais a x e W H V = I, segue que: y = W H x assim P(x) = V W H x. (25) Observe que P 2 = P, assim P é uma projeção e sua matriz associada V W H projeta o vetor Av j sobre o subespaço de Krylov K j = K(A, v 1 ), com, j = 1,...,m. Analogamente podemos mostrar que Q = WV H.

6 5 Gradiente Bi-Conjugado Estabilizado em Bloco Um dos objetivos dos algoritmos em bloco [?], [?], [?] é o de resolver sistemas com múltiplos lados direitos de forma mais eficiente do que os algoritmos que não são em bloco. Nem sempre isso é possível, mas quando a matriz A é densa, ou quando trabalhamos com um précondicionador o método pode ser bem atrativo [?]. Vamos considerar o seguinte sistema: AX = B, (26) onde A é uma matriz real de ordem n n, nãosingular e não-simétrica, B e X são matrizes de ordem n s. O método iterativo toma uma solução X 0 e o resíduo inicial R 0 = B AX 0, com X 0, R 0 R n s. No passo k teremos X k = X 0 + k uma aproximação da solução do sistema (??), onde k K k (A, R 0 ) = [R 0, AR 0,...,A k 1 R 0 ] que é um subespaço de Krylov em Bloco. Vejamos o algoritmo do Gradiente Bi-Conjugado Estabilizado em Bloco [?]: Algoritmo 2.5. Algoritmo do Gradiente Bi-Conjugado Estabilizado em Bloco 1. Sejam X 0 é uma solução inicial e R 0 = B AX 0 o resíduo, ambas matrizes n s e R 0 de posto s. 2. Seja R 0 uma matrix n s arbitrária de posto s. 3. P 0 = R 0, P0 = R Para j = 0,1,... Do 5. α j = ( P H j AP j) 1 RH j R j 6. X j+1 = X j + P j α j 7. R j+1 = R j AP j α j 8. α j = (P H j AH Pj ) 1 R H j R j 9. Rj+1 = R j A H Pj α j 10. β j = ( R H j R j) 1 RH j+1 R j βj = (R H j R j ) 1 R H j+1 R j P j+1 = R j+1 + P j β j 13. Pj+1 = R j+1 + P j βj 14. EndDo Proposição 4 Seja o Algoritmo 2.5. Então, existe um operador de projeção Q, que projeta o erro E sobre o subespaço de Krylov, K = K(A, R 0 ). A matriz que representa tal operador é dada por: Q = V (W H AV ) 1 W H A (27) Observando os passos (6) e (7), podemos reescrevê-los como: ˆX = X + (28) ˆR = R A, (29) com K(A, R 0 ), tomamos = V Y. Por hipótese o resíduo é ortogonal ao subespaço de Krylov, L = (A H, R 0 ), assim: W H ˆR = W H R W H AV Y (30) Mas W H ˆR = 0, assim: Y = (W H AV ) 1 W H R (31) sabemos que o resíduo R é dado por R = AE, onde E é o erro, temos que: e Y = (W H AV ) 1 W H AE, (32) = V (W H AV ) 1 W H AE. (33) Considere Q = V (W H AV ) 1 W H A, podemos verificar que Q 2 = Q, ou seja, Q é uma projeção que projeta o erro sobre o subespaço de Krylov K = K(A, R 0 ). 6 Conclusões Nesse trabalho apresentamos uma diferenciação entre os métodos iterativos baseados no método de Arnoldi e os que são baseados no método de Lanczos Bi-Ortogonal. Para tal, estudamos os algoritmos clássicos sob o enfoque de projeções. Assim, alguns algoritmos foram apresentados de uma nova forma, usando os operadores de projeção implícitos em cada método abordado. Temos como objetivos futuros implementar alguns métodos em bloco, na resolução de sistemas com múltiplos lados direitos e compará-los. Referências [1] H. Dai. Block Bidiagonalization Methods For Solving Nonsymmetric Linear Systems With Multiple Right-Hand Sides. Technical report, 1998.

7 [2] R. Fletcher. Conjugate Gradient Methods for Indefinite Systems. In G. Watson, editor, Proc. of the Dundee Biennial Conference on Numerical Analysis (1975), volume 506 of Lecture Notes in Mathematics, pages Springer Verlag Berlin, Heidelberg, New York, [3] G. H. Golub and D. P. O Leary. Some History of the Conjugate Gradient and Lanczos Algorithms: SIAM Review, 31(1):50 102, [4] A. Greenbaum. Iterative Methods for Solving Linear Systems. SIAM, [5] A. E. Guennouni and K. Jbilou. A Block Version of BICGSTAB for Linear Systems with Multiple Rigth -Hand Sides. ETNA, 16: , [6] A. E. Guennouni, K. Jbilou, and H. Sadok. The block Lanczos method for linear systems with multiple right-hand sides. Applied Numerical Mathematics, 51(2-3): , [7] M. R. Hestenes and E. Stiefel. Methods of Conjugate Gradients for Solving Linear Systems. Journal of Research os the National Bureau of Standards, 49(6): , December [8] I. C. F. Ipsen and C. D. Meyer. The Idea Behind Krylov Methods. American Mathematical Monthly, 105(10): , [13] J. Rice, editor. The block Lanczos method for computing elgenvalues, New York, Academic Press. [14] Y. Saad. Iterative Methods for Sparse Linear Systems. SIAM, 2nd ed. edition, [15] Y. Saad and M. H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM Journal on Scientific and Statistical Computing, 7(3): , [16] J. R. Shewchuk. An Introduction to the Conjugate Gradient Method Without the Agonizing Pain. Technical report, Pittsburgh, PA, USA, [17] P. Sonneveld. CGS, A Fast Lanczos-Type Solver for Nonsymmetric Linear Systems. SIAM Journal on Scientific and Statistical Computing, 10(1):36 52, [18] H. A. van der Vorst. BI-CGSTAB: A Fast and Smoothly Converging Variant of BI- CG for the solution of Nonsymmetric Linear Systems. SIAM Journal on Scientific and Statistical Computing, 13(2): , [19] H. A. van der Vorst. Iterative Krylov Methods for a Large Systems. Cambridge University Press, [9] C. Lanczos. An iterarion method for the solution of the eigenvalue problem of linear differential and integral operators. J. Res. Nat. Bur. Standards, (45): , [10] Lanczos.C. Solution of systems of linear equations by minimized iterations. J. Res. Natl. Bur. Stand, 49:pp , [11] D. O Leary. The block conjugate gradient algorithm and related methods. Linear Algebra and Its Applications, 29: , [12] C. C. Paige and M. A. Saunders. Solution of sparse indefinite systems of linear equations. SIAM J. Numer. Anal., 12: , 1975.