DCC008 - Cálculo Numérico

Transcrição

1 DCC008 - Cálculo Numérico Resolução de Sistemas de Equações Lineares Bernardo Martins Rocha Departamento de Ciência da Computação Universidade Federal de Juiz de Fora bernardomartinsrocha@ice.ufjf.br

2 Conteúdo Introdução Conceitos fundamentais Métodos diretos Sistemas triangulares Eliminação de Gauss Estratégias de Pivoteamento Decomposição LU Decomposição Cholesky e LDL T Usos da decomposição Métodos iterativos Introdução Métodos Iterativos Estacionários Método de Jacobi Método de Gauss-Seidel Análise de Convergência Método SOR 2 / 165

3 Introdução Iremos estudar agora métodos computacionais para resolver um sistema de equações lineares da forma: a 11 x 1 + a 12 x a 1n x n = b 1 a 21 x 1 + a 22 x a 2n x n = b 2.. a m1 x 1 + a m2 x a mn x n = b m onde a ij R, b i R, x j R, i = 1,..., m, j = 1,..., n Chamamos a ij de coecientes, b i são constantes dadas e x j são as variáveis ou incógnitas do problema. 3 / 165

4 Introdução Exemplos de aplicações Em uma vasta gama de problemas de ciências e engenharias a solução de um sistema de equações lineares é necessária. Podemos enumerar diversas áreas e problemas típicos, tais como: Solução de equações diferenciais Solução de EDPs através do método dos elementos nitos, diferenças nitas ou volumes nitos. Solução de EDOs Programação linear Análise de estruturas Sistemas de equações não-lineares Outros métodos numéricos Interpolação, mínimos quadrados, etc. Circuitos elétricos 4 / 165

5 Introdução Tensões em circuito elétrico Calcular as tensões dos nós do circuito elétrico da gura abaixo: Modelagem do problema: Lei de Kirchho: a soma das correntes que passam em cada nó do circuito é nula. Lei de Ohm: a corrente do nó j para o nó k é dada pela equação I jk = V j V k R jk 5 / 165

6 Introdução Tensões em circuito elétrico Nó 1: I A1 + I 21 + I 31 + I 41 = 0 0 V V 2 V V 3 V V 4 V 1 2 = 0 2V 1 + V 2 V 1 + V 3 2 V V 4 2 V 1 2 = 0 4V 1 + 2V 2 + V 3 2V 1 + 2V 4 = 0 6V 1 + 2V 2 + V 3 + V 4 = 0 Nó 2: 3V 1 4V 2 + V 3 = V 1 V 2 V 3 V 4 Nó 3: 3V 1 + 2V 2 13V 2 + 6V 4 = 254 Nó 4: V 1 + 2V 3 3V 4 = 0 6 / 165

7 Introdução Tensões em circuito elétrico V 1 V 2 V 3 V 4 = Usando algum método que iremos estudar, encontramos a solução deste sistema V = ou seja V 1 = 25.7V, V 2 = 31.75V, V 3 = 49.6V e V 4 = 41.6V. 7 / 165

8 Introdução Estruturas Exemplo 1, Capítulo 3, Página, 105, Livro da Ruggiero. Determinar as forças que atuam nesta treliça. Junção 2: Fx = αf 1 + f 4 + αf 5 = 0 Fy = αf 1 f 3 αf 5 = 0 Procedendo de forma análoga para todas as junções obtem-se um sistema linear de 17 equações e 17 variáveis (f 1,..., f 17 ). 8 / 165

9 Conceitos fundamentais Antes de estudar os métodos para solução deste tipo de problema, vamos rever alguns conceitos fundamentais de Álgebra Linear necessários para o desenvolvimento e análise dos métodos. Matrizes Uma matriz é um conjunto de elementos (números reais ou complexos) dispostos de forma retangular. O tamanho ou dimensão é denido pelo seu número de linhas e colunas. Uma matriz com m linhas e n colunas é dita ser m n (m por n) e se m = n, então dizemos que a matriz é quadrada. a 11 a a 1n a 21 a a 2n A = a m1 a m2... a mn Um elemento a ij da matriz é referenciado por 2 índices: o primeiro indica a linha e o segundo a coluna. 9 / 165

10 Conceitos fundamentais Matrizes especiais Matriz coluna e matriz linha Matriz linha: 1 n [ a11 a a 1n ] Matriz nula: Matriz diagonal: Matriz identidade: a ij = 0, d ij = 0, Matriz coluna: n 1 i, j i j a 11 a 21.. a n1 e ij = 1, e ij = 0, i = j i j 10 / 165

11 Conceitos fundamentais Matrizes especiais Matriz triangular inferior: acima da diagonal principal é nula b b ij = 0, i < j, Exemplo: B = b 21 b 22 0 b 31 b 32 b 33 Matriz triangular superior: abaixo da diagonal principal é nula c ij = 0, i > j, Exemplo: C = c 11 c 12 c 13 0 c 22 c c 33 Matriz simétrica: m ij = m ji, i, j 11 / 165

12 Conceitos fundamentais Operações matriciais Transposição A transposta de uma matriz A, denotada por A T, é uma matriz obtida trocando-se as suas linhas pelas colunas. Exemplo: A = , AT = Adição e Subtração Sejam A e B matrizes m n. Então a matriz C é m n e seus elementos são dados por c ij = a ij + b ij, i, j 12 / 165

13 Conceitos fundamentais Operações matriciais Multiplicação por escalar Seja A uma matriz m n e seja k R um escalar qualquer. Então B = ka é tal que b ij = k a ij, i, j Multiplicação matriz-vetor Seja A uma matriz m n e x um vetor n 1, então a multiplicação de A por x é n v = Ax v i = a ij x j, j=1 i = 1, 2,..., m Exemplo [ 1 2 ] = / 165

14 Conceitos fundamentais Operações matriciais Multiplicação matriz-matriz Seja A uma matriz m p e B uma matriz p n. O resultado da multiplicação AB é uma matriz C de tamanho m n. c ij = p a ik b kj, i = 1,..., m, j = 1,..., n k=1 Exemplo: A = [ ], B = C = AB = [ ] 14 / 165

15 Conceitos fundamentais Operações matriciais Produto Interno e Produto Externo O produto interno ou escalar entre dois vetores x e y, ambos de tamanho n resulta em um valor escalar k dado por k = x T y = x 1 y 1 + x 2 y x n y n = n x i y i i=1 O produto externo entre x(m 1) e y(n 1) resulta em uma matriz M de tamanho m n dada por m ij = x i y j, i = 1,..., m, j = 1,..., n Exemplo: x = 5 1 2, y = 1 3 4, x T y = 10, xy T = M = / 165

16 Conceitos fundamentais Operações matriciais Determinante Seja A uma matriz quadrada de ordem n. Então A possui um número associado chamado de determinante, o qual pode ser calculado pela seguinte fórmula: det(a) = a 11 det(m 11 ) a 12 det(m 12 )+...+( 1) n+1 a 1n det(m 1n ) onde M ij é a matriz resultante da remoção da linha i e da coluna j da matriz A. Em particular [ ] a11 a A = [a 11 ] det(a) = a 11, A = 12 det(a) = a a 21 a 11 a 22 a 12 a A = a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 det(a) = a 11 (a 22 a 33 a 32 a 23 ) a 12 (a 21 a 33 a 31 a 23 ) + a 13 (a 21 a 32 a 31 a 22 ) 16 / 165

17 Conceitos fundamentais Operações matriciais Denição (Matriz singular) Uma matriz com det(a) = 0 é dita singular. Por outro lado quando det(a) 0 dizemos que a matriz é não-singular. Denição (Vetores Linearmente Independentes) Um conjunto de vetores x 1, x 2,..., x k é dito ser linearmente independente (LI) se c 1 x 1 + c 2 x c k x k = 0 somente se c 1 = c 2 =... = c k = 0. Caso contrário, isto é, quando c 1, c 2,..., c k não são todos nulos, dizemos que o conjunto de vetores é linearmente dependente (LD). 17 / 165

18 Conceitos fundamentais Operações matriciais Denição (Posto) O posto (ou rank) de uma matriz A de tamanho m n é denido como o número máximo de vetores linhas (ou de vetores colunas) linearmente independentes de A. Escrevemos posto(a) = r e temos que r min (m, n). Denição (Inversa) A inversa de uma matriz A quadrada n n é representada por A 1 e denida de tal forma que AA 1 = A 1 A = I onde I é a matriz identidade de ordem n. A = [ ] [ 3, A 1 = ] 18 / 165

19 Sistemas Lineares Um sistema de equações lineares consiste em um conjunto de m equações polinomiais com n variáveis x i de grau um, isto é a 11 x 1 + a 12 x a 1n x n = b 1 a 21 x 1 + a 22 x a 2n x n = b 2. a m1 x 1 + a m2 x a mn x n = b m o qual pode ser escrito da seguinte forma matricial Ax = b onde a 11 a a 1n x 1 b 1 a 21 a a 2n A = , x = x 2.., b = b 2... a m1 a m2... a mn x n. b m onde A é a matriz dos coecientes, b é o vetor dos termos independentes e x é o vetor solução procurado. 19 / 165

20 Classicação de Sistemas Número de Soluções Vamos considerar apenas sistemas cujas matrizes dos coecientes são quadradas, isto é, onde A R n n. Iremos tratar do caso onde A não é uma matriz quadrada e m > n mais adiante, quando estudarmos mínimos quadrados. Para o sistema Ax = b, temos as seguintes possibilidades quanto ao número de soluções: (a) uma única solução (b) innitas soluções (c) sem solução Vamos analisar cada caso em mais detalhes através de alguns exemplos de sistemas de equações lineares / 165

21 Classicação de Sistemas Caso (a) Única solução x 1 + x 2 = 3 x 1 x 2 = 1 [ ] [ ] 1 1 x1 = 1 1 x 2 [ ] 3 1 x = [ ] / 165

22 Classicação de Sistemas Caso (b) Innitas Soluções x 1 + x 2 = 1 2x 1 + 2x 2 = 2 [ ] [ ] 1 1 x1 = 2 2 x 2 [ ] 1 2 x = [ ] 1 θ θ x + y = 1 2x + 2y = / 165

23 Classicação de Sistemas Caso (c) Sem Solução x 1 + x 2 = 1 x 1 + x 2 = 4 x tal que Ax = b 8 6 x + y = 1 x + y = / 165

24 Existência e unicidade da solução A equação Ax = b possui uma única solução se e somente se a matriz A for não-singular. O Teorema a seguir, caracteriza a não-singularidade da matriz A. Teorema Seja A uma matriz quadrada n n. As seguintes armações são equivalentes: a) A 1 existe b) Não existe y não-zero tal que Ay = 0. Ou seja, a única solução do sistema homogêneo é y = 0. c) posto(a) = n d) det(a) 0 e) Dado qualquer vetor b, existe exatamente um vetor x tal que Ax = b (ou x = A 1 b). Prova Livro texto de Álgebra Linear. 24 / 165

25 Existência e unicidade da solução De fato, para os exemplos anteriores, temos Caso (a) ([ ]) 1 1 det = 1 1 = 2 0 OK, solução única 1 1 Caso (b) det ([ ]) 1 1 = 2 2 = Caso (c) det ([ ]) 1 1 = 1 1 = / 165

26 Métodos para solução de sistemas lineares Iremos estudar agora diversos métodos numéricos para a solução de sistemas de equações lineares. Vamos considerar que A é quadrada e não-singular. Os métodos de solução de sistemas lineares geralmente envolvem a conversão de um sistema quadrado em um sistema triangular que possui a mesma solução que o original. Inicialmente, vamos estudar como resolver sistemas lineares triangulares inferiores e superiores. 26 / 165

27 Sistema triangular inferior Considere um sistema triangular inferior de ordem n dado por l x 1 b 1 l 21 l x = b 2... l n1 l n2 l n3... l nn x n b n A solução deste sistema é feita através de um procedimento chamado de substituição (ou substituições sucessivas): l 11 x 1 = b 1 x 1 = b 1 l 11 l 21 x 1 + l 22 x 2 = b 2 x 2 = b 2 l 21 x 1 l 22. l n1 x 1 + l n2 x l nnx n = b n x n = bn l n1x 1 l n2 x 2... l nn 1 x n 1 l nn 27 / 165

28 Sistema triangular inferior De forma geral para Lx = b temos / i 1 x i = b i l ij x j j=1 l ii i = 1,..., n Exemplo x x x 3 = x Solução 2x 1 = 4 x 1 = 2 3x 1 + 5x 2 = 1 x 2 = = 1 x 1 6x 2 + 8x 3 = 48 x 3 = = 5 x 1 + 4x 2 3x 3 + 9x 4 = 0 x 4 = = / 165

29 Sistema triangular inferior Algoritmo entrada: L R n n, b R n saída: x R n x(1) = b(1) / L(1,1); para i=2,..., n faça s = b(i); para j=1,..., i-1 faça s = s - L(i,j) * x(j); m-para x(i) = s/l(i,i); m-para 29 / 165

30 Sistema triangular superior O algoritmo análogo para o caso de um sistema triangular superior Ux = b é chamado de retro-substituição (ou substituições retroativas). u 11 u 12 u u 1n x 1 b 1 e assim temos 0 u 22 u u 2n u nn u nnx n = b n x n = bn u nn x 2.. x n = b 2... u n 1n 1 x n 1 + u n 1n x n = b n 1 x n 1 = b n 1 u n 1n x n u n 1n 1. u 11 x 1 + u 12 x u 1n x n = b 1 x 1 = bn u 12x 1 u 13 x 3... u 1n x n u 11 b n 30 / 165

31 Sistema triangular superior De forma geral para Ux = b temos / n x i = b i u ij x j u ii i = n,..., 1 j=i+1 Exemplo x x 2 = x 3 8 Solução 4x 3 = 8 x 3 = 2 x 2 + x 3 = 4 x 2 = 2 2x 1 + 4x 2 2x 3 = 2 x 1 = = 2 2 = 1 31 / 165

32 Sistema triangular superior Algoritmo entrada: U R n n, b R n saída: x R n x(n) = b(n)/u(n,n); para i=n-1,..., 1 faça s = b(i); para j=i+1,..., n faça s = s - U(i,j) * x(j); m-para x(i) = s/u(i,i); m-para 32 / 165

33 Complexidade Computacional Muitas vezes precisamos medir o custo de execução de um algoritmo. Para isso usualmente denimos uma função de complexidade que pode ser uma medida do tempo para o algoritmo resolver um problema cuja instância de entrada tem tamanho n (ou medir por exemplo o quanto de memória seria necessário para execução). A complexidade de um algoritmo para solução de um sistema linear de ordem n é medida através do número de operações aritméticas como adição, multiplicação e divisão. Lembrando que n i = i=1 n(n + 1) 2 33 / 165

34 Complexidade Computacional Substituição: Divisão: n n n 1 Adição: (i 1) = i = i=2 Multiplicação: i=1 n(n 1) 2 n n 1 (i 1) = i = i=2 i=1 n(n 1) 2 No total o algoritmo de substituição para sistemas triangulares inferiores realiza n + n(n 1) 2 + n(n 1) 2 = n + n 2 n = n 2 operações de ponto utuante. 34 / 165

35 Complexidade Computacional Retro-substituição: Divisão: n Adição: n 1 (n i) = n(n 1) i=1 Multiplicação: n(n 1) 2 n 1 (n i) = n(n 1) i=1 = n(n 1) 2 n(n 1) 2 No total o algoritmo de retro-substituição para sistemas triangulares superiores realiza = n(n 1) 2 n + n(n 1) 2 + n(n 1) 2 = n + n 2 n = n 2 operações de ponto utuante. 35 / 165

36 Métodos para solução de sistemas lineares Existem dois tipos de métodos para a solução de sistemas de equações lineares: Métodos diretos Os métodos diretos são aqueles que conduzem à solução exata após um número nito de passos a menos de erros de arredondamento introduzidos pela máquina. Métodos iterativos São aqueles que se baseiam na construção de sequências de aproximações. Em um método iterativo, a cada passo, os valores calculados anteriormente são usados para melhorar a aproximação. É claro que o método só será útil se a sequência de aproximações construídas convergir para uma solução aproximada do sistema. 36 / 165

37 Eliminação de Gauss O primeiro método direto que iremos estudar é o método da eliminação de Gauss. A idéia fundamental do método é transformar a matriz A em uma matriz triangular superior introduzindo zeros abaixo da diagonal principal, primeiro na coluna 1, depois na coluna 2 e assim por diante. x x x x x x x x x x x x x x x x x x x x x x x x 0 x x x 0 x x x 0 x x x 0 0 x x 0 x x x 0 0 x x x x x x 0 x x x 0 0 x x x Por m, usa-se a retro-substituição para obter a solução do sistema triangular superior obtido ao nal dessa etapa de eliminação. 37 / 165

38 Eliminação de Gauss Na eliminação de Gauss, as operações efetuadas para se obter a matriz triangular superior são tais que a matriz triangular obtida possui a mesma solução que o sistema original. Denição (Sistema equivalente) Dois sistemas de equações lineares são equivalentes quando possuem o mesmo vetor solução. Um sistema pode ser transformado em um outro sistema equivalente utilizando as seguintes operações elementares: trocar a ordem de duas equações multiplicar uma equação por uma constante não-nula somar um múltiplo de uma equação à outra 38 / 165

39 Eliminação de Gauss Exemplo 3x 1 + 5x 2 = 9 6x 1 + 7x 2 = 4 Podemos subtrair da linha 2 um múltiplo da linha 1, isto é L 2 = L 2 2L 1 Efetuando esta operação obtemos o sistema equivalente 3x 1 + 5x 2 = 9 3x 2 = / 165

40 Eliminação de Gauss Vamos primeiro estudar um exemplo simples para posteriormente generalizar a idéia. Exemplo Seja o sistema Solução x 1 + x 3 = 0 x 1 + x 2 = 1 2x 1 + 3x 2 + x 3 = x x 2 = x 3 1 Como podemos eliminar os coecientes abaixo da diagonal principal na primeira coluna? L 2 = L 2 L 1 L 3 = L 3 2L / 165

41 Eliminação de Gauss Exemplo - (cont.) Precisamos agora de eliminar os coecientes abaixo da diagonal na segunda coluna (a 32 ). Como? L 3 = L 3 3L Agora podemos usar a retro-substituição para encontrar facilmente a solução deste sistema: 2x 3 = 2 x 3 = 1 x 2 x 3 = 1 x 2 = 1 + x 3 = 1 1 = 0 x 1 + x 3 = 0 x 1 = x 3 = 1 Encontramos assim a solução: x T = [ ] 41 / 165

42 Conteúdo Aula passada Conceitos fundamentais Sistemas triangulares Eliminação de Gauss Aula de hoje Eliminação de Gauss Estratégias de Pivoteamento Decomposição LU 42 / 165

43 Revisitando a Eliminação de Gauss Resolver o seguinte sistema x x 2 = x 3 9 Passo 1 m 21 = a 21 a 11 = 4/2 = 2 L 2 = L 2 2L 1 m 31 = a 31 a 11 = 2/2 = 1 L 3 = L 3 + L / 165

44 Revisitando a Eliminação de Gauss Passo m 32 = a 32 a 22 = 8/ 8 = 1 L 3 = L 3 + L Próxima etapa: resolver o sistema triangular superior obtido usando o algoritmo de retro-substituição. 44 / 165

45 Eliminação de Gauss De forma geral a 11 a 12 a a 1n b 1 a 21 a 22 a a 2n b a n1 a n2 a n3... a nn b n Passo 1 (k=1): eliminamos os elementos abaixo da diagonal principal na primeira coluna. Suponha que a Então: m 21 = a 21 /a 11 m 31 = a 31 /a 11. m n1 = a n1 /a 11 ou seja m i1 = a i1 /a 11, i = 2 : n Notação: i = 2 : n i = 2, 3,..., n 45 / 165

46 Eliminação de Gauss Agora, multiplicamos a 1 a equação por m i1 e subtraimos da i-ésima equação, isto é Para i = 2 : n a (1) ij = a (0) ij m i1 a (0) 1j b (1) i = b (0) i m i1 b (0) 1, j = 1 : n Observe que não alteramos a primeira linha, pois i = 2 : n, logo esta permanece inalterada: a (1) 1j = a(0) 1j = a 1j, b (1) 1 = b (0) 1 = b 1 Após essa etapa zeramos todos os elementos abaixo da diagonal principal na 1 a coluna. a 11 a 12 a a 1n b 1 0 a 1 22 a a 1 2n b a 1 32 a a 1 3n b a 1 n2 a 1 n3... a 1 nn b 1 n 46 / 165

47 Eliminação de Gauss Passo 2 (k=2): consiste em introduzir zeros abaixo da diagonal principal na 2 a coluna. Suponha a Denimos m i2 = a i2 /a 22, i = 3 : n e assim para i = 3 : n a (2) ij = a (1) ij m i2 a (1) 2j b (2) i = b (1) i m i2 b (2) 1, j = 2 : n o que resulta em a 11 a 12 a a 1n b 1 0 a 1 22 a a 1 2n b a a 2 3n b a 2 n3... a 2 nn b 2 n 47 / 165

48 Eliminação de Gauss Passo 3, Passo 4,... Passo k: Considerando a kk 0, temos m ik = a ik /a kk, i = k + 1 : n e assim fazemos para i = k + 1 : n a (k) ij b (k) i = a (k 1) ij = b (k 1) i m ik a (k 1) kj m ik b (k 1) k, j = k : n Observe novamente que não alteramos as linhas de 1 a k. 48 / 165

49 Eliminação de Gauss No processo de eliminação os elementos a 11, a (1) 22, a(2) 33,..., a(k 1) kk que aparecem na diagonal da matriz A são chamados de pivôs. Se os pivôs não se anulam, isto é, se a kk 0, k = 1 : n, durante o processo, então a eliminação procede com sucesso e por m chegamos ao seguinte sistema triangular superior a 11 a 12 a a 1n 1 a 1n b 1 0 a 1 22 a a 1 2n 1 a 1 2n b a a 2 3n 1 a 2 3n b a n 1 nn b n 1 n Em seguida resolvemos esse sistema usando retro substituição. 49 / 165

50 Eliminação de Gauss Algoritmo entrada: matriz A R n n, vetor b R n saída: vetor solução x R n para k = 1 : n 1 faça para i = k + 1 : n faça m = A(i,k) / A(k,k); para j = k + 1 : n faça A(i,j) = A(i,j) - m * A(k,j); m-para b(i) = b(i) - m * b(k); m-para m-para x = retrosubstituicao(a,b); retorna x; 50 / 165

51 Eliminação de Gauss Complexidade Computacional Novamente vamos contabilizar o número de operações aritméticas de ponto utuante que são realizadas pelo algoritmo. Para contar o número de operações realizadas na eliminação de Gauss, vamos dividir o processo nas seguintes etapas: (1) A U: o processo de transformar a matriz A em uma matriz triangular superior U (2) b g: modicações no vetor b (3) Resolver Ux = g usando retro-substituição Já vimos que o número de operações deste algoritmo é n 2 No que segue iremos usar n i = i=1 n(n + 1) 2 n i 2 = i=1 n(n + 1)(2n + 1) 6 51 / 165

52 Eliminação de Gauss Complexidade Computacional (1) A U Divisões ( n 1 n ) n 1 1 = (n k) k=1 i=k+1 k=1 n 1 = n(n 1) k = n(n 1) = n(n 1) 2 k=1 n(n 1) 2 52 / 165

53 Eliminação de Gauss Complexidade Computacional (1) A U Adições n 1 n k=1 i=k+1 n j=k+1 Multiplicações ( n 1 n ) 1 = (n k) k=1 i=k+1 n 1 = (n k)(n k) k=1 n 1 = (n 2 2kn + k 2 ) k=1 = n 2 (n 1) 2n n(n 1) 2 + (n 1)(n 1+1)(2n 2+1) 6 n(n 1)(2n 1) = 6 n(n 1)(2n 1) 6 53 / 165

54 Eliminação de Gauss Complexidade Computacional (2) b g Adições Multiplicações ( n 1 n ) n 1 1 = (n k) k=1 i=k+1 k=1 n 1 = n(n 1) k = n(n 1) = n(n 1) 2 n(n 1) 2 k=1 n(n 1) 2 54 / 165

55 Eliminação de Gauss Complexidade Computacional (Total) Em cada etapa temos (1) 2 3 n3 n2 2 n 6 (2) n 2 n Assim nas etapas (1) e (2) temos um total de 2 3 n3 + n n. Considerando que na etapa de retro-substituição (3) temos n 2 operações, no total o algoritmo de eliminação de Gauss realiza um total de 2n n2 2 7n 6 } {{ } eliminação + }{{} n 2 = 2n n2 2 7n 6 retro-substituição 55 / 165

56 Eliminação de Gauss Para um valor de n muito grande, o algoritmo realiza aproximadamente 2 3 n3 operações de ponto utuante. Exemplo Se um sistema linear tem tamanho n = 100, então: resolver o sistema triangular: = operações eliminação de gauss: operações Ou seja, nesse exemplo, a eliminação de Gauss é 68 mais lenta que a solução de um sistema triangular!!! 56 / 165

57 Eliminação de Gauss Mas, e se na etapa k da eliminação de Gauss, o pivô for zero? Isso signica que a kk = 0, e assim, teríamos m ik = a ik a kk divisão por zero! Nesse caso, se um pivô for zero, o processo de eliminação tem que parar, ou temporariamente ou permanentemente. O sistema pode ou não ser singular. Se o sistema for singular, i.e, det(a) = 0, e portanto como vimos o sistema não possui uma única solução. Veremos agora um caso que a matriz não é singular e podemos resolver esse problema. 57 / 165

58 Estratégia de Pivoteamento Vamos ilustrar a idéia do pivoteamento através de um exemplo. Considere a seguinte matriz A = Vamos proceder com a eliminação de Gauss. m 21 = 2, a 1 2j = a 0 2j 2 a 0 1j m 31 = 4, a 1 3j = a 0 3j 4 a 0 1j, j = 1 : 3 Então obtemos / 165

59 Estratégia de Pivoteamento No próximo passo, o pivô é a 22 e usamos ele para calcular m 32. Entretanto m 32 = a 32 a 22 = 2 0 Divisão por zero! E agora, o que podemos fazer? Podemos realizar uma operação elementar de troca de linhas. Como vimos este tipo de operação quando realizado em um sistema, não altera a solução. Sendo assim, vamos trocar as linhas 2 e E assim chegamos a um sistema triangular superior, cuja solução pode ser obtida usando a retro-substituição. 59 / 165

60 Estratégia de Pivoteamento A estratégia de pivoteamento é importante pois: evita a propagação de erros numéricos nos fornece meios de evitar problemas durante a eliminação de Gauss quando o pivô a kk no passo k é igual a zero e precisamos calcular o multiplicador m ik = a ik a kk Assim, através da troca de linhas, podemos encontrar uma linha de tal forma que o novo pivô é não-zero, permitindo que a eliminação de Gauss continue até obter uma matriz triangular superior. Temos duas possibilidades: pivoteamento parcial pivoteamento total 60 / 165

61 Pivoteamento Parcial No pivoteamento parcial, em cada passo k, o pivô é escolhido como o maior elemento em módulo abaixo de a kk (inclusive), isto é Encontrar r tal que: a rk = max a ik, k i n Feita a escolha do pivô, trocamos as linhas r e k e o algoritmo procede. Isso evita a propagação de erros numéricos, pois: O pivoteamento parcial garante que m ik 1 Se a kk for muito pequeno, consequentemente m ik será muito grande. Dessa forma, após a multiplicação por m ik podemos ampliar erros de arredondamento envolvidos no processo. Também evitamos o erro que pode ser causado quando somamos um número pequeno com um número grande. 61 / 165

62 Pivoteamento Parcial Exemplo Aplique a eliminação de Gauss com pivoteamento parcial no seguinte sistema: A cada passo k: encontrar o pivô do passo k se necessário, trocar as linhas calcular multiplicador m ik para i = k + 1 : n, calcular a (k) ij b (k) i = a (k 1) ij = b (k 1) i m ik a (k 1) kj m ik b (k 1) k, j = k : n 62 / 165

63 Pivoteamento Parcial Exemplo - (cont.) Passo 1 Escolha do pivô: max {2, 4, 2} = 4. Trocar as linhas 1 e m 21 = 2/4 = 1/2 a 1 2j = a 0 2j 1 2 a0 1j m 31 = 2/4 = 1/2 a 1 3j = a 0 3j a0 1j, j = 1 : / 165

64 Pivoteamento Parcial Exemplo - (cont.) Passo 2 Escolha do pivô: max { 1 2, 3 2 } = 3 2. Trocar as linhas 2 e m 32 = = 1 3 a 2 3j = a 1 3j a1 2j, j = 2 : / 165

65 Pivoteamento Parcial Exemplo - (cont.) Retro-substituição x 3 = 8 3 x 3 = x = 14 x 2 = 2 4x 1 + 9(2) 3(2) = 8 x 1 = 1 Portanto a solução é x T = [ 1, 2, 2]. 65 / 165

66 Pivoteamento Parcial Exemplo (efeitos numéricos) Considere o seguinte sistema: [ ] [ x1 x 2 ] = [ 1 2 ] Usando um sistema de ponto utuante F (10, 3, 10, 10) (sistema decimal com 3 dígitos na mantissa), com arredondamento, encontre a solução do sistema usando eliminação de Gauss sem pivoteamento. Solução Temos que m 21 = = L 2 = L L 1 66 / 165

67 Pivoteamento Parcial Solução (efeitos numéricos) - Cont. [ Note que ( ) foi obtido como = = e de forma análoga para ( ), temos = (arredondando) = = = = (arredondando) = ] 67 / 165

68 Pivoteamento Parcial Solução (efeitos numéricos) - Cont. Por m, aplicando a retrosubstituição obtemos uma solução errada, devido aos erros de aritmética em ponto utuante cometidos em ( ) e ( ) durante a soma/subtração de números muito pequenos com números muito grandes. A solução exata é dada por Solução obtida x T = [ 0 1 ] Solução exata x T = [ ] 68 / 165

69 Pivoteamento Parcial Se durante o processo de eliminação com pivoteamento parcial no passo k não houver nenhuma entrada não-zero abaixo de a kk na coluna k, como no exemplo abaixo (depois do passo 1): x x x x x 0 0 x x x 0 0 x x x 0 0 x x x 0 0 x x x então: podemos seguir para o próximo passo e completar a eliminação entretanto a matriz triangular superior U resultante do processo possui um zero na diagonal principal, o que implica que det U = 0 U é singular A é singular 69 / 165

70 Pivoteamento Parcial Algoritmo para k = 1 : n 1 faça w = A(k,k) ; para j = k : n faça se A(j,k) > w então w = A(j,k) ; r = j; m-se m-para trocalinhas(k,r); para i = k + 1 : n faça m = A(i,k) / A(k,k); para j = k + 1 : n faça A(i,j) = A(i,j) - m*a(k,j) ; m-para b(i) = b(i) - m*b(k) ; m-para m-para 70 / 165

71 Pivoteamento Total Na estratégia de pivoteamento total, o elemento escolhido como pivô é o maior elemento em módulo que ainda atua no processo de eliminação, isto é: Encontrar r e s tais que: a rs = max a ij, k i, j n Feita a escolha do pivô é preciso trocar as linhas k e r e as colunas k e s. Observe que a troca de colunas afeta a ordem das incógnitas do vetor x. Em geral o pivoteamento parcial é satisfatório, e o pivoteamento total não é muito usado devido ao alto esforço computacional requerido na busca pelo maior elemento em módulo no resto da matriz. 71 / 165

72 Estratégias de Pivoteamento Pivoteamento Parcial Pivoteamento Total maior elemento em valor absoluto maior elemento em valor absoluto 72 / 165

73 Decomposição LU Uma matriz quadrada pode ser escrita como o produto de duas matrizes L e U, onde L é uma matriz triangular inferior unitária (com elementos da diagonal principal igual a 1) U é uma matriz triangular superior Ou seja, a matriz pode ser escrita como A = LU Dessa forma para resolver o sistema linear Ax = b usamos A em sua forma decomposta, isto é Ax = b LUx = b Então denimos Ux = y 73 / 165

74 Decomposição LU Assim para resolver fazemos L }{{} Ux = b y Ly = b Ux = y isto é, temos os seguintes passos: 1. Como L é triangular inferior podemos resolver Ly = b facilmente usando o algoritmo de substituição. Assim encontramos o vetor y. 2. Em seguida substituimos y no sistema Ux = y. Como U é uma matriz triangular superior, podemos resolver este sistema usando o algoritmo da retro-substituição para encontrar a solução x. Vamos ver agora em que condições podemos decompor uma matriz A na forma LU. 74 / 165

75 Decomposição LU Teorema (LU) Sejam A = (a ij ) uma matriz quadrada de ordem n e A k o menor principal, constituído das k primeiras linhas e k primeiras colunas de A. Assumimos que det(a k ) 0 para k = 1, 2,..., n 1. Então existe: uma única matriz triangular inferior L = (l ij ) com l ii = 1, i = 1 : n uma única matriz triangular superior U = (u ij ) tal que A = LU. Além disso, det(a) = u 11 u u nn. Prova (Neide, Página 123) Usa indução matemática. 75 / 165

76 Decomposição LU Prova (i) Para n = 1 temos a 11 = 1 a 11 = 1 u 11 u 11 = a 11, l 11 = 1 e ainda det(a) = u 11. (ii) Assumimos que o teorema é verdadeiro para n = k 1, ou seja, que toda matriz de ordem (k 1) é decomponível no produto LU. (iii) Vamos mostrar que podemos decompor A para n = k. Seja A de ordem k, escrita da forma [ ] Ak 1 r A = s Por hipótese de indução temos que a kk (1) A k 1 = L k 1 U k 1 (2) 76 / 165

77 Decomposição LU Prova (cont.) Usando (2) temos A = LU L = [ ] [ ] Lk 1 0 Uk 1 p, U = m 1 0 u kk onde m, p e u kk são desconhecidos. Efetuando o produto temos [ ] Lk 1 U LU = k 1 L k 1 p (3) mu k 1 mp + u kk Comparando (1) e (3) [ ] [ ] Ak 1 r Lk 1 U A = = k 1 L k 1 p s a kk mu k 1 mp + u kk 77 / 165

78 Decomposição LU Prova (cont.) Assim A k 1 = L k 1 U k 1 r = L k 1 p s = mu k 1 mp + u kk = a kk Observe que pela hip. de indução L k 1 e U k 1 são unicamente determinadas e ainda, L k 1 e U k 1 não são singulares, caso contrário A k 1 também seria, contrariando a hipótese 78 / 165

79 Decomposição LU Prova (cont.) Portanto r = L k 1 p p = L 1 k 1 r s = mu k 1 m = su 1 k 1 mp + u kk = a kk u kk = a kk mp Ou seja, m, p e u kk são determinados unicamente nesta ordem e, portanto, L e U são determinados unicamente. Finalmente det(a) = det(l)det(u) = 1 det(u) = u 11 u u nn 79 / 165

80 Decomposição LU Obtenção das matrizes L e U Podemos obter as matrizes L e U aplicando a denição de produto e igualdade de matrizes, ou seja, impondo que A seja igual a LU, onde L é triangular inferior unitária e U triangular superior. Então u 11 u 12 u u 1n l u 22 u u 2n LU = l 31 l u u 3n l n1 l n2 l n u nn Vamos obter os elementos de L e U da seguinte forma: 1 a linha de U 1 a coluna de L 2 a linha de U 2 a coluna de L / 165

81 Decomposição LU Obtenção das matrizes L e U 1 a linha de U a 11 = 1 u 11 u 11 = a 11 a 12 = 1 u 12 u 12 = a a 1n = 1 u 1n u 1n = a 1n 1 a coluna de L a 21 = l 21 u 11 l 21 = a 21 u 11 a 31 = l 31 u 11 l 31 = a 31 u a n1 = l n1 u 11 l n1 = a n1 u / 165

82 Decomposição LU Obtenção das matrizes L e U 2 a linha de U a 22 = l 21 u u 22 u 22 = a 22 l 21 u 12 a 23 = l 21 u u 23 u 23 = a 23 l 21 u a coluna de L a 2n = l 21 u 1n + 1 u 2n u 2n = a 2n l 21 u 1n a 32 = l 31 u 12 + l 32 u 22 l 32 = a 32 l 31 u 12 u 22 a 42 = l 41 u 12 + l 42 u 22 l 42 = a 42 l 41 u 1 u a n2 = l n1 u 12 + l n2 u 22 l n2 = a n2 l n1 u 12 u / 165

83 Decomposição LU Obtenção das matrizes L e U De forma geral temos i 1 u ij = a ij l ik u kj, k=1 i j ( ) j 1 l ij = a ij l ik u kj /u jj, i > j k=1 83 / 165

84 Decomposição LU Obtenção das matrizes L e U para i = 1 : n faça para j = i : n faça u ij = a ij i 1 k=1 l ik u kj ; m-para para j = i + 1 : n faça ( l ij = a ij / ) j 1 k=1 l ik u kj u jj ; m-para m-para Observação: na prática as matrizes L e U nunca são criadas e alocadas explicitamente. O que fazemos é sobrescrever as entradas da matriz original A com as entradas de L e U. 84 / 165

85 Decomposição LU Via eliminação de Gauss O método da eliminação de Gauss pode ser interpretado como um método para obtenção das matrizes L e U. No processo da EG no passo 1, eliminamos as entradas abaixo de a 11 na coluna 1 da matriz fazendo Para i = 2 : n m i1 = a i1 a 11 a 1 ij = a 0 ij m i1 a 0 1j b 1 i = b 0 i m i1 b 0 1, j = 1 : n essa operação é equivalente a multiplicar (A b) 0 por uma matriz M 1, para obter (A b) 1, onde m M 1 = m m n / 165

86 Decomposição LU Assim a 11 a a 1n b 1 m a 21 a a 2n b 2 M 1 (A b) 0 = m a 31 a a 3n b m n a n1 a n2... a nn b n a 11 a a 1n b 1 0 a a 1 2n b 1 2 = 0 a a 1 3n b 1 3 = (A b) a 1 n2... a 1 nn b 1 n 86 / 165

87 Decomposição LU No passo seguinte temos (A b) 2 = M 2 (A b) a 11 a a 1n b a a 1 2n b 1 2 M 2 (A b) 1 = 0 m a a 1 3n b m n a 1 n2... a 1 nn b 1 n a 11 a a 1n b 1 0 a a 1 2n b 1 2 = a 2 3n b 2 3 = (A b) a 2 nn b 2 n 87 / 165

88 Decomposição LU Procedemos dessa forma, até que por m temos (A b) (n 1) = M n 1 (A b) (n 2) Deste modo temos =... = M n 1 M n 2... M 2 M }{{ 1 (A b) (0) } M A (n 1) = MA = U onde U é a matriz triangular superior da decomposição LU. Como M é um produto de matrizes não-singulares, M é inversível, isto é, Portanto M = M n 1 M n 2... M 2 M 1 M 1 = M 1 1 M M 1 n 2 M 1 n 1 MA = U A = M}{{ 1 } U L 88 / 165

89 Decomposição LU MA = U A = } M{{ 1 } U L onde m M 1 = L = m 31 m m n1 m n2 m n é a matriz triangular inferior da decomposição LU. 89 / 165

90 Decomposição LU Exemplo 1 Decomponha a matriz A dada abaixo nos fatores L e U, usando a eliminação de Gauss A = Solução do Exemplo A = = }{{}}{{} L U 90 / 165

91 Decomposição LU Exemplo 2 Resolva o seguinte sistema linear: x x 2 = x 3 0 Solução do Exemplo A = LU = , x = / 165

92 Decomposição LU Cálculo do Determinante Veremos como utilizar a decomposição A = LU para calcular o determinante da matriz. det(a) = det(l)det(u) O determinante de uma matriz triangular é dado pelo produto dos elementos da diagonal principal, isto é Portanto det(l) = 1 det(u) = u 11 u 22 u u nn det(a) = det(l) det(u) = 1 det(u) = u 11 u 22 u u nn 92 / 165

93 Decomposição LU Cálculo do Determinante Exemplo 2 Para o exemplo anterior, temos A = Portanto o determinante é det(a) = 1 ( 1) 2 = 2 93 / 165

94 Decomposição LU com Pivoteamento Parcial Vamos estudar agora o uso de pivoteamento parcial para a decomposição LU. Para denir o que signica, de forma matricial, a troca de duas linhas de uma matriz, iremos apresentar o conceito de matrizes de permutação. Uma matriz de permutação é uma matriz obtida a partir da matriz identidade através de uma reordenação de suas linhas, isto é P = Portanto se P é uma matriz de permutação e A uma matriz qualquer, então PA é uma versão da matriz A com as linhas permutadas AP é uma versão da matriz A com as colunas permutadas 94 / 165

95 Decomposição LU com Pivoteamento Parcial Na prática (implementação) uma matriz de permutação P de dimensão n n nunca é armazenada explicitamente. É muito mais eciente representar P por um vetor p de valores inteiros de tamanho n. Uma forma de implementar isso é fazer com que p[k] seja o índice da coluna que tem apenas um "1"na k-ésima linah de P. Para o exemplo anterior p = [3 2 1] Para aplicar a estratégia de pivoteamento parcial nos exercícios, basta trocar efetivamente as linhas da matriz. Vejamos um exemplo. 95 / 165

96 Decomposição LU com Pivoteamento Parcial Para resolver Ax = b, segue-se o procedimento: Calcular P, L e U tal que PA = LU Atualizar vetor b = Pb Resolver Ly = b Resolver Ux = y Dicas para calcular L e U via eliminação de Gauss com pivoteamento: se trocar linhas, atualizar o vetor p; guardar os multiplicadores da eliminação de Gauss na posição que foi zerada, ao invés de colocar os zeros. 96 / 165

97 Decomposição LU com Pivoteamento Parcial Exemplo 3 Resolver o sistema linear abaixo usando a decomposição LU com pivoteamento parcial x x 2 = x 3 2 Solução do Exemplo L = , U = , p = [ ] x T = [ ] 97 / 165

98 Decomposição LU com Pivoteamento Parcial Solução do Exemplo 3 - Passo a passo Etapa , p = [ ] Troca as linhas 1 e 3 e atualiza vetor p , p = [ ] Elimina e guarda os multiplicadores nas suas posições (em azul): /4 2 11/4, p = [ ] 3/4 4 13/4 98 / 165

99 Decomposição LU com Pivoteamento Parcial Solução do Exemplo 3 - Passo a passo Etapa /4 2 11/4, p = [ ] 3/4 4 13/4 Troca as linhas 2 e 3 e atualiza vetor p /4 4 13/4, p = [ ] 1/4 2 11/4 Elimina e guarda os multiplicadores nas suas posições (em azul): /4 4 13/4, p = [ ] 1/4 1/2 35/8 99 / 165

100 Decomposição LU com Pivoteamento Parcial Solução do Exemplo 3 - Passo a passo Resultado /4 4 13/4, p = [ ] 1/4 1/2 35/8 Decomposição PA = LU: P = 1 0 0, A = L = 3/4 1 0, U = /4 1/4 1/ /8 100 / 165

101 Decomposição LU com Pivoteamento Parcial Solução do Exemplo 3 Para resolver P Ax = P b LUx = P b, dene-se Ux = y e então: 1. Resolva Ly = P b 2. Resolva Ux = y Procedendo desta forma, chega-se em L = , U = , p = [ ] x T = [ ] 101 / 165

102 Conteúdo Aula passada Eliminação de Gauss Estratégias de Pivoteamento Decomposição LU Aula de hoje Decomposição de Cholesky Decomposição LDL T Cálculo da Matriz Inversa Sistema com Matriz Singular 102 / 165

103 Revisitando algumas denições Denição (Matriz Simétrica) Uma matriz real A R n n é simétrica se possui as mesmas entradas acima e abaixo da diagonal principal, isto é, se a ij = a ji, i, j Portanto A = A T. Tais matrizes satisfazem a seguinte relação x T Ay = y T Ax, x, y R n Denição (Matriz Positiva Denida) Se a matriz A é simétrica, então é dita ser positiva denida se x T Ax > 0, x / 165

104 Revisitando algumas denições Matriz Positiva Denida: de imediato verica-se que se A é não singular, caso contrário haveria um x diferente de zero tal que Ax = 0. Além disso, escolhendo vetores escritos na forma x T = [ x 1 x 2... x k ] podemos vericar que todas as matrizes menores principais (A k ) são positivas denidas, portanto não singular (det(a k ) 0) e consequentemente podemos decompor A na forma A = LU. Na prática muitas matrizes que surgem em aplicações de engenharias e ciências são simétricas e positiva denidas, devido a leis físicas que estão por trás da origem dessas matrizes. 104 / 165

105 Testes para matrizes positivas denidas 1. Critério de Sylvester: uma matriz A R n n é positiva denida, se e somente se det(a k ) > 0, k = 1, 2,..., n onde A k é a matriz menor principal de ordem k (a matriz k k formada pelas k primeiras linhas e pelas k primeiras colunas). 2. Se realizarmos a eliminação de Gauss sem troca de linha ou coluna na matriz A, podemos dizer que A é positiva denida, se e somente se, todos os pivôs forem positivos. Exemplo Verique se as seguintes matrizes são positivas denidas: A = 1 3 0, B = 4 3 0, K = / 165

106 Decomposição de Cholesky Quando a matriz do sistema linear é simétrica, podemos simplicar os cálculos da decomposição LU levando em conta a simetria da matriz. Essa é a idéia do método de Cholesky. Se A é simétrica positiva denida, pelo critério de Sylvester temos que det(a k ) > 0 portanto, todos os menores principais são não singulares e consequentemente (Teorema LU), a matriz pode ser escrita como A = LU. Se A é simétrica, então A = A T. Logo LU = A = A T = (LU) T = U T L T 106 / 165

107 Decomposição de Cholesky Assim Temos que LU = U T L T L 1 LU = L 1 U T L T U = L 1 U T L T U(L T ) 1 = L 1 U T L T (L T ) 1 U(L T ) 1 = L 1 U T U(L T ) 1 }{{} triangular superior = L 1 U T }{{} triangular inferior Portanto, essa igualdade só pode ser uma matriz diagonal! Seja D = U(L T ) 1 (ou D = L 1 U T ) 107 / 165

108 Decomposição de Cholesky Seja D = U(L T ) 1 (ou D = L 1 U T ) então DL T = U (ou U T = LD) Sendo assim temos que A = LDL T = U T DU (4) E assim o determinante pode ser calculado como det(a) = det(l)det(d)det(l T ) = 1 (d 11 d d nn ) 1 = d 11 d d nn 108 / 165

109 Decomposição de Cholesky Assim de (4), como todos d ii > 0, podemos escrever onde A = LDL T = L(D) 1/2 (D) 1/2 L T = GG T G = L(D) 1/2 G T = (D) 1/2 L T A decomposição de Cholesky é um caso especial da fatoração LU aplicada para matrizes simétricas e positiva denida (SPD) e sua decomposição pode ser obtida a partir de A = GG T onde G é uma matriz triangular inferior tal que a 11 a a 1n g g 11 g g n1 a 21 a a 2n g A = = 21 g g g 2n a n1 a n2... a nn g n1 g n2... g nn g nn 109 / 165

110 Decomposição de Cholesky Pelo produto e igualdade de matrizes podemos obter os elementos de G. Elementos da diagonal principal: a 11 = g 2 11 a 22 = g g a nn = g 2 n1 + g 2 n g 2 nn de forma geral i 1 g ii = aii gik 2, i = 1 : n (5) k=1 110 / 165

111 Decomposição de Cholesky Para os elementos fora da diagonal principal, temos de forma geral g ij = j 1 a 21 = g 21 g 11 a 31 = g 31 g 11. a n1 = g n1 g 11 a 32 = g 31 g 21 + g 32 g 22 a 42 = g 41 g 21 + g 42 g 22. a ij g ik g jk k=1 a n2 = g n1 g 21 + g n2 g 22 g jj, i = j + 1 : n, j = 1 : n (6) 111 / 165

112 Decomposição de Cholesky Algoritmo Observando as equações (5) e (6), vemos que podemos calcular os elementos de G da seguinte forma: a cada passo j: calcula-se termo da diagonal principal g jj calcula-se termos da coluna j abaixo da diagonal principal isto é g ij com i = j + 1 : n para j = 1 : n faça j 1 g jj = ajj gjk 2 ; k=1 para i = j + 1 : n faça ( ) j 1 g ij = a ij g ik g jk /g jj ; m-para m-para k=1 112 / 165

113 Decomposição de Cholesky Observações: Se A é SPD, então a aplicação do método de Cholesky requer menos operações de ponto utuante do que a decomposição LU. Como A é positiva denida, isto garante que só teremos raízes quadradas de números positivos, isto é, os termos a jj j 1 k=1 g2 jk são sempre maiores do que zero. Exemplo do caso 2 2 Caso o algoritmo falhe, podemos concluir que A não é simétrica e positiva denida. Determinante det(a) = det(g)det(g T ) = det(g) 2 = (g 11 g g nn ) / 165

114 Decomposição de Cholesky Podemos usar a decomposição de Cholesky para encontrar a solução de Ax = b da seguinte forma: 1. Determinar a decomposição então A = GG T G } G{{ T x} = b y 2. Resolver Gy = b, usando substituição 3. Resolver G T x = y, retro-substituição 114 / 165

115 Decomposição de Cholesky Exemplo Considere a matriz A = a) Vericar se A satisfaz as condições da decomposição de Cholesky b) Decompor A em GG T c) Calcular o determinante 8 d) Resolver o sistema Ax = b com b = / 165

116 Decomposição de Cholesky Solução do Exemplo a) A é simétrica e positiva denida det(a 1 ) = 4, det(a 2 ) = 36, det(a 3 ) = 900 b) A decomposição é A = } 1 2 {{ 5 0 }} 0 {{ 5 } G G T c) det(a) = (2 3 5) 2 = 30 2 = d) x = / 165

117 Decomposição de Cholesky Podemos usar as fórmulas (5) e (6) para calcular os elementos da matriz G da decomposição, mas também podemos proceder de outra forma. Idéia: Decompor A = LU via eliminação de Gauss Como U = DL T, calcular D E assim calcular G = LD 1/2 Exemplo A partir da decomposição LU da matriz A do exemplo anterior, obtenha G A = = }{{}}{{} L U 117 / 165

118 Decomposição de Cholesky Exercício Mostrar que, se o sistema linear Ax = b, onde A é não singular, é transformado no sistema linear equivalente A T Ax = A T b então esse último sistema linear pode sempre ser resolvido pelo método de Cholesky (isto é B = A T A satisfaz as condições para a aplicação do método). Aplicar a técnica anterior para encontrar a solução do seguinte sistema linear: x 1 x 2 x 3 4 = / 165

119 Decomposição de Cholesky Exercício Dicas: Mostre que B satisfaz as condições da decomposição de Cholesky Irá precisar de usar x = x x x2 n x 2 = x x x 2 n = x T x 119 / 165

120 Decomposição LDL T Como vimos anteriormente também podemos decompor A na forma A = LDL T, onde L é uma matriz triangular inferior unitária e D é uma matriz diagonal. De forma análoga ao que zemos para a decomposição de Cholesky, podemos determinar os elementos da decomposição da seguinte forma: j 1 d jj = a jj ljk 2 d kk, l ij = k=1 j 1 a ij l ik d kk l jk k=1 j = 1 : n d jj j = 1 : n 1, i = j + 1 : n 120 / 165

121 Decomposição LDL T Solução de sistema linear A solução do sistema linear Ax = b é dada por Ax = b LD }{{} L T x = b y L Dy = b }{{} w e assim temos os seguintes passos para a solução do sistema: 1. Lw = b 2. Dy = w 3. L T x = y Cálculo do determinante det(a) = det(l)det(d)det(l T ) = 1 det(d) 1 = d 11 d d nn 121 / 165

122 Decomposição LDL T Algoritmo para j = 1 : n faça j 1 d jj = ajj ljk 2 d kk ; k=1 para i = j + 1 : n faça ( ) j 1 l ij = a ij l ik d kk l jk /d jj ; m-para m-para k=1 122 / 165

123 Decomposição LDL T Algoritmo det = 1 ; para j = 1 : n faça soma = 0 ; para k = 1 : j 1 faça soma = soma + A(j,k)*A(j,k)*A(k,k) ; m-para A(j,j) = A(j,j) - soma ; r = 1 / A(j,j) ; det = det * A(j,j) ; para i = j + 1 : n faça soma = 0 ; para k = 1 : j 1 faça soma = soma + A(i,k)*A(k,k)*A(j,k) ; m-para A(i,j) = (A(i,j) - soma) * r ; m-para m-para 123 / 165

124 Cálculo da Matriz Inversa Iremos descrever como calcular a matriz inversa através da decomposição LU. Sejam A uma matriz de dimensão n, não singular (det(a 0) e A 1 a matriz inversa de A. Vamos escrever a matriz inversa como: A 1 = v 1 v 2... v n Seja ainda e j a coluna j da matriz identidade. Por exemplo, e 2 = [ ], e n = [ ]. Resolvendo o seguinte sistema linear Av 1 = e 1 encontramos a primeira coluna v 1 da matriz inversa de A. Repetindo o procedimento para cada coluna temos Av j = e j, j = 1 : n (7) 124 / 165

125 Cálculo da Matriz Inversa Agora basta usar algum dos métodos que vimos para resolver os sistemas lineares da equação (7). 1. Decomposição LU LUv j = e j, j = 1 : n Basta fatorar a matriz na forma LU uma única vez, e com os fatores resolver os seguintes sistemas Ly j = e j Uv j = y j 2. Se a matriz for SPD, podemos usar decomposição de Cholesky GG T v j = e j (1) Gy j = e j, (2) G T v j = y j 125 / 165

126 Cálculo da Matriz Inversa 3. Eliminação de Gauss. Montar [ A I ] e efetuar a eliminação de Gauss de uma vez só. Assim obtemos [ U T ] onde T é uma matriz triangular inferior. Em seguida dado que temos U triangular superior, basta resolver a seguinte sequência de sistemas Uv j = t j onde t j é a coluna j da matriz T. 126 / 165

127 Cálculo da Matriz Inversa Exemplo Calcular a inversa da seguinte matriz A = Assim temos Efetuando a eliminação de Gauss obtemos /4 3/2 3/ /5 3/5 1/ / 165

128 Cálculo da Matriz Inversa Exemplo Agora basta resolver /4 3/2 v 1 = 3/ /5 3/ /4 3/ / /4 3/ /5 0 v 2 = 1 1/5 0 v 3 = / 165

129 Conteúdo Aula passada Decomposição de Cholesky Decomposição LDL T Cálculo da Matriz Inversa Aula de hoje Métodos Iterativos Método de Jacobi Método de Gauss-Seidel Método SOR 129 / 165

130 Métodos Iterativos O sistema de equações lineares Ax = b pode ser resolvido por um processo que gera a partir de um vetor inicial x (0) uma sequência de vetores x (1), x (2), x (3),... que deve convergir para a solução. Existem muitos métodos iterativos para a solução de sistemas lineares, entretanto só iremos estudar os chamados métodos iterativos estacionários. Algumas perguntas importantes são: Como construir a sequência {x (0), x (1), x (2),...}? x (k) x? Quais são as condições para convergência? Como saber se x (k) está próximo de x? Critério de parada? 130 / 165

131 Métodos Iterativos Um método iterativo escrito na forma x (k+1) = Bx (k) + c (8) é dito estacionário quando a matriz B for xa durante o processo iterativo. Veremos como construir a matriz B para cada um dos métodos que iremos estudar: Jacobi, Gauss-Seidel e Sobre-relaxação (SOR). Antes, é preciso rever alguns conceitos como norma de vetores e matrizes, os quais serão importantes no desenvolvimento do critério de parada e na análise de convergência dos métodos. 131 / 165

132 Normas de Vetores e Matrizes Para discutir o erro envolvido nas aproximações é preciso associar a cada vetor e matriz um valor escalar não negativo que de alguma forma mede sua magnitude. As normas para vetores mais comuns são: Norma euclideana (ou norma L 2 ) x 2 = (x x x 2 n) 1/2 Norma innito (ou norma do máximo) x = max 1 i n x i Normas vetoriais devem satisfazer às seguintes propriedades: 1. x > 0 se x 0, x = 0 se x = 0 2. αx = α x, onde α é um escalar 3. x + y x + y 132 / 165

133 Normas de Vetores e Matrizes Normas de matrizes tem que satisfazer a propridades similares: 1. A > 0 se A 0, A = 0 se A = 0 2. αa = α A, onde α é um escalar 3. A + B A + B 4. AB A B 5. Ax A x Iremos fazer uso em diversos momentos da seguinte norma matricial n A = max a ij 1 i n j=1 Exemplo A = [ 4 ] A = max{10, 7} = / 165

134 Critério de Parada A distância entre dois vetores x e y pode ser calculada como x y 2 ou x y Iremos usar a norma innito nos algoritmos que iremos descrever. Seja x (k+1) e x (k) duas aproximações para o vetor solução x de um sistema de equações lineares. Critério de parada x (k+1) x (k) x (k+1) = max x(k+1) i onde ε é a precisão desejada (Ex: 10 3 ). x (k) i max x (k+1) i < ε Na prática também adotamos um número máximo de iterações para evitar que o programa execute indenidamente, caso o método não convirja para um determinado problema. k < k max 134 / 165

135 Método de Jacobi Vamos ilustrar a idéia do método de Jacobi através de um exemplo. Seja o seguinte sistema: o qual pode ser escrito como a 11 x 1 + a 12 x 2 + a 13 x 3 = b 1 a 21 x 1 + a 22 x 2 + a 23 x 3 = b 2 a 31 x 1 + a 32 x 2 + a 33 x 3 = b 3 x 1 = (b 1 a 12 x 2 a 13 x 3 )/a 11 x 2 = (b 2 a 21 x 1 a 23 x 3 )/a 22 x 3 = (b 3 a 31 x 1 a 32 x 2 )/a 33 A partir de uma aproximação inicial x (0) x (0) 1 = x (0) 2 x (0) / 165