Sistemas Lineares. Métodos Iterativos Estacionários

Transcrição

1 -58 Sistemas Lineares Estacionários Lucia Catabriga e Andréa Maria Pedrosa Valli Laboratório de Computação de Alto Desempenho (LCAD) Departamento de Informática Universidade Federal do Espírito Santo - UFES, Vitória, ES, Brasil

2 -58 Matrizes Esparsas Introdução Substituição Regressiva 3 4 Pivoteamento Parcial Matrizes Esparsas x

3 Matrizes Esparsas Introdução Encontra a solução exata a menos de erros de ponto flutuante. A idéia dos métodos é transformar o sistema em um sistema trivial (sistema triangular). A complexidade é em torno de n 3 (número de operações de ponto flutuante). Em certos casos, métodos diretos não são eficientes, por exemplo, quando a matriz dos coeficientes é uma matriz esparsa (muitos elementos iguais a zero).

4 Matrizes Esparsas Sistema linear n n: a x + a x + a 3 x a n x n = b a x + a x + a 3 x a n x n = b a n x + a n x + a n3 x a nn x n = b n a ij = coeficientes, b j = constantes, x j = variáveis (i, j =,, n) Na forma matricial Ax = b a a a 3 a n x b a a a 3 a n x..... = b. a n a n a n3 a nn x n b n

5 Matrizes Esparsas Substituição Regressiva Sistema triangular superior n n: a a a 3 a n x b 0 a a 3 a n x b 0 0 a 33 a 3n x 3 = b a nn x n b n Assuma que o sistema tem solução única: a ii 0, i =,, n. Solução: a nn x n = b n x n = b n a nn a n,n x n + a n,n x n = b n x n = b n a n,n x n linha i x = b i 5-58 n j=i+ a ij x j a n,n

6 6-58 Matrizes Esparsas Algoritmo para a substituição regressiva: x i = Data: A,b,n Result: x for i=n,,- do soma = b[i]; for j=i+,n, do soma = soma - a[i][j] x[j]; end x[i] = soma/a[i][i]; end Esforço computacional ( de operações (+,-,x,/) ou flops): divisão: n subtração e multiplicação: n j = n(n )/ total = n j= b i n a ij x j j=i+ a ii

7 Matrizes Esparsas Idéia do método: Ax = b = Ãx = b operações de linhas elementares onde à é uma matriz triangular superior. Operações de linhas elementares: trocar a ordem de duas equações; multiplicar uma equação por uma constante não nula; somar uma equação à outra. Observação: A eliminação deve ser feita de forma sistemática, ou seja, usando uma sequência de operações elementares de modo a transformar um sistema linear em um outro equivalente, onde a matriz é triangular superior.

8 Matrizes Esparsas Exemplo: sistema solução exata: x x x 3 = x 4 Primeiro Passo: Eliminar os coeficientes da primeira coluna abaixo da diagonal: pivô: a = 3 multiplicadores: m = 7/3 =.333, m 3 = /3 = 0.667, m 4 = /3 = L L (m )L, L 3 L 3 (m 3 )L, L 4 L 4 (m 4 )L

9 Matrizes Esparsas Segundo Passo: Eliminar os coeficientes da segunda coluna abaixo da diagonal pivô: a = multiplicadores: m 3 =.336/7.664 = 0.3, m 4 = 0.664/7.664 = L 3 L 3 (m 3 )L, L 4 L 4 (m 4 )L

10 0-58 Matrizes Esparsas Terceiro Passo: Eliminar os coeficientes da terceira coluna abaixo da diagonal pivô: a 33 =.98 multiplicadores: m 43 = 5.434/.98 =.74 Operações: L 4 L 4 (m 43 )L

11 -58 Matrizes Esparsas Substituição Regressiva: x x x 3 = x x 4 =.963 x 4 = x x 4 = 7.98 x 3 = x.666x x 4 = x =.000 3x + 8x x 3 + 3x 4 = 6 x =.00

12 -58 Matrizes Esparsas Cálculo do Resíduo: R = b A x R = = Observação: A solução é exata a menos dos erros de ponto flutuante. Sendo assim, o resíduo tem que ser bem pequeno, em torno do número de casas decimais utilizadas para os cálculos.

13 3-58 Matrizes Esparsas Algoritmo para a : Passo k: Eliminar os coeficientes da k-ésima coluna abaixo da diagonal ( k n ) Operação sobre a Linha i: L i L i m ik L k onde m ik = a ik a kk, k + i n a ij a ij a ik a kk a kj, k + j n b i b i a ik a kk b k

14 4-58 Matrizes Esparsas Data: A,b,n Result: x for k=,n- do for i=k+,n do fator = a[i][k] / a[k][k]; for j=k+,n do a[i][j] = a[i][j] - fator a[k][j]; end b[i] = b[i] - fator b[k] end end Esforço computacional: adição e subtração: n 3 /3 + O(n) multiplicação e divisão: n 3 /3 + O(n ) total = n 3 /3 + O(n ) Obs: O(m n ) significa termos de ordem m n e menores.

15 5-58 Matrizes Esparsas Esporço Computacional: Eliminação Progressiva: n 3 /3 + O(n ) Substituição Regressiva: n n Elim. Subst. Flops n 3 /3 % Elim % % % O tempo de computação cresce bastante à medida que o sistema fica maior. A quantidade de flops cresce quase três ordens de grandeza para cada aumento na ordem de grandeza da dimensão; A maior parte do esforço vem da parte da eliminação. Esforços para melhorar o algoritmo devem se concentrar neste passo.

16 Matrizes Esparsas Variantes do Método de Gauss Gauss-Jordan algoritmo: [A b] = [I x], onde I é a matriz identidade e x é a solução do sistema. Neste método o esforço computacional é O(n 3 ), ou seja, aproximadamente 50% mais operações que a eliminação de Gauss ingênua. Esforço Computacional: Regra de Cramer: O(n!) Gauss-Jordan: O(n 3 ) ingênua: O(n 3 /3) Obs: a regra de Cramer é inviável computacionalmente quando n é grande. Observe que a regra de Cramer envolve o cálculo de determinantes. 6-58

17 Matrizes Esparsas Problemas com a ingênua Divisão por zero Exemplo: solução exata (,, ) T x + 3x 3 = 5 x 3x + x 3 = x + x 3 = 3 Solução trocar L com L Erros de arredondamento Exemplo: solução exata (/3, /3) T x + 3x =.000 x + x =

18 8-58 [ Matrizes Esparsas ] L L [ L ] x = = /3 x =.000 3(x ) Tabela: Resultado muito sensível à precisão. de Dígitos x x % Error relativo x

19 9-58 Matrizes Esparsas Técnicas para melhorar a solução: Usar mais dígitos significativos, ou seja, aumentar a precisão. Usar a estratégia de pivoteamento parcial. Pivoteamento Parcial: no início de cada etapa k, k n, escolher para pivô o elemento de maior módulo entre os coeficientes a ik, k i n, trocar as linhas k e i, se for necessário. Exemplo: solução exata (/3, /3) T x + 3x =.000 x + x =

20 0-58 Matrizes Esparsas [ ] L L L L [ ] x = = /3 x = x Tabela: Resultado usando pivoteamento parcial. de Dígitos x x % Error relativo x L

21 -58 Matrizes Esparsas Pseudocódigo para implementar o pivoteamento parcial []:

22 -58 Matrizes Esparsas Exemplo com Pivoteamento: sistema solução exata: 6 7 x x x 3 = x 4 Primeiro Passo: Escolher o pivô (a ), trocar linhas e eliminar os coeficientes da primeira coluna abaixo da diagonal 7 3 L L ( 3/7)L L L L L 3 ( /7)L 6 7 L 4 L 4 (/7)L

23 3-58 Matrizes Esparsas Segundo Passo: Escolher o pivô (a ), trocar linhas e eliminar os coeficientes da segunda coluna abaixo da diagonal L 3 L 3 (.74/7.57)L L 4 L 4 (.857/7.57)L

24 Matrizes Esparsas Terceiro Passo: Escolher o pivô (a 33 ), trocar linhas e eliminar os coeficientes da terceira coluna abaixo da diagonal 7 3 L 3 L L 4 L 4 (.98/5.434)L 3

25 5-58 Matrizes Esparsas Substituição Regressiva: x 4 = x 4 = x x 4 = x 3 = x.43x x 4 = 0.74 x =.000 7x x + x 3 + 3x 4 = x =.000

26 6-58 Matrizes Esparsas Cálculo do Resíduo: R = b Ax R = = Observação: Na eliminação de Gauss com pivoteamento todos os multiplicadores são em módulo menores ou iguais a.

27 7-58 Matrizes Esparsas A Ideia Básica da Decomposição LU Seja Ax = b, supor que exista: L matriz triangular inferior com l ii = U matriz triangular superior tal que: A = LU LUx = b Ly = b () Ux = y () Como encontrar os fatores L e U?

28 Matrizes Esparsas Voltando ao Exemplo Seja L matriz triangular inferior tal que l ij = m ij para i > j e l ii = e U a matriz triangular superior resultante da :.0 L = U = LU = A 8-58

29 Matrizes Esparsas Voltando ao Exemplo Seja L matriz triangular inferior tal que l ij = m ij para i > j e l ii = e U a matriz triangular superior resultante da :.000 L = U = LU = = PA, sendo P =

30 30-58 Matrizes Esparsas []:

31 3-58 Matrizes Esparsas Processo de Substituição: A x = b PA x = Pb LU x = Pb U x = y, então L y = Pb L y = P b, Substituição Progressiva e determino y; U x = y, Substituição Regressiva e determino a solução x. [ ] [ ] [ ] [ ] 4 3 x 7 Exemplo : =, solução exata = 8 5 x 3 [ ] [ ] 0 y = 4/8 y [ ] [ ] 0 7 = 0 3 [ ] [ ] 8 5 x = 0 / x [ ] 3 / [ ] 3 7 [ x x ] = [ y y ] = [ ] [ ] 3 /

32 3-58 Matrizes Esparsas Cálculo do Determinante Cálculo do determinante: PA = LU det(pa) = det(lu), então, pela propriedade de determinantes, det(a) = det(l)det(u), det(p) onde det(l) = n det(u) = i= u ii (produto dos pivôs) det(p) = ( ) t onde t é o número de permutações n det(a) = ( ) t i= u ii

33 33-58 Matrizes Esparsas Cálculo da inversa [A] [A] = [A] [A] = [I ] Exemplo 3 3: [A] [A] = [I ] = matriz identidade a a a 3 x x x a a a 3 x x x 3 = 0 0 a 3 a 3 a 33 x 3 x 3 x de A: PA = LU Resolve L U x j = P I j, j =,, 3, onde x j x j = x j e I j = j-ésima coluna de [I ] x 3j

34 34-58 Matrizes Esparsas Matrizes Esparsas: (a) Tridiagonal. (b) Banda. (c) Pentadiagonal.

35 35-58 Matrizes Esparsas

36 36-58 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Idéia dos métodos Método de Gauss-Jacobi 3 Método de Gauss-Seidel 4 Convergência dos métodos 5 Método SOR

37 37-58 Introdução Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Encontra uma solução aproximada com precisão pré-fixada. O objetivo é transformar o sistema Ax = b em uma expressão recursiva tal que x (k+) = M x (k) + c para uma condição inicial x (0) conhecida. Depende de critérios de convergência relacionados a matriz de iteração M. A complexidade, por iteração, é em torno de n (número de operações de ponto flutuante). Quando a matriz dos coeficientes é esparsa, somente os coeficientes não nulos necessitam ser armazenados.

38 38-58 Ideia Gerais Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x A x = b (3) Isolar x, reescrevendo o sistema (3) da seguinte forma: x = M x + c (4) onde M = matriz n n c = vetor n

39 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Defina o processo iterativo com k = 0,,, Dado x (0), usar (5) para calcular x (k+) = M x (k) + c (5) x () = M x (0) + c x () = M x () + c. até que e rel = x(k+) x (k) < ɛ ou k k x (k+) max (critério de parada) onde ɛ = tolerância dada k max = número máximo de iterações dado x = max j n x j (norma do máximo) Outro critério de parada: r = b Ax (k+) < ɛ, 39-58

40 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Seja A um sistema n n a x + a x + a 3 x a n x n = b a x + a x + a 3 x a n x n = b a n x + a n x + a n3 x a nn x n = b n onde estamos assumindo que a ii 0, i =,,, n. x = a [b (a x + a 3 x a n x n )] x = a [b (a x + a 3 x a n x n )].

41 4-58 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Método de Gauss-Jacobi x (k+) = a [ b (a x (k) + a 3 x (k) 3 + a 4 x (k) a n x (k) n ) x (k+) = a [ b (a x (k) + a 3 x (k) 3 + a 4 x (k) a n x (k) n ). x (k+) n = a nn [ b n (a n x (k) + a n x (k) + a n3 x (k) a n,n x (k) n ) ] Para k 0, x (k+) i = a ii b i n a ij x (k) j, j= j i i =,,, n ] ]

42 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x a a a 3 A = a a a 3 = E + D + F a 3 a 3 a a a a 3 = a a a 3 a 3 a a Gauss-Jacobi: A x = (E + D + F ) x = b D x = (E + F ) x + b D x (k+) = (E + F ) x (k) + b x (k+) = D (E + F ) x (k) + D b = M x (k) + c

43 43-58 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Exemplo: Resolver o sistema a seguir pelo método iterativo de Gauss-Jacobi, usando 5 casas decimais, x x = 0, x (0) = 0, ɛ = x x (k+) = ( 0.5 x (k+) = x (k+) 3 = x (k) 0.3x (k) 3 ( 0.0.0x (k).0x (k) 3 ( x (k) + 0.4x (k) ) ) )

44 44-58 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Método de Gauss-Seidel x (k+) = [ ] b (a x (k) + a 3 x (k) 3 + a 4 x (k) a n x n (k) ) a x (k+) = a [ b (a x (k+) + a 3 x (k) 3 + a 4 x (k) a n x (k) n ) x (k+) 3 = a 33 [ b 3 (a 3 x (k+) + a 3 x (k+) + a 34 x (k) a 3n x (k) n ). x n (k+) = [ ] b n (a n x (k+) + a n x (k+) + + a n,n x (k+) n a ) nn ] ] Para k 0, x (k+) i = a ii i b i a ij x (k+) j j= n j=i+ a ij x (k), j i =,,, n

45 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x a a a 3 A = a a a 3 = E + D + F a 3 a 3 a a a a 3 = a a a 3 a 3 a a Gauss-Seidel: A x = (E + D + F ) x = b (E + D) x = F x + b (E + D) x (k+) = F x (k) + b x (k+) = (E + D) F x (k) + (E + D) b = M x (k) + c

46 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Exemplo: Resolver o sistema a seguir pelo método iterativo de Gauss-Seidel, usando 5 casas decimais, x x = 0, x (0) = 0, ɛ = x x (k+) = 0.5 x (k+) = x (k+) 3 = ( ( ) x (k) 0.3x (k) 3 ) 0.0.0x (k+).0x (k) 3 ( x (k+) + 0.4x (k+) )

47 47-58 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x A convergência da sequência gerada pelo método iterativo estacionário, x k+ = M x k + c, é dada pelo Teorema, onde são fornecidas condições necessárias e suficientes de convergência. Teorema : O método iterativo x k+ = M x k + c converge com qualquer x 0 se, e somente se, ρ(m) <, sendo ρ(m) o raio espectral (maior autovalor em módulo) da matriz de iteração M. Observações: A taxa de convergência será controlada pela magnitude do raio espectral. Quanto menor o raio espectral, mais rápida a convergência. A determinação do raio espectral da matriz de iteração ρ(m) pode requerer maior esforço computacional que a própria solução do sistema Ax = b.

48 Exemplo: x 0. x = x Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x M J = D (E + F ) = 0 ρ(m J ) = M GS = (E + D) F = ρ(m GS ) = Calculando as sequências dadas pelos métodos de Gauss-Jacobi e Gaus-Seidel podemos confirmar que Gauss-Jacobi diverge e Gauss- Seidel converge [].

49 Exemplo: x 0. x = x Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x M J = D (E + F ) = 0 ρ(m J ) = M GS = (E + D) F = ρ(m GS ) = Calculando as sequências dadas pelos métodos de Gauss-Jacobi e Gaus-Seidel podemos confirmar que Gauss-Jacobi converge e Gauss- Seidel diverge [].

50 50-58 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Teorema (Critério das Linhas): É condição suficiente para a convergência dos métodos iterativos de Gauss-Jacobi e Gauss-Seidel que a matriz dos coeficientes A seja diagonalmente dominante, ou seja, n α i = ( a ij )/ a ii <, i =,,, n j= j i Teorema 3 (Critério de Sassenfeld): É condição suficiente para a convergência do método iterativo de Gauss-Seidel que a matriz dos coeficientes A satisfaça β = α < [ i a ij β j + n β i = j= a ii j=i+ a ij ] <, i =, 3,, n

51 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Observação: O critério de linhas é apenas suficiente, veja os exemplos a seguir. Observe que nos dois exemplos a matriz A não é diagonalmente dominante. [ ] [ ] [ ] [ ] 3 x 3.5 Exemplo : =, sol. exata = 3.5 [ ] x (0) x (0) = [ [ ] [ 0 0 ] x (4) x (4) = x () x () [ x x (k+) = 3 + 3x (k) x (k+) = 3 x (k) ] [ ] [ ] 3 = 3 ] [ ] x (5) x (5) = x () x () [ 39 5 = [ ] [ ] 6 x (3) 6 x (3) = ] divergindo [ ] 5 3

52 5-58 Exemplo : [ ] [ ] x = 3 x [ 3 3 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x ], sol. exata = [.5.5 ] [ ] x (0) x (0) = [ ] [ 0 0 [ x (4) x (4) [ x () x () ] x (k+) = 3 x (k) x (k+) = (k) (3 + x ) 3 ] ] = ] x (6) x (6) = [ ] [ 3 [ ] = x () x () [ x (5) x (5) = ] [ ] [ = x (3) x (3) ] [ [ ].5556 convergindo.5556 ] [ =.6667 ]

53 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Método da sobre-relaxação sucessiva (SOR) para 0 < ω < : Ax = b ω(d + E + F )x = ωb (D D)x + ω(d + E + F )x = ωb (D + ωe)x = [( ω)d ωf ]x + ωb Dado x (0), calcular (D + ωe)x (k+) = [( ω)d ωf ]x (k) + ωb Dx (k+) = ω( Ex (k+) Fx (k) + b) + ( ω)dx (k) x (k+) = ωd ( Ex (k+) Fx (k) + b) + ( ω)x (k) Observação: Para ω =, temos o método de Gauss-Seidel: x (k+) = (E + D) F x (k) + (E + D) b (6)

54 Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Exemplo: Resolver o sistema a seguir pelo método iterativo SOR, usando 5 casas decimais e ω =.5, x x = 0, x (0) = 0, ɛ = x x (k+) = ω 0.5 x (k+) = ω x (k+) 3 = ω ( ( ) x (k) 0.3x (k) 3 ) 0.0.0x (k+).0x (k) 3 ( x (k+) + 0.4x (k+) + ( ω)x (k) + ( ω)x (k) ) + ( ω)x (k) 3

55 55-58 A é Pentadiagonal Armazenamento de Matrizes Stencil Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x

56 n - ordem de A nnz - número de coeficientes não nulos nnz + n + - número de alocações para armazenar A AA(k) = a ij, JA(k) = j, IA(i) k < IA(i + ) Características Método de Gauss-Jacobi Método de Gauss-Seidel Convergência dos métodos Método SOR Matrizes Esparsas x Armazenamento de Matrizes Esparsas - Formato CSR A = AA JA IA

57 57-58 Básica [] Algoritmos Numéricos, Frederico F. Campos, Filho - a Ed., Rio de Janeiro, LTC, 007. [] Métodos Numéricos para Engenharia, Steven C. Chapa e Raymond P. Canale, Ed. McGraw-Hill, 5 a Ed., 008. [3] Cálculo Numérico - Aspectos Teóricos e Computacionais, Márcia A. G. Ruggiero e Vera Lúcia da Rocha Lopes, Ed. Pearson Education, a Ed., 996.

58 Sugestão de Exercícios Na referência [].6;.7;.8;.;.;.3;.6;.7;.9;.9. Na referência [].3;.3;.33;.38;.39;.40 (utilizando os algorítmos sor e jacobi implementados em octave).