Sistemas lineares. Ricardo Biloti 2S/2015. Cálculo Numérico UNICAMP.

Transcrição

1 Sistemas lineares Ricardo Biloti Cálculo Numérico UNICAMP 2S/205 Licença Seus direitos e deveres são: Você é livre para copiar e redistribuir este material, em qualquer meio ou formato, para adaptá-lo, transformá-lo ou utilizá-lo para construir seu próprio material. Você deve dar os créditos apropriados, fornecendo link para a licença e indicando se alterações foram feitas. Você pode fazer isto de qualquer forma razoável, porém sem tentar passar a ideia ou sugerir que o autor endosse suas alterações ou seu uso do material. Você não pode utilizar este material para fins comerciais. Se você alterar, transformar ou construir seu próprio material com base neste trabalho, você deverá distribuí-lo sob a mesma licença usada no original. Este trabalho é licenciado sob os termos da Licença Internacional Creative Commons Atribuição-NãoComercial-CompartilhaIgual 4.0. Para ver uma cópia desta licença, visite

2 Sistemas lineares Neste curso, tratamos apenas de sistemas lineares quadrados, ou seja, sistemas lineares nos quais o número de equações e o número de incógnitas é o mesmo. Apesar disto, os métodos diretos que serão vistos (eliminação de Gauss / decomposição LU) prestam-se também a sistemas retangulares. Considere A R n n e b R n. Queremos x tal que Ax = b Sistemas lineares Uma parte da dificuldade em resolver um sistema linear é determinada pela estrutura da matriz de coeficientes. O caso mais trivial é o de um sistema linear com a matriz de coeficientes sendo própria matriz identidade. Outra situação ainda muito simples se dá quando a matriz de coeficientes é diagonal. Se todas as entradas da diagonal forem não-nulas, então x i = b / d ii. Entretanto é uma hipótese muito forte supor que a matriz A é diagonal. Para que matrizes A é fácil resolver o sistema linear Ax = b? I, matriz identidade D, matriz diagonal T, matriz triangular Matrizes triangulares são um bom compromisso entre simplicidade e generalidade. Veremos que muitas vezes é possível converter um sistema linear em outro equivalente cuja matriz seja triangular. Além disso, resolver sistemas lineares triangulares é bem simples. Por sistemas lineares equivalentes queremos dizer sistemas lineares que tenham exatamente as mesmas soluções.

3 Como resolver um sistema triangular? a x + a 2 x 2 + a 3 x 3 + a 4 x 4 = b a 22 x 2 + a 23 x 3 + a 24 x 4 = b 2 a 33 x 3 + a 34 x 4 = b 3 a 44 x 4 = b 4 A única hipótese necessária para poder garantir a existência de solução de um sistema triangular é que todos os elementos da diagonal, a kk, sejam não nulos. Isto é facilmente constatado observando-se a expressão geral para o elemento x k. Entretanto, mesmo que um elemento da diagonal seja nulo, ainda pode acontecer do sistema ter solução. Imagine, por exemplo, o caso em que a última equação é 0 x 4 = b 4. Nesse caso, x 4 está livre para assumir qualquer valor se b 4 = 0, e não há solução possível se b 4 0. x 4 = (b 4 )/a 44 x 3 = (b 3 a 34 x 4 )/a 33 x 2 = (b 2 a 23 x 3 a 24 x 4 )/a 22 x = (b a 2 x 2 a 3 x 3 a 4 x 4 )/a x k = b k n j=k+ a kj x j a kk, k = n, n,..., Algoritmo O custo de algoritmos para resolução de sistemas lineares é tradicionalmente medido contando-se quantas operações de ponto flutuante são realizadas. x n b n /a nn Se a kk 0, k =, 2,..., n: Para k = (n ), (n 2),..., : n k= x n b n /a nn x k = b k n j=k+ a kj x j a kk, k = n, n,..., soma b k Para j = (k + ), (k + 2),..., n: n j=k+ soma soma a kj x j 2 x k soma /a kk Para k = (n ), (n 2),..., : soma bk Para j = (k + ), (k + 2),..., n: soma soma a kj x j xk soma /a kk Custo total: n + k= n j=k+ n 2 + = + [2(n k) + ] k= n = + (2n + )(n ) 2 k k= = + 2n 2 n(n ) n 2 = n 2 2

4 Exercício Para contar o número de operações de algoritmos é necessário conhecer algumas identidades. Demonstre que: n = n k= Na verdade, não é necessário contar exatamente o número de operações que um algoritmo realiza, mas apenas ter uma boa estimativa. Para tanto, basta determinar corretamente o termo de maior ordem e o coeficiente desse termo. Uma técnica simples que presta-se a fornecer esta estimativa é aproximar as somas por integrais. n n dk = n k= 0 n n k k dk = n k= 0 2 k2 = 0 2 n2 n k = k= n k 2 = k= n(n + ) 2 n(n + /2)(n + ) 3 n n k 2 k 2 dk = n k= 0 3 k3 = 0 3 n3 Observe que todas as estimativas acertaram exatamente o termo de maior ordem. Operações elementares Operações elementares são operações que podem ser realizadas com as equações de um sistema linear sem alterar seu conjunto solução. Ou seja, apesar de alterar as equações do sistema linear, o sistema alterado continua tendo as mesmas soluções do sistema original, e nenhuma outra. A primeira operação elementar é multiplicar uma das equações do sistema linear por uma constante não nula. Claramente, a igualdade é preservada. 2x + 3x 2 + x 3 + x 4 = 2 ( 3) 4x + 7x 2 + 4x 3 + 3x 4 = 4x + 7x 2 + 6x 3 + 4x 4 = 6x + 9x 2 + 9x 3 + 8x 4 = 3 Multiplicar uma equação por um escalar não-nulo Intercambiar a posição de duas equações Somar/Subtrair uma equação à outra

5 Trocar a ordem das equações de um sistema linear também não altera suas soluções. Operações elementares 2x + 3x 2 + x 3 + x 4 = 2 4x + 7x 2 + 4x 3 + 3x 4 = 6x + 9x 2 + 9x 3 + 8x 4 = 3 4x + 7x 2 + 6x 3 + 4x 4 = Multiplicar uma equação por um escalar não-nulo Intercambiar a posição de duas equações Somar/Subtrair uma equação à outra Operações elementares Por fim, somar ou subtrair uma equação de outra também não alterar as soluções do sistemas, visto que ao fazer isso, na verdade, está se somando/subtraindo uma constante nos dois lados de uma equação. 2x + 3x 2 + x 3 + x 4 = 2 4x + 7x 2 + 4x 3 + 3x 4 = 6x + 9x 2 + 9x 3 + 8x 4 = 3 4x + 7x 2 + 6x 3 + 4x 4 = Multiplicar uma equação por um escalar não-nulo Intercambiar a posição de duas equações Somar/Subtrair uma equação à outra

6 Operações elementares Por fim, somar ou subtrair uma equação de outra também não alterar as soluções do sistemas, visto que ao fazer isso, na verdade, está se somando/subtraindo uma constante nos dois lados de uma equação. 2x + 3x 2 + x 3 + x 4 = 2 4x + 7x 2 + 4x 3 + 3x 4 = 6x + 9x 2 + 9x 3 + 8x 4 = 3 2x + 2x 2 + 3x 3 + 4x 4 = 2 l 3 l 4 Multiplicar uma equação por um escalar não-nulo Intercambiar a posição de duas equações Somar/Subtrair uma equação à outra Exemplo Nesse exemplo, vamos utilizar as operações elementares para transformar o sistema linear em outro sistema linear, equivalente ao original, mais simples. Por sistemas lineares equivalentes, queremos dizer sistemas lineares com o mesmo conjunto solução. Ax = b x =

7 Escalonamento Ao invés de manipular as equações do sistema, é mais conveniente trabalhar apenas com os coeficientes e com o termo independente. Para isso, operamos na matriz extendida ou aumentada do sistema, que é a matriz de coeficientes acrescida de uma coluna contendo o vetor b do sistema linear. Através de operações elementares, vamos transformar a matriz de coeficientes do sistema linear em uma matriz triangular superior, pois já vimos que sistemas com essa estrutura são simples de serem resolvidos. l 2l + l 2 2l + l 3 3l + l Por uma questão de organização e metodologia, vamos tentar introduzir zeros na matriz, nas posições abaixo da diagonal principal, de cima para baixo e da esquerda para a direita. Esquematicamente, cada a i-ésima linha da matriz é representada por l i. Para zerar os elementos da primeira coluna, abaixo do elemento na diagonal, utilizando a terceira operação elementar descrita anteriormente. Por exemplo, para introduzir um zero na posição (2, ) da matriz, somamos à linha 2, um múltiplo apropriado da linha. Com efeito, l 2 2l + l 2. O mesmo é feito com as linhas 3 e 4, através das operações l 3 2l +l 3 e l 4 3l +l 4. Escalonamento Para introduzir zeros nas posições (3, 2) e (4, 2) vamos utilizar múltiplos da linhas 2. Veja que se continuássemos utilizando múltiplos da linha, estragaríamos os zeros já introduzidos na primeira coluna. Por uma eventualidade, alguns diriam até mesmo sorte, o elemento (4, 2) já é zero. l l 2 l 2 + l 3 0l 2 + l

8 Resta zerar o coeficiente (4, 3), o que é feito com a operação l 4 3l 3 + l 4. Escalonamento l l 2 l 3 3l 3 + l Sistema triangular superior O sistema linear representado por essa matriz aumentada pode ser novamente escrito na forma usual. A resolução deste sistema é simples, realizada através do algoritmo já discutido para sistemas lineares triangulares superiores x + 3x 2 + x 3 + x 4 = 3 x 2 + 2x 3 + x 4 = 0 2x 3 + x 4 = 2 2x 4 = 0

9 Exemplo Durante o processo de eliminação gaussiana, para simplificar o sistema linear Ax = b, operamos na matriz aumentada do sistema, [A b]. Todas as operações realizadas alteram tanto as entradas da matriz A quanto do vetor b. Entretanto, se você olhar com atenção o exemplo apresentado, vai reparar que apenas as entradas da matriz A foram determinantes na definição de cada operação. O vetor b, mesmo tendo sido alterado, em nenhum momento foi decisivo para a escolha da operação elementar a ser aplicada na matriz aumentada. Essa constatação nos motiva a postergar a manipulação do vetor b. A razão para isso ficará evidente mais a frente. A = Vamos realizar as mesmas operações utilizadas no processo de escalonamento, porém sem considerar o vetor b, tomando o cuidado de guardar as operações realizadas na matriz A, para que possam ser posteriormente aplicadas também ao vetor b. Escalonamento Já vimos quais são as operações que devem ser feitas para introduzir zeros na primeira coluna de A, abaixo da diagonal. A questão principal aqui é como guardar o histórico dessas operações, de maneira que elas possam ser reaplicadas ao vetor b. Uma forma de salvar as operações elementares é perceber que o resultado produzido por elas pode ser obtido através de um produto matricial. L A = l 2l + l 2 2l + l 3 3l + l = = Observe que o produto da matriz L pela matriz A produz exatamente o mesmo efeito de três operações elementares utilizadas no exemplo. Perceba também que a matriz L tem uma estrutura peculiar. Ela é triangular inferior, com os elementos da diagonal todos iguais a. Além disso cada multiplicador computado durante o processo de eliminação, adequado para zerar o elemento na linha i da primeira coluna, foi armazenado na matriz L exatamente naquela mesma posição.

10 Escalonamento Para zerar os dois elementos abaixo da diagonal na segunda coluna, podemos também realizar um produto matricial que tem o mesmo efeito das duas operações elementares necessárias (nesse exemplo, por sorte, de fato, apenas uma é necessária). Essa matriz, L 2 é multiplicada por L A (que representa o estado parcial da matriz A depois do primeiro passo do processo de eliminação). L 2 L A = l l 2 l 2 + l 3 0l 2 + l = = Escalonamento Por fim, a última operação elementar necessária para tornar a matriz A em triangular superior pode ser computada pelo produto L 3 (L 2 L A). L 3 L 2 L A = l l 2 l 3 3l 3 + l = =

11 Escalonamento A matriz triangular superior obtida, denotada por U, fica expressa como U = L 3 L 2 L A. Como as matrizes L j são todas não singulares (Por quê?), podemos escrever A em função de L, L 2, L 3 e U. Resta saber como computar L j. L 3 L 2 L A = = U A = (L 3 L 2 L ) U = (L L 2 L 3 )U Invertendo L j Em geral, computar a inversa de uma matriz é bem mais caro que resolver um sistema linear. Mas para nossa sorte, as matrizes L j têm uma estrutura especial. Se multiplicar por L j tem o resultado de realizar algumas operações elementares, multiplicar por L j tem que desfazer essas operações elementares, visto que L j L j = I. L = L = Por exemplo, se l 2 representa a segunda linha da matriz A e l 2 representa a segunda linha, após a operação elementar, então l 2 = l 2 2l, que na matriz L corresponde à linha [ 2 0 0]. A operação inversa é que corresponderia à linha [2 0 0]. l 2 = l 2 + 2l, Assim, L é obtida apenas trocando-se o sinal dos elementos abaixo da diagonal de L.

12 Calculando L L 2 L 3 Nosso último golpe de sorte é perceber que o produto de todas as matrizes L j é também uma matriz triangular inferior com diagonal unitária, contendo todos os multiplicadores computados durante o processo de eliminação, em suas respectivas posições. Essa matriz final é denotada por L Decomposição LU A decomposição LU consite então de uma fatoração da matriz A em um produto de duas matrizes, uma triangular inferior com diagonal unitária e outra triangular superior. A = = = LU

13 Algoritmo U A, L I Para k =, 2,..., n Para j = k +,..., n ljk u jk /u kk Número de operações: uj,k:n u j,k:n l jk u k,k:n n n k= j=k+ [ + 2(n k + )] 2 3 n3 flops FLOPS (FLoating-Point operations per Second) é a quantidade de operações de ponto flutuante que seu computador pode, em tese, realizar por segundo. Essa medida é computada por GFLOPS = v np nc oc, onde GFLOPS são bilhões de operações por segundo, v é a velocidade da CPU em GHz, np é o número de CPU s, nc é o número de cores (núcleos) por CPU e oc é a quantidade de operações de ponto fluante capazes de serem feitas por ciclo (4 em geral). Por exemplo, um processor Intel Core i7 3.6 GHz e 4 núcleos, executaria, em tese, 57 GFLOPS ou 57 bilhões de operações de ponto flutuante por segundo. Dessa forma, uma matriz quadrada de ordem n = 5.000, precisa ao redor de 83 bilhões de operações e portanto teria sua decomposição LU computada em aproximadamente.4 segundos, isto se todos os núcleos fossem utilizados. Em um algoritmo sequêncial, onde apenas um núcleo é utilizado, esse tempo subiria para algo em torno de 5.8 segundos. Os dois sistemas lineares triangulares seriam resolvidos em aproximadamente 3.5 milisegundos. Já uma matriz quadrada de ordem n = levaria aproximadamente 6 horas para ser decomposta em LU e os sistemas lineares triangulares seriam resolvidos em 55 milisegundos. Na prática, os tempos são maiores, pois há restrições de acesso à memória, tempo gasto para trazer os dados da memória para dentro do processador, tempo de acesso a disco (caso os dados sejam grandes demais), etc. Resolução de sistemas lineares Utilizando a decomposição LU, o problema de resolver um sistema linear quadrado, sem qualquer outra característica particular, é convertido no problema de resolver em sequência dois sistemas lineares triangulares. A vantagem disto, como já vimos anteriormente, é que a resolução de sistemas lineares triangulares é simples e computacionalmente barata. Ax = b LUx = b Ly = b, Ux = y

14 Sistemas triangulares Inicia-se pela resolução do sistema linear triangular inferior, Ly = b, a um custo computacional da ordem de n 2 operações. Seja L R n n é triangular inferior e b R n Ly = b Para i =,..., n y i i (b i l ij y j ) l ii j= Número de operações: n [2 + (i ) + (i 2)] n 2 flops i= Sistemas triangulares Computado o vetor y, resta resolver o sistema linear triangular superior, Ux = y, novamente a um custo computacional da ordem de n 2 operações. Ao final, obtem-se o vetor x, solução do sistema linear original. Seja U R n n é triangular superior e y R n Ux = y Número de operações: n 2 flops

15 Resolução de sistema linear O algoritmo completo para a resolução de um sistema linear quadrado, através da decomposição LU tem custo computacional da ordem de 2 3 n3 operações, uma vez que o custo computacional da resolução dos dois sistemas triangulares é desprezível em comparação com o custo para decompor a matriz A nos fatores L e U. Seja A R n n e b R n, queremos x tal que Ax = b. Compute da decomposição LU de A Resolva Ly = b Resolva Ux = y Número de operações: 2 3 n3 flops Decomposição LU Do ponto de vista computacional, a resolução de sistema lineares através do algoritmo proposto, por meio da decomposição LU, parecer ser muito bom. Resta a pergunta se isso sempre é possível. Ou seja, será que toda matriz pode ser decomposta em fatores L e U, como descrito? De fato, nem sempre isso é possível. O teorema apresentado explicita qual a condição necessária para garantir a existência da decomposição LU. Teorema Seja A uma matriz quadrada com todos os menores principais não-singulares. Então A pode ser fatorada de maneira única no produto A = LU, com L triangular inferior com diagonal unitária e U triangular superior. Como devemos proceder na prática, quando nos depararmos com um sistema linear para resolver? Será que devemos primeiro verificar se as hipóteses do teorema são satisfeitas, antes de tentar computar a decomposição LU? Na verdade, tentar verificar se as hipóteses do teorema são ou não satisfeitas seria muito mais caro do que tentar computar diretamente a decomposição LU. Sendo assim, aplica-se diretamente o algoritmo para o cálculo dos fatores L e U. Se o algoritmo não encontrar empecílhos à execução é porque a matriz de fato tem decomposição LU. Pergunta: mas o que poderia dar errado na cálculo da decomposição LU?

16 Exemplo perverso Este exemplo é para mostrar que mesmo quando a matriz tem decomposição LU, a qualidade numérica dessa decomposição pode ser desastrosa. Perceba que por um erro muito pequeno, a troca de ( 0 20 ) por 0 20, o produto LU já ficou muito diferente de A. A matriz A = A = [ 0 [ 0 20 ] não tem decomposição LU. Entretanto ] [ = ] [ ] = LU Numericamente, como u 0 6, fl( 0 20 ) = Logo, A [ ] [ = ] [ ] = ˆLÛ Exemplo perverso [ 0 20 ] [ x = 0 ] Quando se computam os fatores L e U, dificilmente será computado o produto deles e comparado com a matriz A original. O perigoso seria então tentar utilizar esses fatores na resolução do sistema linear. Veja que o resultado obtido seria completamente errado. O problema com esse exemplo é que o pivô, apesar de não ser nulo, era muito pequeno. Como no algoritmo dividi-se pelo pivô, pivôs pequenos dão origem a multiplicadores muito grandes e dai surge problemas de perda de dígitos significativos. A estratégia para circundar este tipo de problema é evitar ao máximo pivôs pequenos. Usando LU, x [ ] [ 0, e usando ˆLÛ, x = ]. Estabilidade Apesar dos fatores LU terem sido calculados de maneira estável, a solução do sistema linear utilizando LU não foi estável.

17 Pivoteamento x kk x kk Pivoteamento x ik 0 0 x ik 0

18 Pivoteamento x ij 0 0 x ij 0 Pivoteamento parcial x ik P 2 x ik = max x jk j x ik L 2 x ik 0 0 0

19 Exemplo A = Exemplo =

20 Exemplo = Exemplo =

21 Exemplo = Exemplo =

22 Decomposição LU com pivoteamento Diferentemente do que acontece com a decomposição LU sem pivoteamento, a decomposição LU com pivoteamento sempre existe. Teorema Qualquer matriz quadrada A, pode ser fatorada como PA = LU, com P uma permutação da matriz identidade, L uma matriz triangular inferior com diagonal unitária com entradas com magnitude não maior que, e U uma matriz triangular superior. Exercícios Resolva o sistema linear abaixo através da decomposição LU com pivoteamento x = Encontre a decomposição LU com pivoteamento para

23 Tudo ou nada Já vimos que o custo computacional da resolução de um sistema linear é O( 2 3 n3 ). E se não houver recursos suficientes? Por exemplo, se não tiver... tempo, espaço, dinheiro? Tudo ou nada Métodos diretos Caso seja possível arcar com o custo total de um método direto, como eliminação do Gauss ou Decomposição LU, ao final de um número finito de passo, a solução é conhecida, a menos de erros numéricos. Métodos iterativos Métodos iterativos obtém aproximações sucessivas da solução, cuja qualidade é proporcional à disponibilidade de recursos.

24 Considere o sistema linear Exemplo prático simples { 7.5x + 7.3x 2 = x + 9.0x 2 = Repare que isolando a incógnita x na primeira equação e x 2 na segunda, obteríamos duas equações expĺıcitas para x e x 2, se soubéssemos o valor de x 2 na primeira equação e o de x na segunda. função desta aparoximações { 7.5x + 7.3x 2 = x + 9.0x 2 = { 7.5x = x 2 9.0x 2 = x Exemplo prático simples Se tivermos uma aproximação para (x, x 2 ), digamos x k = (x k, xk 2 ), então podemos construir novas aproximações x (k+) = (x (k+), x (k+) 2 ), utilizando estas equações expĺıcitas. Para facilitar a interpretação geométrica deste método, graficar a reta associada à primeira equação em vermelho e a reta associada à segunda equação de azul. { 7.5x + 7.3x 2 = x + 9.0x 2 = x (k+) = x k 2 9.0x (k+) 2 = x k

25 Exemplo prático simples Se tivermos uma aproximação para (x, x 2 ), digamos x k = (x k, xk 2 ), então podemos construir novas aproximações x (k+) = (x (k+), x (k+) 2 ), utilizando estas equações expĺıcitas. Para facilitar a interpretação geométrica deste método, graficar a reta associada à primeira equação em vermelho e a reta associada à segunda equação de azul. { 7.5x + 7.3x 2 = x + 9.0x 2 = x (k+) = ( x k 2 )/7.5 x (k+) 2 = ( x k )/9.0 Interpretação geométrica x (k+) = ( x k 2 )/7.5 x (k+) 2 = ( x k )/9.0 Seja x k a aproximação atual para a solução do sistema linear (marcado com o ponto preto no gráfico). A solução do sistema linear é facilmente identificada como o ponto de intersecção das duas retas. Determinar x (k+) pela primeira equação é o mesmo que perguntar a coordenada x do ponto da reta vermelha cuja coordenada x 2 é a mesma do ponto x k. Graficamente, x (k+) é a abscissa do ponto de intersecção da reta vermelha com uma reta paralela ao eixo x passando por x k. Raciocínio análogo vale para a determinação de x (k+) 2. Este será o ponto de interseção da reta azul com uma retar paralela ao eixo x 2, passando por x k.

26 O gráfico acima exibe as primeiras sete iterações deste algoritmo. Interpretação geométrica Note a convergência para a solução do sistema linear. Repare que ambos os sitemas lineares são o mesmo, exceto pela troca da ordem das equações. Exemplo prático simples { 7.5x + 7.3x 2 = x + 9.0x 2 = { 2.8x + 9.0x 2 = x + 7.3x 2 = 4.65

27 Vamos partir agora de um ponto bem mais próximo da solução do sistema. Interpretação geométrica Jacobi Interpretação geométrica Jacobi Vamos partir agora de um ponto bem mais próximo da solução do sistema. Repetindo o processo anterior (x (k+) definido pela intersecção de reta paralela ao eixo x, que passa por x k, e a reta vermelha, primeira equação, e x (k+) 2 definido pela intersecção de reta paralela ao eixo x 2, que passa por x k, e a reta azul, segunda equação), acabamos por nos afastar da solução do sistema linear. Veja que a troca da ordem das equações resultou em divergência.

28 Exercício Esboce graficamente o comportamento do método de Jacobi nas seguintes situações no plano: O sistema linear tem solução e o método converge lentamente. O sistema linear tem solução e o método diverge lentamente. O sistema linear não tem solução. O sistema linear tem infinitas soluções. Partindo do ponto marcado, realize algumas iterações do método de Jacobi. Exercício

29 Método de Jacobi As principais característica do método de Jacobi (ou Gauss-Jacobi) são: Facilidade de construção. Basta utilizar a j-ésima equação para determinar x (k+) j partir de x k. Convergência não assegurada para qualquer sistema linear. Precisamos ainda tentar descobrir critérios que garantam a convergência pelo menos para uma classe de sistemas lineares. Dependência da ordem das equações no sistema linear. Mesmo que o método convirjá, como vimos no exercício anterior, a convergência pode ser bem lenta. a Fácil de construir Nem sempre converge Convergência depende da ordem das equações Mesmo quando converge, pode ser lento Método de Gauss-Seidel O método de Gauss-Seidel utiliza uma abordagem muito similar à do método de Jacobi, porém como o método de Jacobi pode ter convergência lenta, a idéia é tentar modifica-lo com o propósito de acelerar sua convergência. A idéia é utilizar a melhor aproximação assim que disponível. Logo, na segunda equação, por que utilizar x k se x(k+) é supostamente melhor e já é conhecido neste ponto do algoritmo? x (k+) = ( x k 2 )/7.5 x (k+) 2 = ( x (k+) )/9.0

30 Interpretação geométrica Gauss-Seidel Interpretação geométrica Gauss-Seidel

31 Interpretação geométrica Gauss-Seidel Interpretação geométrica Gauss-Seidel

32 Método de Gauss-Seidel Também é fácil de construir Nem sempre converge Convergência depende da ordem das equações Quando converge, em geral é mais rápido que Jacobi Direto Iterativo Métodos diretos Encontram a solução exata depois de um número determinado de passos Destroem a estrutura da matriz Precisam de memória para manipular a matriz Métodos iterativos Podem convergir ou não Fornencem aproximações sucessivas Preservam a estrutura da matriz Precisam de menos memória

33 Modelo de método de iterativo Seja x (0) uma aproximação inicial x (k+) = φ(x (k) ), para k = 0,, 2,... Função de iteração Se x é uma solução do problema, φ deve ter a propriedade de que x = φ(x ) Função de iteração Se x é solução de Ax = b, então Ax = b x + Ax = x + b x = (I A)x + b Proposta: φ(x) Bx + b, B = (I A)

34 Método de Richardson φ(x) = Bx + b, B = (I A) Seja x 0 uma aproximação inicial x (k+) = φ(x (k) ) = Bx (k) + b, para k = 0,, 2,... Este método é convergente? Convergência O método é convergente se x (k) x, ou seja, se e (k) x (k) x 0

35 Normas vetoriais Norma é uma função que mede o tamanho de vetores. A norma Euclidiana é a medida utilizada para se definir o conceito de usual distância. Ou seja, a distância (em linha reta) de um ponto A a um ponto B é dada por A B 2. Muitas outras normas podem ser definidas. Em particular a norma e a norma infinito são outras duas opções, inclusive mais baratas de serem computadas. Norma Euclidiana: x = (x, x 2,..., x n ) T x 2 = x 2 + x x 2 n Norma : Norma infinito: x = x + x x n x = max{ x, x 2,..., x n } Exemplo: Araraquara No caso da cidade de Araraquara, com seu planejamento cartesiano, a distância percorrida de um ponto a outro da cidade não é medida pela distância em linha reta, ou distância Euclidiana convencional, mas sim pela distância do trajeto ao longo dos eixos coordenados. Esta distância é justamente medida pela norma. Este exemplo é apenas para deixar claro que diferentes noções de como medir distâncias podem ser úteis em contextos diferentes.

36 Normas matriciais... A = max{ a j }, A = a a 2 a n... A é a maior norma- das colunas de A A = max{ a j }, A = a a 2. a n A é a maior norma- das linhas de A Exemplo A = A = 9 A = 8

37 Convergência O método é convergente se x (k) x, ou seja, se e (k) x (k) x 0 Como o erro varia em um passo do método? e (k) = x (k) x = φ(x (k ) ) φ(x ) = (Bx (k ) + b) (Bx + b) = B(x (k ) x ) = Be (k ) Convergência e (k) = Be (k ) = B (Be (k 2)) ( = B 2 Be (k 3)) = = B k e (0) e (k) = B k e (0) e (k) B k e (0)

38 Modelo de método iterativo Seja x (0) uma aproximação inicial qualquer x (k+) = φ(x (k) ), para k = 0,, 2,... com φ(x) = Bx + c, tal que x = φ(x ) B < x (k) x Exemplo ( ) ( 2.0 x = 0. ) B = (I A) = ( ), B = 0.8, B = 0.7

39 Iterando... x (0) = b, Ax (0) b = 0.78 ( ) x () = Bx (0) b = 0.87 Ax () b = 0.6 ( ) x (2) = Bx () b = 0.95 Ax (2) b = 0.05 x (4) = Bx (3) + b = ( ) Ax (4) b = Outro exemplo ( ) ( 2.0 x = 0. ) B = (I A) = ( ), B =.4, B =.3

40 Repartindo matrízes A = A = + + A = L + D + U Método de Jacobi Ax = b (L + D + U)x = b Dx = (L + U)x + b x = D (L + U)x + D b Função de Iteração φ(x) = B J x + c, B J = D (L + U), c = D b

41 Exemplo ( ) ( 2.0 x = 0. ) ( B J.7 =.5 ) ( ) = ( ) B J = B J = 0.47 Convergência B J = a a 22 a a nn 0 a 2 a 3 a n a 2 0 a 23 a 2n a 3 a 32 0 a 2n..... a n a n2 a n3 0 0 a 2 /a a 3 /a a n /a a 2 /a 22 0 a 23 /a 22 a 2n /a 22 B J = a 3 /a 33 a 32 /a 33 0 a 3n /a a n /a nn a n2 /a nn a n3 /a nn 0

42 Critério das linhas O critério das linhas garante que o método de Jacobi será convergente se os elementos da diagonal da matriz dominarem os restantes dos elementos das linhas, ou seja, se em cada linha o elemento da diagonal em módulo foi maior que a soma dos elementos fora da diagonal, todos em módulo. Para que B J <, basta que Matrizes com essa propriedade são denominadas Matrizes diagonalmente dominantes por linhas. b j = a j + + a j(j ) + a j(j+) + + a jn a jj <, para j =, 2,..., n, ou seja a jj > n a jk k= k j Exemplo A primeira matriz satisfaz o critério das linhas, visto que 4 > 2 +, 3 > 0 +, e 6 > Logo, seguramente o método de Jacobi aplicado a um sistema linear com esta matriz de coeficientes convergirá. A segunda matriz não satisfaz o critério das linhas, visto que na segunda linha 3 < A terceira matriz também não satisfaz o critério das linhas, dado que tanto a segunda como a terceira linhas violam a condição necessária (3 < 2+7 e 0 < 2+). Entretanto, permuntando a segunda e a terceira linhas, a nova matriz sim satisfaz o critério das linhas. Portanto, é possível aplicar o método de Jacobi, desde que esta permutação seja feita antes.

43 Jacobi na prática 5x 2x 2 + x 3 = 6 x 4x 2 2x 3 = 3 2x + 2x 2 7x 3 = 8 5x (k+) = 6 + 2x (k) 2 x (k) 3 4x (k+) 2 = 3 x (k) + 2x (k) 3 7x (k+) 3 = 8 2x (k) 2x (k) 2 Jacobi na prática 5x (k+) = 6 + 2x (k) 2 x (k) 3 4x (k+) 2 = 3 x (k) + 2x (k) 3 7x (k+) 3 = 8 2x (k) 2x (k) 2 x 0 = x = x 2 = x x 0 = 6.6, x 2 x = 3.3 Ax 0 b = 46.0, Ax b = 22.9, Ax 2 b = 7.2

44 Método de Gauss-Seidel Ax = b (L + D + U)x = b (L + D)x = Ux + b x = (L + D) Ux + (L + D) b Função de Iteração φ(x) = B GS x + c, B GS = (L + D) U, c = (L + D) b Gauss-Seidel na prática 5x 2x 2 + x 3 = 6 x 4x 2 2x 3 = 3 2x + 2x 2 7x 3 = 8 5x (k+) = 6 + 2x (k) 2 x (k) 3 4x (k+) 2 = 3 x (k+) + 2x (k) 3 7x (k+) 3 = 8 2x (k+) 2x (k+) 2

45 Gauss-Seidel na prática 5x (k+) = 6 + 2x (k) 2 x (k) 3 4x (k+) 2 = 3 x (k+) + 2x (k) 3 7x (k+) 3 = 8 2x (k+) 2x (k+) 2 x 0 = x = x 2 = x x 0 = 0.2, x 2 x = Ax 0 b = 46.0, Ax b = 20.4, Ax 2 b = 8.6 Jacobi Gauss-Seidel Sim! Pois no método de Jacobi o cálculo de x (k+) j depende apenas de x (k) e portanto, todos x (k+) j podem ser calculados em paralelo. Esta caracterítica pode ser aproveitada quando utilizamos clusters de computadores, capazes de realizar várias operações em paralelo. Se Gauss-Seidel é, em geral, mais rápido que Jacobi, e o custo computacional é o mesmo, ainda há espaço para o método de Jacobi?