Resolução de sistemas de equações lineares: Método do Gradiente

Transcrição

1 Resolução de sistemas de equações lineares: Método do Gradiente Marina Andretta ICMC-USP 24 de março de 2015 Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

2 Método do Gradiente Estamos interessados em resolver o sistema linear com A IR n n e b IR n dados. Ax = b, Quando a matriz A é esparsa, podemos não tê-la representada, mas dispor apenas de rotinas que calculem o produto de A por um dado vetor v. Neste caso, não é possível usar os métodos diretos ou os Métodos Jacobi-Richardson ou Gauss-Seidel. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

3 Método do Gradiente Para isso, usaremos o Método do Gradiente. A ideia básica deste método é trocar o problema de encontrar a solução do sistema Ax = b pelo problema de encontrar o minimizador da função quadrática f (x) = 1 2 x T Ax b T x. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

4 Funções quadráticas Para ver que estes problemas podem ser equivalentes, vejamos quais as condições para que um ponto x seja minimizador de f. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

5 Funções quadráticas Do cálculo temos que se um ponto x é minimizador de uma função g, gradiente de g(x) = g(x) = 0 e Hessiana de g(x) = 2 g(x) semidefinida positiva. Mais ainda, se 2 g(x) for definida positiva, x é um minimizador local de g. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

6 Funções quadráticas Dada a função f (x) = 1 2 x T Ax b T x, temos que f (x) = Ax b, 2 f (x) = A. Note que o minimizador x de f deve satisfazer f (x ) = Ax b = 0 Ax = b. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

7 Funções quadráticas Mas só temos garantia de que o ponto x é minimizador de f se A for simétrica e definida positiva. Assim, se A for simétrica e definida positiva, podemos aplicar o Método do Gradiente e encontrar o minimizador da função f, que será solução do sistema Ax = b. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

8 Método do Gradiente Para minimizar a função quadrática f, partimos de um ponto inicial x 0 e, a cada iteração k, escolhemos uma direção d k que faz com que o valor da função diminua de valor a partir de x k. Escolhida a direção d k, escolhemos o tamanho do passo α k que daremos na direção d k, a partir de x k. Assim, o ponto x k+1 é dado por x k+1 = x k + α k d k. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

9 Método do Gradiente Como, a partir de um ponto x k, a função f aumenta na direção de f (x k ), definiremos a direção d k como d k = f (x k ). Definiremos o resíduo do sistema linear no ponto x k como r k = Ax k b = f (x k ) d k = r k. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

10 Método do Gradiente Para escolher o tamanho de passo α k, vamos calcular o valor que minimiza a função f na direção d k = r k. Ou seja, vamos calcular α k tal que seja mínima. φ(α) = f (x k + αd k ) Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

11 Método do Gradiente Note que φ(α) = f (x k + αd k ) = 1 2 (x k + αd k ) T A(x k + αd k ) b T (x k + αd k ), com x k e d k conhecidos. Como φ(α) é uma parábola convexa, para encontrar o valor de α que minimiza φ basta calcular a derivada de φ em relação a α e igualá-la a 0. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

12 Método do Gradiente Com isso, temos que α k = d T k d k d T k Ad k = r k T r k rk T Ar. k Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

13 Algoritmo Método do Gradiente: dadas a dimensão n, uma matriz A IR n n simétrica definida positiva, um vetor b IR n, uma aproximação inicial x 0, uma tolerância TOL > 0 e o número máximo de iterações MAXIT, devolve x k uma aproximação da solução de Ax = b ou emite uma mensagem de erro. Passo 1: Faça k 0. Passo 2: Faça r k Ax k b. Passo 3: Se r k < TOL, então devolva x k como solução e pare. Passo 4: Faça α k r k T r k rk T Ar. k Passo 5: Faça x k+1 x k α k r k. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

14 Algoritmo - continuação Passo 6: Se x k+1 x k < TOL ou x k+1 x k x k+1 devolva x k+1 como solução e pare. Passo 7: Se k > MAXIT então < TOL, então Escreva o método falhou após MAXIT iterações e pare. Passo 8: Faça k k + 1 e volte para o Passo 2. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

15 Exemplo Vamos usar o Método dos Gradientes Conjugados para encontrar a solução do sistema linear ( ) ( x1 x 2 ) = ( 5 4 ) com precisão 10 1, usando o ponto inicial x 0 = (0, 0) T. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

16 Exemplo Na primeira iteração (k = 0), temos que r 0 = Ax 0 b = b = ( 5 4 ). Como r 0 = 5 > 10 1, calculamos α 0 = r T 0 r 0 r T 0 Ar 0 x 1 = x 0 α 0 r 0 = = , ( ). Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

17 Exemplo Calculando os erros absoluto e relativo, temos que x 1 x 0 = > 10 1, x 1 x 0 x 1 = 1 > Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

18 Exemplo Na segunda iteração (k = 1), temos que r 1 = Ax 1 b = ( ) ( 5 4 ) = ( ). Como r 1 = > 10 1, calculamos α 1 = r T 1 r 1 r T 1 Ar 1 x 2 = x 1 α 1 r , ( ). Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

19 Exemplo Calculando os erros absoluto e relativo, temos x 2 x > 10 1, x 2 x 1 x > Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20

20 Exemplo Na terceira iteração (k = 2), temos que r 2 = Ax 2 b = ( ) ( 5 4 ) = ( ). Como r 2 = < 10 1, paramos com x 2 = (0.9934, ) T como solução aproximada do sistema. Marina Andretta (ICMC-USP) sme Métodos Numéricos para Engenharia I 24 de março de / 20