Métodos Numéricos e Estatísticos Parte I-Métodos Numéricos

Métodos Numéricos e Estatísticos Parte I-Métodos Numéricos Lic. Eng. Biomédica e Bioengenharia-2009/2010

lineares Muitos problemas da Física, Matemática, Engenharia, Biologia, economia e outras ciências, conduzem a sistemas de equações lineares da forma Estes podem ser escritos na forma matricial a 11 x 1 + a 12 x 2 +... + a 1n x n = b 1 a 21 x 1 + a 22 x 2 +... + a 2n x n = b 2. a n1 x 1 + a n2 x 2 +... + a nnx n = b n a 11 a 12 a 1n a 21 a 22 a 2n........ } a n1 a n2 {{ a nn } A x 1 x 2. x n } {{ } x = b 1 b 2. b n, } {{ } b i.e, na forma Ax = b, A matriz dos coeficientes x matriz das incógnitas b matriz dos termos independentes.

Para os resolver: Métodos directos: Metodo de eliminação de Gauss, regra de Cramer, entre outros. Metodos iterativos: Método de Jacobi e método de Gauss-Seidel, entre outros. O método de eliminação de Gauss pode conduzir a soluções erróneas devido aos erro de arredondamento e sua propagação.

Exemplo O sistema de equações lineares { 0.003000x1 + 59.14x 2 = 59.17 5.291x 1 6.130x 2 = 47.78 tem como solução exacta x 1 = 10.0 e x 2 = 1.0. Suponhamos que o resolvemos, pelo método de eliminação de Gauss, num computador que usa um sistema F 10, 4, 10, 10). Através da operação elementar OL : L 2 L 2 5.291 0.003000 L 1, transformamos o sistema num outro equivalente { 0.003000x1 + 59.14x 2 = 59.17 5.291x 1 6.130x 2 = 47.78 que tem como solução OL { 0.003000x1 + 59.14x 2 = 59.17 104300x 2 = 104400 x 2 = 0.1044 106 0.1043 10 6 = 1.00096 1.001 e x 59.17 59.14 1.001) 1 = = 10.0 0.003000 ou seja, um pequeno erro em x 2 : r x2 = 1.0 1.001 1.0 = 0.001 0.1%) resultou num grande erro em x 1 : r x1 = 10.0 10.0) 10.0 = 2 200%)

No entanto de tivessemos trocado a ordem das equações: { 5.291x1 6.130x 2 = 47.78 0.003000x 1 + 59.14x 2 = 59.17 L 2 0.003000 5.291 L 1 { 5.291x1 6.130x 2 = 47.78 59.14x 2 = 59.14 que tem como solução x 1 = 10.0 e x 2 = 1.0.

Pesquisa de pivot Parcial: No passo k do método de eliminação de Gauss, escolhe-se para elemento pivot o elemento de maior valor absoluto na coluna k. Em linguagem grosseira, vamos considerar candidatos a elementos pivot todos os que estiverem abaixo do actual elemento pivot. Escolhe-se o maior em valor absoluto e trocam-se as equações. Foi o que se fez no exemplo anterior. Total: Consideramos como candidatos a elementos pivot todos os que estiverem abaixo e à direita do actual elemento pivot. Escolhe-se, de entre eles, o maior em valor absoluto. No exemplo anterior, esta técnica conduziria ao sistema { 59.14x1 + 0.003000x 2 = 59.17 6.130x 1 + 5.291x 1 = 47.78 Nota: A pesquisa total de pivot é a técnica que permite uma maior redução dos erros de arredondamento. Contudo, requer um maior tempo computacional, não sendo por isso a mais utilizada.

No caso de certas matrizes, o método de eliminação de Gauss tem um comportamento estável, não sendo assim necessário recorrer à técnica de pesquisa de pivot. Uma matriz A n n diz-se estritamente diagonal dominante por linhas sse a ii > n a j = 1 ij, i = 1, 2,..., n; j i por colunas sse a jj > n a i = 1 ij, j = 1, 2,..., n; i j Exemplo A matriz A = 2 3 1 não é estritamente diagonal dominante por linhas 4 2 0 1 0 2 pois 3 = 2 + 1. Mas é estritamente diagonal dominante por colunas uma vez que 4 > 2 + 1, 3 > 2 + 0 e 2 > 1 + 0.

Normas vectoriais e matriciais Uma norma em R n é uma função real, denotada por, satisfazendo 1 x 0, x R n ; 2 x = 0 x = 0; 3 αx = α x, α R, x R n ; 4 x + y x + y, x, y R n. As normas vectoriais mais usadas em R n são as seguintes x = max 1 i n { x i } x 1 = x 2 = n x i i=1 n ) 1 2 x i 2 i=1

Exemplo Sendo x = 1 2 0 ) T, x = max i } = max { 1, 2, 0 } = 2 1 i 3 3 x 1 = x i = 1 + 2 + 0 = 3 x 2 = i=1 n i=1 x i 2 ) 1 2 = 1 2 + 2 2 + 0 2) 1 2 = 5.

Uma norma de matriz é uma função real definida no conjunto das matrizes quadradas reais, : R n R n R, satisfazendo 1 A 0, A; 2 A = 0 A = 0; 3 αa = α A, α R, A; 4 A + B A + B, A, B; 5 AB A B, A, B. As normas matriciais mais usadas são as seguintes n A = max a ij ; 1 i n j=1 n ) A 1 = max aij ; 1 j n i=1 )) A 2 = ρ AA T 12 ; onde ρ AA T ) é o raio espectral da matriz AA T.

O raio espectral de uma matriz quadrada A denota-se por ρ A) e é definido por ρ A) = max k λ k, onde λ k é valor próprio de A. Exemplo Consideremos a seguinte matriz: A = 1 2 1 0 3 1 5 1 1 i = 1 i = 2 i = 3 j = 1 j = 2 j = 3 3 j=1 a 1j = 1 + 2 + 1 = 4 3 j=1 a 2j = 3 + 1 = 4 3 j=1 a 3j = 5 + 1 + 1 = 7 = A = 7 3 i=1 a i1 = 1 + 5 = 6 3 i=1 a i2 = 2 + 3 + 1 = 6 3 i=1 a = A 1 = 6 i3 = 3

Erro absoluto e erro relativo Seja x R n um vector e x uma aproximação de x. e x = x x, é chamado de erro de x um vector); x = e x = x x, é o erro absoluto de x; r x = e x x = x x é o erro relativo de x. x Quando se pretende resolver um sistema Ax = b, muitas das vezes os dados A e b) são arredondados. Para avaliarmos até que ponto a solução do sistema é sensível à propagação de erros de arredondamento, vamos supor que o sistema original é substituído por um outro Āx = b, no qual Ā e b são aproximações perturbações) de A e b, respectivamente. Um sistema linear diz-se bem condicionado se a pequenas perturbações nos dados linear corresponderem pequenas perturbações na solução. Caso contrário, o sistema diz-se mal condicionado.

Exemplo Consideremos o sistema { 1.0001x1 + 2x 2 = 3.0001 x 1 + 2x 2 = 3 cuja solução é x 1 = 1.0 e x 2 = 1.0. Se perturbarmos o lado direito: { 1.0001x1 + 2x 2 = 3.0003 x 1 + 2x 2 = 3 Este último sistema tem como solução x 1 = 3.0 e x 2 = 0.0. Calculemos o erro de b e o consequente erro na solução, usando, por exemplo, a norma. donde e b = b b = 0.0002 0.0 ) T e x = 2 1 ) T r b = e b b = 0.0002 = 0.000067 0.007% 3.0001 r x = e x x = 2 1 = 2 200%

Seja A uma matriz quadrada não singular. Define-se número de condição de A por conda) = A A 1. Pode mostrar-se que para qualquer norma induzida, conda) 1, embora dependa da norma utilizada ); 1 conda) r b r x conda) r b. Nota: No caso de um sistema ser mal condicionado, a pesquisa de pivot não melhora grandemente os resultados, já que o mau condicionamento resulta sempre em instabilidade numérica.

Métodos iterativos Recordemos que para equações do tipo f x) = 0, obtiveram-se métodos iterativos do ponto fixo x k+1 = gx k ), k = 0, 1, 2,... depois de se reescrever a equação na forma x = gx). No caso de um sistema de equações linear Ax = b, vamos reescrever o sistema numa outra forma equivalente Ax = b x = Cx + d, }{{} Mx) onde C é uma matriz apropriada e d um vector. Tal como no método do ponto fixo para a resolução de uma equação f x) = 0 x = gx), diferentes funções g geravam métodos sucessões de aproximações diferentes), também no caso da resolução de um sistema de equações, diferentes escolhas da função M conduzirão a métodos diferentes. Dada uma aproximação inicial x 0 = associado a G será x 0) 1 x 0) 2 x n 0) x k+1 = Cx k + d, k = 0, 1, 2,... ), o método iterativo

Seja x a solução de Ax = b e x k) a aproximação de ordem k dada pelo método iterativo. A e k) = x x k) chamamos erro da iteração k. O método iterativo x k) = Mx k 1) + c e k) = 0. Caso contrário diz-se diver- diz-se convergente sse lim k gente.

O método iterativo converge qualquer que seja a aproximação inicial x 0), se e só se lim k M k = 0. Dem.: Sendo x a solução exacta do sistema e x k a aproximação de ordem k: x k) = Mx k 1) + c e x = Mx + c Então e k) = x x k) = M x x k 1)) = Me k 1) = M 2 x x k 2)) = M k x x 0)) = M k e 0), k = 1, 2,.... Fazendo k, obtém-se lim e k) = 0, ou seja, o método converge qualquer que seja k a aproximação inicial x 0). O método iterativo converge para qualquer x 0) se e só se ρm) < 1.

Se M < 1 então o método iterativo converge qualquer que seja a a proximação inicial x 0), e tem-se x x n) M n x x 0) x x n) M n 1 M x1) x 0) Dem.: É fácil concluir que e k) M k e 0), k = 1, 2,... Como M < 1, então lim k + ek) = 0, o que prova a convergência do método iterativo. Para provar a segunda fórmula de majoração do erro, fazemos: x m) x n) = m j=n+1 x j) x j 1) x m) x n) m j=n+1 x j) x j 1). Por outro lado x j) x j 1) = M j 1) x 1) x 0), donde m m n 1 x m) x n) M j 1 x 1) x 0) = M n M j x 1) x 0) j=n+1 j=0 M n M j x 1) x 0) = M n 1 M x1) x 0) j=0 Fazendo m + obtemos o pretendido.

Critérios de paragem x k) x k 1) δ x k) x k 1) x k) Atendendo a que δ. x k) x = M x k 1) x ) + c, isto é e k) M e k 1), k = 1, 2,... facilmente se conclui que a ordem dum método deste tipo é 1.

Método de Jacobi Consideremos o sistema linear Ax = b e A escrita na forma A = D L U, onde a 11 0... 0 0 0... 0 0 a 22 0... a D =.. 0.... 0 ; L = 21 0 0........ 0 ; U =.. 0 0 a 23 0... 0 a nn a 1n... a 1n 1 0. 0... 0 0 Então 0 a 12... a 1n... an 1n Ax = b D L U)x = b Dx = L + U)x = b x = D 1 L + U)x + D 1 b isto é x k) = D 1 L + U) x k 1) + D 1 b, }{{} M M é a matriz de iteração. Nota: Para que o método iterativo seja aplicável, temos que ter a ii 0, i. Se i tal que a ii = 0, temos que efectuar troca de linhas de forma a que esta situação deixe de se verificar;

Exemplo Consideremos o sistema cuja solução exacta sabemos ser x = 1, 1, 1). 10x 1 + x 2 + x 3 = 12 x 1 5x 2 + 3x 3 = 2 x 1 + x 2 + 3x 3 = 5 e x 0) = 0, 0, 0) na prática é costume tomar-se esta aproximação inicial). D = 10 0 0 0 5 0 0 0 3 10 1 1 1 5 2 1 1 3 } {{ } A ; L = x 1 x 2 x 3 } {{ } x = 1 0 0 0 0 0 1 1 0 12 2 5 } {{ } b ; U = 0 1 1 M = D 1 10 10 L + U) = 1 2 0 e d = D 1 b = 5 5 1 1 0 3 3 0 1 1 0 0 2 0 0 0 12 10 2 5 3

O esquema iterativo do método de Jacobi escreve-se: 0 1 1 x k) 10 10 = 1 2 x k 1) 1 0 5 5 x k 1) 2 + 1 1 x k 1) 0 3 3 3 x 1) = 12 10, 2 5, 5 ) 3 x 2) = 149 150, 98 75, 17 ) 15. 12 10 2 5 3

Seja A M n R) não singular com a ii 0, i = 1,..., n e b R n e A = D L U, onde D = matriz diagonal, L = matriz triangular inferior e U = matriz triangular superior. 1 Se D 1 L + U) 1, então para x 0) R n, o método iterativo de Jacobi gera uma sucessão vectorial que converge para a solução única de Ax = b. 2 O método iterativo de Jacobi gera uma sucessão vectorial convergente para a solução única de Ax = b, x 0) se e só se ρ D 1 L + U) ) < 1. Se A é estritamente diagonal dominante por linhas ou por colunas) então o método iterativo de Jacobi gera uma sucessão de aproximações que converge para a solução única do sistema Ax = b qualquer que seja a aproximação inicial x 0).

No scilab: Exemplo Exercício 37 dos problemas propostos: D=[2 0;0 3];L=[0 0;-1 0];U=[0-0.5;0 0];b=[2.5;0.5]; M=invD)*L+U);B=invD)*b;x0=[5/4;-1/4];it=0;tol=1; while tol>5*10^-2), xi=m*x0+b;it=it+1;printf it=%d\n,it); Ab=absx0-xi);// absa) devolve a matriz cujas entradas s~ao o módulo das entradas de A tol=maxab); //maxa) devolve a maior entrada da matriz A x0=xi; printf xi=%0.8f\n,xi), end

Método de Gauss-Seidel Consideremos novamente o sistema linear Ax = b onde, tal como anteriormente, A = D L U. Então Ax = b x = D L) 1 Ux + D L) 1 b, obtendo-se o esquema iterativo o que é equivalente a x k) = D L) 1 U x k 1) + D L) 1 b }{{}}{{} M c Dx k) = Lx k) +Ux k 1) +b x k) = D} 1 {{ Lx k) } + } D 1 Ux {{ k 1) } +D 1 b novo velho

Exemplo Retomemos o exemplo do sistema 10x 1 + x 2 + x 3 = 12 x 1 5x 2 + 3x 3 = 2 x 1 + x 2 + 3x 3 = 5. Se o reescrevermos na forma iterativa de Gauss-Seidel, temos: 1 0 0 1 1 0 5 1 1 1 3 3 x k) 1 x k) 2 x k) 3 0 1 1 10 10 = 2 0 0 5 0 0 0 6 Com x 0) = 0, 0, 0) vem x 1) = 5, 16 25, 79 )... 75 x m 1) 1 x m 1) 2 x m 1) 3 + 6 5 2 5 3, m = 1, 2,...

No scilab: Exemplo Exercício 37 dos problemas propostos: D=[2 0;0 3];L=[0 0;-1 0];U=[0-0.5;0 0];b=[2.5;0.5]; M=invD-L)*U;B=invD-L)*b;x0=[5/4;-1/4];it=0;tol=1; while tol>5*10^-2), xi=m*x0+b;it=it+1;printf it=%d\n,it); Ab=absx0-xi); tol=maxab); x0=xi; printf xi=%0.8f\n,xi), end

Se não usarmos matrizes para resolver iterativamente o sistema dos exemplos anteriores, começamos por escrever a i-ésima equação em ordem à i-ésima incógnita: 10x 1 + x 2 + x 3 = 12 x 1 5x 2 + 3x 3 = 2 x 1 + x 2 + 3x 3 = 5 x 1 = 1 10 12 x 2 x 3 ) x 2 = 1 5 2 + x 1 + 3x 3 ) x 3 = 1 3 5 x 1 x 2 ) Método de Jacobi: No lado esquerdo da equações substitui-se x i por xi k e no lado direito, x i é substituído por x k 1 i, obtendo-se o esquema iterativo ) x k) 1 = 1 12 x k 1) 10 2 x k 1) 3 ) x k) 2 = 1 2 + x k 1) 5 1 + 3x k 1) 3, k = 1, 2,... ; ) x k) 3 = 1 5 x k 1) 3 1 x k 1) 2 Método de Gauss-Seidel No lado esquerdo da equações substitui-se x i por xi k e no lado direito, x i é substituído pelas aproximações mais recentes: ) x k) 1 = 1 12 x k 1) 10 2 x k 1) 3 ) x k) 2 = 1 2 + x k) 5 1 + 3x k 1) 3 ) x k) 3 = 1 5 x k) 3 1 x k) 2, k = 1, 2,....,

Seja A M n R) não singular com a ii 0, i = 1,..., n e b R n. A = D L U, onde D = matriz diagonal, L = matriz triangular inferior e U = matriz triangular superior.. 1 Se I D 1 L) 1 D 1 U 1, então para x 0) R n, o método de Gauss-Seidel gera uma sucessão vectorial que converge para a solução única de Ax = b. 2 O método de Gauss-Seidel gera uma sucessão vectorial convergente para a solução única de Ax = b, x 0) se e só se ρ I D 1 L) 1 D 1 U ) < 1. Se A é estritamente diagonal dominante por linhas ou por colunas) então o método de Gauss-Seidel gera uma sucessão de aproximações que converge para a solução única do sistema Ax = b qualquer que seja a aproximação inicial x 0).

não lineares Um sistema de n equações não lineares a n incógnitas tem a forma: f 1 x 1, x 2,..., x n) = 0 f 2 x 1, x 2,..., x n) = 0. f n x 1, x 2,..., x n) = 0 onde f i : R n R, i = 1, 2,..., n. Definindo x = x 1 x 2 x n ) T e F = f1 f 2 f n ) T o sistema pode escrever-se na forma matricial F x) = 0. Exemplo O sistema não linear x 1 + x 2 + x 3 = 4 x 1 x 2 + x 1 x 3 + x 2 x 3 = 1 x 1 x 2 x 3 = 6 pode ser escrito na forma F x) = 0, onde x = x 1 x 2 x n ) T e F x) = f 1x 1, x 2, x 3 ) f 2 x 1, x 2, x 3 ) f 3 x 1, x 2, x 3 ) = x 1 + x 2 + x 3 4 x 1 x 2 + x 1 x 3 + x 2 x 3 1 x 1 x 2 x 3 + 6

Método de newton para sistemas não lineares Recordemos que para funções f : R R a fórmula iterativa do método de Newton era dada por x m+1 = x m f x m ) ) 1 f xm ). No caso de funções F : R n R n a generalização do método é: x m+1) = x m) J x m))) 1 F x m)), onde J é a matriz Jacobiana de F : f 1 f 1 x 1 x 2 f 2 f 2 x Jx) = 1 x 2.. f n x 2 f n x 1 f 1 x n f 2 x n. f n x n.

Cálculo de x m+1) Dada uma aproximação x 0), as iteradadas x m+1), m = 0, 1,... são calculadas através do esquema iterativo x m+1) x m) }{{} d = J x m))) 1 F x m)). Multiplicando ambos os membros por J x m)) obtemos o sistema de equações lineares J x m)) d = F x m)), no qual d é o vector incógnita. Uma vez obtido d, a iterada x m+1) é dada por x m+1) = x m) + d. Se a matriz J x m)) for não singular m e se x 0) estiver suficientemente próximo de x solução exacta), então lim m xm) = x e a convergência do método é quadrática.

Exemplo Consideremos o sistema não linear { y x 2 + 2x = 0.5 x 2 + 4y 2 = 4 cujas soluções correspondem aos pontos de intersecção das curvas representadas na figura ao lado. Seja, A matriz Jacobiana de F é f1 x, y) F x, y) = f 2 x, y), ) y x = 2 + 2x 0.5 x 2 + 4y 2 4 2x + 2 1 JX ) = Jx, y) = 2x 8y 1.5 1 0.5-2 -1 1 2 x O esquema iterativo do método de Newton escreve-se, sendo d = X m+1)) X m)) ) -0.5-1 ). y 2 J X m)) d = F X m)) 2x m) + 2 1 2x m) 8y m) ) d = y m) x m)) 2 + 2x m) 0.5 x m)) 2 + 4 y m)) 2 4.

Começando com a aproximação inicial X 0) = Fazendo m = 0 no esquema iterativo: 2x 0) + 2 1 2x 0) 8y 0) ) 2 1 0 8 ) d = d = }{{} ) T d1 d 2 0 }{{} }{{} x 0) 1 y 0) ) T, calculemos X 1). y 0) x 0)) ) 2 + 2x 0) 0.5 x 0) ) 2 + 4 y 0) ) 2. 4 0.5 0 ). d 1 = 0.25, d 2 = 0 logo X 1) = X 0) + d x 1) y 1) x 1) y 1) x 1) y 1) ) x 0) = y 0) ) ) 0 = + 1 ) 0.25 = 1 ) ) d1 + d 2 ) 0.25 0 )

No scilab: Exemplo Exercício 42 dos problemas propostos: function z=jx,y), z=[3*x^2-4*x-2-1;1-1], endfunction; function w=fx,y), w=[x^3-2*x^2-2*x-y+2;x-y], endfunction; it=0;tol=1;x0=0;y0=0; while tol>10^-8), xi=[x0;y0]-invjx0,y0))*fx0,y0);it=it+1;printf it=%d\n,it); Ab=abs[x0;y0]-xi); tol=maxab); x0=xi1,1);y0=xi2,1); printf xi=%0.8f\n,xi), end