Introdução aos Métodos Numéricos. Instituto de Computação UFF

Transcrição

1 Introdução aos Métodos Numéricos Instituto de Computação UFF

2 Conteúdo Erros e Aproximações Numéricas Sistemas de Equações Lineares. Métodos diretos Interpolação Ajuste de Curvas Zeros de Função Sistemas de Equações Lineares. Métodos Iterativos Integração Numérica Introdução à Resolução de Equações Diferenciais Ordinárias

3 Conteúdo Sistemas de Equações Lineares. Métodos diretos

4 Tem solução? A x= b A :n n; det ( A 0 Porque isto? Se A é n n e det ( A 0 A 1 x= A 1 b

5 Tem solução? A x= b

6 Tem solução? A x= b A :n n; det ( A 0 Porque isto?

7 Tem solução? A x= b A :n n; det ( A 0 Porque isto? Se A é n n e det ( A 0 A 1 x= A 1 b

8 As possibilidades são: Não há solução Há uma única solução Há um número indefinido de soluções

9 É uma boa ideia achar a inversa para determinar a solução?

10 É uma boa ideia achar a inversa para determinar a solução? É péssima ideia na maioria das situações reais!

11 Uma pausa importante Em geral a matemática se preocupa com se há solução para um problema Ingenuamente acreditamos qualquer método de solucionar um problema é bom Pensemos um pouco melhor...

12 Custo computacional Chamamos de custo computacional ao número de operações necessárias para um determinado algoritmo nos dar uma resposta Em geral, não é necessario o número exato de operações mas o quanto o número de operações cresce com o tamanho do problema

13 Custo computacional Exemplos: Produto escalar Produto de matriz por vetor Produto de matriz por matriz Resolução de sistemas por Laplace Resolução de sistemas por Cramer

14 Produto escalar u e v, vetores de dimensão n n u v=u 1 v 1 +u 2 v 2 +u 3 v 3 + +u n v n = i=1 Custo computacional: n multiplicações + n-1 somas u i v i

15 Produto matriz por vetor A matriz m x n, x dimensão n, y dimensão m m y i = i=1 y=a x a i, j x j ; para todo j Custo Computacional: m x (n multiplicações + n-1 somas

16 Produto de matriz por matriz A matriz m x n, B matriz n x p n ( AB i, j = r=1 a i,r b r, j ; para cada i e j Custo computacional: m x p x (n multiplicações e n 1 somas

17 Custo computacional Está complicado...

18 Custo computacional Está complicado... Simplificando...

19 Custo computacional Suporemos que todas as operações são executadas no mesmo tempo Não contaremos todas as operações mas o termo de maior crescimento Trabalharemos com dados mais uniformes

20 Custo computacional Produto escalar: 2 n - 1 operações Produto matriz por vetor: 2n 2-n operações Produto de matrizes: 2n 3-n 2 ou...

21 Custo computacional Produto escalar: 2 n - 1 operações - O(n Produto matriz por vetor: 2n 2-n operações - O(n 2 Produto de matrizes: 2n 3-n 2 O(n 3 deixando mais claro...

22 Custo computacional Número de Operações 230 n O(n Notação O (O grande n O(n 3 n n O(n 2 20 n n n O(n 3

23 Custo computacional Retornando...

24 Custo computacional Exemplos: Produto escalar Produto de matriz por vetor Produto de matriz por matriz Resolução de sistemas por Laplace Resolução de sistemas por Cramer

25 Custo computacional Algoritmo Custo computacional O Produto escalar O(n Produto de matriz por vetor O(n 2 Produto entre matrizes O(n 3 Resolução de SEL Laplace O(n 4 Resolução de SEL Cramer O(n!

26 Custo computacional O que isto quer dizer?

27 Custo computacional Suponha que estamos trabalhando com uma matriz pequena, por exemplo, 100 x 100 Suponha que nosso computador tenha um processador de 8 núcleos. Ele fará algo como 100 milhões de operações por segundo

28 Custo computacional Tempo aproximado para executar: Produto de duas matrizes:0,01 segundo Resolução de SEL por Laplace: 1 segundo Resolução de SEL por Cramer: idade estimada do universo

29 Alguns sistemas de solução simples

30 Sistema com matriz identidade I x= b x= b Observe que det (I =1 Custo computacional: Zero

31 Sistema com matriz diagonal Observe que: D x= b ;d ij =0,i j n det (D 0 sss d ii 0 i ;det (D= d ii i Como resolver: transformar este sistema em outro que sabemos o resultado, o sistema com matriz identidade.

32 O sistema tem a forma ( d d d d d n 1,n d n, n Dividamos cada linha do sistema pelo elemento da diagonal x=( b1 b 2 b 3 b 4 b n 1 b n

33 Sistema com matriz diagonal Algoritmo D x= b ;d ij =0,i j Custo computacional: O(n x i = b i d ii ; i

34 Sistema com matriz triangular inferior L x= b l l 21 l l L=( 31 l 32 l l 41 l 42 l 43 l l n 1,1 l n 1,2 l n 1,3 l n 1,4 l n 1,n 1 0 l n,1 l n,2 l n,3 l n,4 l n,n 1 l n, n Observe que: n det (L= i=1 l ii ;det ( L 0 sss l ii 0 i Como resolver: levar este problema para o de uma matriz diagonal

35 Sistema com matriz triangular inferior ( l l 21 l l 31 l 32 l l 41 l 42 l 43 l l n 1,1 l n 1,2 l n 1,3 l n 1,4 l n 1,n 1 0 l n,1 l n,2 l n,3 l n,4 l n,n 1 l n, n Explicite cada linha em relação à diagonal x=( b1 b 2 b 3 b 4 b n 1 b n

36 Sistema com matriz triangular inferior (l11 b 1 0 l b 2 l 21 x l b l l n 1, n l n,n x=( 3 l 31 x 1 l 32 x 2 b 4 l 41 x 1 l 42 x 2 l 43 x 3 b n 1 l n 1,1 x 1 l n 1,2 x 2 l n 1,3 x 3 l n 1,n 1 x n 1 b n l n1 x 1 l n2 x 2 l n3 x 3 l nn x n Resolva como na matriz diagonal

37 Ou seja x 1 = b 1 l 11 ; x 2 = b 2 l 21 x 1 l 22 ; x 3 = b 3 l 31 x 1 l 32 x 2 l 33 ; ; x n = Custo computacional n(n-1/2 O(n 2 Algoritmo n 1 b n k =1 l nn l n,k x k x 1 = b 1 l 11 ; x i = i 1 b i k=1 l ii l ik x k ;i=2,3,, n

38 Sistema com matriz triangular superior Observe que: U x= b U =( n det (U = i=1 u11 u12 u13 u14 u1, n 1 u1, n 0 u 22 u 23 u 24 u 2,n 1 u 2,n 0 0 u 33 u 34 u 3,n 1 u 3,n u 44 u 4,n 1 u 4,n u n 1,n 1 u n 1,n u n, n u ii ;det (U 0 sss u ii 0 i Como resolver: levar este problema para o de uma matriz diagonal

39 Sistema com matriz triangular superior x=( b1 0 u 22 u 23 u 24 u 2,n 1 u 2,n b u 33 u 34 u 3,n 1 u 3,n b u 44 u 4,n 1 u 4,n b u n 1,n 1 u n 1, n b n u n,n b n (u11 u12 u13 u14 u1, n 1 u1, n Explicite cada linha em relação à diagonal

40 Sistema com matriz triangular superior (u11 b1 u12 x2 u1, n 1 xn 1 u1, n x n 0 u b 2 u 23 x 3 u 2,n 1 x n 1 u 2,n x n 0 0 u b u u n 1,n u n,n x=( 3 u 34 x 4 u 3,n 1 x n 1 u 3, n x n b 4 u 45 x 5 u 4,n 1 x n 1 u 4,n x n b n 1 u n 1,n b n Resolva como na matriz diagonal

41 Ou seja x n = b n u nn ; x n 1 = b n 1 u n 1, n x n u n 1, n 1 ; x n 2 = b n 2 u n 2, n x n u n 2, n 1 x n 1 u n 2, n 2 ; ; x 1 = 2 b 1 k=n u 11 u 1, k x k Custo computacional n(n-1/2 O(n 2 Algoritmo x n = b n u nn ; x i = i+1 b i k=n u ii l ik x k ;i=n 1, n 2,,1

42 Mas e o caso mais geral? A x= b ;det ( A 0 ( a11 a12 a13 a14 a1,n 1 ann a 21 a 22 a 23 a 24 a 2,n 1 a 2, n a 31 a 32 a 33 a 34 a 3,n 1 a 3, n a 41 a 42 a 43 a 44 a 4, n 1 a 4,n a n 1,1 a n 1,2 a n 1,3 a n 1,4 a n 1,n 1 a n 1, n a n,1 a n,2 a n,3 a n,4 a n,n 1 a n,n x=( b1 b 2 b 3 b 4 b n 1 b n Como resolver: levar este problema para o de uma matriz triangular

43 Observe que no caso de matriz diagonal e matrizes triangulares fizemos transformações (por passos muito simples para solucionar os sistemas

44 Observe que no caso de matriz diagonal e matrizes triangulares fizemos transformações (por passos muito simples para solucionar os sistemas Sabemos que combinações entre as linhas não alteram a solução de um sistema

45 Observe que no caso de matriz diagonal e matrizes triangulares fizemos transformações (por passos muito simples para solucionar os sistemas Sabemos que combinações entre as linhas não alteram a solução de um sistema Como resolver: Fazer uma transformação linear por passos que transforme a matriz original numa matriz triangular. Por uma questão de tradição iremos obter uma matriz triangular superior.

46 A sistematização que veremos é devida a Gauss É chamada de Eliminação Gaussiana

47 Comecemos com ( a11 a12 a13 a14 a1,n 1 ann a 21 a 22 a 23 a 24 a 2,n 1 a 2, n a 31 a 32 a 33 a 34 a 3,n 1 a 3, n a 41 a 42 a 43 a 44 a 4, n 1 a 4,n a n 1,1 a n 1,2 a n 1,3 a n 1,4 a n 1,n 1 a n 1, n a n,1 a n,2 a n,3 a n,4 a n,n 1 a n,n x=( b1 b 2 b 3 b 4 b n 1 b n Procuremos o número o qual, ao multiplicarmos pelos valores da primeira linha e somarmos estes valores com os correspondentes da segunda linha, anule o primeiro elemento da segunda linha

48 ( a11 a12 a13 a14 a1, n 1 ann a 21 a 22 a 23 a 24 a 2,n 1 a 2, n a 31 a 32 a 33 a 34 a 3,n 1 a 3, n a 41 a 42 a 43 a 44 a 4, n 1 a 4,n a n 1,1 a n 1,2 a n 1,3 a n 1,4 a n 1,n 1 a n 1, n a n,1 a n,2 a n,3 a n,4 a n,n 1 a n,n x=( b1 b 2 b 3 b 4 b n 1 b n a 11 m 21 +a 21 =0; m 21 = a 21 a a Fácil: O termo é chamado de pivô Aplicando este fator numérico à primeira linha e somando com a segunda anulamos o primeiro elemento da segunda linha e modificamos o restante da linha, assim como o vetor constante. Fizemos uma transformação linear

49 Algoritmo: a 2 j a 2 j +m 21 a 1 j ; j=2,3,,n;b 2 b 2 +m 21 b 1 Custo computacional: uma divisão, n multiplicações e n somas - O(n

50 Algoritmo: m 21 a 21 /a 11 b 2 b 2 +m 21 b 1 Para j 2 até n a 2 j a 2 j +m 21 a 1 j Custo computacional: uma divisão, n multiplicações e n somas - O(n Mas só eliminamos um elemento!

51 Podemos fazer o mesmo para toda a primeira coluna: Calculamos a 11 m 31 +a 31 =0 ; m 31 = a 31 a 11 ;a 11 m 41 +a 41 =0 ; m 41 = a 41 a 11 ; ; a 11 m n 1 +a n1 =0 ; m n 1 = a n 1 a 11 Repetimos o procedimento que fizemos para a segunda linha para as demais linhas

52 Algoritmo: Para i 2 até n m i1 a i 1 /a 11 b i b i +m i1 b 1 Para j 2 até n a ij a ij +m i 1 a 1 j Custo computacional: n-1 divisões, n(n-1 multiplicações e n(n-1 somas - O(n 2 Já eliminamos uma coluna!

53 Agora temos ( a11 a12 a13 a14 a1,n 1 ann 0 a 22 a 23 a 24 a 2,n 1 a 2, n 0 a 32 a 33 a 34 a 3,n 1 a 3, n 0 a 42 a 43 a 44 a 4, n 1 a 4,n 0 a n 1,2 a n 1,3 a n 1,4 a n 1,n 1 a n 1, n 0 a n,2 a n,3 a n,4 a n 1, n a n,n x=( b1 b 2 b 3 b 4 b n 1 b n observando que os valores de todas as linhas do sistema, menos a primeira, foram modificadas no processo. No entanto, o determinante e a solução do sistema continuam preservados

54 Podemos repetir o mesmo que fizemos na segunda coluna o que fizemos com a primeira a 22 m 32 +a 32 =0 ; m 32 = a 32 a 22 ; a 22 m 42 +a 42 =0 ; m 42 = a 42 a 22 ; ; a 22 m n 2 +a n 2 =0 ; m n 2 = a n 2 a 22 onde a 22 é o pivô da segunda linha a ij a ij +m i 2 a 2 j ; j=3,,n ;b i b i +m i 2 b 2 ; para i=3,,n

55 Algoritmo: Para i 3 até n m i 2 a i 2 /a 22 b i b i +m i2 b 2 Para j 3 até n a ij a ij +m i 2 a 2 j Custo computacional: n-2 divisões, (n-1(n-2 multiplicações e (n-1(n-2 somas O(n 2 mas um O(n 2 mais magrinho...

56 Agora temos ( a11 a12 a13 a14 a1, n 1 ann 0 a 22 a 23 a 24 a 2,n 1 a 2, n 0 0 a 33 a 34 a 3,n 1 a 3, n 0 0 a 43 a 44 a 4,n 1 a 4, n 0 0 a n 1,3 a n 1,4 a n 1, n 1 a n 1,n 0 0 a n,3 a n,4 a n 1, n a n, n x=( b1 b 2 b 3 b 4 b n 1 b n novamente observando que os valores de todas as linhas do sistema, menos a primeira, foram modificadas no processo. O determinante e a solução do sistema continuam preservados

57 Continuando o processo... ( a11 a12 a13 a14 a1, n 1 ann 0 a 22 a 23 a 24 a 2, n 1 a 2,n 0 0 a 33 a 34 a 3, n 1 a 3,n a 44 a 4,n 1 a 4, n a n 1, n 1 a n 1,n a n,n x=( b1 b 2 b 3 b 4 b n 1 b n Usamos o algoritmo já conhecido para resolver um sistema triangular superior. Observe que o algoritmo de eliminação serve também para calcular o determinante de uma matriz

58 Custo computacional: Eliminação:O(n 3 + Retrosubstituição:O(n 2. Portanto: O(n 3 O número de operações é de aproximadamente n 3 3 Mais barato que Laplace e muito mais barato que Cramer

59 Algoritmo: Para k 1 até n 1 Para i k +1 até n m ik a ik /a kk b i b i +m ik b k Para j k +1 até n a ij a ij +m ik a kj O chamaremos de algoritmo ingênuo: Ele parará indevidamente se o pivô da linha i for nulo.

60 Algoritmo ingênuo: Para k=1 até n 1 Para i k +1 até n m a ik /a kk b i b i +mb k Para j k +1 até n a ij a ij +ma kj Aqui excluimos os índices do m. Eles são úteis para calculadores humanos, não para máquinas. Mas como retirar a ingenuidade do algoritmo?

61 A solução vocês conhecem: Trocamos a linha na qual surge o pivô nulo por qualquer linha no qual o pivô não seja nulo

62 A solução vocês conhecem: Trocamos a linha na qual surge o pivô nulo por qualquer linha no qual o pivô não seja nulo Qualquer linha pode ter algum sentido para um calculador humano mas como definir isto para uma máquina?

63 Por enquanto ficamos com esta questão em suspenso... Vamos a um exemplo

64 Seja o sistema ( x=( Calculamos o determinante? Sim e Não...

65 Uma apresentação em câmara lenta...

66 Calculemos os primeiros m's ( x=( m 21 = a 21 /a 11 = ( 4/2=2 m 31 = a 31 /a 11 = 6 /2= 3 m 41 = a 41 /a 11 = 2/2= 1 Repare que multiplicando os valores da primeira linha por teremos os valores : 4,8,-2,2 e 8 no vetor constante m 21

67 Somando estes valores com a segunda linha teremos ( x=( m 21 = a 21 /a 11 = ( 4/2=2 m 31 = a 31 /a 11 = 6 /2= 3 m 41 = a 41 /a 11 = 2/2= 1 m 31 Multiplicando os valores da primeira linha por teremos os valores : -6,-12,3,-3 e -12 no vetor constante

68 Somando estes valores com a terceira linha teremos ( x=( m21= a21/a11= ( 4/2=2 m 31 = a 31 /a 11 = 6 /2= 3 m 41 = a 41 /a 11 = 2/2= 1 m 41 Multiplicando os valores da primeira linha por teremos os valores : -2,-4,1,-1 e -4 no vetor constante

69 Somando estes valores com a quarta linha teremos ( x=( m21= a21/a11= ( 4/2=2 m 31 = a 31 /a 11 = 6 /2= 3 m 41 = a 41 /a 11 = 2/2= 1 Eliminada a primeira coluna.

70 Calculemos os m's para a segunda coluna ( x=( m 32 = a 32 / a 22 = ( 9/9=1 m 42 = a 42 / a 22 = 2/ 9 m 32 Multiplicando os valores da segunda linha por teremos os valores : 0,9,4,4 e 17 no vetor constante

71 Somando estes valores com a terceira linha ( x=( m 32 = a 32 / a 22 = ( 9/9=1 m 42 = a 42 / a 22 = 2/ 9 m 42 Multiplicando os valores da segunda linha por teremos os valores : 0,-2,-8/9,-8/9 e -34/9 no vetor constante

72 Somando estes valores com a quarta linha ( /9 19/9 x=( 38/9 m 32 = a 32 / a 22 = ( 9/9=1 m 42 = a 42 / a 22 = 2/ 9 Eliminamos a segunda coluna

73 Calculemos o m da quarta linha ( /9 19/9 x=( 39/9 m 43 = a 43 = ( 19 a 33 9 /10= Multiplicando os valores da terceira linha por teremos os valores : 0,0,-19/9,-19/45 e -38/45 no vetor constante m 43

74 Somando estes valores à quarta linha ( x=( /45 152/ 45 m 43 = a 43 = ( 19 a 33 9 /10= Eliminamos a terceira coluna.

75 Repare que: Podemos calcular o determinante da matriz de forma simples: det ( A= =304 Resolvamos agora este sistema triangular pelo algoritmo que apresentamos antes. Classicamente chamamos isto de retrosubstituição

76 Dividamos a quarta linha por ( x=( /45 152/ 45 para obter a 44 x 4 x 4 = =2

77 Explicitemos a componente ( x=( /45 152/ 45 x 3 na terceira linha x 4 = =2 10 x 3 +2 x 4 =4 10 x =4 x 3 = =0

78 Explicitemos a componente ( x=( /45 152/ 45 x 2 na segunda linha x 4 = =2 10 x 3 +2 x 4 =4 10 x =4 x 3 = =0 9 x 2 +4 x 3 +4 x 4 =17 9 x 2 = x 2 = 9 9 =1

79 Explicitemos a componente ( x=( /45 152/ 45 x 1 primeira linha x 4 = =2 10 x 3 +2 x 4 =4 10 x =4 x 3 = =0 9 x 2 +4 x 3 +4 x 4 =17 9 x 2 = x 2 = 9 9 =1 2 x 1 +4 x 2 x 3 +x 4 =4 2 x 1 = x 1 = 2 2 = 1

80 Sistema e solução ( x=( x=(

81 Procedimento de resolução

82 Eliminando da primeira coluna ( x=( m21= a21/a11= ( 4/2=2 m 31 = a 31 /a 11 = 6 /2= 3 m 41 = a 41 /a 11 = 2/2= 1

83 Eliminando a segunda coluna ( /9 19/9 x=( 38/9 m 32 = a 32 / a 22 = ( 9/9=1 m 42 = a 42 / a 22 = 2/ 9

84 Eliminando a terceira coluna ( x=( /45 152/ 45 m 43 = a 43 = ( 19 a 33 9 /10= 19 90

85 Retrosubstituição ( x=( /45 152/ 45 x 4 = =2 10 x 3 +2 x 4 =4 10 x =4 x 3 = =0 9 x 2 +4 x 3 +4 x 4 =17 9 x 2 = x 2 = 9 9 =1 2 x 1 +4 x 2 x 3 +x 4 =4 2 x 1 = x 1 = 2 2 = 1

86 Apresentação da solução x=(

87 O chamado Método de Diagonalização faz o dobro de cálculos na eliminação O(n 3. Não é uma boa ideia... Há algoritmos diretos mais sofisticados mas não os trabalharemos aqui

88 Aviso importante: Na prova só será aceitos algoritmos apresentados em aula Qualquer outro procedimento, mesmo que dê a resposta correta, terá a nota zero.