Capítulo 3 - Mínimos Quadrados Lineares

Transcrição

1 Capítulo 3 - Mínimos Quadrados Lineares Carlos Balsa balsa@ipb.pt Departamento de Matemática Escola Superior de Tecnologia e Gestão de Bragança 2 o Ano - Eng. Civil e Electrotécnica Carlos Balsa Métodos Numéricos 1/ 22

2 Sumário 1 Motivação 2 3 Existência e Unicidade Condicionamento 4 Método da Equação Normal Carlos Balsa Métodos Numéricos 2/ 22

3 Exemplo 1: Ajuste de Dados Dado um conjunto de pontos (t 1, y 1 ), (t 1, y 2 ),...,(t m, y m ) Carlos Balsa Métodos Numéricos 3/ 22

4 Exemplo 1, continuação Encontrar função que siga a tendência geral de variação dos pontos Carlos Balsa Métodos Numéricos 4/ 22

5 Exemplo 2: Ajuste de Dados Nem sempre a função a ajustar é uma reta Carlos Balsa Métodos Numéricos 5/ 22

6 Exemplo 2, continuação Neste caso uma parábola ajusta-se melhor Carlos Balsa Métodos Numéricos 6/ 22

7 Ajuste de Dados Dados m pontos (t i, y i ) pretende-se encontrar vector x, de dimensão n, cujos parâmetros ajustam a função modelo f (t, x), m min (y i f (t i, x)) 2 x i=1 Problema linear se a função f for linear nas componentes de x f (t, x) = x 1 φ 1 + x 2 φ x n φ n em que φ j depende apenas de t Queremos que f (t i, x i ) = y i para i = 1,..., m, problema pode ser escrito como sistema com m equações e n incógnitas x 1 φ 1 (t 1 ) + x 2 φ 2 (t 1 ) + +x n φ n (t 1 ) = y 1 x 1 φ 1 (t 2 ) + x 2 φ 2 (t 2 ) + +x n φ n (t 2 ) = y x 1 φ 1 (t m ) + x 2 φ 2 (t m ) + +x n φ n (t m ) = y m Carlos Balsa Métodos Numéricos 7/ 22

8 Ajuste de Dados Na forma matricial: Ax = b, com a ij = φ j (t i ) e b i = y i φ 1 (t 1 ) φ 2 (t 1 ) φ n (t 1 ) x 1 φ 1 (t 2 ) φ 2 (t 2 ) φ n (t 2 ) x = φ 1 (t m ) φ 2 (t m ) φ n (t m ) x n Fazendo a ij = φ j (t i ) e b i = y i podemos escrever a 11 a 12 a 1n x 1 a 21 a 22 a 2n x 2 Ax = = a m1 a m2 a mn x n b 1 b 2. b m Como nestes problemas m > n, o sistema resultante é sobredeterminado (mais equações do que incógnitas) y 1 y 2. y m = b Carlos Balsa Métodos Numéricos 8/ 22

9 Ajuste de Dados Sistema é mais correctamente representado por Ax = b porque a igualdade não é geralmente satisfeita Solução x é o vector que minimiza o quadrado dos desvios anteriormente apresentado que, na notação matricial, coincide com o quadrado da norma-2 do vector resíduo b Ax min r 2 2 = min b Ax 2 2 x x Carlos Balsa Métodos Numéricos 9/ 22

10 Exemplo 3: Ajuste de Dados Encontrar o polinómio do segundo grau P(t) = x 1 + x 2 t + x 3 t 2 que melhor ajusta os seguintes dados no sentido dos mínimos quadrados t y Ajustando um polinómio de segundo grau aos cinco pontos origina o problema de mínimos quadrados lineares x 1 + x 2 t 1 + x 3 t1 2 = y 1 x 1 + x 2 t 2 + x 3 t2 2 = y 2 x 1 + x 2 t 3 + x 3 t3 2 = y 3 x 1 + x 2 t 4 + x 3 t4 2 = y 4 x 1 + x 2 t 5 + x 3 t5 2 = y 5 1 t 1 t t 2 t t 3 t t 4 t t 5 t 2 5 x 1 x 2 x 3 = Matrizes cujas colunas (ou linhas) são potencias sucessivas da variável independente é chamada matriz de Vandermonde y 1 y 2 y 3 y 4 y 5 Carlos Balsa Métodos Numéricos 10/ 22

11 Exemplo 3, continuação Introduzindo os respectivos valores Ax = x 1 x 2 x 3 = = b Solução deste sistema, que aprenderemos mais tarde a calcular, é x [ ] T pelo que o polinómio é P(t) = t t 2 Carlos Balsa Métodos Numéricos 11/ 22

12 Exemplo 3, continuação Curva resultante e pontos dados são mostrados no gráfico Carlos Balsa Métodos Numéricos 12/ 22

13 Existência e Unicidade Condicionamento Existência e Unicidade Problema de mínimos quadrados linear Ax = b tem sempre solução Solução é única se, e só se, as colunas de A são linearmente independentes,i.e., se r(a) = n (característica de A é n), sendo A uma matriz m n Se r(a) < n o problema de mínimos quadrados linear não tem solução única Vamos considerar apenas o caso em que A tem todas as suas colunas linearmente independentes r(a) = n Carlos Balsa Métodos Numéricos 13/ 22

14 Existência e Unicidade Condicionamento Ortogonalidade Vectores v 1 e v 2 são orthogonais se o seu produto interno (escalar) é nulo, v T 1 v 2 = 0 Espaço gerado pelas colunas da matriz A, span(a)={ax : x IR n }, tem dimensão não superior a n Se m > n, geralmente b / span(a), pelo que não existe solução exacta de Ax = b Vector z = Ax em span(a) mais próximo de b em norma-2 ocorre quando o resíduo r = b Ax é orthogonal ao span(a), originado a equação normal A T r = A T (b Ax) = 0, A T Ax = A T b Carlos Balsa Métodos Numéricos 14/ 22

15 Existência e Unicidade Condicionamento Ortogonalidade, continuação Relação geométrica entre b, r e span(a): Carlos Balsa Métodos Numéricos 15/ 22

16 Existência e Unicidade Condicionamento Condicionamento Matriz não quadrada A, m n, não admite inversa no sentido usual Se r(a) = n, a pseudoinversa de A é definida por e o número de condição por A + = (A T A) 1 A T cond(a) = A 2. A + 2 Por convenção, cond(a) = se r(a) < n Tal como o numero de condição de matrizes quadradas mede a proximidade da singularidade, o numero de condição de uma matriz rectangular mede a proximidade de ter um característica incompleta (r(a) < n) Carlos Balsa Métodos Numéricos 16/ 22

17 Existência e Unicidade Condicionamento Sensibilidade e Condicionamento Sensibilidade da solução do problema de mínimos quadrados Ax = b depende de b assim como de A Definindo o ângulo θ entre b e z = Ax por cos(θ) = z 2 b 2 = Ax 2 b 2 Limite da perturbação x na solução x devido à perturbação b em b é dada por x 2 x 2 1 cond(a) cos(θ) b 2 b 2 Da mesma forma para uma perturbação E na matriz A, x ( 2 [cond(a)] 2 E 2 tan(θ) + cond(a)) x 2 A 2 Carlos Balsa Métodos Numéricos 17/ 22

18 Método da Equação Normal Método da Equação Normal Solução do problema de mínimos quadrados linear Ax = b é dada por x = A + b que é a solução da equação normal A T Ax = A T b Se A, m n, tem característica n, a matriz A T A, de dimensão n n, é simétrica e positiva definida, pelo que a factorização de Cholesky A T A = LL T pode ser usada para obter a solução x da equação normal A T Ax = A T b (LL T )x = A T b L(L T x) = A T b Lw = A T b com L T x = w Resolução da equação normal envolve três etapas: 1 Construir a equação normal A T Ax = A T b 2 Resolver por substituição progressiva Lw = A T b 3 Resolver por substituição regressiva L T x = w x é a solução aproximada de Ax = b que minimiza b Ax 2 2 Carlos Balsa Métodos Numéricos 18/ 22

19 Método da Equação Normal Exemplo 4: Método da Equação Normal Método da equação normal para o ajuste polinomial do exemplo anterior Vimos que o problema de mínimos quadrados linear consiste em determinar o vector x que minimiza o resíduo do sistema sobredeterminado Ax = x 1 x 2 x 3 = = b Solução x obtida através da resolução da equação normal A T Ax = A T b Carlos Balsa Métodos Numéricos 19/ 22

20 Método da Equação Normal Exemplo 4, continuação Matriz dos coeficientes e termo independente A T A = = , A T b = = Carlos Balsa Métodos Numéricos 20/ 22

21 Método da Equação Normal Exemplo 4, continuação Factorização de Cholesky da matriz simétrica e positiva definida A T A resulta em A T A = = = LL T Resolvendo o sistema triangular inferior Lw = A T b por substituição regressiva obtemos w = [ ] T Resolvendo o sistema triangular superior L T x = w por substituição progressiva obtemos x = [ ] T Carlos Balsa Métodos Numéricos 21/ 22

22 Método da Equação Normal Considerações Finais Métodos Disponíveis na NMLibforOctave: Método da Equação Normal: [x, r] = normaleq(a,b) Bibliografia: Exposição baseada essencialmente em Michael T. Heath. "Scientific Computing an Introductory Survey". McGraw-Hill, 2002, New York (capítulo 3). Steven C. Chapra e Raymond P. Canale, "Métodos Numéricos para Engenharia", McGraw-Hill, 2008 (capítulo 17) Carlos Balsa Métodos Numéricos 22/ 22