Capítulo 3 - Mínimos Quadrados Lineares

Transcrição

1 Capítulo 3 - Mínimos Quadrados Lineares Carlos Balsa balsa@ipb.pt Departamento de Matemática Escola Superior de Tecnologia e Gestão de Bragança 2 o Ano - Eng. Civil, Química e Gestão Industrial Carlos Balsa Métodos Numéricos 1/ 17

2 Outline 1 Ajuste de Dados pelos Mínimos Quadrados 2 Existência e Unicidade Condicionamento 3 Método da Equação Normal Carlos Balsa Métodos Numéricos 2/ 17

3 Ajuste de Dados Dados m pontos (t i, y i ) pretende-se encontrar um vector x de dimensão n cujos parâmetros ajustam melhor a função modelo f (t, x), min x m (y i f (t i, x)) 2 i=1 Problema linear se a função f for linear nas componentes de x f (t, x) = x 1 φ 1 + x 2 φ x n φ n em que φ j depende apenas de t Problema pode ser escrito na forma matricial como Ax = b, com a ij = φ j (t i ) e b i = y i Carlos Balsa Métodos Numéricos 3/ 17

4 Ajuste de Dados Problema pode ser escrito na forma matricial como φ 1 (t 1 ) φ 2 (t 1 ) φ n (t 1 ) x 1 φ 1 (t 2 ) φ 2 (t 2 ) φ n (t 2 ) x = φ 1 (t m ) φ 2 (t m ) φ n (t m ) x n Fazendo a ij = φ j (t i ) e b i = y i podemos escrever a 11 a 12 a 1n x 1 a 21 a 22 a 2n x 2 Ax = = a m1 a m2 a mn x n b 1 b 2. b m Como nestes problemas m > n, o sistema resultante é sobredeterminado (mais equações do que incógnitas) y 1 y 2. y m = b Carlos Balsa Métodos Numéricos 4/ 17

5 Ajuste de Dados Sistema é mais correctamente representado por Ax = b porque a igualdade não é geralmente satisfeita Solução x é o vector que minimiza o quadrado dos desvios anteriormente apresentado que, na notação matricial, coincide com o quadrado da norma-2 do vector resíduo b Ax min r 2 2 = min b Ax 2 2 x x Carlos Balsa Métodos Numéricos 5/ 17

6 Exemplo: Ajuste de Dados Encontrar o polinómio do segundo grau P(t) = x 1 + x 2 t + x 3 t 2 que melhor ajusta os seguintes dados no sentido dos mínimos quadrados t y Ajustando um polinómio de segundo grau aos cinco pontos origina o problema de mínimos quadrados lineares 1 t 1 t1 2 y 1 1 t 2 t2 2 x 1 y 2 Ax = 1 t 3 t3 2 x 2 = y 3 1 t 4 t4 2 x 3 y 4 = b 1 t 5 t5 2 y 5 Matrizes cujas colunas (ou linhas) são potencias sucessivas da variável independente é chamada matriz de Vandermonde Carlos Balsa Métodos Numéricos 6/ 17

7 Exemplo, continuação Introduzindo os respectivos valores Ax = x 1 x 2 x 3 = = b Solução deste sistema, que aprenderemos mais tarde a calcular, é x = [ ] T pelo que o polinómio é P(t) = t + 1.4t 2 Carlos Balsa Métodos Numéricos 7/ 17

8 Exemplo, continuação Curva resultante e pontos dados são mostrados no gráfico Carlos Balsa Métodos Numéricos 8/ 17

9 Existência e Unicidade Condicionamento Existência e Unicidade Problema de mínimos quadrados linear Ax = b tem sempre solução Solução é única se, e só se, as colunas de A são linearmente independentes,i.e., se r(a) = n (característica de A é n), sendo A uma matriz m n Se r(a) < n o problema de mínimos quadrados linear não é única Vamos considerar apenas o caso em que A tem todas as suas colunas linearmente independentes r(a) = n Carlos Balsa Métodos Numéricos 9/ 17

10 Existência e Unicidade Condicionamento Ortogonalidade Vectores v 1 e v 2 são orthogonais se o seu produto interno (escalar) é nulo, v T 1 v 2 = 0 Espaço gerado pelas colunas da matriz A, span(a)={ax : x IR n }, tem dimensão não superior a n Se m > n, geralmente b / span(a), pelo que não existe solução exacta de Ax = b Vector y = Ax em span(a) mais próximo de b em norma-2 ocorre quando o resíduo r = b Ax é orthogonal ao span(a), originado a equação normal A T r = A T (b Ax) = 0, A T Ax = A T b Carlos Balsa Métodos Numéricos 10/ 17

11 Existência e Unicidade Condicionamento Ortogonalidade, continuação Relação geométrica entre b, r e span(a): Carlos Balsa Métodos Numéricos 11/ 17

12 Existência e Unicidade Condicionamento Condicionamento Matriz não quadrada A, m n, não admite inversa no sentido usual Se r(a) = n, a pseudoinversa de A é definida por e o número de condição por A + = (A T A) 1 A T cond(a) = A 2. A + 2 Por convenção, cond(a) = se r(a) < n Tal como o numero de condição de matrizes quadradas mede a proximidade da singularidade, o numero de condição de uma matriz rectangular mede a proximidade de ter um característica incompleta (r(a) < n) Solução do problema de mínimos quadrados linear Ax = b é dada por x = A + b que é a solução da equação normal A T Ax = A T b Carlos Balsa Métodos Numéricos 12/ 17

13 Existência e Unicidade Condicionamento Sensibilidade e Condicionamento Sensibilidade da solução do problema de mínimos quadrados Ax = b depende de b assim como de A Definindo o ângulo θ entre b e y = Ax por cos(θ) = y 2 b 2 = Ax 2 b 2 Limite da perturbação x na solução x devido à perturbação b em b é dada por x 2 x 2 1 cond(a) cos(θ) b 2 b 2 Da mesma forma para uma perturbação E na matriz A, x 2 x 2 ( [cond(a)] 2 tan(θ) + cond(a)) E 2 A 2 Carlos Balsa Métodos Numéricos 13/ 17

14 Método da Equação Normal Método da Equação Normal Se A, m n, tem característica n, a matriz A T A, de dimensão n n, é simétrica e positiva definida, pelo que a sua factorização de Cholesky A T A = LL T pode ser usada para obter a solução x da equação normal A T Ax = A T b que tem a mesma solução que o problema de mínimos quadrados linear Ax = b Método da equação normal envolve a transformação rectangular quadrada triangular Carlos Balsa Métodos Numéricos 14/ 17

15 Método da Equação Normal Exemplo: Método da Equação Normal Utilize o método da equação normal para o ajuste polinomial do exemplo anterior Vimos que o problema de mínimos quadrados linear consiste em determinar o vector x que minimiza o resíduo do sistema sobredeterminado Ax = x 1 x 2 x 3 = = b Solução x obtida através da resolução da equação normal A T Ax = A T b Carlos Balsa Métodos Numéricos 15/ 17

16 Método da Equação Normal Exemplo, continuação Matriz dos coeficientes e termo independente A T A = = , A T b = = Carlos Balsa Métodos Numéricos 16/ 17

17 Método da Equação Normal Exemplo, continuação Factorização de Cholesky da matriz simétrica e positiva definida A T A resulta em A T A = = = L T L Resolvendo o sistema triangular inferior Lz = A T b por substituição regressiva obtemos z = [ ] T Resolvendo o sistema triangular superior L T x = z por substituição progressiva obtemos x = [ ] T Carlos Balsa Métodos Numéricos 17/ 17