Método dos Mínimos Quadrados Lineares

Transcrição

1 Método dos Mínimos Quadrados Lineares Orientando: Alex Rogger Cardoso Ventura Orientador: Max Leandro Nobre Gonçalves Co-orientador: Ademir Alves Aguiar Instituto de Matemática e Estatística, Universidade Federal de Goiás, Campus Samambaia, Goiânia, Brasil 13 de setembro de 2013 Resumo O presente trabalho apresenta uma análise do método dos mínimos quadrados lineares, o qual é uma técnica da otimização matemática que procura encontrar o melhor ajuste linear para um conjunto de dados, procurando minimizar a soma dos quadrados das diferenças entre o valor estimado e os dados observados O método utiliza-se da pseudo-inversa de uma matriz para determinar os parâmetros deste ajuste Palavras-Chave: Método dos Mínimos Quadrados Lineares, pseudo-inversa de uma matriz Introdução Estabelecer relações entre grandezas tais como peso por altura, comprimento por altura e quantidade por qualidade, é importante em diversas áreas do conhecimento Neste artigo discutiremos o Método dos Mínimos Quadrados Linear, o qual pode ser utilizado para estabelecer tais relações O nosso principal objetivo será determinar a melhor função linear que se ajusta a um conjunto de dados tentando minimizar a soma dos quadrados das diferenças entre o valor estimado e os dados observados Revisado pelo Orientador

2 Para explicar a ideia do método, discutiremos o ajuste de uma reta a um conjunto de dados Consideremos uma coleção de pares ordenados obtidos em função de algum tipo de experimento, como: x x 1 x 2 x 3 x 4 x 5 x m 1 x m y y 1 y 2 y 3 y 4 y 5 y m 1 y m A colocação destes pares ordenados num plano cartesiano, depende dos valores de x i e y i, (i = 1, 2,, m) e pode fornecer um gráfico como: Figura 1: Conjunto de dados Estudando uma Matemática mais aprofundada existe a Teoria de Interpolação que é a área que estuda tais processos para obter funções que passam exatamente pelos pontos dados, enquanto que a Teoria de Aproximação, a qual será considerada neste trabalho, estuda processos para obter funções que passem o mais próximo possível dos pontos dados É óbvio que se pudermos obter funções que passem próximas dos pontos dados e que tenham uma expressão fácil de ser manipulada, teremos obtido algo positivo e de valor científico A imagem abaixo mostra a função linear que passa o mais proximo do conjunto de dados da figura 1 Figura 2: Reta ajustada ao conjunto de dados Dada uma reta na forma ŷ(x) = a 1 x + a 2, onde a 1, a 2 R, a ideia básica é tentar descobrir quais são os valores dos coeficientes a 1 e a 2 de tal modo que a soma dos quadrados das

3 distâncias (tomadas na vertical) da referida reta a cada um dos m pontos dados r i = ŷ(x i ) y i (resíduo de cada ponto para i = 1, 2,, m) seja a menor possível, ié, min m (r i ) 2 = min i=1 ou equivalentemente onde A = m (ŷ(x i ) y i ) 2 = min i=1 x 1 1 x 2 1 x m 1 m (a 1 x i + a 2 y i ) 2 i=1 min Ax x R b 2 (1), x = [ a1 a 2 ], b = Assim, para determinarmos a melhor reta que se aproxima ao conjunto de pontos dados é equivalente a resolver o problema 1 Determinar a solução deste problema é o principal objetivo do nosso trabalho e será discutido na próxima seção É importante destacar que nossa análise será feita em um contexto mais geral, ie, dado um conjunto de m pontos em R n {(x 11, x 12,, x 1n ), (x 21, x 22,, x 2n ),, (x m1, x m2,, x mn )} e uma função linear na forma ŷ(x 1,, x n 1 ) = a 1 x a n 1 x n 1 + a n, onde a j R, para j = 1, 2,, n nosso objetivo será minimizar os resíduos r i consequentemente o problema torna-se ou equivalentemente onde min m (r i ) 2 = min i=1 = min y 1 y 2 y n = ŷ(x i1, x i2,, x i n 1 ) x in (resíduo de cada ponto), m (ŷ(x i1, x i2,, x i n 1 ) x in ) 2 i=1 m (a 1 x i1 + + a n 1 x i n 1 + a n x in ) 2 i=1 x 11 x 12 x 1n 1 1 x 21 x 22 x 2n 1 1 A =, x = x m1 x m2 x mn 1 1 min Ax x R b 2 (2) a 1 a 2 a n 1 a n, b = x 1n x 2n x mn

4 Análise do Método dos Mínimos Quadrados lineares Nosso objetivo nesta seção é resolver o problema 2 Para isso, consideraremos o vetor x uma solução do problema 2, ié, x é o vetor o qual melhor aproxima a função linear aos pontos Se em qualquer caso o sistema apresentar solução exata, ou seja, Ax = b, então o vetor x é o mínimo absoluto de Ax b, ou seja, Ax b = 0 Iremos dividir Problema de Mínimos Quadrados lineares nos três casos subsequentes: 1 o Caso (m n e P osto(a) = n) Nesta seção consideraremos que m n e P osto(a) = n, isto implica que número de parâmetros n não ultrapassa o número de equações m Para caracterizar as soluções de mínimos quadrados neste caso, será necessário o seguinte resultado Lema 1 Seja A R m n, m n Então, posto A = n se e somente se, posto A T A = n (isto é, a matriz quadrada A T A é não singular) Prova Ver Lema 121, pp 187 de Edwin K P Chong and Stanislaw H Zak [1] Como já afirmado, nosso objetivo é encontrar um vetor x que minimiza Ax b 2, isto é, Ax b 2 Ax b 2, x R n Assim, considerando que m n, P osto(a) = n e A T A existe (Lema 1), estamos aptos para dar a caracterização da solução de mínimos quadrado: Teorema 1 Sejam A R m n, b R m, m n e P osto(a) = n O único vetor x que minimiza Ax b é dado pela solução da equação A T Ax = A T b, isto é, x = (A T A) 1 A T b Prova Seja x = (A T A) 1 A T b Elementar analisar que, Ax b 2 = A(x x ) + (Ax b) 2 = (A(x x ) + (Ax b)) T (A(x x ) + (Ax b)) = A(x x ) 2 + Ax b 2 + 2[A(x x )] T (Ax b)

5 Mostramos agora que o último termo da equação acima é zero De fato, substituindo no último termo da expressão acima o respectivo valor de x, obtemos [A(x x )] T (Ax b) = (x x ) T A T [(A(A T A) 1 A T I n )]b = (x x ) T [(A T A)(A T A) 1 A T A T )]b = (x x ) T (A T A T )b = 0 Desta forma, temos que Ax b 2 = A(x x ) 2 + Ax b 2 Se x x, então A(x x ) > 0, pois P osto(a) = n Assim, segue que para todo x x, Ax b 2 > Ax b 2 Portanto, x = (A T A) 1 A T b é o único vetor o qual minimiza Ax b 2 A seguir, daremos uma interpretação geométrica do teorema anterior Primeiro, note que as colunas de A geram um subespaço n-dimensional de R m o qual é denotado por Im(A) A equação Ax = b terá solução se, e somente se, b pertence ao subespaço Im(A) Se m = n, então b Im(A) e x = A 1 b será a solução da equação Agora, suponha que m > n Quase sempre b Im(A), ie, a probalidade de b pertencer a Im(A) é bem pequena, porque o subespaço gerado pelas colunas de A é pequeno Assim, admita que b Im(A) Então, desejamos descobrir um ponto h Im(A) o mais próximo de b Geometricamente, h é o ponto tal que o vetor e = h b é ortogonal ao subespaço Im(A) (Ver Figura 3) Lembrando que um vetor e R m é dito ortogonal ao subespaço Im(A) se é ortogonal a todo vetor deste subespaço Seja h a projeção ortogonal de b sobre o subespaço Im(A) Como consequência, h = Ax = A(A T A) 1 A T b Assim, o vetor h Im(A) que minimiza h b é exatamente a projeção ortogonal de b sobre Im(A) Em outras palavras, o vetor x que minimiza Ax b é precisamente o vetor que faz Ax b ser ortogonal a Im(A) Para prosseguir, escrevemos A = [a 1, a 2,, a n ], onde a 1, a 2,, a n são as colunas de A O vector e é ortogonal a Im(A) se, e somente se, for ortogonal a cada um dos vetores colunas a 1, a 2,, a n de A De fato, note que e, a i = 0, i = 1, 2,, n

6 Figura 3: Projeção Ortogonal de b sobre o subespaço Im(A) se, e somente se, para todo o conjunto de escalares {x 1, x 2, x n }, tivermos e, x 1 a 1 + x 2 a x n a n = 0 Qualquer vetor na Im(A) tem a forma x 1 a 1 + x 2 a x n a n Proposição 1 Seja h Im(A) tal que h b é ortogonal a Im(A) Então, h = Ax = A(A T A) 1 A T b Prova Como h Im(A) = [a 1,, a n ] = {a A : a = x 1 a 1 + x 2 a x n a n }, então h = x 1 a x n a n, onde x 1,, x n R Para determinar x 1,, x n, usamos a hipótese de que e = h b é ortogonal a [a 1,, a n ], isto é, para todo 1 i n, temos h b, a i = 0 ou, de forma equivalente, h, a i = b, a i Substituindo h nas equações acima, obtém-se um conjunto de n equações lineares da forma a 1, a i x a n, a n x n = b, a i, 1 i n Em notação matricial o sistema acima pode ser escrito como a 1, a 1 a n, a 1 x 1 b, a n = a 1, a n a n, a n x n b, a n Note que podemos escrever a 1, a 1 a n, a 1 a 1, a n a n, a n = A T A = a T 1 a T n [ a 1 a n ]

7 Também podemos escrever b, a 1 b, a n = A T b = a T 1 a T n b Como posto A = n, A T A é não singular podemos concluir que x = x 1 x n = (A T A) 1 A T b = x Note que a matriz a 1, a 1 a n, a 1 A T A = a 1, a n a n, a n desempenha um papel importante na solução de mínimos quadrados Esta matriz é muitas vezes chamada de Matriz de Gram (ou Grammian) 2 o Caso (m n e P osto(a) = m) Nesta seção consideraremos que m n e P osto(a) = m, isto implica que o número de equações m não supera o número de incógnitas n Neste caso, é facil ver que existem infinitas soluções para o sistema de equações Ax = b No entanto, como veremos, podemos encontrar uma solução mais próxima da origem, ou seja, uma solução para Ax = b cuja norma x é mínima Seja x esta solução, isto é, Ax = b e x x para todo x tal que Ax = b Em outras palavras, x é a solução do problema min x sujeito Ax = b Teorema 2 Sejam A R m n, b R m, m n e P osto(a) = m A única solução x para Ax = b que minimiza x é dado por x = A T (AA T ) 1 b Prova Seja x = A T (AA T ) 1 b Primeiro note que, x 2 = (x x ) + x 2 = ((x x ) + x ) T ((x x ) + x ) = x x 2 + x 2 + 2x T (x x )

8 Agora iremos mostrar que x T (x x ) = 0 Primeiro, note que x T (x x ) = [A T (AA T ) 1 b] T [x A T (AA T ) 1 b] = b T (AA T ) 1 [Ax (AA T )(AA T ) 1 b] = b T (AA T ) 1 [b b] = 0 Daí, temos que x 2 = x 2 + x x 2 Como x x 2 > 0 para todo x x, segue que para todo x x, x 2 > x 2 O que implica que x > x 3 o Caso (Caso Geral) Nesta seção, analizaremos uma abordagem geral para resolver Ax = b Considere o problema geral de resolver um sistema de equações lineares Ax = b, onde A R m n, b R m e P osto(a) = r Note que, r min(m, n) No caso em que A R n n e P osto(a) = n, a única solução para o sistema tem a forma x = A 1 b Neste caso, para resolvermos o problema, é o suficiente conhecer a inversa A 1 Nesta seção, analisaremos uma definição de uma inversa generalizada ou pseudo-inversa de uma dada matriz A R m n, a qual desempenha o papel de A 1 quando a matriz A não têm uma inversa (por exemplo, quando A não é uma matriz quadrada) Em particular, discutiremos a pseudo-inversa de uma dada matriz A, denotado A Em nossa discução da pseudo-inversa, utilizaremos a propriedade de que uma matriz não nula A de P osto(a) = r pode ser expressa como o produto de uma matriz de posto coluna completo (P osto(a) = r) por uma matriz de posto linha completo (P osto(a) = r), esta propriedade é denominada fatorização de posto completo Afirmaremos e provaremos este resultado no seguinte lema abaixo

9 Lema 2 (Fatorização de Posto Completo) Seja A R m n, posto(a) = r min(m, n) Então, existem matrizes B R m r e C R r n tal que A = BC, onde posto(a) = posto(b) = posto(c) = r Prova Como posto(a) = r, segue que existem r colunas linearmente independentes em A Sem perda de generalidade, seja a 1, a 2,, a r tais colunas, onde a i é a i-ésima coluna de A As colunas restantes de A podem ser expressas como combinações lineares de a 1, a 2,, a r Assim, uma possível escolha das matrizes B e C com posto completo são B = [a 1,, a r ] R m r, 1 0 c 1,r+1 c 1,n C = R r n, 0 1 c r,r+1 c r,n onde as entradas c i,j são tais que para cada j = r + 1,, n, temos a j = c i,j a c r,j a r Portanto, A = BC Note que se m < n e posto(a) = m, então obtemos B = I m, C = A, onde I m é uma matriz identidade R m m Caso contrário, se m > n e posto(a) = n, então temos que B = A, C = I n Iremos agora introduzir a pseudo-inversa e discutiremos a sua existência e unicidade Para isso, vamos considerar em primeiro lugar a equação matricial AXA = A, onde A R m n uma dada matriz, e X R n m uma matriz que desejamos determinar Observe que, se A é uma matriz quadrada não singular, então a equação acima tem a única solução X = A 1 Definição 1 Dada uma matriz A R m n Uma matriz A R n m é chamada pseudo-inversa (ou inversa generalizada ou inversa de Moore-Penrose) da matriz A, se AA A = A,

10 e existem as matrizes U R n n e V R m m tais que A = UA T e A = A T V (3) A exigência A = UA T = A T V pode ser interpretado da seguinte forma Cada linha da matriz pseudo-inversa A de A é uma combinação linear das linhas de A T, e cada coluna de A é uma combinação linear das colunas de A T Para o caso em que A R m n, m n e posto(a) = n, podemos facilmente verificar que uma pseudo-inversa de A é: A = (A T A) 1 A T De fato, A(A T A) 1 A T A = A, e se definimos U = (A T A) 1 e V = A(A T A) 1 (A T A) 1 A T, então A = UA T = A T V Note-se que, temos A A = I n Por esta razão, (A T A) 1 A T é muitas vezes chamado de pseudo-inversa a esquerda de A Esta fórmula também aparece na análise de mínimos quadrados lineares (ver Seção 2 ) Já para o caso em que A R m n, m n e posto(a) = m, podemos facilmente verificar, como fizemos no caso anterior, que uma pseudo-inversa de A é: A = A T (AA T ) 1 Note que, neste caso, temos AA = I m Por esta razão, a A T (AA T ) 1 é muitas vezes chamado pseudo-inversa a direita de A Esta fórmula também aparece na análise de mínimos quadrados lineares (ver 1 caso) Proposição 2 Seja A R m n Se existe a inversa generalizada A de A, então ela é única Prova Seja A 1 e A 2 as inversas generalizadas de A Devemos mostrar que A 1 = A 2 Pela definição 1 temos, AA 1A = AA 2A = A, e existem as matrizes U 1, U 2 R n n e V 1, V 2 R m m, tais que A 1 = U 1 A T = A T V 1, A 2 = U 2 A T = A T V 2 Seja D = A 2 A 1, U = U 2 U 1, V = V 2 V 1

11 Então, temos que O = ADA, D = UA T = A T V Logo, usando as duas equações acima, obtemos (DA) T DA = A T D T DA = A T V T ADA = O, o que implica que, DA = O Por outro lado, como DA = O, temos DD T = DAU T = O, o que implica em D = A 2 A 1 = O portanto A 2 = A 1 A partir do teorema acima, sabemos que, se uma matriz pseudo-inversa existe ela é única Nosso objetivo agora é mostrar que a pseudo-inversa sempre existe Para isso, mostraremos que a pseudo-inversa de qualquer matriz A é dada pela fórmula A = C B, onde B e C são as pseudo-inversas das matrizes B e C, que formam uma fatorização de posto completo de A, ou seja, A = BC, onde B e C são de posto completo (ver Lema 2) Note que já sabemos como calcular B e C, ou seja, B = (B T B) 1 B T e C = C T (CC T ) 1 Proposição 3 Seja uma matriz A R m n que possui fatorização de posto completo A = BC, com posto(a) = posto(b) = posto(c) = r, B R m r, C R r n Então, A = C B Prova Devemos mostrar que A = C B = C T (CC T ) 1 (B T B) 1 B T

12 satisfaz a condição da definição da pseudo-inversa (ver Definição 1) De fato, primeiro observe que AC B A = BCC T (CC T ) 1 (B T B) 1 B T BC = BC = A Agora, definiremos e U = C T (CC T ) 1 (B T B) 1 (CC T ) 1 C V = B(B T B) 1 (CC T ) 1 (B T B) 1 B T É fácil ver que as matrizes U e V acima satisfazem A = C B = UA T = A T V Portanto, A = C B, é a pseudo-inversa de A Teorema 3 Considere um sistema de equações lineares Ax = b, onde A R m n, b R m e P osto(a) = r O vetor x = A b minimiza Ax b sobre R n Além disso, entre todos os vetores em R n que minimiza Ax b 2, o vetor x = A b é o único vetor de norma mínima Prova Primeiro mostraremos que x = A b minimiza Ax b 2 sobre R n Observe que para todo x R n, temos Ax b 2 = A(x x ) + (Ax b) 2 = A(x x ) 2 + Ax b 2 + 2[A(x x )] T (Ax b) Note que [A(x x )] T (Ax b) = 0, isto é [A(x x )] T (Ax b) = (x x ) T (A T Ax A T b) = (x x ) T (A T AA b A T b) Usando o Lema 2, existem matrizes B R m r e C R r n tais que A = BC, onde posto(a) = posto(b) = posto(c) = r Assim concluímos que A T AA = C T B T BCC T (CC T ) 1 (B T B) 1 B T = A T

13 Portanto, Daí, temos [A(x x )] T (Ax b) = (x x ) T (A T b A T b) = 0 Ax b 2 = A(x x ) 2 + Ax b 2 Como, A(x x ) 2 0, obtemos Ax b 2 Ax b 2 O que implica que x minimiza Ax b 2 Agora mostraremos que entre todos x que minimiza Ax b 2, o vetor x = A b é o único vetor de norma mínima Então suponha que exista um outro vetor x minimizando Ax b 2 Temos assim, x 2 = ( x x ) + x 2 = x x 2 + x 2 + 2x T ( x x ) Note que x T ( x x ) = 0, isto é x T ( x x ) = (A b) T ( x A b) = b T B(B T B) T (CC T ) T C( x C T (CC T ) 1 (B T B) 1 B T b) (4) = b T B(B T B) T (CC T ) T [C x (B T B) 1 B T b], onde o expoente T denota a transposta da matriz inversa Usando novamente o Lema, temos que Ax b 2 = B(Cx) b 2 Como x minimiza Ax b 2 e C possui posto completo, então y = C x minimiza By b 2 sobre R r Como B possui posto linha completo, pelo Teorema 2, temos que C x = y = (B T B) 1 B T b Substituindo esta informação na equação, obtém-se x T ( x x ) = 0 Daí, obtemos que x 2 = x x 2 + x 2 Como x x 2 > 0 para todo x x Segue que x 2 > x 2 Equivalentemente, temos x > x Portanto, entre todos os vetores minimizando Ax b 2, o vetor x = A b é o único vetor de norma mínima

14 A pseudo-inversa tem as seguintes propriedades úteis: a (A T ) = ( A ) T ; b (A ) = A As duas propriedades acima são semelhantes e são satisfeitas pela habitual matriz inversa No entanto, cabe ressaltar que a propriedade (A 1 A 2 ) = A 1A 2 não é valido para todas as matrizes pseudo-inversas de uma matriz A Finalmente, é importante notar que é possível definir a pseudo-inversa uma forma alternativa, seguindo a definição de Penrose Mais especificamente, Penrose definiu a pseudo-inversa da matriz A R m n representa como a única matriz A R n m satisfazendo as seguintes propriedades: 1) AA A = A; 2) A AA = A ; 3) (AA ) T = AA ; 4) (A A) T = A A A definição acima é equivalente a definição 1 Exemplos Exemplo 1 Em uma determinada região um biólogo pretende estudar a relação entre um determinado poluente despejado por uma fábrica em um riacho e o dano causado em curso de água, para isso foram coletadas os seguintes valores de Dano Ecológico em relação a Quantidade de Poluente: Quantidade de Poluente (µg/l) Dano Ecológico Queremos encontrar uma reta dada por y = cx + d, que ajustam os dados mostrados na Tabela Em outras palavras, queremos encontrar dois números, c e d, tais que y i = cx i + d, i = 0, 1, 2, 3, 4, 5 Entretanto, não existe uma reta que passa diretamente por todos os seis pontos simultaneamente Por essa razão, queremos encontrar os valores de c e d que melhor ajustam os dados no sentido do método dos mínimos quadrados

15 Podemos representar nosso problema com um sistema de seis equações linear da forma: 1c + d = 3 2c + d = 6 3c + d = 7 4c + d = 10 5c + d = 10 6c + d = 12 Agora, reescrevendo o sistema de equações acima na forma Ax = b, onde [ ] A = , b = 7 c 10, x = d É fácil ver que, P osto(a) < P osto(a, b), ou seja, o vetor b não pertence ao subespaço imagem de A Portanto, o sistema de equações acima é considerado incompatível A ilustração gráfica do nosso problema é mostrado na Figura abaixo Daí, a reta de melhor ajuste é aquela que Figura 4: Ajustamento dos dados a uma reta minimiza 2 Ax b 2 = (cx i + d y i ) 2 i=0 Note que na função acima temos distância vertical ao quadrado (resíduo ao quadrado) entre a reta definida por c e d e os pontos coletados Assim, como o P osto(a) = 2 segue do Teorema 1

16 que a solução do problema é x = (A T A) 1 A T b = [ 1, 71 2, 02 ] Note que o vetor e = Ax b é ortogonal a cada coluna de A Exemplo 2 Queremos encontrar um ponto o mais próximo da origem de R 3 na linha de intersecção de dois planos definidos pelas seguintes equações: x 1 + 2x 2 x 3 = 1 4x 1 + x 2 + 3x 3 = 0 Note que o problema acima é equivalente ao problema onde A = min x, sujeito Ax = b [ ] [ 1, b = 0 Assim, como o P osto(a) = 2 segue do Teorema 2 que a solução do problema é x = A T (AA T ) 1 b = Conclusões Neste artigo apresentamos um breve estudo do método dos mínimos quadrados lineares É importante destacar que o método em consideração é de imensa importância na resolução de problemas de aproximação Seria também interessante estudar o método dos mínimos quadrados para funções não lineares Acreditamos que esta análise será feita no futuro Referências [1] CHONG, E; ZAK, S H An Introduction to Optimization John Wiley & Sons Inc, New York, NY, 2 edition, 2001 [2] BOLDRINI, J L Álgebra Linear Harper & Row do Brasil, São Paulo, 3 edition, 1980 [3] LIMA, E L Álgebra Linear IMPA, Rio de Janeiro, 8 edition, 2009 [4] UNIVERSIDADE DO VALE DO PARAÍBA O Método dos Mínimos Quadrados e Linearização de Funções Disponível em: ]

17 < Acesso em 15 de jul 2013 [5] SODRÉ, U ENSINO SUPERIOR :: Álgebra Linear: Método dos Mínimos Quadrados Disponível em: < Acesso em 15 de jul 2013 [6] STEWART, JCálculo 5 a Edição São Paulo: Thomson, v [7] DR a LIMA, M Regressão Linear Simples Disponível em: < lima/regresso-linear-simples> Acesso em 15 de jul 2013