Método dos Mínimos Quadrados Laura Goulart UESB 4 de Abril de 2019 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 1 / 22
Objetivos O Método dos Mínimos Quadrados (MMQ) é uma técnica de otimização matemática que procura encontrar uma curva que se ajuste a uma tabela de pontos minimizando a norma ao quadrado das diferenças entre o valor estimado e os dados observados. f (x i ) ϕ(x i ) 2 = mínima, onde ϕ(x) = α 1 g 1 (x) + α 2 g 2 (x) + + α n g n (x) é combinação linear de funções conhecidas g 1 (x), g 2 (x),, g n (x). Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 2 / 22
Diagrama de Dispersão Ao estudarmos a relação entre duas variáveis, devemos inicialmente fazer um gráco dos dados (diagrama de dispersão) pois ele fornece uma idéia da forma da relação exibida por elas. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 3 / 22
Exemplo de Diagrama de Dispersão x f(x) -1 2,05-0,75 1,153-0,6 0,45-0,5 0,4-0,3 0,5 0 0 0,2 0,2 0,4 0,6 0,5 0,512 0,7 1,2 1 2,05 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 4 / 22
Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 5 / 22
Caso discreto: A função f é dada por uma tabela de valores; Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 6 / 22
Caso discreto: A função f é dada por uma tabela de valores; Caso contínuo: A função f é dada por sua forma analítica, ou seja, quando esta for denida no intervalo fechado e limitado [a, b]. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 6 / 22
Caso Discreto Consideremos os dados (x 1, y 1 ); (x 2, y 2 );... ; (x m, y m ), onde y i = f (x i ; ) para i = 1, 2,..., m. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 7 / 22
Caso Discreto Consideremos os dados (x 1, y 1 ); (x 2, y 2 );... ; (x m, y m ), onde y i = f (x i ; ) para i = 1, 2,..., m. n Tomemos ϕ(x) = α j g j (x). Nosso objetivo é determinar os j=0 parâ-metros α 0,..., α n, de forma a que a soma quadrática das diferenças entre os f (x i ) e os g(x i ) seja mínima. Faz pois sentido introduzir a norma f = (f (x i )) 2 a que está associada ao produto interno < f, g >= i=0 f (x i ) g(x i ). Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 7 / 22
Caso discreto f ϕ 2 = f 2 2 < f, ϕ > + ϕ 2 = f (x i ) 2 2 f (x i )ϕ(x i ) + j=0 n ϕ(x i ) 2 = f (x i ) 2 2 f (x i ) α j g j (x i ) + f (x i ) 2 2f (x i ) f (x i ) n α j g j (x i ) + j=0 n α j g j (x i ) j=0 = F (α 0,..., α n ). 2 = n (α j g j (x i )) 2 = j=0 n α j g j (x i ) j=0 2 = Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 8 / 22
Caso Discreto F (α0 = 0 para k = 1,..., n. α k,...,α n) Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 9 / 22
Caso Discreto F (α0 = 0 para k = 1,..., n. α k,...,α n) F (α0 n α = 2 f (x i ) α j g j (x i ) [ g k (x i )] = 0. k,...,α n) j=0 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 9 / 22
Caso discreto n f (x i ) α j g j (x i ) [ g 0 (x i )] = 0 j=0 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 10 / 22
Caso discreto n f (x i ) α j g j (x i ) [ g 0 (x i )] = 0 j=0 n f (x i ) α j g j (x i ) [ g 1 (x i )] = 0 j=0. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 10 / 22
Caso discreto f (x i ) f (x i ) f (x i ) n α j g j (x i ) [ g 0 (x i )] = 0 j=0 n α j g j (x i ) [ g 1 (x i )] = 0 j=0. n α j g j (x i ) [ g n (x i )] = 0 j=0 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 10 / 22
Caso discreto [ g 0 (x i )g 0 (x i )α 1 ] +... + [ g n (x i )g 0 (x i )α n ] = [ g 0 (x i )g 1 (x i )α 1 ] +... + [ g n (x i )g 1 (x i )α n ] = [ g 1 (x i )g n (x i )α 1 ] +... + [ g n (x i )g n (x i )α n ] =. f (x i )g 0 (x i ) f (x i )g 1 (x i ) f (x i )g n (x i ) Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 11 / 22
Caso discreto O sistema linear achado pode ser escrito na forma matricial Aα = b, onde a ij =< g i, g j > e b i =< f, g i >. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 12 / 22
Caso discreto O sistema linear achado pode ser escrito na forma matricial Aα = b, onde a ij =< g i, g j > e b i =< f, g i >. Ou seja, < g 0, g 0 > < g 0, g 1 >... < g 0, g n > < g 1, g 0 > < g 1, g 1 >... < g 1, g n >........ < g n, g 0 > < g n, g 1 >... < g n, g n > α 1 α 2.. α n = < g 0, f > < g 1, f >. < g n, f > Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 12 / 22
Caso discreto Considerando que g 0 (x) = 1, g 1 (x) = x,..., g n (x) = x n de P n (R) temos o seguinte sistema linear: a base canônica Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 13 / 22
Caso discreto Considerando que g 0 (x) = 1, g 1 (x) = x,..., g n (x) = x n de P n (R) temos o seguinte sistema linear: a base canônica m. x i xi n x i... m. x 2 i... x n+1 i......... x n i x n+1 i x 2n i α 0 α 1. α n = f (x i ) x i f (x i ). xi n f (x i ) Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 13 / 22
Caso discreto Considerando que g 0 (x) = 1, g 1 (x) = x,..., g n (x) = x n de P n (R) temos o seguinte sistema linear: a base canônica m. x i xi n x i... m. x 2 i... x n+1 i......... x n i x n+1 i x 2n i α 0 α 1. α n = f (x i ) x i f (x i ). xi n f (x i ) As equações acima, chamadas de equações normais, formam um sistema de m equações e n variáveis. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 13 / 22
Exemplo do Caso Discreto Considere a função tabelada abaixo: x i 5 8 7 10 6 7 9 3 8 2 y i 6 9 8 10 5 7 8 4 6 2 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 14 / 22
Exemplo do Caso Discreto Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 15 / 22
Exemplo do Caso Discreto Pelo diagrama de dispersão acima podemos aproximar a função por uma reta. Tal aproximação é dita regressão linear. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 15 / 22
Exemplo do Caso Discreto Pelo diagrama de dispersão acima podemos aproximar a função por uma reta. Tal aproximação é dita regressão linear. ϕ(x) = 0, 8892 + 0, 8632x. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 15 / 22
Caso Contínuo Seja f (x) uma função contínua denida em [a, b]. Desejamos aproximar f (x) por um polinômio p m (x) = a 0 + a 1 x +... + a m x m de tal modo que a distância entre f (x) e p m (x) seja mínima. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 16 / 22
Caso Contínuo Seja f (x) uma função contínua denida em [a, b]. Desejamos aproximar f (x) por um polinômio p m (x) = a 0 + a 1 x +... + a m x m de tal modo que a distância entre f (x) e p m (x) seja mínima. ( b ) 1 2 Vamos considerar a norma f = (f (x)) 2 dx a que está associada ao produto interno < f, g >= a b a f (x)g(x)dx. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 16 / 22
Caso Contínuo Seja f (x) uma função contínua denida em [a, b]. Desejamos aproximar f (x) por um polinômio p m (x) = a 0 + a 1 x +... + a m x m de tal modo que a distância entre f (x) e p m (x) seja mínima. ( b ) 1 2 Vamos considerar a norma f = (f (x)) 2 dx a que está associada ao produto interno < f, g >= a b a f (x)g(x)dx. Lembremos que g 0 (x) = 1, g 1 (x) = x,..., g m (x) = x m canônica de P m (R). formam a base Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 16 / 22
Caso contínuo f p m 2 = f 2 2 < f, p m > + p m 2 = b b [f (x)] 2 dx 2 f (x) a j x j dx + a j x j b a b a f (x) a a j x j j=0 2 j=0 dx = F (a 0,..., a m ). a j=0 2 dx = Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 17 / 22
Caso contínuo Com o mesmo argumento do caso discreto, precisamos achar os pontos críticos de F. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 18 / 22
Caso contínuo Com o mesmo argumento do caso discreto, precisamos achar os pontos críticos de F. Logo, F b b b = 2 f (x)x i dx + 2 x j x i dx = 0 x j x i dx = a i a a a j=0 j=0 b f (x)x i dx. a Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 18 / 22
Caso contínuo De forma análoga como foi feito no caso discreto, obtemos um sistema linear, onde os termos resultantes são muito semelhantes, mas com a dife-rença de, em vez do somatório para os valores discretos, tem-se a integral no intervalo contínuo. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 19 / 22
Exemplo do Caso Contínuo ( π ) Aproxime a função f (x) = sin 4 x por uma cúbica. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 20 / 22
Exemplo do Caso Contínuo ( π ) Aproxime a função f (x) = sin 4 x por uma cúbica. Observação Pelo fato da função seno ser ímpar vamos tomar ϕ(x) = ax + bx 3. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 20 / 22
Exemplo do Caso Contínuo ( π ) Aproxime a função f (x) = sin 4 x por uma cúbica. Observação Pelo fato da função seno ser ímpar vamos tomar ϕ(x) = ax + bx 3. ϕ(x) = 0, 7853x 0, 0789x 3. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 20 / 22
Caso não linear Por vezes é necessário usar como aproximação uma família de funções que não são polinomiais. Por exemplo, se os dados fornecidos pelo diagrama de dispersão estão relacionados exponencialmente, pode considerar-se f (x) ϕ(x) = α 1 e α 2x com α1 e α 2 positivos. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 21 / 22
Caso não linear Por vezes é necessário usar como aproximação uma família de funções que não são polinomiais. Por exemplo, se os dados fornecidos pelo diagrama de dispersão estão relacionados exponencialmente, pode considerar-se f (x) ϕ(x) = α 1 e α 2x com α1 e α 2 positivos. Nestes casos, deve-se linearizar o problema através de uma transformação conveniente. O método dos mínimos quadrados é aplicado no problema linearizado. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 21 / 22
Vantagem O MMQ é a melhor forma para ajuste de curvas, uma vez que é possível visualizar a curva que melhor se ajusta para os dados. Desvantagem Quando o erro é muito pequeno não se torna necessário o uso do MMQ. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de 2019 22 / 22