Método dos Mínimos Quadrados

Transcrição

1 Método dos Mínimos Quadrados Laura Goulart UESB 4 de Abril de 2019 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

2 Objetivos O Método dos Mínimos Quadrados (MMQ) é uma técnica de otimização matemática que procura encontrar uma curva que se ajuste a uma tabela de pontos minimizando a norma ao quadrado das diferenças entre o valor estimado e os dados observados. f (x i ) ϕ(x i ) 2 = mínima, onde ϕ(x) = α 1 g 1 (x) + α 2 g 2 (x) + + α n g n (x) é combinação linear de funções conhecidas g 1 (x), g 2 (x),, g n (x). Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

3 Diagrama de Dispersão Ao estudarmos a relação entre duas variáveis, devemos inicialmente fazer um gráco dos dados (diagrama de dispersão) pois ele fornece uma idéia da forma da relação exibida por elas. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

4 Exemplo de Diagrama de Dispersão x f(x) -1 2,05-0,75 1,153-0,6 0,45-0,5 0,4-0,3 0, ,2 0,2 0,4 0,6 0,5 0,512 0,7 1,2 1 2,05 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

5 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

6 Caso discreto: A função f é dada por uma tabela de valores; Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

7 Caso discreto: A função f é dada por uma tabela de valores; Caso contínuo: A função f é dada por sua forma analítica, ou seja, quando esta for denida no intervalo fechado e limitado [a, b]. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

8 Caso Discreto Consideremos os dados (x 1, y 1 ); (x 2, y 2 );... ; (x m, y m ), onde y i = f (x i ; ) para i = 1, 2,..., m. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

9 Caso Discreto Consideremos os dados (x 1, y 1 ); (x 2, y 2 );... ; (x m, y m ), onde y i = f (x i ; ) para i = 1, 2,..., m. n Tomemos ϕ(x) = α j g j (x). Nosso objetivo é determinar os j=0 parâ-metros α 0,..., α n, de forma a que a soma quadrática das diferenças entre os f (x i ) e os g(x i ) seja mínima. Faz pois sentido introduzir a norma f = (f (x i )) 2 a que está associada ao produto interno < f, g >= i=0 f (x i ) g(x i ). Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

10 Caso discreto f ϕ 2 = f 2 2 < f, ϕ > + ϕ 2 = f (x i ) 2 2 f (x i )ϕ(x i ) + j=0 n ϕ(x i ) 2 = f (x i ) 2 2 f (x i ) α j g j (x i ) + f (x i ) 2 2f (x i ) f (x i ) n α j g j (x i ) + j=0 n α j g j (x i ) j=0 = F (α 0,..., α n ). 2 = n (α j g j (x i )) 2 = j=0 n α j g j (x i ) j=0 2 = Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

11 Caso Discreto F (α0 = 0 para k = 1,..., n. α k,...,α n) Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

12 Caso Discreto F (α0 = 0 para k = 1,..., n. α k,...,α n) F (α0 n α = 2 f (x i ) α j g j (x i ) [ g k (x i )] = 0. k,...,α n) j=0 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

13 Caso discreto n f (x i ) α j g j (x i ) [ g 0 (x i )] = 0 j=0 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

14 Caso discreto n f (x i ) α j g j (x i ) [ g 0 (x i )] = 0 j=0 n f (x i ) α j g j (x i ) [ g 1 (x i )] = 0 j=0. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

15 Caso discreto f (x i ) f (x i ) f (x i ) n α j g j (x i ) [ g 0 (x i )] = 0 j=0 n α j g j (x i ) [ g 1 (x i )] = 0 j=0. n α j g j (x i ) [ g n (x i )] = 0 j=0 Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

16 Caso discreto [ g 0 (x i )g 0 (x i )α 1 ] [ g n (x i )g 0 (x i )α n ] = [ g 0 (x i )g 1 (x i )α 1 ] [ g n (x i )g 1 (x i )α n ] = [ g 1 (x i )g n (x i )α 1 ] [ g n (x i )g n (x i )α n ] =. f (x i )g 0 (x i ) f (x i )g 1 (x i ) f (x i )g n (x i ) Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

17 Caso discreto O sistema linear achado pode ser escrito na forma matricial Aα = b, onde a ij =< g i, g j > e b i =< f, g i >. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

18 Caso discreto O sistema linear achado pode ser escrito na forma matricial Aα = b, onde a ij =< g i, g j > e b i =< f, g i >. Ou seja, < g 0, g 0 > < g 0, g 1 >... < g 0, g n > < g 1, g 0 > < g 1, g 1 >... < g 1, g n > < g n, g 0 > < g n, g 1 >... < g n, g n > α 1 α 2.. α n = < g 0, f > < g 1, f >. < g n, f > Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

19 Caso discreto Considerando que g 0 (x) = 1, g 1 (x) = x,..., g n (x) = x n de P n (R) temos o seguinte sistema linear: a base canônica Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

20 Caso discreto Considerando que g 0 (x) = 1, g 1 (x) = x,..., g n (x) = x n de P n (R) temos o seguinte sistema linear: a base canônica m. x i xi n x i... m. x 2 i... x n+1 i x n i x n+1 i x 2n i α 0 α 1. α n = f (x i ) x i f (x i ). xi n f (x i ) Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

21 Caso discreto Considerando que g 0 (x) = 1, g 1 (x) = x,..., g n (x) = x n de P n (R) temos o seguinte sistema linear: a base canônica m. x i xi n x i... m. x 2 i... x n+1 i x n i x n+1 i x 2n i α 0 α 1. α n = f (x i ) x i f (x i ). xi n f (x i ) As equações acima, chamadas de equações normais, formam um sistema de m equações e n variáveis. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

22 Exemplo do Caso Discreto Considere a função tabelada abaixo: x i y i Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

23 Exemplo do Caso Discreto Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

24 Exemplo do Caso Discreto Pelo diagrama de dispersão acima podemos aproximar a função por uma reta. Tal aproximação é dita regressão linear. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

25 Exemplo do Caso Discreto Pelo diagrama de dispersão acima podemos aproximar a função por uma reta. Tal aproximação é dita regressão linear. ϕ(x) = 0, , 8632x. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

26 Caso Contínuo Seja f (x) uma função contínua denida em [a, b]. Desejamos aproximar f (x) por um polinômio p m (x) = a 0 + a 1 x a m x m de tal modo que a distância entre f (x) e p m (x) seja mínima. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

27 Caso Contínuo Seja f (x) uma função contínua denida em [a, b]. Desejamos aproximar f (x) por um polinômio p m (x) = a 0 + a 1 x a m x m de tal modo que a distância entre f (x) e p m (x) seja mínima. ( b ) 1 2 Vamos considerar a norma f = (f (x)) 2 dx a que está associada ao produto interno < f, g >= a b a f (x)g(x)dx. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

28 Caso Contínuo Seja f (x) uma função contínua denida em [a, b]. Desejamos aproximar f (x) por um polinômio p m (x) = a 0 + a 1 x a m x m de tal modo que a distância entre f (x) e p m (x) seja mínima. ( b ) 1 2 Vamos considerar a norma f = (f (x)) 2 dx a que está associada ao produto interno < f, g >= a b a f (x)g(x)dx. Lembremos que g 0 (x) = 1, g 1 (x) = x,..., g m (x) = x m canônica de P m (R). formam a base Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

29 Caso contínuo f p m 2 = f 2 2 < f, p m > + p m 2 = b b [f (x)] 2 dx 2 f (x) a j x j dx + a j x j b a b a f (x) a a j x j j=0 2 j=0 dx = F (a 0,..., a m ). a j=0 2 dx = Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

30 Caso contínuo Com o mesmo argumento do caso discreto, precisamos achar os pontos críticos de F. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

31 Caso contínuo Com o mesmo argumento do caso discreto, precisamos achar os pontos críticos de F. Logo, F b b b = 2 f (x)x i dx + 2 x j x i dx = 0 x j x i dx = a i a a a j=0 j=0 b f (x)x i dx. a Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

32 Caso contínuo De forma análoga como foi feito no caso discreto, obtemos um sistema linear, onde os termos resultantes são muito semelhantes, mas com a dife-rença de, em vez do somatório para os valores discretos, tem-se a integral no intervalo contínuo. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

33 Exemplo do Caso Contínuo ( π ) Aproxime a função f (x) = sin 4 x por uma cúbica. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

34 Exemplo do Caso Contínuo ( π ) Aproxime a função f (x) = sin 4 x por uma cúbica. Observação Pelo fato da função seno ser ímpar vamos tomar ϕ(x) = ax + bx 3. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

35 Exemplo do Caso Contínuo ( π ) Aproxime a função f (x) = sin 4 x por uma cúbica. Observação Pelo fato da função seno ser ímpar vamos tomar ϕ(x) = ax + bx 3. ϕ(x) = 0, 7853x 0, 0789x 3. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

36 Caso não linear Por vezes é necessário usar como aproximação uma família de funções que não são polinomiais. Por exemplo, se os dados fornecidos pelo diagrama de dispersão estão relacionados exponencialmente, pode considerar-se f (x) ϕ(x) = α 1 e α 2x com α1 e α 2 positivos. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

37 Caso não linear Por vezes é necessário usar como aproximação uma família de funções que não são polinomiais. Por exemplo, se os dados fornecidos pelo diagrama de dispersão estão relacionados exponencialmente, pode considerar-se f (x) ϕ(x) = α 1 e α 2x com α1 e α 2 positivos. Nestes casos, deve-se linearizar o problema através de uma transformação conveniente. O método dos mínimos quadrados é aplicado no problema linearizado. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22

38 Vantagem O MMQ é a melhor forma para ajuste de curvas, uma vez que é possível visualizar a curva que melhor se ajusta para os dados. Desvantagem Quando o erro é muito pequeno não se torna necessário o uso do MMQ. Laura Goulart (UESB) Método dos Mínimos Quadrados 4 de Abril de / 22