Ajuste de dados por mínimos quadrados

Transcrição

1 Cálculo Numérico por mínimos quadrados Prof. Daniel G. Alfaro Vigo Departamento de Ciência da Computação IM UFRJ

2 Motivação: População do Brasil Ano População (milhões) , , , , , , Tabela: População do Brasil (fonte: IBGE) Dados da População do Brasil (milhões de pessoas)

3 Motivação: População do Brasil Ano População (milhões) , , , , , , Tabela: População do Brasil (fonte: IBGE) Dados da População do Brasil (milhões de pessoas) Como podemos prever qual será a população no futuro, por exemplo no ano 2020?

4 Motivação: População do Brasil Dados da População do Brasil (milhões de pessoas) Dados da População do Brasil (milhões de pessoas) Dados p n Spline linear Dados Spline cúbico Usar interpolação não parece uma boa ideia!

5 Regressão linear Temos um conjunto de dados correspondentes a duas grandezas, x e y. Consideramos que os dados não são exatos. São introduzidos ruídos (erros) nas medições ou no processo de aquisição de dados. Na situação ideal existe uma dependência linear entre as grandezas x e y (o gráfico dos dados deveria corresponder a uma reta).

6 Regressão linear Temos um conjunto de dados correspondentes a duas grandezas, x e y. Consideramos que os dados não são exatos. São introduzidos ruídos (erros) nas medições ou no processo de aquisição de dados. Na situação ideal existe uma dependência linear entre as grandezas x e y (o gráfico dos dados deveria corresponder a uma reta). Problema de regressão linear (ajuste linear simples) Dado o conjunto de m pontos (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ). Determine a reta y = a1 x + a 0 que melhor se ajusta ao conjunto de dados.

7 Regressão linear Temos um conjunto de dados correspondentes a duas grandezas, x e y. Consideramos que os dados não são exatos. São introduzidos ruídos (erros) nas medições ou no processo de aquisição de dados. Na situação ideal existe uma dependência linear entre as grandezas x e y (o gráfico dos dados deveria corresponder a uma reta). Problema de regressão linear (ajuste linear simples) Dado o conjunto de m pontos (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ). Determine a reta y = a1 x + a 0 que melhor se ajusta ao conjunto de dados. Determinar os coeficientes a 1 e a 0. O que significa a frase que melhor se ajusta?

8 Regressão linear (cont.) Se conhecemos a1 e a 0 então os valores exatos de y são calculados como y 1 = a 1x 1 + a 0,..., y j = a 1x j + a 0,..., y m = a 1x m + a 0. Dessa forma, temos os seguintes desvios entre os valores exatos e os valores obtidos de y δ 1 = y 1 y 1,..., δ j = y j y j,..., δ m = y m y m.

9 Regressão linear (cont.) Se conhecemos a1 e a 0 então os valores exatos de y são calculados como y 1 = a 1x 1 + a 0,..., y j = a 1x j + a 0,..., y m = a 1x m + a 0. Dessa forma, temos os seguintes desvios entre os valores exatos e os valores obtidos de y δ 1 = y 1 (a 1x 1 +a 0),..., δ j = y j (a 1x j +a 0),..., δ m = y m (a 1x m +a 0).

10 Regressão linear (cont.) Se conhecemos a1 e a 0 então os valores exatos de y são calculados como y 1 = a 1x 1 + a 0,..., y j = a 1x j + a 0,..., y m = a 1x m + a 0. Dessa forma, temos os seguintes desvios entre os valores exatos e os valores obtidos de y δ 1 = y 1 (a 1x 1 +a 0),..., δ j = y j (a 1x j +a 0),..., δ m = y m (a 1x m +a 0). Na situação ideal temos que y j = y j e δ j = 0 (j = 1,..., m).

11 Regressão linear (cont.) Definimos os desvios em relação a uma reta qualquer y = a 1 x + a 0 por δ j (a 1, a 0 ) = y j (a 1 x j + a 0 ). Assim para quaisquer valores a 1 a1 e a 0 a0 δ j (a 1, a 0 ) tem que ser piores que δj! os desvios

12 Regressão linear (cont.) Definimos os desvios em relação a uma reta qualquer y = a 1 x + a 0 por δ j (a 1, a 0 ) = y j (a 1 x j + a 0 ). Assim para quaisquer valores a 1 a1 e a 0 a0 os desvios δ j (a 1, a 0 ) tem que ser piores que δj! Portanto podemos usar os desvios para determinar a reta que dá o melhor ajuste.

13 Regressão linear (cont.) Definimos os desvios em relação a uma reta qualquer y = a 1 x + a 0 por δ j (a 1, a 0 ) = y j (a 1 x j + a 0 ). Assim para quaisquer valores a 1 a1 e a 0 a0 os desvios δ j (a 1, a 0 ) tem que ser piores que δj! Portanto podemos usar os desvios para determinar a reta que dá o melhor ajuste. Uma forma simples e muito útil para determinar essa reta é através da soma dos quadrados dos desvios.

14 Regressão linear (cont.) Definimos os desvios em relação a uma reta qualquer y = a 1 x + a 0 por δ j (a 1, a 0 ) = y j (a 1 x j + a 0 ). Assim para quaisquer valores a 1 a1 e a 0 a0 os desvios δ j (a 1, a 0 ) tem que ser piores que δj! Portanto podemos usar os desvios para determinar a reta que dá o melhor ajuste. Uma forma simples e muito útil para determinar essa reta é através da soma dos quadrados dos desvios. O melhor ajuste é obtido pela reta onde a soma dos quadrados dos desvios atinge o valor mínimo.

15 Regressão linear: método dos mínimos quadrados Regressão linear pelo método dos mínimos quadrados Dado o conjunto de m pontos (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ). A reta y = a 1 x + a 0 que melhor se ajusta aos dados é obtida para os coeficientes a 1 e a 0 que minimizam a função F (a 1, a 0 ) = δj 2 (a 1, a 0 ) = [y j (a 1 x j + a 0 )] 2.

16 Regressão linear: método dos mínimos quadrados Regressão linear pelo método dos mínimos quadrados Dado o conjunto de m pontos (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ). A reta y = a 1 x + a 0 que melhor se ajusta aos dados é obtida para os coeficientes a 1 e a 0 que minimizam a função F (a 1, a 0 ) = δj 2 (a 1, a 0 ) = [y j (a 1 x j + a 0 )] 2. O problema de regressão linear foi reformulado como um problema de minimização de uma função em duas variáveis!

17 Regressão linear: sistema de equações normais Lembrete: (a 1, a 0 ) é ponto de mínimo de F (a 1, a 0 ) é um ponto crítico (a 1, a 0 ) é um ponto crítico F (a 1, a 0 ) = F (a 1, a 0 ) = 0 a 0 a 1

18 Regressão linear: sistema de equações normais Lembrete: (a 1, a 0 ) é ponto de mínimo de F (a 1, a 0 ) é um ponto crítico (a 1, a 0 ) é um ponto crítico F (a 1, a 0 ) = F (a 1, a 0 ) = 0 a 0 a 1 Temos que F a 0 (a 1, a 0 ) = = 2 [y a 0 j (a 1 x j + a 0 )] 2 { [y j (a 1 x j + a 0 )] [y j (a 1 x j + a 0 )] a 0 = 2 { [y j (a 1 x j + a 0 )]} = 2 [a 1 x j + a 0 y j ] }

19 Regressão linear: sistema de equações normais Temos que F a 0 (a 1, a 0 ) = = 2 [y a 0 j (a 1 x j + a 0 )] 2 { [y j (a 1 x j + a 0 )] [y j (a 1 x j + a 0 )] a 0 = 2 { [y j (a 1 x j + a 0 )]} = 2 [a 1 x j + a 0 y j ] } F a 0 (a 1, a 0 ) = 0 m a 0 + ( x j ) a 1 = y j

20 Regressão linear: sistema de equações normais (cont.) Da mesma forma F (a 1, a 0 ) = [y a 1 a 1 j (a 1 x j + a 0 )] 2 { = 2 [y j (a 1 x j + a 0 )] } [y j (a 1 x j + a 0 )] a 1 = 2 {( x j )[y j (a 1 x j + a 0 )]} = 2 [a 1 xj 2 + a 0 x j x j y j ]

21 Regressão linear: sistema de equações normais (cont.) Da mesma forma F (a 1, a 0 ) = [y a 1 a 1 j (a 1 x j + a 0 )] 2 { = 2 [y j (a 1 x j + a 0 )] } [y j (a 1 x j + a 0 )] a 1 = 2 {( x j )[y j (a 1 x j + a 0 )]} = 2 [a 1 xj 2 + a 0 x j x j y j ] F a 1 (a 1, a 0 ) = 0 ( x j ) a 0 + ( xj 2 ) a 1 = x j y j

22 Regressão linear: sistema de equações normais (cont.) Finalmente chegamos no sistema de equações normais m a 0 + ( x j ) a 1 = y j ( x j ) a 0 + ( xj 2 ) a 1 = x j y j

23 Regressão linear: solução do sistema de equações normais Temos que se m m x 2 j ( m x j) 2 0 então a 1 = m( m x jy j ) ( m x j)( m y j) m m x 2 j ( m x j) 2 = m (x j x)(y j ȳ) m (x j x) 2 a0 = m( m x j 2)( m y j) ( m x j)( m x jy j ) m m x j 2 ( m x j) 2 = ȳ a1 x em que x = 1 m x j e ȳ = 1 m y j.

24 Regressão linear pelo método dos mínimos quadrados Regressão linear pelo método dos mínimos quadrados Seja dado um conjunto de m 2 pontos (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ) em que pelo menos dois pontos tem abcissas diferentes. Então existe uma única solução a1, a 0 para o sistema de equações normais e a reta y = a1 x + a 0 é a que melhor se ajusta a esses dados (segundo o critério dos mínimos quadrados). Qualidade das previsões da regressão linear O coeficiente de determinação R 2 = 1 m (y j y j )2 m (y j ȳ) 2, em que yj = a1x j + a0, representa uma medida da qualidade do ajuste. Quanto mais próximo de 1 o valor de R 2, melhor será a qualidade das previsões.

25 Exemplo: população do Brasil Ano x j População (milhões) y j Tabela: População do Brasil (fonte: IBGE) Nesse caso m = 6. Temos que x j = 11911, y j = , xj 2 = x j y j =

26 Exemplo: população do Brasil Ano x j População (milhões) y j Tabela: População do Brasil (fonte: IBGE) Nesse caso m = 6. Temos que x j = 11911, y j = , xj 2 = x j y j = Resolvendo o sistema obtemos que a 1 = e a 0 = Para o coeficiente de determinação temos: R 2 =

27 Exemplo: população do Brasil Ano x j População (milhões) y j Tabela: População do Brasil (fonte: IBGE) Nesse caso m = 6. Temos que x j = 11911, y j = , xj 2 = x j y j = Resolvendo o sistema obtemos que a 1 = e a 0 = Para o coeficiente de determinação temos: R 2 = A previsão para o ano 2020 é uma população de milhões de pessoas.

28 Exemplo: população do Brasil Dados da População do Brasil (milhões de pessoas) Dados Regressão linear

29 Ajuste de um modelo linear Dado o conjunto de dados correspondente a duas grandezas, x e y. Na situação ideal, quando os dados não contem ruídos existe uma dependência linear entre x e y na forma N y = α 1 g 1 (x) + + α N g N (x) = α j g j (x) em que g 1,..., g N são funções conhecidas e α 1,..., α N são parâmetros constantes. Dizemos que a dependência entre as variáveis é dada por um modelo linear gerado pelas funções g 1,..., g N.

30 Ajuste de um modelo linear (cont.) Problema de ajuste linear Dado o conjunto de m pontos (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ), e as funções g 1,..., g N. Determine a curva da forma y = α 1 g 1(x) + + a N g N(x) que melhor se ajusta ao conjunto de dados.

31 Ajuste de um modelo linear (cont.) Problema de ajuste linear Dado o conjunto de m pontos (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ), e as funções g 1,..., g N. Determine a curva da forma y = α 1 g 1(x) + + a N g N(x) que melhor se ajusta ao conjunto de dados. Determinar os parâmetros α 1,..., α N.

32 Ajuste de um modelo linear (cont.) Problema de ajuste linear Dado o conjunto de m pontos (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ), e as funções g 1,..., g N. Determine a curva da forma y = α 1 g 1(x) + + a N g N(x) que melhor se ajusta ao conjunto de dados. Determinar os parâmetros α 1,..., α N. Vamos a aplicar o método dos mínimos quadrados.

33 Ajuste do modelo linear: método dos mínimos quadrados Para quaisquer α 1,..., α N podemos introduzir a função N φ(x) = α 1 g 1 (x) + + α N g N (x) = α j g j (x) e os desvios em relação à curva y = φ(x) como N δ l (α 1,..., α N ) = y l φ(x l ) = y l α j g j (x l ), l = 1,..., m.

34 Ajuste do modelo linear: método dos mínimos quadrados Para quaisquer α 1,..., α N podemos introduzir a função N φ(x) = α 1 g 1 (x) + + α N g N (x) = α j g j (x) e os desvios em relação à curva y = φ(x) como N δ l (α 1,..., α N ) = y l φ(x l ) = y l α j g j (x l ), l = 1,..., m. Usamos a soma dos quadrados dos desvios para definir F (α 1,..., α N ) = [y l φ(x l )] 2 = y l l=1 l=1 N α j g j (x l ) Critério de melhor ajuste: minimização a função F. 2

35 Sistema de equações normais Vamos procurar os pontos críticos de F, ou seja as soluções do sistema F α i (α 1,..., α N ) = 0, i = 1,..., N.

36 Sistema de equações normais Vamos procurar os pontos críticos de F, ou seja as soluções do sistema F α i (α 1,..., α N ) = 0, i = 1,..., N. F α i (α 1,..., α N ) = y α i l l=1 2 N α j g j (x l )

37 Sistema de equações normais Vamos procurar os pontos críticos de F, ou seja as soluções do sistema F α i (α 1,..., α N ) = 0, i = 1,..., N. F α i (α 1,..., α N ) = α i l=1 y l 2 N α j g j (x l )

38 Sistema de equações normais Vamos procurar os pontos críticos de F, ou seja as soluções do sistema F α i (α 1,..., α N ) = 0, i = 1,..., N. F α i (α 1,..., α N ) = 2 y l l=1 N α j g j (x l ) α i y l N α j g j (x l )

39 Sistema de equações normais Vamos procurar os pontos críticos de F, ou seja as soluções do sistema F α i (α 1,..., α N ) = 0, i = 1,..., N. F α i (α 1,..., α N ) = 2 g i(x j ) y l l=1 N α j g j (x l )

40 Sistema de equações normais Vamos procurar os pontos críticos de F, ou seja as soluções do sistema F α i (α 1,..., α N ) = 0, i = 1,..., N. F α i (α 1,..., α N ) = 2 N g i(x l ) α j g j (x l ) g i (x l )y l l=1

41 Sistema de equações normais Vamos procurar os pontos críticos de F, ou seja as soluções do sistema F α i (α 1,..., α N ) = 0, i = 1,..., N. ( F N m ) (α 1,..., α N ) = 2 g α i i (x l )g j (x l ) α j l=1 g i (x l )y l = 0 l=1

42 Sistema de equações normais Vamos procurar os pontos críticos de F, ou seja as soluções do sistema F α i (α 1,..., α N ) = 0, i = 1,..., N. ( N m ) g i (x l )g j (x l ) α j = l=1 g i (x l )y l, i = 1,..., N. l=1

43 Sistema de equações normais (cont.) Ou seja, o sistema linear L α = r em que L ij = g i (x l )g j (x l ), r i = l=1 g i (x l )y l, i, j = 1,..., N. l=1 L é uma matriz quadrada (dimensão N N) simétrica (L ij = L ji ) e não negativa (v T L v 0, v R N ).

44 Sistema de equações normais (cont.) Ou seja, o sistema linear L α = r em que L ij = g i (x l )g j (x l ), r i = l=1 g i (x l )y l, i, j = 1,..., N. l=1 L é uma matriz quadrada (dimensão N N) simétrica (L ij = L ji ) e não negativa (v T L v 0, v R N ). Introduzindo a matriz G com elementos G lj = g j (x l ), l = 1,..., m, j = 1,..., N; e o vetor (coluna) y com elementos y l, l = 1,..., m, temos que L = G T G, r = G T y. G T representa a transposta da matriz G. Observe que G tem dimensões m N e em geral, não é uma matriz quadrada.

45 Sistema de equações normais (cont.) Afirmação [existência de solução única] A matriz L é não singular, se e somente se, os vetores g 1 (x 1 ) g 2 (x 1 ) g N (x 1 ) g 1 =, g 2 =,..., g N =,. g 1 (x m ). g 2 (x m ). g N (x m ) são linearmente independentes (ou seja se as colunas da matriz G são linearmente independentes). Uma condição necessária para a existência de solução é a desigualdade m N.

46 Ajuste linear pelo método dos mínimos quadrados Ajuste do modelo linear pelo método dos mínimos quadrados Sejam dados o conjunto de pontos (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ) e as funções g 1,..., g N. Suponha que m N e os vetores g 1,..., g N são linearmente independentes então existe uma única solução α1,..., α N para o sistema de equações normais L α = r. Nesse caso, o modelo y = N α j g j(x) é o que melhor se ajusta a esses dados dentre todos os possíveis modelos (lineares) gerados pelas funções g 1,..., g N. Dizemos que a curva y = N α j g j(x) é a que melhor se ajusta aos dados.

47 Exemplo: população do Brasil Vamos considerar todos os dados conhecidos do período de Modelo: polinômio de grau 3, ou seja vamos considerar a relação y = α 1 + α 2 x + α 3 x 2 + α 4 x 3. Observe que isso corresponde a um modelo linear gerado pelas funções g 1 (x) = 1, g 2 (x) = x, g 3 (x) = x 2, g 4 (x) = x 3, assim temos N = 4 e g i (x) = x i 1.

48 Exemplo: população do Brasil Vamos considerar todos os dados conhecidos do período de Modelo: polinômio de grau 3, ou seja vamos considerar a relação y = α 1 + α 2 x + α 3 x 2 + α 4 x 3. Observe que isso corresponde a um modelo linear gerado pelas funções g 1 (x) = 1, g 2 (x) = x, g 3 (x) = x 2, g 4 (x) = x 3, assim temos N = 4 e g i (x) = x i 1. Logo temos que L ij = 12 l=1 x i+j 2 l, r i = 12 l=1 x i 1 l y l, i, j = 1,..., 4; Resolvendo o sistema de equações normais obtemos que α 1 = , α 2 = , α 3 = , α 4 =

49 Exemplo: população do Brasil 250 Dados da População do Brasil (milhões de pessoas) Ajuste polinômio cúbico Dados Previsão para o ano 2020: milhões de pessoas.

50 População do Brasil: modelo não linear Sob algumas hipóteses simplificadoras, podemos considerar que a população cresce exponencialmente, ou seja temos a equação y = β 1 e β 2x em que y é a quantidade de pessoas e x o tempo, e β 1, β 2 são constantes. Esse modelo foi proposto por Thomas R. Malthus em Esse é um modelo não linear e se aplicarmos o método dos mínimos quadrados diretamente, vamos obter um sistema de equações não lineares!

51 População do Brasil: modelo não linear Sob algumas hipóteses simplificadoras, podemos considerar que a população cresce exponencialmente, ou seja temos a equação y = β 1 e β 2x em que y é a quantidade de pessoas e x o tempo, e β 1, β 2 são constantes. Esse modelo foi proposto por Thomas R. Malthus em Esse é um modelo não linear e se aplicarmos o método dos mínimos quadrados diretamente, vamos obter um sistema de equações não lineares! Felizmente, para esse modelo é possível fazer uma linearização.

52 População do Brasil: modelo não linear (cont.) Observe que para z = ln(y) temos z = ln(y) = ln(β 1 e β 2 x ) = ln(β 1 ) + β 2 x

53 População do Brasil: modelo não linear (cont.) Observe que para z = ln(y) temos z = ln(y) = ln(β 1 e β 2 x ) = ln(β 1 ) + β 2 x Assim, as variavéis x e z satisfazem a relação linear z = α 1 + α 2 x, onde α 1 = ln(β 1 ) e α 2 = β 2.

54 População do Brasil: modelo não linear (cont.) Observe que para z = ln(y) temos z = ln(y) = ln(β 1 e β 2 x ) = ln(β 1 ) + β 2 x Assim, as variavéis x e z satisfazem a relação linear z = α 1 + α 2 x, onde α 1 = ln(β 1 ) e α 2 = β 2. Daí podemos achar os coeficientes α1 e α 2 da reta que melhor se ajusta aos dados (x i, z i ) onde z i = ln(y i ). A partir desses valores obtemos a curva exponencial y = β1 e β 2 x que melhor se ajusta aos dados (x i, y i ) em que β1 = eα 1 e β 2 = α2.

55 População do Brasil: modelo não linear (cont.) Temos que 12 L 11 = m = 12, L 12 = L 21 = x l = 23383, L 22 = r 1 = 12 l=1 12 x 2 l = , l=1 12 ln(y l ) = , r 2 = x l ln(y l ) = l=1 l=1

56 População do Brasil: modelo não linear (cont.) Temos que 12 L 11 = m = 12, L 12 = L 21 = x l = 23383, L 22 = r 1 = 12 l=1 12 l=1 x 2 l = , l=1 12 ln(y l ) = , r 2 = x l ln(y l ) = Resolvendo obtemos que α 1 = , com um coeficiente de determinação α 2 = e R 2 = l=1 Finalmente β 1 = e β 2 = A previsão para o ano 2020: milhões de pessoas.

57 População do Brasil: modelo não linear (cont.) Dados da População do Brasil (milhões de pessoas) Ajuste exponencial Dados Ajuste polinômio cúbico

58 Outros modelos não lineares Exemplos de modelos não lineares que podem ser linearizados: a) y = β 1 e β 2 x z = ln(y) = ln(β 1 ) + β 2 x b) y = β 1 (β 2 ) x z = ln(y) = ln(β 1 ) + ln(β 2 ) x c) y = β 1 x β 2 z = ln(y) = ln(β 1 ) + β 2 ln(x) d) 1 y = β 1 + β 2 x z = 1 y = β 1 + β 2 x

59 Outros modelos não lineares Exemplos de modelos não lineares que podem ser linearizados: a) y = β 1 e β 2 x z = ln(y) = ln(β 1 ) + β 2 x b) y = β 1 (β 2 ) x z = ln(y) = ln(β 1 ) + ln(β 2 ) x c) y = β 1 x β 2 z = ln(y) = ln(β 1 ) + β 2 ln(x) d) 1 y = β 1 + β 2 x z = 1 y = β 1 + β 2 x Observações: Os problemas de ajuste para esses modelos não lineares podem ser reformulados como problemas de regressão linear. Para conseguir isso no caso c), além da linearização é preciso introduzir como variável independente t = ln(x). Substituindo x por outra função conhecida g(x), obtemos outros modelos não lineares que também podem ser linearizados.

60 Comentários finais O ajuste de dados é extremamente útil para fazer previsões e aproximações quando os nossos dados contem ruídos (introduzidos no processo de aquisição dos dados). Outra situação importante é quando temos uma quantidade grande de dados e queremos descrever seu comportamento sem precisar de muitos parâmetros. Para modelos lineares, usando o método dos mínimos quadrados chegamos no sistema de equações normais para determinar os valores dos parâmetros. Alguns modelos não lineares podem ser linearizados e o ajuste pode ser feito pelo método dos mínimos quadrados sem precisarmos resolver equações não lineares.

61 Referências S. Chapra e R. Canale, Métodos Numéricos para Engenharia. 5a Edição, Mc Graw-Hill Brasil, IBGE, Séries estatísticas e históricas. ( seriesestatisticas.ibge.gov.br/series.aspx?no=10& op=0&vcodigo=cd90&t=populacao-presente-residente) J.D. Murray, Mathematical Biology I. An Introduction. 3a Edição, Springer, 2002.