Introdução Regressão linear Regressão de dados independentes Regressão não linear. Regressão. Susana Barbosa

Transcrição

1 Regressão Susana Barbosa Mestrado em Ciências Geofísicas

2 Regressão linear x : variável explanatória y : variável resposta

3 Gráfico primeiro!

4 Gráfico primeiro!

5 Gráfico primeiro!

6 Modelo linear x : variável explanatória y : variável resposta y i = α + βx i + ε i ε i N (0, Σ) Ajuste do modelo linear estimação de α, β e Σ

7 Modelo linear x : variável explanatória y : variável resposta y i = α + βx i + ε i ε i N (0, Σ) Ajuste do modelo linear estimação de α, β e Σ

8 Estimador (maxima verosimilhança) Modelo linear y i = α + βx i + ε i ε i N (0, Σ) Estimador de maxima verosimilhança ˆβ = (x T Σ 1 x) 1 x T Σ 1 y V [ ˆβ] = (x T Σ 1 x) 1

9 Matriz de covariância Σ erros não correlacionados e variância constante Σ = σ 2 I Σ é diagonal, entradas iguais OLS (ordinary least squares) erros não correlacionados e variância não constante Σ = σ 2 i I Σ é diagonal, entradas diferentes WLS (weighted least squares) erros correlacionados Σ Σ é não diagonal GLS (generalised least squares)

10 Matriz de covariância Σ erros não correlacionados e variância constante Σ = σ 2 I Σ é diagonal, entradas iguais OLS (ordinary least squares) erros não correlacionados e variância não constante Σ = σ 2 i I Σ é diagonal, entradas diferentes WLS (weighted least squares) erros correlacionados Σ Σ é não diagonal GLS (generalised least squares)

11 Matriz de covariância Σ erros não correlacionados e variância constante Σ = σ 2 I Σ é diagonal, entradas iguais OLS (ordinary least squares) erros não correlacionados e variância não constante Σ = σ 2 i I Σ é diagonal, entradas diferentes WLS (weighted least squares) erros correlacionados Σ Σ é não diagonal GLS (generalised least squares)

12 Regressão linear - dados independentes y i = α + βx i + ε i ε i i.i.d N (0, σ 2 )

13 Exemplo > summary(lm(y x)) Call: lm(formula = y x) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) x <2e-16 *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 998 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: 2337 on 1 and 998 DF, p-value: < 2.2e-16

14 Exemplo > summary(lm(y x)) Call: lm(formula = y x) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) x <2e-16 *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 998 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: 2337 on 1 and 998 DF, p-value: < 2.2e-16

15 Exemplo > summary(lm(y x)) Call: lm(formula = y x) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) x <2e-16 *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 998 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: 2337 on 1 and 998 DF, p-value: < 2.2e-16

16 Exemplo > summary(lm(y x)) Call: lm(formula = y x) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) x <2e-16 *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 998 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: 2337 on 1 and 998 DF, p-value: < 2.2e-16

17 Exemplo (cont) > confint(lm(y~x)) 2.5 % 97.5 % (Intercept) x

18 Exemplo (cont) > summary(lm(y~-1+x)) Call: lm(formula = y ~ -1 + x) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) x <2e-16 *** Residual standard error: on 999 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: 9063 on 1 and 999 DF, p-value: < 2.2e-16

19 Exemplo (cont) > AIC(lm(y~-1+x)) [1] > AIC(lm(y~x)) [1]

20 Análise de resíduos

21 Gráficos dos resíduos Resíduos vs valores estimados: visualização de padrões nos resíduos que sugiram outra dependência que não linear

22 Gráficos dos resíduos Grafico Q-Q: verificação visual de que os resíduos são consistentes com uma distribuição normal

23 Gráficos dos resíduos Grafico da raíz quadrada dos resíduos vs valores estimados: verificação visual de a variância é aproximadamente constante

24 Gráficos dos resíduos Grafico da distância de Cook: medida de influência (mede quanto a recta mudaria se o ponto fosse omitido)

25 Outliers Regressão resistente: tem por objectivo omitir outliers do modelo de regressão, de modo a que não contribuam para o modelo estimado Ex: lqs (package MASS) Regressão robusta: em vez de incluir outliers ou omiti-los, dá pesos menores a outliers, reduzindo a sua influência no modelo estimado Ex: lrm (package MASS)

26 Outliers Regressão resistente: tem por objectivo omitir outliers do modelo de regressão, de modo a que não contribuam para o modelo estimado Ex: lqs (package MASS) Regressão robusta: em vez de incluir outliers ou omiti-los, dá pesos menores a outliers, reduzindo a sua influência no modelo estimado Ex: lrm (package MASS)

27 Exemplo

28 Exemplo Regressão usual Regressão robusta

29 Previsão A incerteza na previsão deve incluir a incerteza na recta estimada IC a 95% para o declive da recta: ˆβ ± t SE b a variação de pontos individuais em torno da recta (desvio de novas observações para a recta estimada) Nota: a recta de regressão só é válida no domínio no qual foi estimada (intervalo original de valores da variável independente) - cuidado com extrapolações!

30 Exemplo

31 Bootstrap Observações: (x i, y i ), i = 1,...n Re-amostragem com repetição m amostras i.i.d de comprimento n Estimação do modelo linear para cada uma das m amostras bootstrap Erro calculado a partir do desvio padrão das m estimativas obtidas para o declive

32 Bootstrap

33 Exemplo

34 Exemplo

35 Exemplo

36 Transformações (Maindonald & Braun, 2010)

37 Transformações Transformações mais comuns logaritmo (ex: razao entre os valores mais alto e mais baixo elevada, 10) raiz quadrada ou cubica (ex: dados de contagem ou eventos raros) Transformação de Box-Cox y(λ) = y λ 1 λ se λ 0 y(λ) = log(y) se λ = 0

38 Regressão sinusoidal y i = Acos(wx i ) + Bsin(wx i ) + ε i Parâmetros: A, B (amplitudes) w = 2π/T, T período

39 Exemplo

40 Exemplo

41 Regressão polinomial y = a 0 + a 1 x + a 2 x a n x n Parâmetros: a 0, a 1,... a n n: grau do polinómio

42 Exemplo

43 Exemplo

44 Exemplo

45 Exemplo Call: lm(formula = density ~ Time) Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) 2.884e e <2e-16 *** Time 3.605e e <2e-16 *** Residual standard error: on 66 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 66 DF, p-value: < 2.2e-16 Call: lm(formula = density ~ Time + I(Time^2)) Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) 2.880e e < 2e-16 *** Time 6.593e e < 2e-16 *** I(Time^2) e e e-07 *** Residual standard error: on 65 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 65 DF, p-value: < 2.2e-16

46 Exemplo density.lin <- lm(density ~ Time) density.poly <- lm(density ~ Time + I(Time^2)) AIC(density.lin) AIC(density.poly)

47 Lowess LOWESS - LOcally-WEighted Scatterplot Smoothing