1 AULA 3 - MODELO DE REGRESSÃO LINEAR

Transcrição

1 1 AULA 3 - MODELO DE REGRESSÃO LINEAR 1.1 Análise exploratória Fazer um modelo de regressão linear envolve modelar uma variável de desfecho contínua em função de uma ou mais variáveis explanatórias. Como exemplo, será utilizada a base de dados swiss, que representa o período em que a Suíça estava em transição demográfica e em declínio da fecundidade. Esse estudo ecológico foi analisado por Mosteller e Tukey 1 (1977) e contém os coeficientes padronizados de fertilidade (variável dependente) e indicadores sócio-econômicos (variáveis explanatórias) para cada uma das 47 províncias de língua francesa da Suíça em > data(swiss) > swiss[1:10, ] Fertility Agriculture Examination Education Catholic Infant.Mortality Courtelary Delemont Franches-Mnt Moutier Neuveville Porrentruy Broye Glane Gruyere Sarine

2 As variáveis na base de dados swiss foram descritas no Quadro 1: Quadro 1: Descrição das variáveis em swiss. Nome Descrição Abreviação Fertility coeficiente padronizado de fertilidade CPF Agriculture proporção de homens com ocupação AGR na agricultura (%) Examination proporção de homens alistados ao EXA serviço militar (%) Education proporção de escolaridade acima EDU do ensino fundamental (%) Catholic proporção de católicos, ou seja, CAT não-protestantes (%) Infant.Mortality coeficiente de mortalidade infantil CMI A estatística descritiva para as variáveis quantitativas contínuas em swiss pode ser feita ou com a função summary ou utilizando mean(), sd(), median(), min() e max(). Note que em summary() não há a medida de desvio padrão. Os resultados devem ser iguais ao da Tabela 1: Tabela 1: Estatística descritiva em swiss. Variável média (dp) mediana min-max Fertility (12.49) Agriculture (22.71) Examination (7.98) Education (9.62) Catholic (41.71) Infant.Mortality (2.91) É necessário conhecer se a distribuição de frequência dessas seis variáveis (Quadro 1, Tabela 1) estão tendendo a uma distribuição normal. Pode-se aplicar a função shapiro.test() para fazer o teste de normalidade e, também, verificar a normalidade graficamente por meio de qqnorm() e qqline() (Tabela 2, Figura 1): 2

3 Tabela 2: Teste de normalidade de Shapiro-Wilk com as variáveis em swiss. Variável média (dp) mediana min-max valor de p Fertility (12.49) Agriculture (22.71) Examination (7.98) Education (9.62) <0.001 Catholic (41.71) <0.001 Infant.Mortality (2.91) Figura 1: Gráficos quantil-quantil das variáveis em swiss Fertility Theoretical Quantiles Sample Quantiles Agriculture Theoretical Quantiles Sample Quantiles Examination Theoretical Quantiles Sample Quantiles Education Theoretical Quantiles Sample Quantiles Catholic Theoretical Quantiles Sample Quantiles Infant.Mortality Theoretical Quantiles Sample Quantiles > par(mfrow=c(2,3)) > qqnorm(swiss[,1], main= Fertility ) ; qqline(swiss[,1]) > qqnorm(swiss[,2], main= Agriculture ) ; qqline(swiss[,2]) > qqnorm(swiss[,3], main= Examination ) ; qqline(swiss[,3]) > qqnorm(swiss[,4], main= Education ) ; qqline(swiss[,4]) > qqnorm(swiss[,5], main= Catholic ) ; qqline(swiss[,5]) > qqnorm(swiss[,6], main= Infant.Mortality ) ; qqline(swiss[,6]) > par(mfrow=c(1,1)) 3

4 As variáveis education e catholic não tendem a uma distribuição normal (W = 0.75 e p = < 0.001, W = 0.75 e p = <0.001, Tabela 2). Os gráficos da Figura 1 que mostram assimetria relativa entre os valores teóricos e amostrais. Portanto, vamos considerar somente as variáveis CPF, AGR, EXA e CMI (Quadro 1) para estimar os modelos de regressão linear. Primeiramente, tem-se a necessidade de definir a variável dependente e as variáveis independentes. O coeficiente padronizado de fertilidade é a variável dependente, enquanto que as demais, ou seja, AGR, EXA e CMI, são as independentes. Posteriormente, deve-se fazer os gráficos de dispersão e testar a correlação entre essas variáveis. Por exemplo, podemos fazer três gráficos de dispersão (Figura 2), sendo o primeiro com CPI em função de AGR, o segundo, CPI e EXA, e o terceiro, CPI e CMI: > par(mfrow=c(1,3)) > plot(swiss[,2], swiss[,1], xlab= AGRICULTURA, ylab= FERTILIDADE ) > plot(swiss[,3], swiss[,1], xlab= ALISTAMENTO, ylab= FERTILIDADE ) > plot(swiss[,6], swiss[,1], xlab= MORTALIDADE INFANTIL, ylab= FERTILIDADE ) > par(mfrow=c(1,1)) 4

5 Figura 2: Gráficos de dispersão em swiss AGRICULTURA FERTILIDADE ALISTAMENTO FERTILIDADE MORTALIDADE INFANTIL FERTILIDADE Os gráficos de dispersão da Figura 2 permitem apenas observar a correlação linear puramente descritiva entre a variável dependente CMI e as demais independentes. Assim, faz-se necessário verificar a existência e a magnitude dessa correlação por meio do teste de correlação de Pearson. No R, o código que implementa esse teste é dado pela função cor.test(): >cor.test(base de dados$x, base de dados$y, alternative = c( two.sided, less, greater ), method = c( pearson, kendall, spearman ),...) Nessa função cor.test(), necessita-se explicitar a variável independente x, a variável dependente y, a hipótese alternativa two-sided e o método de correlação pearson. Portanto, podemos fazer os testes de correlação entre a variável dependente CMI em função das demais (Tabela 3): > cor.test(swiss$agriculture, swiss$fertility, alternative=c( two.sided ), method=c( pearson )) 5

6 > cor.test(swiss$examination, swiss$fertility, alternative=c( two.sided ), method=c( pearson )) > cor.test(swiss$infant.mortality, swiss$fertility, alternative=c( two.sided ), method=c( pearson )) Tabela 3: Correlação entre variáveis em swiss. Variáveis Pearson dependente (y) independente (x) correlação valor de p Fertility Agriculture Fertility Examination e-07 Fertility Infant.Mortality Segundo a tabela 3, existe correlação positiva e significante entre CPI e AGR (0.35, p < 0.02) e entre CPI e CMI (0.42, p < 0.01), enquanto que a correlação entre CPI e EXA é significantemente negativa (-0.64, p < 0.001). Esses resultados são importantes para estimar o modelo de regressão linear simples. Antes, porém, deve-se testar a correlação entre as variáveis independentes (Tabela 4) para evitar colinearidades no modelo de regressão linear múltipla. Para tanto, utiliza-se novamente a função cor.test(): > cor.test(swiss$agriculture, swiss$examination, alternative=c( two.sided ), method=c( pearson )) > cor.test(swiss$agriculture, swiss$infant.mortality, alternative=c( two.sided ), method=c( pearson )) > cor.test(swiss$examination, swiss$infant.mortality, alternative=c( two.sided ), method=c( pearson )) 6

7 Tabela 4: Correlação entre variáveis independentes em swiss. Variáveis independentes Correlação de Pearson Valor de p Agriculture Examination e-08 Agriculture Infant.Mortality Examination Infant.Mortality A tabela 4 indica que existe correlação, positiva e significante, apenas entre AGR e EXA (-0.69, p < 0.001). Assim, pode-se prosseguir para a modelagem de regressão linear, sendo que as variáveis AGR e EXA (Tabela 4) não poderão ser selecionadas, concomitantemente, para o modelo múltiplo. Uma outra forma de obter os mesmos resultados é utilizando a função pairs() com o argumento upper.panel equivalente a função panel.cor que exibe os seis coeficientes de correlação das Tabelas 3 e 4. O código da função panel.cor é: > panel.cor <- function(x, y, digits=2, prefix=, cex.cor,...) { usr <- par( usr ); on.exit(par(usr)) par(usr = c(0, 1, 0, 1)) r <- abs(cor(x, y)) txt <- format(c(r, ), digits=digits)[1] txt <- paste(prefix, txt, sep= ) if(missing(cex.cor)) cex.cor <- 0.8/strwidth(txt) text(0.5, 0.5, txt, cex = cex.cor * r) } Utiliza-se a função panel.cor dentro da função pairs para criar uma matriz de dispersão e de correlação (Figura 3): >df<-data.frame(swiss$fertility, swiss$agriculture, swiss$examination, 7

8 swiss$infant.mortality) > colnames(df)<-c("fertility","agriculture","examination","infant.mortality") > pairs(df, upper.panel = panel.cor) Figura 3: Matriz de dispersão e de correlação. Fertility Agriculture Examination Infant.Mortality 1.2 Modelo de regressão linear simples Sabe-se que CPF está correlacionado com EXA (- 0.65), CMI (0.42) e AGR (0.35) e que AGR está correlacionada com EXA (- 0.69). Entretanto, assume-se que a variação da frequência de CPF é decorrente da contribuição de mais de uma variável independente. Portanto, deve-se fazer, primeiramente, modelos simples e, posteriormente, os modelos múltiplos. Para tanto, será apresentada o código da função lm() para estimativa de modelos lineares simples lm1, lm2 e lm3, os quais possuem a seguinte fórmula: y, variável dependente, em função de x, variável independente: Exemplo: >nome do modelo <- lm(formula = base de dados$y base de dados$x) 8

9 Os modelos simples: >lm1 <- lm(swiss$fertility swiss$examination) >lm2 <- lm(swiss$fertility swiss$infant.mortality) >lm3 <- lm(swiss$fertility swiss$agriculture) Os modelos lineares simples que foram nomeados de lm1, lm2 e lm3 são objetos da classe lm, ou seja, linear model ou, traduzido para o português, modelo linear. O resultado do modelo da função lm() pode ser obtido por meio da função summary(): > summary(lm1) Call: lm(formula = swiss$fertility swiss$examination) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(<t) (Intercept) <2e-16 *** swiss$examination e-07 *** Signif. codes: 0 *** ** 0.01 * Residual standard error: on 45 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 45 DF, p-value: 9.45e-07 O comando summary() do objeto de classe lm representa o output do modelo linear lm1. Nesse output, são mostrados: o máximo, o mínimo, os quartis primeiro/terceiro e a 9

10 mediana dos resíduos; as estimativas dos coeficientes β 0 e β 1, sendo que essas estimativas têm erro padrão e um valor do teste t-student com significância estatística; os R 2 múltiplo e ajustado; e o teste da distribuição F. Para o modelo lm1, o β 1 foi estimado para (p = 9.45e-07) com R 2 ajustado de Deve-se repetir o mesmo procedimento para os modelos lm2 e lm3 para estimar os coeficientes e obter o valor de ajuste dos modelos (Tabela 5). > summary(lm2) > summary(lm3) Tabela 5: Modelos lineares simples com as variáveis em swiss. Variáveis Modelo linear Modelo dependente independente coef. p R 2 -aj. lm1 Fertility Examination e lm2 Fertility Infant.Mortality lm3 Fertility Agriculture Modelo de regressão linear múltipla O modelo linear simples lm1 tem o melhor ajuste (R 2 -aj. = ), enquanto que os modelo lineares simples lm2 e lm3 possuem piores ajustes (respectivamente, R 2 - aj. = e ). Os coeficientes das variáveis independentes EXA, CMI e AGR são significativos (p < 0.05) e, portanto, explicam parte da variação observada pela variável dependente CPF. Essas variáveis independentes devem ser selecionadas para um modelo múltiplo que poderá ter um valor mais alto de R 2 -aj., ou seja, um melhor ajuste. Considerando, porém, que AGR está correlacionada com EXA (- 0.69), essas variáveis podem provocar piora no ajuste do modelo múltiplo porque explicam a mesma variação em CPF e utilizam o dobro de graus de liberdade. Portanto, deve-se prosseguir 10

11 com os modelos múltiplos lm4 e lm5 em que a fórmula da função lm() é estendida para mais de uma variável independente. Exemplo: >nome do modelo <- lm(formula = base de dados$y base de dados$x 1 + base de dados$x base de dados$x n ) Modelos múltiplos: >lm4 <- lm(swiss$fertility swiss$examination + swiss$infant.mortality) >lm5 <- lm(swiss$fertility swiss$examination + swiss$infant.mortality + swiss$agriculture) Podemos verificar o resultado do modelo lm4 utilizando a função summary: >summary(lm4) Call: lm(formula = swiss$fertility swiss$examination + swiss$infant.mortality) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(<t) (Intercept) e-07 *** swiss$examination e-07 *** swiss$infant.mortality ** Signif. codes: 0 *** ** 0.01 * Residual standard error: on 44 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 44 DF, p-value: 4.541e-08 11

12 O modelo lm4 tem coeficientes β 1 igual a (p = 5.29e-07) e β 2 igual a (p = ) e um ajuste melhor do que os dos modelos simples (R 2 -aj. = ). Pode-se obter o resultado do modelo lm5 e comparar todos os modelos (Tabela 6). > summary(lm5) Tabela 6: Modelos lineares múltiplos com as variáveis em swiss. Variáveis Modelo linear Modelo dependente explanatórias coef. p R 2 -aj. lm1 CPF EXA < lm2 CPF CMI 1.79 < lm3 CPF AGR 0.19 < lm4 CPF EXA <.01 CMI 1.5 < lm5 CPF EXA <.01 CMI 1.44 <.01 AGR < O melhor modelo é o lm4, porque tem o maior valor de R 2 aj. (0.52) e suas variáveis independentes são significantes (Tabela 6). Assim, a proporção de homens com ocupação na agricultura (AGR) foi excluída desse modelo final. Esse modelo não deve ter resíduos correlacionados aos valores ajustados. Além disso, os resíduos devem ter distribuição normal. Vamos realizar a última etapa que é análise de resíduos do modelo final. Primeiramente, vamos utilizar a função str() para selecionar os resultados do modelo lm4 e, posteriormente, fazer um gráfico de dispersão dos resíduos em função dos valores ajustados. > str(lm4) List of $ residuals... 12

13 $ fitted.values:... O comando str(lm4) mostra uma lista de 12 objetos que podem ser separadamente extraídos por meio do operador de indexação $. Por exemplo, podem-se extrair os resíduos por lm4$residuals e os valores ajustados por lm4$fitted.values. > lm4$residuals Courtelary Rive Gauche > lm4$fitted.values Courtelary Rive Gauche Em Courtelary, o valor ajustado de tem um resíduo associado de em relação a reta de regressão dada pela equação do modelo lm4, i.e., ŷ = β 0 + β 1 X 1 + β 2 X 2. Vamos fazer o gráfico de dispersão dos resíduos em função dos valores ajustados, adicionado ao gráfico uma reta paralela ao eixo X e com o valor 0 no eixo Y, e, também, o valor do teste de Shapiro-Wilk. Se o modelo lm4 atende às premissas do modelo, então o gráfico de dispersão mostrará uma nuvem de pontos aleatória ao redor 13

14 do eixo Y = 0 e os resíduos terão distribuição normal. Gráfico de dispersão: > plot(lm4$fitted.values, lm4$residuals, ylab = Resíduos, main= Dispersão dos resíduos em função dos valores ajustados, sub = Modelo final, xlab = expression(hat(y) == beta[0] + beta[1]*x[1] + beta[2]*x[2]), col = blue ) Reta de referência no eixo Y = 0: > abline(h = 0, col = red, lty=3) Texto com o resultado do teste de Shapiro-Wilk: > text(45, -10, labels= Resíduos Shapiro-Wilk normality test W = , p-value = ) A figura 4 mostra que o modelo final lm4 atende às premissas e, portanto, as estimativas dos coeficientes são confiáveis. 14

15 Figura 4: Gráfico de dispersão do modelo lm4. Dispersão dos resíduos em função dos valores ajustados Resíduos Resíduos Shapiro Wilk normality test W = , p value = y^ = β 0 + β 1 X 1 + β 2 X 2 Modelo final O modelo final lm4 tem o maior valor do R 2 ajustado, igual a Esse modelo, portanto, explica melhor a variação de fertilidade nas 47 províncias francesas. Os fatores correlacionados significativamente com fertilidade foram a proporção de homens alistados ao serviço militar (β 1 = -0.95) e o coeficiente de mortalidade infantil (β 2 = 1.50). 15

16 1.4 Exercícios da Aula 3 1 Ajuste um modelo de regressão linear aos dados na base USArrests. Nessa base, há 4 variáveis quantitativas contínuas, em que 3 delas representam coeficientes populacionais de prisões efetuadas por assalto, assassinato e estupro por habitantes em cada um dos 50 estados norte-americanos no ano de A quarta variável é a porcentagem de população vivendo em áreas urbanas (McNeil 2, 1977). A variável dependente é rape. Selecione o modelo final, com justificativas para a escolha. Comente os resultados. 16

17 Referências [1] Mosteller F, Tukey JW. Data Analysis and Regression: A Second Course in Statistics. Reading: Addison-Wesley; [2] McNeil DR. Interactive Data Analysis. New York: Wiley;