ME613 - Análise de Regressão

Transcrição

1 ME613 - Análise de Regressão Parte 12 Gráficos de Regressão Parcial Samara F. Kiihl - IMECC - UNICAMP file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 1/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 2/51 Introdução Gráfico de regressão parcial Vimos anteriormente: Gráfico dos resíduos versus variável preditora: podemos usar para checar presença de curvatura. Gráfico dos resíduos versus variável preditora não inclusa no modelo: decidir se deve ser incluída. Problema: estes gráficos não mostram o efeito marginal de uma variável, dado que as demais já estão no modelo. ou importância marginal de modelo. fornecem informação sobre a, considerando as demais variáveis já incluídas no Para o efeito marginal de, consideramos os resíduos da regressão de nas demais variáveis e os resíduos da regressão de nas demais variáveis. O gráfico destes dois resíduos mostra a importância marginal de na redução da variabilidade do resíduo. E também pode fornecer informação sobre a natureza da relação marginal de com. 3/51 4/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 3/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 4/51

2 Exemplo Exemplo Considere uma regressão múltipla de primeira ordem com duas variáveis preditoras: e. Queremos estudar o efeito de, dado que já está no modelo. Fazemos a regressão em e obtemos os resíduos:. Fazemos a regressão de em e obtemos os resíduos:. Fazemos o gráfico de versus. 5/51 6/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 5/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 6/51 Exemplo: Salário de gerentes Exemplo: Salário de gerentes Para cada gerente: média salarial anual nos últimos 2 anos ( aversão a risco ( ) e valor do seguro de vida ( ). ), medida de Estimativa Erro-Padrão t valor de p (Intercept) X X /51 8/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 7/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 8/51

3 Exemplo: Salário de gerentes modelo1 <- lm(y ~ X2, data=dados) y_x2 <- resid(modelo1) modelo2 <- lm(x1 ~ X2, data=dados) x1_x2 <- resid(modelo2) 9/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 9/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 10/51 Introdução em 11/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 11/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 12/51

4 Resíduo Semi-studentizado Para grande, quando considera-se a -ésima observação como. dat = read.table('./dados/fat.txt') colnames(dat) <- c("x1","x2","x3","y") X1 = dat[,1] X2 = dat[,2] X3 = dat[,3] Y = dat[,4] modelo1 <- lm(y ~ X1 + X2,data=dat) rstandard(modelo1) ## ## ## ## ## ## ## ## /51 14/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 13/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 14/51 Matriz "chapéu" Resíduo Studentizado Resíduo studentizado: 15/51 16/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 15/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 16/51

5 Resíduo Studentizado com observação excluída Resíduo Studentizado com observação excluída Se uma observação é muito discrepante, ela pode influenciar no ajuste. Procedimento: excluir a -ésima observação Resíduo Studentizado com observação excluída ajustar o modelo com as observações restantes obter : o valor predito para a -ésima observação quando esta foi excluída no ajuste do modelo. podemos calcular excluída: sem de fato fazer ajustes separados para cada observação Obs: quanto maior, maior será, em comparação com. 17/51 18/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 17/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 18/51 Resíduo Studentizado com observação excluída A observação é um se, utilizando Bonferroni. e <- resid(modelo1) h <- hatvalues(modelo1) t <- rstudent(modelo1) round(data.frame("e"=e,"h"=h,"t"=t),3) 19/51 ## e h t ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## /51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 19/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 20/51

6 alpha=0.10 n = dim(dat)[1] p = length(coefficients(modelo1)) t_c <- qt(1-alpha/(2*n),df=n-p-1) Se, então é observação. em 21/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 21/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 22/51 Matriz "chapéu" Exemplo, lembrando que é o número de parâmetros no modelo, incluindo o intercepto. Alavanca ( ): mede a distância entre os valores de da -ésima observação e os valores médios de para as observações. X1 <- c(14,19,12,11) X2 <- c(25,32,22,15) Y <- c(301,327,246,187) Xmatriz <- matrix(cbind(rep(1,length(x1)),x1,x2),ncol=3) H <- Xmatriz %*% solve(t(xmatriz)%*%xmatriz) %*% t(xmatriz) hii <- diag(h) cbind(x1,x2,hii) ## X1 X2 hii ## [1,] ## [2,] ## [3,] ## [4,] /51 24/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 23/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 24/51

7 Exemplo Matriz "chapéu", portanto cada é uma combinação linear de todos os valores de e o peso de cada para o valor ajustado depende de. Quanto maior, maior o peso de em. é uma função que depende apenas dos valores de, portanto, mede o papel dos valores de na determinação da importância de cada no valor ajustado. Quanto maior, menor a variância de. Desta forma, quanto maior, mais próximo tenderá a estar de. 25/51 26/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 25/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 26/51 Ponto de alavanca Um valor alavanca é considerado alto se é duas vezes maior que o valor de alavanca médio, denotado por : e <- resid(modelo1) h <- hatvalues(modelo1) t <- rstudent(modelo1) round(data.frame("e"=e,"h"=h,"t"=t),3) Desta maneira, observações em que são consideradas com respeito aos valores de. 27/51 ## e h t ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## /51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 27/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 28/51

8 Observações influentes 29/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 29/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 30/51 Introdução - Influência em um único valor ajustado Após identificar casos com respeito a e/ou, o próximo passo é verificar se esses casos são. Uma observação é considerada influente se sua exclusão causa grandes mudanças na regressão ajustada. A influência que a -ésima observação tem no valor ajustado O denominador é o desvio-padrão estimado de. é medida por: Como (simétrica) e (idempotente), temos que: 31/51 32/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 31/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 32/51

9 - Influência em um único valor ajustado format(dffits(modelo1),scientific = FALSE) Se uma observação é um em e tem alto valor de alavanca, tenderá a ter um alto valor. Para pequenos conjuntos de dados, se considerada influente., a observação é ## ## " " " " " " " " ## ## " " " " " " " " ## ## " " " " " " " " ## ## " " " " " " " " ## ## " " " " " " " " Para grandes conjuntos de dados, se considerada influente., a observação é 33/51 34/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 33/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 34/51 ajustados - Influência em todos os valores ajustados - Influência em todos os valores Medida para avaliar a influência de uma observação no ajuste das observações: Comparamos com percentis de : se for maior que o percentil 50, a - ésima observação deve ser investigada como possível ponto influente. Em forma matricial: 35/51 36/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 35/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 36/51

10 format(cooks.distance(modelo1),scientific = FALSE) ## ## " " " " " " ## ## " " " " " " ## ## " " " " " " ## ## " " " " " " ## ## " " " " " " ## ## " " " " " " ## ## " " " " caso3 <- cooks.distance(modelo1)[3] p=length(coefficients(modelo1)) n=dim(dat)[1] perc=pf(caso3,df1=p,df2=n-p) Caso tem o maior valor:. Este valor corresponde ao percentil 30.6 da distribuição. 37/51 38/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 37/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 38/51 regressão - inflência nos coeficientes da format(dfbetas(modelo1),scientific = FALSE) Medida de influência da -ésima observação no coeficiente : em que é o -ésimo elemento da diagonal de. Para pequenos conjuntos de dados, se, a observação é considerada influente. Para grandes conjuntos de dados, se, a observação é considerada influente. ## (Intercept) X1 X2 ## 1 " " " " " " ## 2 " " " " " " ## 3 " " " " " " ## 4 " " " " " " ## 5 " " " " " " ## 6 " " " " " " ## 7 " " " " " " ## 8 " " " " " " ## 9 " " " " " " ## 10 " " " " " " ## 11 " " " " " " ## 12 " " " " " " ## 13 " " " " " " ## 14 " " " " " " ## 15 " " " " " " ## 16 " " " " " " ## 17 " " " " " " ## 18 " " " " " " ## 19 " " " " " " ## 20 " " " " " " 39/51 40/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 39/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 40/51

11 influence.measures(modelo1) ## Influence measures of ## lm(formula = Y ~ X1 + X2, data = dat) : ## ## dfb.1_ dfb.x1 dfb.x2 dffit cov.r cook.d hat inf ## e e e e e ## e e e e e ## e e e e e * ## e e e e e ## e e e e e * ## e e e e e ## e e e e e ## e e e e e ## e e e e e ## e e e e e ## e e e e e ## e e e e e ## e e e e e ## e e e e e ## e e e e e * ## e e e e e ## e e e e e ## e e e e e ## e e e e e ## e e e e e /51 Inflação da variância file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 41/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 42/51 Introdução Problemas quando variáveis preditoras apresentam correlação alta entre si: Incluir ou excluir uma variável preditora altera os coeficientes da regressão. Os erros padrão dos coeficientes estimados ficam muito grandes. A presença de multicolinearidade pode ser investigada através dos seguintes diagnósticos informais: Estimativa Erro-Padrão t valor de p (Intercept) X X Grandes mudanças nas estimativas dos parâmetros de regressão quando uma variável é incluída ou exclluída do modelo. Estimativa dos parâmetros de regressão com sinal oposto do que seria esperado, segundo informações/conhecimento prévio. 43/51 44/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 43/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 44/51

12 - fator de inflação da variância Estimativa Erro-Padrão t valor de p Lembrando: (Intercept) X Para medir o impacto da multicolinearidade, é mais útil trabalhar com as variáveis com transformação de correlação, vistas anteriormente. X X Definindo (fator de inflação da variância para ) como o -ésimo elemento de, temos: 45/51 46/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 45/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 46/51 - fator de inflação da variância Pode-se reescrever: em que é o coeficiente de determinação da regressão de nas demais variáveis preditoras. Quando,, caso contrário,. Variáveis escala original modelo2 <- lm(y ~ X1 + X2 + X3,data=dat) kable(summary(modelo2)$coef,col.names = c("estimativa","erro-padrão","t","valor de p")) Estimativa Erro-Padrão t valor de p (Intercept) X X X /51 48/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 47/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 48/51

13 Variáveis padronizadas Estimativa Erro-Padrão t valor de p X library(car) vif(modelo2) ## X1 X2 X3 ## X X /51 50/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 49/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 50/51 Leitura Applied Linear Statistical Models: Capítulo 10. Faraway - Linear Models with R: Capítulo 6, Seção 7.3 Draper & Smith - Applied Regression Analysis: Capítulo 8. Caffo - Regression Models for Data Science in R: Residuals, variation, diagnostics. 51/51 file:///users/imac/documents/github/me613-unicamp/me613-unicamp.github.io/aulas/slides/parte12/parte12.html#1 51/51