Modelo Linear Generalizado Distribuição de Poisson

Transcrição

1 Valeska Andreozzi 1 Modelo Linear Generalizado Distribuição de Poisson Problema 1 O objetivo desta aula é exemplificar a modelagem de dados de contagem. Vamos ilustrar como os modelos lineares generalizados podem ser utilizados para estimar razões de taxas. Distribuição de Poisson Para dados de contagem assumimos que a variável resposta segue uma distribuição de Poisson com parâmetro µ dada pela fórmula: Pr(y;µ) = µy exp( µ) y! Y = 0,1,, (1) Teoricamente uma variável aleatória com distribuição de Poisson pode assumir qualquer valor inteiro maior ou igual a zero. Da equação 1 temos que a probabilidade de Y ser igual a 5 é igual a: Pr(y;µ) = µ5 exp( µ) 5! = µ5 exp( µ) 120 (2) Observe que a probabilidade de Y = 5 depende do parâmetro µ, que por sua vez pode depender de covariáveis. A distribuição de Poisson tem como características que E(Y) = Var(Y) = µ e é geralmente utilizada para ocorrência de eventos raros. Da teoria estatística temos que a distribuição de Poisson é uma boa aproximação da distribuição binomial para eventos raros (número de ensaios tende para infinito e probabilidade sucesso tende para zero). Considere o exemplo: Estudar a relação entre o risco de doença isquêmica do coração (DIC) e diversos indicadores socioeconômicos (nível ecológico), tendo como unidade de análise os 153 bairros do Rio de Janeiro. Lendo o banco cardiorio.dat > rio <- read.table("cardiorio.dat",header=t) Dicionário das variáveis bairro - nome do bairro do Rio de Janeiro pfave - proporção da população que vive em favelas no bairro prede - proporção de casas ligadas à rede pública de água

2 Valeska Andreozzi 2 pesgred - proporção de casas ligadas à rede pública de esgotos pcaluga - proporção de casas alugadas plixocol - proporção de casas com coleta regular de lixo pesc1g - proporção de chefes de família com primeiro grau completo palftot - proporção da população que é alfabetizada obt número de óbitos por doença isquêmica do coração entre 30 e 70 anos pop população entre 30 e 70 anos rndm2sm - proporção de chefes de família com renda média até 2 salários mínimos rndm15sm - proporção de chefes de família com renda média acima de 15 salários mínimos Listando o número de óbitos e a população dos primeiros 10 bairros podemos observar que o número de casos é pequeno em relação a população, indicando um evento raro e que a distribuição da variável resposta Y pode ser a Poisson. > rio[1:10,c("bairro","obt3070","pop3070")] bairro obt3070 pop SAUDE GAMBOA SANTO CRISTO CAJU CENTRO CATUMBI RIO COMPRIDO CIDADE NOVA ESTACIO SAO CRISTOVAO Modelando taxa A distribuição de Poisson também é muito utilizada para modelar taxas. Suponha que a taxa de mortalidade de DIC por tempo de observação seja dada por λ = µ l (3) em que µ é o número de eventos esperados (número de casos de uma determinada doença) e l é a quantidade total de pessoa-tempo (exemplo: tempo total de pessoas em risco de ter a doença) em cada subgrupo de interesse. No exemplo da DIC, temos uma estimativa de risco ao invés de taxa, pois l é igual a população de cada bairro.

3 Valeska Andreozzi 3 Suponha que os dados do exemplo da DIC tenham sido obtidos através do acompanhamento ao longo de um ano em que, ao invés de população, tivéssemos pessoa-tempo e quiséssemos modelar a taxa de DIC. Neste caso teríamos o seguinte modelo: log(λ i = β 0 +β 1 x i1 +β 2 x i2 ( ) µi log = β 0 +β 1 x i1 +β 2 x i2 l i log(µ i ) log(l i ) = β 0 +β 1 x i1 +β 2 x i2 log(µ i ) = log(l i )+β 0 +β 1 x i1 +β 2 x i2 (4) Tecnicamente, assumindo um processo de Poisson com intensidade λ, tem-se para a contagem Y no intervalo de tempo l uma distribuição de Poisson Y i Poisson(l i λ i ). Consequentemente, a média µ i = l i λ i depende do intervalo de tempo l i. Seja a dependência da intensidade λ em relação as covariáveis da forma log-linear (log(λ i )), então o E(Y i ) = µ i é dado por log(µ i ) = log(l i )+β 0 +β 1 x i1 +β 2 x i2 (5) A equação (4) ilustra a forma de modelar a taxa tendo como dados a contagem e pessoa-tempo (ou população). Este último dado é conhecido como offset, pois não lhe é atribuído nenhum coeficiente a ser estimado. Resumindo, temos: Y i Poisson(µ i ) λ i = µ i l i log(µ i ) = log(l i )+β 0 +β 1 x i1 +β 2 x i2 Faça uma análise exploratória das variáveis do banco. > summary(rio) bairro pfave prede ABOLICAO : 1 Min. : Min. : ACARI : 1 1st Qu.: st Qu.: AGUA SANTA : 1 Median : Median : ALTO DA BOA VISTA: 1 Mean : Mean : ANCHIETA : 1 3rd Qu.: rd Qu.: ANDARAI : 1 Max. : Max. : (Other) :147 pesgred pcaluga plixocol Min. : Min. : Min. :0.1364

4 Valeska Andreozzi 4 1st Qu.: st Qu.: st Qu.: Median : Median : Median : Mean : Mean : Mean : rd Qu.: rd Qu.: rd Qu.: Max. : Max. : Max. : pesc1g palftot obt3070 Min. : Min. : Min. : st Qu.: st Qu.: st Qu.: 5.00 Median : Median : Median : Mean : Mean : Mean : rd Qu.: rd Qu.: rd Qu.: Max. : Max. : Max. : pop3070 rndm2sm rndm15sm Min. : 31 Min. : Min. : st Qu.: st Qu.: st Qu.: Median : Median : Median : Mean : Mean : Mean : rd Qu.: rd Qu.: rd Qu.: Max. : Max. : Max. : > hist(rio$obt3070,main="óbitos",xlab="óbitos",ylab="frequ^encia")

5 Valeska Andreozzi 5 Óbitos frequência óbitos Multicolinearidade Multicolinearidade é o grau de correlação existente entre as covariáveis. Uma correlação forte entre covariáveis produz grande variabilidade nas estimativas dos coeficientes de regressão. Especificamente, os coeficientes podem mudar drasticamente dependendo que termos estão dentro ou fora do modelo ou em que ordem eles foram introduzidos no modelo. Uma forma de avaliar a multicolinearidade é através do gráfico de dispersão ou da matriz de correlação. Uma outra alternativa é calcular o VIF (Variance Inflation factor). O VIF fornece uma medida de quanto a variância da estimativa dos coeficientes é inflacionada comparado quando as covariáveis não estão linearmente dependente. VIF p = 1 1 R 2 p em que Rp 2 é um coeficiente de determinação múltipla da regressão da covariável X p em todas as outras covariáveis. Suponha 3 covariáveis, X 1, X 2, X 3. R1 2 é igual ao coeficiente de determinação da regressão X 1 X 2 +X 3, e assim sucessivamente. Quando VIF p 1, isto é, R 2 p 0, temos que as covariáveis são independentes e quando VIF p é maior que 10 implica que as covariáveis estão linearmente dependente (este ponto de corte é arbitrário). A raiz quadrada de VIF p pode ser interpretada como uma aproximação de quantas

6 Valeska Andreozzi 6 vezes o erro padrão da covariável X p está aumentado comparado com o seu erro padrão caso não houvesse colinearidade. O que fazer quando multicolinearidade está presente: 1. Ignorar o problema. Quanto o objetivo da análise é predição, os resultado devem ser adequados. 2. Aumentar o tamanho da amostra, principalmente se os dados são poucos. Isto pode reduzir a correlação entre as covariáveis. 3. Não considerar algumas variáveis e ajustar um modelo mais simples. 4. Recodificar a covariável ou usar uma proxy. Avalie a multicolinearidade entre as covariáveis através do diagrama de dispersão > plot(rio[,c(2:8,11:12)]) pfave prede pesgred pcaluga plixocol pesc1g palftot rndm2sm rndm15sm Verifique a correlação entre as covariáveis > correlacao<-cor(rio[,c(2:8,11:12)]) > round(correlacao,digits=2)

7 Valeska Andreozzi 7 pfave prede pesgred pcaluga plixocol pesc1g palftot pfave prede pesgred pcaluga plixocol pesc1g palftot rndm2sm rndm15sm rndm2sm rndm15sm pfave prede pesgred pcaluga plixocol pesc1g palftot rndm2sm rndm15sm Calcule o VIF para avaliar a multicolinearidade > library(rms) > vif(glm(obt3070~pfave+prede+pesgred+pcaluga+plixocol+ + pesc1g+palftot+rndm2sm+rndm15sm, family=poisson, data=rio)) pfave prede pesgred pcaluga plixocol pesc1g palftot rndm2sm rndm15sm > vif(glm(obt3070~pfave+prede+pesgred+pcaluga+plixocol+ + palftot+rndm2sm+rndm15sm, family=poisson, data=rio)) pfave prede pesgred pcaluga plixocol palftot rndm2sm rndm15sm Qual seria sua hipótese para relacionar óbito por DIC e situação socioeconômica? Resp.:Parece que ao retirar a variável escolaridade pesc1g resolve o problema de colinearidade.

8 Valeska Andreozzi 8 A variável prede (proporção de casas ligadas à rede pública de água) é quase toda acima de 95%. Sugerimos usá-la como covariável categórica > rio$redecat <- ifelse(rio$prede>.95,1,0) Por que devemos modelar a taxa de mortalidade de DIC ao invés do número de óbitos por DIC? Resposta: Devemos modelar a taxa pois a população dos bairros são diferentes, logo 10 óbitos num bairro com 10 mil habitantes é diferente de 10 óbitos ocorridos num bairro com uma população de mil habitantes E vamos ao modelo linear generalizado. Para covariáveis com correlação alta, escolha somente uma delas para incluir no modelo. Sua escolha pode basear-se: na importância epidemiológica das covariáveis, nos resultados dos modelos de regressão bivariados nas estimativas dos coeficientes de regressão (β s) com maior significância estatística no VIF Para modelar a taxa devemos incluir no modelo um offset igual ao logaritmo da população. > rio.glm1 <- glm(obt3070~ pfave + offset(log(pop3070)), + data=rio, family=poisson) Experimente outros modelos com uma só variável explicativa. Olhando a tabela abaixo, qual variável você acrescentaria primeiro no modelo? Pare este efeito será criado uma função que resulta na análise de deviance de cada modelo com uma só covariável comparado com o modelo nulo. Criando uma função para montar esta tabela. A função deviancef tem como argumento o número da coluna da covariável que será acrescentada no modelo referência. > deviancef<-function(x){ + modelref<-glm(obt3070~ offset(log(pop3070)), data=rio, family=poisson) + modelo<-glm(obt3070~rio[,x]+offset(log(pop3070)), data=rio, family=poisson) + teste<-anova(modelref,modelo,test="chisq") + resp<-teste[2,] + resp + } > variaveis<-c(2,4:8,13) > x<-t(sapply(variaveis,deviancef)) > resultado<-data.frame(names(rio[variaveis]),x) > names(resultado)<-c("variável",attributes(x)$dimnames[[2]]) > resultado

9 Valeska Andreozzi 9 Variável Resid. Df Resid. Dev Df Deviance Pr(>Chi) 1 pfave e-07 2 pesgred e-05 3 pcaluga e-14 4 plixocol pesc1g palftot e-07 7 redecat A função seguinte resulta na análise de deviance ao se acrescentar mais uma covariável no modelo que possui somente a covariável pcaluga, pois foi essa variável que na análise anterior reduziu mais a função desvio e de forma significativa. > deviancef<-function(x){ + modelref<- glm(obt3070~pcaluga+ offset(log(pop3070)), data=rio, family=poisson) + modelo<-glm(obt3070~rio[,x]+pcaluga+offset(log(pop3070)), data=rio, family=poisson) + teste<-anova(modelref,modelo,test="chisq") + resp<-teste[2,] + resp + } > > variaveis<-c(2,4,6:8,13) > x<-t(sapply(variaveis,deviancef)) > resultado<-data.frame(paste(names(rio[variaveis]),"+ pcaluga"),x) > names(resultado)<-c("variável",attributes(x)$dimnames[[2]]) > resultado Variável Resid. Df Resid. Dev Df Deviance 1 pfave + pcaluga pesgred + pcaluga plixocol + pcaluga pesc1g + pcaluga palftot + pcaluga redecat + pcaluga Pr(>Chi) Na tabela de análise de deviance, temos que a variável pfave é a única que contribui para um aumento do deviance de forma significativa.

10 Valeska Andreozzi 10 > rio.glm2 <- glm(obt3070~pcaluga+pfave+ offset(log(pop3070)), data=rio, family=poisson > summary(rio.glm2) Call: glm(formula = obt3070 ~ pcaluga + pfave + offset(log(pop3070)), family = poisson, data = rio) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) < 2e-16 *** pcaluga e-11 *** pfave *** --- Signif. codes: 0 *** ** 0.01 * (Dispersion parameter for poisson family taken to be 1) Null deviance: on 152 degrees of freedom Residual deviance: on 150 degrees of freedom AIC: Number of Fisher Scoring iterations: 4 Vamos agora interprete o modelo acima estimado. As covariáveis pcaluga e pfave são proporções que variam entre 0 e 1. Logo, devemos levar em conta esse domínio da covariável na intrepretação do modelo. Para facilitar o processo de interpretação, vamos escrever a equação do modelo ajustado: Y i = óbitos por DIC Pois(λ i ) E(Y i ) = λ i Var(Y i ) = λ i λ i = µ i pop i ln(λ i ) = pcaluga i pfave i Podemos dizer que para um aumento de 10% na proporção de casas alugas, a taxa de óbito por DIC aumenta 14% (exp(β ) = exp( ) = 1.14).

11 Valeska Andreozzi 11 Já um aumento na proporção da população que vive em favelas, temos uma redução na taxa de óbito por DIC de 5% (exp(β ) = exp( ) = 0.95). Poderíamos continuar selecionando variáveis da forma anterior (análise de deviance) ou utilizar o processo stepwise. Para facilitar a utilização da função step(), criamos um novo objeto (rio2) que não possui o nome do bairro e a variável prede > rio2 <- rio[,c(2,4:13)] > rio.glm <-glm(obt3070~pfave + pesgred + pcaluga + plixocol + pesc1g + + palftot + rndm2sm + rndm15sm + redecat + offset(log(pop3070)), + data=rio2, family=poisson) > rio.glm3 <- step(rio.glm, direction="both") Start: AIC= obt3070 ~ pfave + pesgred + pcaluga + plixocol + pesc1g + palftot + rndm2sm + rndm15sm + redecat + offset(log(pop3070)) Df Deviance AIC - redecat palftot plixocol pesgred <none> pfave rndm2sm pesc1g rndm15sm pcaluga Step: AIC= obt3070 ~ pfave + pesgred + pcaluga + plixocol + pesc1g + palftot + rndm2sm + rndm15sm + offset(log(pop3070)) Df Deviance AIC - palftot pesgred plixocol <none> redecat pfave rndm2sm pesc1g rndm15sm

12 Valeska Andreozzi 12 - pcaluga Step: AIC= obt3070 ~ pfave + pesgred + pcaluga + plixocol + pesc1g + rndm2sm + rndm15sm + offset(log(pop3070)) Df Deviance AIC - pesgred <none> plixocol palftot redecat rndm2sm pfave pesc1g rndm15sm pcaluga Step: AIC= obt3070 ~ pfave + pcaluga + plixocol + pesc1g + rndm2sm + rndm15sm + offset(log(pop3070)) Df Deviance AIC - plixocol <none> pesgred palftot redecat pfave rndm2sm pesc1g rndm15sm pcaluga Step: AIC= obt3070 ~ pfave + pcaluga + pesc1g + rndm2sm + rndm15sm + offset(log(pop3070)) Df Deviance AIC <none> plixocol palftot pesgred redecat pfave

13 Valeska Andreozzi 13 - rndm2sm pesc1g rndm15sm pcaluga > summary(rio.glm3) Call: glm(formula = obt3070 ~ pfave + pcaluga + pesc1g + rndm2sm + rndm15sm + offset(log(pop3070)), family = poisson, data = rio2) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) < 2e-16 *** pfave * pcaluga e-05 *** pesc1g ** rndm2sm ** rndm15sm ** --- Signif. codes: 0 *** ** 0.01 * (Dispersion parameter for poisson family taken to be 1) Null deviance: on 152 degrees of freedom Residual deviance: on 147 degrees of freedom AIC: Number of Fisher Scoring iterations: 4 Você mudaria este modelo? Lembre-se da multicolinearidade? Que tal retirar uma das covariáveis de renda. > library(car) > scatterplotmatrix(rio[,c(2:8,11:12)]) > round(cor(rio[,c(2:8,11:12)]),digits=2) pfave prede pesgred pcaluga plixocol pesc1g palftot pfave

14 Valeska Andreozzi 14 prede pesgred pcaluga plixocol pesc1g palftot rndm2sm rndm15sm rndm2sm rndm15sm pfave prede pesgred pcaluga plixocol pesc1g palftot rndm2sm rndm15sm pfave prede pesgred pcaluga plixocol pesc1g palftot rndm2sm rndm15sm Estime o modelo sem a covariável rndm2sm. Faça as mudanças que considerar importantes e compare com o modelo anterior usando análise de deviance (se os modelos se mantiverem encaixados)

15 Valeska Andreozzi 15 > rio.glm4 <- update(rio.glm3,~.-rndm2sm) > anova(rio.glm4,rio.glm3,test="chisq") Analysis of Deviance Table Model 2: obt3070 ~ pfave + pcaluga + pesc1g + rndm2sm + rndm15sm + offset(log(pop3070)) Model 1: obt3070 ~ pfave + pcaluga + pesc1g + rndm15sm + offset(log(pop3070)) Resid. Df Resid. Dev Df Deviance Pr(>Chi) ** --- Signif. codes: 0 *** ** 0.01 * Escreva a hipótese nula da análise de deviance. Qual a conclusão do teste? A Hipótese nula do teste é de que o coeficiente da variável rndm2sm é igual a zero. O teste rejeita a H0. Se o objetivo do estudo fosse predição, poderíamos ter optado pelo modelo rio.glm3 que inclui covariáveis colineares. No entanto, como o objetivo é estudar associação, vamos descartar a covariável rndm2sm. Vamos à análise de resíduos. Quando o termo offset está presente no modelo de Poisson, o R estima os preditores lineares e os valores ajustados para µ i ao invés de estimar para λ i, ie, preditor linear = η i = lnpop i +βx i valores ajustados = µ i = exp(η i ) = exp(lnpop i +βx i ) Na verdade o que queremos são os preditores lineares e os valores ajustados de λ i. Por isso temos que fazer algumas alterações no resultado do R. > res<-rstandard(rio.glm4, type = "deviance") > pred.mu<-rio.glm4$linear.predictors #normal, poisson, gamma > pred.lambda<-pred.mu-log(rio2$pop3070) #poisson com offset > plot(pred.lambda,res,ylab = "Resíduo deviance padronizado", + xlab= "Preditor linear") > abline(h=0)

16 Valeska Andreozzi 16 Resíduo deviance padronizado Preditor linear > fitted.mu<-rio.glm4$fitted.values > fitted.lambda<-fitted.mu/rio2$pop3070 > pred<-2*sqrt(fitted.lambda) #poisson com offset > plot(pred,res,ylab = "Resíduo deviance padronizado", + xlab ="2*sqrt(valores ajustados)") > abline(h=0)

17 Valeska Andreozzi 17 Resíduo deviance padronizado *sqrt(valores ajustados) > source("glmfunc.r") > plotleverage(rio.glm4)

18 Valeska Andreozzi 18 Leverage Leverage h/(p/n) Índice > plotcooks(rio.glm4)

19 Valeska Andreozzi 19 Cook s Distance Cook s distance Índice Identifique quem são os bairros com maior influência no modelo > rio[c(128,33),] bairro pfave prede pesgred pcaluga 128 BARRA DA TIJUCA TIJUCA plixocol pesc1g palftot obt3070 pop3070 rndm2sm rndm15sm redecat Interprete os gráficos dos resíduos Os gráficos dos resíduos sugerem que o modelo apresentado não apresenta heterocedasticidade. O que podemos concluir com este modelo. Ele é útil? Parece ser útil. Observe o teste da saída da função gof(). O modelo se ajusta aos dados? > gof(rio.glm4)

20 Valeska Andreozzi 20 Hip. nula: Modelo é adequado Deviance = com 148 Graus de Liberdade P-valor Contudo parece que o modelo não se ajusta bem aos dados. Novamente aqui há que levar em conta o objetivo do modelo (predição ou descrição) Acrescente a seguinte covariável ao modelo: proporção da população entre 60 e 70 anos > rio$pidosos <- scan("ppidosos.dat") Ajuste outros modelos agora com esta covariável indicadora da estrutura etária da população > rio.glm5<-glm(obt3070 ~ pfave + pcaluga + pesc1g + rndm15sm + + pidosos + offset(log(pop3070)), + family = poisson, data = rio) > summary(rio.glm5) Call: glm(formula = obt3070 ~ pfave + pcaluga + pesc1g + rndm15sm + pidosos + offset(log(pop3070)), family = poisson, data = rio) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) < 2e-16 *** pfave ** pcaluga * pesc1g rndm15sm ** pidosos e-09 *** --- Signif. codes: 0 *** ** 0.01 * (Dispersion parameter for poisson family taken to be 1) Null deviance: on 152 degrees of freedom Residual deviance: on 147 degrees of freedom AIC: Number of Fisher Scoring iterations: 4

21 Valeska Andreozzi 21 Ao incluirmos a estrutura etária da população temos algumas alterações nos efeitos das outras covariáveis presentes no modelo, especialmente na variável pcaluga e pesc1g, apesar desta última não apresentar efeito estatisticamente significativo.