1 z 1 1 z 2. Z =. 1 z n

Transcrição

1 Gabarito Lista 3. Tópicos de Regressão Temos que y i ind N (µ, φi ), com log φ i = α + γz i, para i = 1,..., n, portanto (i) para o γ = (α, γ) a matriz modelo ca Z = 1 z 1 1 z z n (ii) Seja θ = ( µ, γ ), então para o modelo normal L (θ) = {φ i t i + d (φ i ) + u (y i )} em que t i = y i µ 1 2 ( µ 2 + yi 2 ), d (φi ) = 1 2 log φ i e u (y i ) = 1 2 log (2π). Logo, dado que h (φ i) = log φ i H γ = diag { h (φ 1 ),..., h (φ n ) } = diag { φ 1 } 1,..., φ 1 n também então e V γ = diag { d (φ 1 ),..., d (φ n ) } { (2φ ) 2 1 ( ) } = diag 1,..., 2φ 2 1 n P = V γ H 2 γ = 1 2 I n K γγ = Z PZ = 1 2 n z i z i zi 2 Assim, a variância assintótica de γ Var (γ) = K 1 γγ = 2 ( ) 2 n i z 2 z i z 2 i z i n z i, portanto Var (γ) = 2 (n 1) s 2. z 1

2 (iii) Seja θ = (µ, α, γ) o estimador de θ sem restrições e seja θ 0 = ( µ 0, α 0, 0 ) com µ 0 e α 0 estimadores de µ e α sob a hipótese nula. A estatística de razão de verossimilhanças para testar H 0 : γ = 0 contra H 1 : γ 0 ca { ) L ( θ 0)} ξ RV = 2 L (θ { { = 2 eα+γz i com ξ RV χ 2 1. ( y iµ 1 (µ 2 + y 2 ) ) i + 1 } 2 2 (α + γz i) ( {e α0 y i µ 0 1 ( ) ) µ 02 + yi } } 2 2 α0 2. Para a análise descritiva vamos fazer primeiro os boxplots e os diagramas de dispersão de cada variável explicativa com a variável resposta: require(faraway) data(ozone) summary(ozone)par(mfrow=c(3,3),pch=20) boxplot(,xlab="") ; boxplot(vh,xlab="vh") boxplot(wind,xlab="wint") ; boxplot(humidity,xlab="humidity") boxplot(temp,xlab="temp") ; boxplot(ibh,xlab="ibh") boxplot(dpg,xlab="dpg") ; boxplot(ibt,xlab="ibt") boxplot(vis,xlab="vis") ; par(mfrow=c(3,3)) for(i in 2:ncol(ozone)){ plot(~ozone[,i],xlab=colnames(ozone)[i],pch=19) lines(lowess(ozone[,i],)) } Observa-se dos boxplots que só as variáveis (máxima diária da concentração média de ozônio por hora), wind (velocidade do vento) e vis (visibilidade) têm valores discrepantes. A variável ibh (altura da inversão da temperatura base) tem a maior assimetria. Enquanto aos grácos de dispersão, observa-se que aumenta como a vh (altura da pressão) aumenta também, mesmo para humidity (umidade), temp (temperatura na base aérea) e ibt (inversão da temperatura base). O contrário acontece com as variáveis ibh e vis, o diminui com o aumento dos valores destas variáveis. O comportamento da com wind, dpg e doy é parabólico, com máximo ao redor do valor médio do wind (5 mph) e dpg (24 mmhg) e ao redor do dia 205. Modelo log-linear com resposta Poisson considerar inicialmente o modelo Seja y i máxima diária da concentração em ppm, vamos y i ind P (µ i ) log (µ i ) = α + β 1 vh i + β 2 wind i + β 3 humidity i + β 4 temp i + β 5 ibh i + β 6 dpg i + β 7 ibt i + β 8 vis i + β 9 doy i 2

3 vh wint humidity temp ibh dpg ibt vis Figura 1: Boxplots de cada variável ex. ozone. para i = 1,..., 330, e logo vamos fazer uma seleção através do procedimento AIC: modp = glm(~.,data=ozone, family=poisson(link="log")) summary(modp) require(mass) modpaic = stepaic(modp) summary(modpaic) O modelo selecionado é log (µ i ) = α + β 1 wind i + β 2 humidity i + β 3 temp i + β 4 ibh i + β 5 ibt i + β 6 vis i + β 7 doy i com valores estimados dados na Tabela 1. Foram excluídas as variáveis vh, dpg. A variável wind não é signicativa no modelo selecionado. Tabela 1: Estimativas do modelo Poisson selecionado pelo AIC. Estimativa E. E. Valor P Const e-06 wind humidity e-13 temp e-15 ibh ibt vis doy e-05 3

4 vh wind humidity temp ibh dpg ibt vis doy Figura 2: Diagramas de dispersão de cada variável ex ozone. O desvio do modelo é dado por D (y, µ) = (322 gl) com valor-p dado por P = 0.000, portanto rejeitamos o modelo. Os grácos diagnósticos são dados a seguir: fit.model = modpaic source("diag_pois") source("envel_pois") require(gamlss) modpg = gamlss(~wind+humidity+temp+ibh+ibt+vis+doy, family=po(mu.link="log")) qqnorm(resid(modpg)) O envelope do modelo Poisson mostra que não tem um bom ajuste e um indicio de leve sobredispersão. O gráco da distância de Cook mostra dois possíveis dados atípicos #17, #53 e #258, mas eliminando eles não há mudança inferencial. Modelo log-linear com resposta binomial negativa Vamos considerar o modelo 4

5 Componente do Desvio Percentil da N(0,1) Figura 3: Envelope modelo Poisson selecionado. Medida h Distância de Cook Valor Ajustado Resíduo Componente do Desvio Variavel z Preditor Linear Figura 4: Diagnóstico modelo Poisson selecionado. y i ind BN (µ i, ν) log (µ i ) = α + β 1 vh i + β 2 wind i + β 3 humidity i + β 4 temp i + β 5 ibh i + β 6 dpg i + β 7 ibt i + β 8 vis i + β 9 doy i para i = 1,..., 330, e logo vamos fazer uma seleção através do procedimento AIC: modbn = glm.nb(~.,data=ozone, link = log) summary(modbn) modbnaic = stepaic(modbn) summary(modbnaic) O modelo selecionado é log (µ i ) = α + β 1 humidity i + β 2 temp i + β 3 ibh i + β 4 ibt i + β 5 vis i + β 6 doy i com valores estimados dados na Tabela 1. Foram excluídas as variáveis wind, vh e dpg. 5

6 Normal Q Q Plot Sample Quantiles Theoretical Quantiles Figura 5: Gráco de probabilidade normal para o resíduo quantílico do modelo Poisson selecionado. Tabela 2: Estimativas do modelo binomial negativo selecionado pelo AIC. Estimativa E. E. Valor P Const e-06 humidity e-09 temp e-12 ibh ibt vis doy e-04 Dispersão (ν) O desvio do modelo é dado por D (y, µ) = (323 gl) com valor-p dado por P = 0.417, portanto não rejeitamos o modelo. Os grácos diagnósticos são dados a seguir: fit.model = morenaico source("diag_nbin") source("envel_nbin") require(gamlss) modbng = gamlss(~humidity+temp+ibh+ibt+vis+doy, family=nbi(mu.link="log")) summary(modbng) qqnorm(resid(modbng)) O envelope do modelo binomial negativo mostra um bom ajuste. O gráco da distancia de Cook mostra dois possíveis dados atípicos #17 e #53, mas eliminando eles não há mudança inferencial. O gráco normal de probabilidades para o resíduo quantílico mostra um bom comportamento. Desta forma o modelo selecionado é o modelo binomial negativo. Interpretações do modelo nal: 6

7 Componente do Desvio Percentil da N(0,1) Figura 6: Envelope modelo BN selecionado. Medida h Distância de Cook Valor Ajustado Resíduo Componente do Desvio Variavel z Preditor Linear Figura 7: Diagnóstico modelo BN selecionado. Com o aumento em 1% da umidade esperamos um aumento de 0.797% na concentração média máxima diária de ozônio por hora. Com o aumento em 1 na temperatura na base aérea esperamos um aumento de 2.279% na concentração. Com o aumento em 1 pé na altura da inversão da temperatura base esperamos um decrescimento % na concentração. Com o aumento em 1 na inversão da temperatura base esperamos um aumento de 0.168% na concentração. Com o aumento em 1 milha na visibilidade esperamos um decrescimento de % na concentração. Com o aumento num dia esperamos um decrescimento de % na concentração. 3. Análise descritiva: 7

8 Normal Q Q Plot Sample Quantiles Theoretical Quantiles Figura 8: Gráco de probabilidades normal para o resíduo quantílico do modelo BN selecionado. fluxo = read.table("fluxo.txt", header=true) fluxo$gênero = factor(fluxo$gênero,labels=c("fem","mas")) attach(fluxo) summary(fluxo) prop.table(table(gênero)) par(mfrow=c(2,2)) boxplot(fsm) boxplot(fpm) boxplot(idade) boxplot(interj) par(mfrow=c(2,2)) plot(fsm~fpm,xlab="fpm",pch=19) ; lines(lowess(fpm,fsm)) plot(fsm~idade,xlab="idade",pch=19) ; lines(lowess(idade,fsm)) plot(fsm~interj,xlab="interj",pch=19) ; lines(lowess(interj,fsm)) plot(fsm~gênero,xlab="gênero",pch=19) Os boxplot grácos mostram que as variáveis uxo de sílabas por minuto (fsm), o uxo de palavras por minuto (fpm) e número de interjeições durante o discurso (interj) têm simetria, enquanto a idade tem assimetria positiva. Também, a variável Idade não tem valores atípicos, as outras sim. Enquanto à dispersão temos uma relação linear positiva entre o fpm e o fsm. A variabilidade do fsm diminui como Interj aumenta e não é claro uma relação entre a idade e o gênero com o fsm. Modelo normal homocedástico Vamos supor o modelo y i ind N ( µi, σ 2) µ i = α + β 1 fpm i + β 2 idade i + β 3 interj i + β 4 gênerom i 8

9 fsm fpm Idade Interjeições Figura 9: Boxplots de cada variável ex uxo. para i = 1,..., 594. O modelo ajustado logo de fazer uma seleção pelo AIC é dado na tabela embaixo. O modelo selecionado pelo AIC não contém o gênero e a variável interj é signicativa ao nível do 10%. O envelope para esse modelo não mostra um bom ajuste. O gráco do diagnóstico dos residuos contra os valores ajustados mostra aumento da variância dos residuos com o aumento dos valores ajustados. modn = lm(fsm~fpm+idade+interj+gênero) modnaic = stepaic(modn) summary(modnaic) fit.model <- modnaic source("envel_norm") source("diag_norm") µ i = α + β 1 fpm i + idade i + β 3 interj i Tabela 3: Estimativas do modelo normal homocedástico Estimativa E. E. Valor P Const fpm < 2e-16 idade interj Modelo normal heterocedástico Vamos agora a modelar também a variância y i ind N ( µi, σ 2 i ). O modelo ajustado é: 9

10 fsm fsm fpm idade fsm fsm Fem Mas interj gênero Figura 10: Dispersão de fsm com fpm, idade e interj e boxplot de fsm segundo o gênero do ex. uxo. Residuo Studentizado Percentil da N(0,1) Figura 11: Envelope modelo normal homocedástico. µ i = α + β 1 fpm i + idade i + β 3 interj i log ( σ 2 i ) = γ0 + γ 1 fpm i + γ 2 interj i require(dglm) modnd = dglm(fsm~fpm+idade+interj,~fpm+interj, family=gaussian, dlink="log") summary(modnd) fit.model <- modnd source("envel_norm_dglm") source("diag_norm_dglm") source("envel_norm_dglm_disp") source("diag_norm_dglm_disp") 10

11 Medida h Distância de Cook Resíduo Padronizado Resíduo Padronizado Valor Ajustado Figura 12: Diagnóstico modelo normal homocedástico. Tabela 4: Estimativas do modelo normal heterocedástico. Modelo para µ i Modelo para σi 2 Estimativa E. E. Valor P Estimativa E. E. Valor P Const fpm idade interj O envelope para o modelo normal heterocedástico mostra um melhor ajuste que o modelo normal homocedástico. Do modelo estimado para a média temos que o uxo de sílabas aumenta como o uxo de palavras e a idade também aumentam, embora se o número de interjeições aumenta espera-se que o número de sílabas por minuto diminuir. O diagnóstico dos modelos para a média e a dispersão mostram observações discrepantes, mas não mudam as inferências. 4. Seja π i = π (x i ) a probabilidade de ocorrência do sintoma dado o escore x i do idosos i, com i = 1,..., 54. Vamos ajusar o modelo: log ( πi 1 π i ) = α + βscore i 11

12 Resíduo Studentizado Percentil da N(0,1) Figura 13: Envelope modelo normal heterocedástico para a média. Distância de Cook Resíduo Studentizado Figura 14: Diagnóstico modelo normal heterocedástico para a média. caduquice = scan("caduquice.dat", list(escore=0, resp=0)) attach(caduquice) modb = glm(resp~escore,family=binomial(link = "logit")) summary(modb) pr = predict(modb,type="response", se.fit=t) Li = pr$fit-pr$se.fit*1.96 Ls = pr$fit+pr$se.fit*1.96 plot(escore,pr$fit,pch=19) lines(sort(escore),li[order(escore)]) lines(sort(escore),ls[order(escore)]) fit.model <- modb source("envel_bino") source("diag_bino") modbg = gamlss(resp~escore, family=bi(mu.link="logit")) summary(modbg) qqnorm(resid(modbg)) 12

13 Resíduo Componente do Desvio Percentil da N(0,1) Figura 15: Envelope modelo normal heterocedástico para a dispersão. Distância de Cook Resíduo Componente do Desvio Valor Ajustado Figura 16: Diagnóstico modelo normal heterocedástico para a dispersão. Os parâmetros estimados do modelo são dados na tabela: Tabela 5: Estimativas do modelo com resposta Bernoulli e ligação logito. Estimativa E. E. Valor P Const Escore O envelope e o diagnóstico dados a seguir 13

14 pr$fit escore Figura 17: Probabilidade estimada de ocorrência do sintoma dado o escore e banda de conança de 95%. Componente do Desvio Percentil da N(0,1) Figura 18: Envelope modelo Bernoulli. Temos então que a probabilidade estimada de ocorrência do sintoma diminui com o aumento do escore obtido no exame psicológico. O envelope e o gráco do resíduo quantílico mostram um bom ajuste do modelo. Apenas uma observação aparece com destaque nos grácos de inuência, mas a eliminação dessa observação altera muito pouco as estimativas, e não muda a inferência. 14

15 Distância de Cook Resíduo Componente do Desvio Figura 19: Diagnóstico modelo Bernoulli. Normal Q Q Plot Sample Quantiles Theoretical Quantiles Figura 20: Resíduo quantílico modelo bernoulli. 15