Exemplos Modelos de Quase-Verossimilhança

Transcrição

1 Exemplos Modelos de Quase-Verossimilhança p. 1/40 Exemplos Modelos de Quase-Verossimilhança Gilberto A. Paula Departamento de Estatística IME-USP MAE Modelos Lineares Generalizados 2 o semestre de 2011

2 Exemplos Modelos de Quase-Verossimilhança p. 2/40 Avarias em Navios Como exemplo de Poisson com sobredispersão vamos considerar os dados descritos em McCullagh e Nelder (1989, Seção 6.3.2) em que avarias causadas por ondas em navios de carga são classificadas segundo o tipo do navio (A-E), ano de fabricação (1:60-64, 2:65-69, 3:70-74, 4:75-79) e o período de operação (1:60-74, 2:75-79). Foi também considerado o tempo (em meses) de operação dos navios de cada categoria. A seguir são apresentados os dados e algumas análises descritivas.

3 Exemplos Modelos de Quase-Verossimilhança p. 3/40 Avarias em Navios de Carga Tipo Ano Período Meses Avarias A A A A A A A B B B B

4 Exemplos Modelos de Quase-Verossimilhança p. 4/40 Avarias em Navios de Carga Tipo Ano Período Meses Avarias B B B C C C C C C C D

5 Exemplos Modelos de Quase-Verossimilhança p. 5/40 Avarias em Navios de Carga Tipo Ano Período Meses Avarias D D D D D D E E E E E E

6 Exemplos Modelos de Quase-Verossimilhança p. 6/40 Figura 1. Boxplot Taxa-Avarias por Tipo. Taxa Avarias A B C D E

7 Exemplos Modelos de Quase-Verossimilhança p. 7/40 Figura 2. Boxplot Taxa-Avarias por Ano. Taxa Avarias

8 Exemplos Modelos de Quase-Verossimilhança p. 8/40 Figura 3. Boxlot Taxa-Avarias por Período. Taxa Avarias

9 Exemplos Modelos de Quase-Verossimilhança p. 9/40 Análise Descritiva Nota-se pelas tabelas que em geral o número de avarias aumenta com o tempo de operação dos navios, havendo oito categorias sem ocorrências. Pelos boxplots em que calcula-se a taxa de avarias = avarias/meses segundo os três fatores, nota-se com maiores taxas medianas o tipo E, ano de fabricação e período de operação Por outro lado, aparecem os tipos C e D, ano de fabricação e período de operação com as menores taxas medianas.

10 Exemplos Modelos de Quase-Verossimilhança p. 10/40 Modelo de Poisson Seja Y ijk o número de avarias observadas para o navio do tipo i, construído no ano j e que operou no período k, em que i = 1,2,3,4,5, j = 1,2,3,4 e k = 1,2. Vamos supor o seguinte modelo: Y ijk P(µ ijk ), µ ijk = λ ijk t ijk ; logλ ijk = α+β 1(i) +β 2(j) +β 3(k), com β 1(1) = β 2(1) = β 3(1) = 0 e t ijk denotando o tempo de operação na condição (i, j, k).

11 Exemplos Modelos de Quase-Verossimilhança p. 11/40 Figura 4. Envelope Poisson Avarias. Componente do Desvio Percentis da N(0,1)

12 Exemplos Modelos de Quase-Verossimilhança p. 12/40 Modelo de Quase-Verossimilhança A fim de tentar reduzir a sobredispersão detectada pelo gráfico de envelope vamos supor o seguinte modelo de quase-verossmilhança: E(Y ijk ) = µ ijk, µ ijk = λ ijk t ijk ; Var(Y ijk ) = σ 2 µ ijk ; logλ ijk = α+β 1(i) +β 2(j) +β 3(k), em que β 1(1) = β 2(1) = β 3(1) = 0 e σ 2 > 0 é o parâmetro de dispersão.

13 Exemplos Modelos de Quase-Verossimilhança p. 13/40 Figura 5. Pseudo-Envelope Quase Avarias. Componente do Desvio Percentis da N(0,1)

14 Exemplos Modelos de Quase-Verossimilhança p. 14/40 Interpretações dos Resultados Pelo modelo de Poisson nota-se uma leve sobredispersão que pode ser comprovada pelo valor do desvio D(y; ˆµ) = 38,69 (25 g.l.), cujo valor-p é dado por P=0,040. Tentou-se então um modelo de quase-verossimilhança obtendo-se ˆσ 2 = 1,69. Para verificar a adequação desse modelo calculou-se o resíduo t D i = t D i ˆσ, em que t D i é o resíduo do modelo de Poisson. Este novo resíduo é incluído no envelope gerado pelo modelo de Poisson, indicando uma melhor adequação.

15 Exemplos Modelos de Quase-Verossimilhança p. 15/40 Estimativas Quase-Verossimilhança Efeito Estimativa Valor-z Constante -6,406-22,69 Tipo A 0,000 - B -0,543-2,36 C -0,687-1,61 D -0,076-0,20 E 0,326 1,06 Ano , ,697 3, ,818 3, ,453 1,50 Perído , ,384 2,50

16 Exemplos Modelos de Quase-Verossimilhança p. 16/40 Figura 6. Diagnóstico Quase Avarias. Distancia de Cook Residuo de Pearson Indice Valores Ajustados

17 Exemplos Modelos de Quase-Verossimilhança p. 17/40 Conclusões Para esse conjunto dados o modelo de Poisson apresentou uma pequena sobredispersão que foi corrigida pelo modelo de quase-verossimilhança. Pelas estimativas dos efeitos nota-se que os navios de tipos B e C são aqueles com uma incidência menor de avarias. Por outro lado, os navios fabricados de 70 a 74 como também aqueles que operaram de 75 a 79 apresentaram uma incidência maior de avarias. A eliminação das categorias #19, #20 e #27 muda algumas conclusões inferencias (aumenta a significância da maioria dos efeitos) e elimina a sobredispersão.

18 Exemplos Modelos de Quase-Verossimilhança p. 18/40 Demanda de TVs a Cabo Vamos considerar agora um conjunto de dados sobre a demanda de TVs a cabo em 40 áreas metropolitanas dos EUA (Ramanathan, 1993). Para cada área foram observadas as seguintes variáveis: Nass, número de assinantes de TV a cabo (em milhares). Domic, número de domicílios (em milhares). Percap, renda per capita domiciliar (em USD).

19 Exemplos Modelos de Quase-Verossimilhança p. 19/40 Taxa, taxa de instalação (em USD). Custo, custo médio mensal de manutenção (em USD). Ncabo, número de canais a cabo disponíveis na área. Ntv, número de canais públicos de boa qualidade disponíveis na área. A seguir apresentamos a densidade da variável Razao = Nass/Domic e os diagramas de dispersão da Razao com as demais variáveis.

20 Figura 7. Análise Descritiva de TVs a Cabo. Densidade Razao Razao Razao Percap Taxa Razao Razao Razao Custo Ncabo Ntv Exemplos Modelos de Quase-Verossimilhança p. 20/40

21 Exemplos Modelos de Quase-Verossimilhança p. 21/40 Comentários Nota-se que a distribuição da proporção de TVs a cabo, ignorando-se as variáveis explicativas, é assimétria e bimodal. Pelos diagramas de dispersão nota-se indícios de aumento da proporção de domicílios com TV a cabo à medida que aumentam a renda per capita domiciliar, a taxa de instalação e o número de canais a cabo disponíveis na área. Por outro lado, há indícios de redução na proporção de TVs a cabo à medida que aumentam o custo mensal de manutenção e o número de canais públicos na área.

22 Exemplos Modelos de Quase-Verossimilhança p. 22/40 Modelo de Quase-Verossimilhança Uma possibilidade de ajustar a esse conjunto de dados é através de modelos de quase-verossimilhança. Seja Y i a proporção de TVs a cabo na i-ésima área, em que 0 Y i 1, então propomos: E(Y i ) = π i, 0 < π i < 1; Var(Y i ) = σ 2 π i (1 π i ), σ 2 > 0; log{π i /(1 π i )} = α+β 1 Percap i +β 2 Taxa i +β 3 Custo i +β 4 Ncabo i +β 5 Ntv i.

23 Figura 8. Diagnóstico Quase Tvcabo V(π i ) = π i (1 π i ). Exemplos Modelos de Quase-Verossimilhança p. 23/40 14 Distancia de Cook Residuo de Pearson Indice Preditor Linear

24 Figura 9. Diagnóstico Quase Tvcabo V(π i ) = π 2 i (1 π i) 2. Exemplos Modelos de Quase-Verossimilhança p. 24/40 Distancia de Cook Residuo de Pearson Indice Preditor Linear

25 Exemplos Modelos de Quase-Verossimilhança p. 25/40 Estimativas dos Parâmetros Com todos os pontos Sem áreas 5 e 14 Efeito Estimativa Valor-z Estimativa Valor-z Constante -2,407-1,72-2,440-1,60 Percap , ,80 Taxa 0,023 0,93 0,016 0,64 Custo -0,203-1,79-0,252-2,27 Ncabo 0,073 1,94 0,079 2,22 Ntv -0,216-2,61-0,201-2,61 σ 2 0,114 0,098

26 Exemplos Modelos de Quase-Verossimilhança p. 26/40 Conclusões Na Figura 8 são apresentadas as distâncias de Cook com destaque para as áreas #5 e #14 bem como o gráfico dos resíduos de Pearson com função de variância V(π i ) = π i (1 π i ) contra o logito dos valores ajustados. Pode-se notar que há um ligeiro aumento da variabilidade com o aumento da proporção de áreas com TV a cabo. A área #5 tem renda alta per capita porém uma proporção pequena de assinantes e a área #14 tem uma proporção alta de assinantes embora as taxas sejam também altas.

27 Exemplos Modelos de Quase-Verossimilhança p. 27/40 A eliminação dessas duas áreas não altera os resultados inferenciais embora aumente a significância dos coeficientes. Apenas o coeficente da Taxa parece ser não significativo. Pela Figura 8 nota-se um aumento da variabilidade com o aumento da proporção de assinantes sugerindo que uma função de variância de ordem maior poderia ser utilizada. Tentou-se para reduzir essa variabilidade de Y i a função de variância V(π i ) = πi 2(1 π i) 2 (Figura 9), porém os resultados ficaram inalterados.

28 Exemplos Modelos de Quase-Verossimilhança p. 28/40 Manchas na Folha da Cevada Esses dados estão descritos em McCullagh e Nelder (1989, Tabela 9.2) em que a incidência de um tipo de mancha é observada na folha da cevada segundo 10 variedades em 9 locais diferentes. A amostra consiste de 90 observações em que a resposta é a área afetada da folha (em proporção) e as variáveis explicativas são a variedade e o local. O objetivo do estudo é verificar se há diferença significativa entre as variedades e entre os locais. A seguir é apresentada uma análise descritiva.

29 Exemplos Modelos de Quase-Verossimilhança p. 29/40 Figura 10. Área afetada segundo a variedade. Area Afetada Variedade

30 Exemplos Modelos de Quase-Verossimilhança p. 30/40 Figura 11. Área afetada segundo o local. Area Afetada Local

31 Exemplos Modelos de Quase-Verossimilhança p. 31/40 Proporções Médias Efeito Média Efeito Média Variedade 1 0,0420 Local 1 0,0052 Variedade 2 0,0477 Local 2 0,0256 Variedade 3 0,0734 Local 3 0,1103 Variedade 4 0,0957 Local 4 0,1335 Variedade 5 0,1400 Local 5 0,1336 Variedade 6 0,2176 Local 6 0,1660 Variedade 7 0,2417 Local 7 0,2751 Variedade 8 0,3481 Local 8 0,4000 Variedade 9 0,3722 Local 9 0,6150 Variedade 10 0,4933

32 Exemplos Modelos de Quase-Verossimilhança p. 32/40 Modelo de Quase-Verossimilhança Vamos ajustar esse conjunto de dados através de quase-verossimilhança. Seja Y ij a proporção da área afetada da folha da variedade j no local i (i = 1,...,9 e j = 1,...,10). Como 0 Y ij 1 propomos o modelo: E(Y i ) = π i, 0 < π i < 1; Var(Y i ) = σ 2 V(π i ), σ 2 > 0; log{π i /(1 π i )} = α+β i +γ j, em que β 1 = 0 e γ 1 = 0 (casela de referência).

33 Figura 12. Diagnóstico Quase Cevada V(π i ) = π i (1 π i ). Exemplos Modelos de Quase-Verossimilhança p. 33/40 Distancia de Cook Residuo de Pearson Indice Preditor Linear

34 Figura 13. Diagnóstico Quase Cevada V(π i ) = π 2 i (1 π i) 2. Exemplos Modelos de Quase-Verossimilhança p. 34/40 24 Distancia de Cook Residuo de Pearson Indice Preditor Linear

35 Exemplos Modelos de Quase-Verossimilhança p. 35/40 Interpretações Nota-se pelos boxplots das Figuras 10 e 11 que a proporção afetada aumenta com a variedade e também com o local. A Figura 12 indica que a função V(π i ) = π i (1 π i ) não parece ser apropriada. A função de variância V(π i ) = πi 2(1 π i) 2 diminui a tendência sistemática do gráfico anterior, embora ainda alguma tendência seja observada. A seguir são apresentadas as estimativas com todos os pontos sem as observações influentes usando V(π i ) = πi 2(1 π i) 2.

36 Exemplos Modelos de Quase-Verossimilhança p. 36/40 Estimativas dos Parâmetros Com todos os pontos Sem 24,65,76,52 Efeito Estimativa Valor-z Estimativa Valor-z Constante -7,92-17,82-7,78-21,54 Varied2-0,47-1,00-0,72-1,84 Varied3 0,08 0,17 0,15 0,40 Varied4 0,95 2,04 0,47 1,21 Varied5 1,35 2,89 0,99 2,53 Varied6 1,33 2,83 0,93 2,36 Varied7 2,34 5,00 2,30 6,06 Varied8 3,26 6,96 3,25 8,57 Varied9 3,14 6,69 3,19 8,39 Varied10 3,89 8,29 3,90 10,25 σ 2 0,99 0,65

37 Com todos os pontos Sem 24,65,76,52 Efeito Estimativa Valor-z Estimativa Valor-z Local2 1,38 3,11 1,38 3,84 Local3 3,86 8,68 3,43 9,23 Local4 3,56 8,00 3,52 9,76 Local5 4,11 9,24 4,03 11,19 Local6 4,30 9,68 4,02 10,80 Local7 4,92 11,06 4,54 12,21 Local8 5,69 12,81 5,41 14,55 Local9 7,07 15,90 7,06 19,59 Exemplos Modelos de Quase-Verossimilhança p. 37/40

38 Exemplos Modelos de Quase-Verossimilhança p. 38/40 Conclusões As observações #24 (varied4, local3), #65 (varied5, local7) e #76 (varied6, local8) têm proporções, respectivamente, de 0,166, 0,50 e 0,75 as quais estão acima da média das proporções da variedade e local correspondentes. Por outro lado, a observação #52 (varied2, local6) tem uma proporção de 0,05 abaixo da média da proporção do local 5 e próxima da média da variedade 2. A eliminação dessas observações altera a inferência de algumas variedades porém não altera a inferência dos locais.

39 Exemplos Modelos de Quase-Verossimilhança p. 39/40 Com todas as observações nota-se que as variedades 1,2 e 3 não têm proproções significativamente diferentes e são aquelas com menor proporção de área afetada. Com a eliminação das observações influentes, a variedade 2 aparece ao nível de 5% com a menor proporção de área afetada, seguida pelas variedades 1,3 e 4 cujas proporções não são diferentes significativamente. Nota-se também que a proporção de área afetada tende a aumentar com a variedade bem como com o local.

40 Exemplos Modelos de Quase-Verossimilhança p. 40/40 Referências McCullagh, P. e Nelder, J. A. (1989). Generalized Linear Models, 2nd. Edition. Chapman and Hall, London. Ramanathan, R. (1993). Statistical Methods in Econometrics. Wiley, New York.