Aula - Modelos Lineares Generalizados. Aula - Modelos Lineares Generalizados p. 1/??



Documentos relacionados
MODELOS DE REGRESSÃO com apoio computacional

Faturamento de Restaurantes

Cláudio Tadeu Cristino 1. Julho, 2014

MODELOS DE REGRESSÃO com apoio computacional

UNIVERSIDADE FEDERAL DE JUIZ DE FORA INSTITUTO DE CIÊNCIAS EXATAS DEPARTAMENTO DE ESTATÍSTICA Programa de Graduação em Estatística. Samuel de Oliveira

COMENTÁRIO AFRM/RS 2012 ESTATÍSTICA Prof. Sérgio Altenfelder

MODELOS DE REGRESSÃO com apoio computacional

AULAS 13, 14 E 15 Correlação e Regressão

DISTRIBUIÇÕES DE PROBABILIDADE

MAE Séries Temporais

Modelos de Regressão para Previsão de Sinistros

Análise Exploratória de Dados

Modelos Lineares Generalizados

Capítulo 5. Modelos de Confiabilidade. Gustavo Mello Reis José Ivo Ribeiro Júnior

Exemplo Regressão Linear Múltipla

2 Modelo para o Sistema de Controle de Estoque (Q, R)

Modelos Lineares Generalizados

Bioestatística Aula 3

Occurrence and quantity of precipitation can be modelled simultaneously. Peter K. Dunn Autor Braga Junior e Eduardo Gomes Apresentação

Aula 04 Método de Monte Carlo aplicado a análise de incertezas. Aula 04 Prof. Valner Brusamarello

'LVWULEXLomR(VWDWtVWLFDGRV9DORUHV([WUHPRVGH5DGLDomR6RODU *OREDOGR(VWDGRGR56

Lista 1 - Gabarito. Prof. Erica Castilho Rodrigues Disciplina: Modelos Lineares Generalizados. 29 de Abril. f(y i, θ i ) = θ i exp( yiθ i ).

CAP5: Amostragem e Distribuição Amostral

Estudo Teórico sobre Modelos Lineares Generalizados com Aplicação a Dados Genéticos

DORIVAL LOBATO JUNIOR ANÁLISE DE DIAGNÓSTICO EM MODELOS DE REGRESSÃO NORMAL E LOGÍSTICA

4 Avaliação Econômica

PÓS GRADUAÇÃO EM CIÊNCIAS DE FLORESTAS TROPICAIS-PG-CFT INSTITUTO NACIONAL DE PESQUISAS DA AMAZÔNIA-INPA. 09/abril de 2014

Estimação bayesiana em modelos lineares generalizados mistos: MCMC versus INLA

IMES Catanduva. Probabilidades e Estatística. no Excel. Matemática. Bertolo, L.A.

6 Construção de Cenários

Análise de Dados Longitudinais para Variáveis Binárias

7Testes de hipótese. Prof. Dr. Paulo Picchetti M.Sc. Erick Y. Mizuno. H 0 : 2,5 peças / hora

Medidas repetidas No.1

Regressão Logística. Daniel Araújo Melo - dam2@cin.ufpe.br. Graduação

AULAS 04 E 05 Estatísticas Descritivas

Principais tipos de resíduos utilizados na análise de diagnóstico em MLG com aplicações para os modelos: Poisson, ZIP e ZINB

Utilizando-se as relações entre as funções básicas é possível obter as demais funções de sobrevivência.

DISTRIBUIÇÃO DE WEIBULL CONCEITOS BÁSICOS APLICAÇÕES

de Piracicaba-SP: uma abordagem comparativa por meio de modelos probabilísticos

MAT1154 ANÁLISE QUALITATIVA DE PONTOS DE EQUILÍBRIO DE SISTEMAS NÃO-LINEARES

DESENVOLVIMENTO DE UMA FUNÇÃO NO R PARA ANÁLISE DE TRILHA

Carga dos alimentadores

5 Cap 8 Análise de Resíduos. Outline. 2 Cap 2 O tempo. 3 Cap 3 Funções de Sobrevida. Carvalho MS (2009) Sobrevida 1 / 22

Universidade Federal do Paraná Departamento de Informática. Reconhecimento de Padrões. Revisão de Probabilidade e Estatística

Estimação por Intervalos

TEORIA DO RISCO. LUIZ SANTOS / MAICKEL BATISTA economia.prof.luiz@hotmail.com maickel_ewerson@hotmail.com

Simulação Estocástica

Modelos Lineares Generalizados - Estimação em Modelos Lineares Generalizados

O QUE É E COMO FUNCIONA O CREDIT SCORING PARTE I

DISTRIBUIÇÃO NORMAL 1

Análise bioestatística em fumantes dinamarqueses associado

DESENVOLVIMENTO DE UMA FUNÇÃO NO R PARA ANÁLISE DE TRILHA RESUMO

ECONOMETRIA EXERCÍCIOS DO CAPÍTULO 2

MLG. 16 de outubro de Curso de Modelos Lineares Generalizado - DEST/UFMG Marcos Oliveira Prates. Marcos Oliveira Prates

TTT-PLOT E TESTE DE HIPÓTESES BOOTSTRAP PARA O MODELO BI-WEIBULL. Cleber Giugioli Carrasco 1 ; Francisco Louzada-Neto 2 RESUMO

ASSOCIAÇÃO ENTRE PRESENÇA DE CÂNCER DE ESÔFAGO COMPARADA COM HÁBITO DE FUMAR E IDADE EM INDIVÍDUOS DA DINAMARCA

5 Conclusões e Recomendações

Tecido A B

Aula 11 Esperança e variância de variáveis aleatórias discretas

Análise de Regressão. Tópicos Avançados em Avaliação de Desempenho. Cleber Moura Edson Samuel Jr

Correlação e Regressão

Métodos Matemáticos para Gestão da Informação

Modelo Linear Generalizado Distribuição de Poisson

Introdução. Métodos de inferência são usados para tirar conclusões sobre a população usando informações obtidas a partir de uma amostra.

UNIVERSIDADE FEDERAL DO PIAUÍ (UFPI) ENG. DE PRODUÇÃO PROBABILIDADE E ESTATÍSTICA 2

Hipótese Estatística:

Método dos mínimos quadrados - ajuste linear

(b) Qual a probabilidade de ter sido transmitido um zero, sabendo que foi recebido um (1.0) zero?

Vetores Aleatórios, correlação e conjuntas

O comportamento conjunto de duas variáveis quantitativas pode ser observado por meio de um gráfico, denominado diagrama de dispersão.

Estatística e Probabilidade

Departamento de Matemática - UEL Ulysses Sodré. Arquivo: minimaxi.tex - Londrina-PR, 29 de Junho de 2010.

INE Procedimentos de Análise Bidimensional de variáveis QUANTITATIVAS utilizando o Microsoft Excel. Professor Marcelo Menezes Reis

1PI. Auto-energia do fóton. e a condição em F1 para qualquer ordem de perturbação se torna:

Modelos estatísticos para análise de dados longitudinais categorizados ordinais

Este apêndice resume os conceitos de álgebra matricial, inclusive da álgebra de probabilidade,

Modelos Lineares Generalizados - Análise de Resíduos

Modelo de regressão Beta

Testes (Não) Paramétricos

3 Planejamento de Experimentos

Exemplo Falhas em Tecidos

MESTRADO EM MACROECONOMIA e FINANÇAS Disciplina de Computação. Aula 04. Prof. Dr. Marco Antonio Leonel Caetano

Universidade Federal de Alfenas Programa de Pós-graduação em Estatística Aplicada e Biometria Prova de Conhecimentos Específicos

MAE Teoria da Resposta ao Item

Universidade de Brasília Instituto de Ciências Exatas Departamento de Estatística

Aula 4 Estatística Conceitos básicos

PE-MEEC 1S 09/ Capítulo 4 - Variáveis aleatórias e. 4.1 Variáveis. densidade de probabilidade 4.2 Valor esperado,

Método de Monte Carlo e ISO

A MODELAGEM DE UM ÍNDICE DE PRODUÇÃO CIENTÍFICA ATRAVÉS DE MODELOS LINEARES GENERALIZADOS HIERÁRQUICOS

IBM1018 Física Básica II FFCLRP USP Prof. Antônio Roque Aula 6. O trabalho feito pela força para deslocar o corpo de a para b é dado por: = =

AULAS 24 E 25 Análise de Regressão Múltipla: Inferência

Exemplos Regressão Dados de Contagem

Distribuição Exponencial Exponenciada na Presença de Fração de Cura: Modelos de Mistura e Não-Mistura

UNIVERSIDADE DE SÃO PAULO. Faculdade de Arquitetura e Urbanismo

Comparação entre medidas clássicas e robustas para identificação de outliers em regressão

LEI DE OHM. Professor João Luiz Cesarino Ferreira. Conceitos fundamentais

Organizaçãoe Recuperaçãode Informação GSI521. Prof. Dr. Rodrigo Sanches Miani FACOM/UFU

Análise descritiva de Dados. a) Média: (ou média aritmética) é representada por x e é dada soma das observações, divida pelo número de observações.

Probabilidades e Estatística

1. Avaliação de impacto de programas sociais: por que, para que e quando fazer? (Cap. 1 do livro) 2. Estatística e Planilhas Eletrônicas 3.

Transcrição:

Aula - Modelos Lineares Generalizados Aula - Modelos Lineares Generalizados p. 1/??

Introdução Nelder e Wedderburn (1972), propuseram os Modelos Lineares Generalizados (MLGs), que são uma extensão dos modelos normais lineares. A idéia básica consiste em abrir o leque de opções para a distribuição da variável resposta, permitindo que a mesma pertença à família exponencial de distribuições, bem como dar maior flexibilidade para a relação funcional entre a média da variável resposta (µ) e o preditor linear η. Aula - Modelos Lineares Generalizados p. 2/??

A ligação entre a média e o preditor linear não é necessariamente a identidade, podendo assumir qualquer forma monótona não-linear. Nelder e Wedderburn propuseram também um processo iterativo para a estimação dos parâmetros e introduziram o conceito de desvio que tem sido largamente utilizado na avaliação da qualidade do ajuste dos MLGs, bem como no desenvolvimento de resíduos e medidas de diagnóstico. Estudos abrangentes sobre MLGs são encontrados nos livros de McCullagh e Nelder (1989), Cordeiro (1986), Dobson (1990) e Paula (2004). Aula - Modelos Lineares Generalizados p. 3/??

Definição Consideremos n variáveis aleatórias independentes y 1,...,y n, cada uma com função densidade (ou de probabilidade) na família exponencial da forma f(y;θ i,φ) = exp{φ[yθ i b(θ i )] + c(y,φ)}, i = 1,,n (1) onde b( ) e c( ) são funções conhecidas. Para o modelo em (1) valem as seguintes relações: E(y i ) = µ i = b (θ i ), Var(y i ) = φ 1 V i, i = 1,,n sendo φ 1 o parâmetro de dispersão e V = dµ/dθ a função de variância (caracteriza a distribuição). Aula - Modelos Lineares Generalizados p. 4/??

Tabela 1: Características de algumas distribuições da família exponencial Distribuição Normal Poisson Binomial Notação N(µ,φ 1 ) P(µ) B(n,µ) 0(1)n n Suporte de y (, ) 0(1) c(y,φ) 1 2 (φy2 + log 2π) log(y)! ( log n φ ny b(θ) θ 2 /2 e θ log(1 + e θ ) µ = E(y) θ e θ e θ /1 + e θ V (µ) 1 µ µ(1 µ) No modelo binomial, a variável aleatória corresponde à proporção de sucessos em n ensaios de Bernoulli e φ = n. Fonte : McCullagh e Nelder (1989; Tabela 2.1, pg. 30). ) Aula - Modelos Lineares Generalizados p. 5/??

Tabela 2: Características de algumas distribuições da família exponencial Distribuição Gama Normal Inversa Notação G(µ,φ) N (µ,φ) Suporte de y (0, ) (0, ) 1 c(y,φ) (φ 1)log(yφ) + log φ log Γ(φ) φ ) 2 2πy 3 y b(θ) log( θ) ( 2θ) 1/2 µ = E(y) 1/θ ( 2θ) 1/2 V (µ) µ 2 µ 3 A parametrização do modelo gama é tal que a sua variância é dada por µ 2 /φ. Fonte : McCullagh e Nelder (1989; Tabela 2.1, pg. 30). Aula - Modelos Lineares Generalizados p. 6/??

Modelo Linear Generalizado Os MLGs são definidos por (1) e pela componente sistemática g(µ i ) = η i, i = 1,,n (2) onde g( ) é uma função monótona e diferenciável, denominada função de ligação, η = Xβ, β = (β 1,,β p ) (p < n), X = (x 1,,x p ), x j = (x 1j,,x nj ). Aula - Modelos Lineares Generalizados p. 7/??

Consideremos um MLG definido por (1) e (2). O logaritmo da função de verossimilhança como função de β pode ser expresso na forma L(β;y) = n i=1 φ[y i θ i b(θ i ) + c(y i )] + a(y i,φ). θ i = η i = p j=1 x ijβ j para i = 1,...,n L(β;y) = n φ[y i p x ij β j b( p x ij β j )]+φ n c(y i )+ n a(y i,φ) i=1 j=1 j=1 i=1 i=1 Aula - Modelos Lineares Generalizados p. 8/??

que podemos reexpressar na forma L(β;y) = p S j β j φ n b( p x ij β j ) + φ n c(y i ) + n a(y i,φ), j=1 i=1 j=1 i=1 i=1 onde S j = φ n i=1 y i x ij. S = (S 1,...,S p ) é suficiente minimal (Dudewicz e Mishra, 1988, Cap. 8) para o vetor β = (β 1,...,β p ). As ligações que fornecem estatísticas suficientes são denominadas canônicas. Aula - Modelos Lineares Generalizados p. 9/??

Ligações canônicas Para os modelos normal, Poisson, binomial, gama e normal inverso as ligações canônicas são dadas por η = µ, η = log µ, η = log [ µ 1 µ ], η = µ 1 e η = µ 2. garantem a concavidade de L(β;y), isto é, garantem a unicidade da estimativa de máxima verossimilhança de β, quando essa existe e, consequentemente, muitos resultados assintóticos são obtidos mais facilmente. Para ligações não-canônicas Wedderburn (1976) discute condições à existência da concavidade L(β; y). Aula - Modelos Lineares Generalizados p. 10/??

Outras ligações Potência: η = µ λ, onde λ é um número real; probit: η = Φ 1 (µ); Logística: η = log[µ/(1 µ)]; Complemento log-log: η = log[ log(1 µ)]; Logaritmo: η = log µ. Box-Cox: η = (µ λ 1)/λ; Aranda-Ordaz: η = log{(1 µ) α 1/α}. Aula - Modelos Lineares Generalizados p. 11/??

Os MLGs são ajustados no R através da função glm, onde devemos especificar formula (a definição do modelo) e family (a distribuição assumida pela variável resposta com a função de ligação a ser usada). Por exemplo, fit.reg = glm(y 1 + x, family = gaussian). Se a função de ligação usada for diferente do default, basta especificar a função de ligação desejada através do comando link. Por exemplo, fit.reg = glm(y 1 + x, family = gaussian(link = log )). O comando summary(fit) dá um resumo do resultado do ajuste. Aula - Modelos Lineares Generalizados p. 12/??

Função desvio Sem perda de generalidade, suponha que o logaritmo da função de verossimilhança seja agora definido por L(µ;y) = n i=1 L(µ i ;y i ), em que µ i = g 1 (η i ) e η i = x i β. Para o modelo saturado (p = n) a função L(µ;y) é estimada por L(y;y) = n i=1 L(y i ;y i ). Ou seja, a estimativa de máxima verossimilhança de µ i fica nesse caso dada por µ 0 i = y i. Aula - Modelos Lineares Generalizados p. 13/??

Quando p < n, denotaremos a estimativa de L(µ;y) por L(ˆµ;y). Aqui, a estimativa de máxima verossimilhança de µ i será dada por ˆµ i = g 1 (ˆη i ) em que ˆη i = x i ˆβ. A qualidade do ajuste de um MLG é avaliada através da função desvio dada por D (y; ˆµ) = φd(y; ˆµ) = 2{L(y;y) L(ˆµ;y)} onde D(y; ˆµ) = 2 n [y i ( θ i ˆθ i ) + (b( θ i ) b(ˆθ i ))], i=1 denotando por ˆθ i = θ i ( ˆµ i ) e θ i = θ i ( µ i ), respectivamente, as estimativas de máxima verossimilhança de θ i para os modelos com p parâmetros (p < n) e saturado (p = n). Aula - Modelos Lineares Generalizados p. 14/??

Apresentaremos a seguir a função desvio dos casos especiais citados anteriormente. Normal : n D(y; ˆµ) = (y i ˆµ i ) 2, i=1 que coincide com a soma de quadrados dos resíduos. Binomial : D(y; ˆµ) = 2 n i=1 [ y i log ( yi n i ˆµ i ) + (n i y i ) log ( 1 y i )] n i. 1 ˆµ i Todavia, quando y i = 0 ou y i = n i, o i-ésimo termo de D(y; ˆµ) se iguala a 2n i log(1 ˆµ i ) ou 2n i log ˆµ i, Aula - Modelos Lineares Generalizados p. 15/??

respectivamente. Gama : D(y; ˆµ) = 2 n i=1 [ log ( yi ˆµ i ) + (y ] i ˆµ i ). ˆµ i Poisson : D(y; ˆµ) = 2 n i=1 [ y i log ( yi ˆµ i ) ] (y i ˆµ i ). Normal Inversa : D(y; ˆµ) = n i=1 (y i ˆµ i ) 2 y i ˆµ i 2. Aula - Modelos Lineares Generalizados p. 16/??

Um valor pequeno para a função desvio indica que, para um menor número de parâmetros, obtém-se um ajuste tão bom quanto o ajuste com o modelo saturado. Embora seja usual comparar os valores observados da função desvio com os percentis da distribuição qui-quadrado com n p graus de liberdade, em geral, D(y; ˆµ) não segue assintoticamente uma distribuição χ 2 n p. Poisson: quando µ i, para todo i, tem-se D(y; ˆµ) χ 2 n p. Normal: como é conhecido para σ 2 fixo, D(y; ˆµ) σ 2 χ 2 n p. Aula - Modelos Lineares Generalizados p. 17/??

Lembre que E(χ 2 r) = r, assim, um valor do desvio próximo de n p pode ser uma indicação de que o modelo estará bem ajustado. Geralmente, para os casos em que D (y; ˆµ) depende do parâmetro de dispersão φ 1, o seguinte resultado (Jørgensen, 1987) pode ser utilizado: D (y; ˆµ) χ 2 n p, quando φ. Quando a dispersão é pequena, é razoável comparar os valores observados de D (y; ˆµ) com os percentis da distribuição χ 2 n p. Aula - Modelos Lineares Generalizados p. 18/??

Análise do desvio Suponha para o vetor de parâmetros β a partição β = (β 1,β 2 ), em que β 1 é um vetor q- dimensional enquanto β 2 tem dimensão p q. Portanto podemos estar interessados em testar as hipóteses H 0 : β 1 = β (0) 1 contra H 1 : β 1 β (0) 1. As funções desvio correspondentes aos modelos sob H 0 e H 1 são dadas por D(y;µ (0) ) e D(y; ˆµ), respectivamente, onde µ (0) é a estimativa de máxima verossimilhança de µ sob H 0. Aula - Modelos Lineares Generalizados p. 19/??

Análise do desvio A análise de desvio (ANODEV) é uma generalização da análise de variância para os MLGs. Podemos definir a seguinte estatística F = {D(y;µ(0) ) D(y; ˆµ)}/q D(y; ˆµ)/(n p) cuja distribuição nula assintótica é F q,(n p). Não depende de φ e é invariante sob reparametrização Pode ser obtida diretamente de funções desvio, é muito conveniente para uso prático., Aula - Modelos Lineares Generalizados p. 20/??

Através do comando anova, o R fornece uma tabela ANODEV para os ajustes colocados como objetos (ajustes de um MLG). Por exemplo, suponha que os objetos fit.reg, fit1.reg correspondam aos ajustes de um MLG com um, dois fatores, respectivamente. Então, o comando anova(fit.reg, fit2.reg, test = Chi ) fornece uma tabela comparando os três fatores. Aula - Modelos Lineares Generalizados p. 21/??

Função escore e matriz de informação O logaritmo da função de verossimilhança de um MLG definido por (1) e (2) pode ser expresso na forma L(β;y) = n i=1 φ[y i θ i b(θ i ) + c(y i )] + a(y i,φ). A função escore total e a matriz de informação total de Fisher para o parâmetro β são dadas por U(β) = L(β;y) β = φx W 1 2 V 1 2 (y µ), e { K(β) = E 2 L(β;y) } β β = φx WX, Aula - Modelos Lineares Generalizados p. 22/??

Estimação dos parâmetros em que X é a matriz modelo W = diag(w 1,...,w n ) com w i = ( dµi dη i ) 2 1 V i V = diag(v 1,...,V n ), com V i = dµ i dθ i. Para a obtenção da estimativa de máxima verossimilhança de β utilizamos o processo iterativo de Newton-Raphson, que pode ser reescrito como um processo iterativo de mínimos quadrados reponderados dado por β (m+1) = (X W (m) X) 1 X W (m) z (m), (3) Aula - Modelos Lineares Generalizados p. 23/??

Estimação dos parâmetros m = 0, 1,, onde z = η + W 1 2V 1 2(y µ). Observe que z faz o papel de uma variável dependente modificada, enquanto que W é uma matriz de pesos que muda a cada passo do procedimento iterativo. A convergência de (3) ocorre em geral em um número finito de passos, independente dos valores iniciais utilizados (Wedderburn, 1976). É usual iniciar (3) com η (0) i = g(y i ), para i = 1,...,n. ˆβ = (X X) 1 X y. Aula - Modelos Lineares Generalizados p. 24/??

Sob condições de regularidade (Sen e Singer, 1993, Cap. 7), mostra-se que ˆβ é um estimador consistente e eficiente de β e que n(ˆβ β) d N ( 0, Σ 1 (β) ), onde Σ(β) = lim n K(β) n, sendo (β) uma matriz positiva definida e ( ) d n(ˆφ φ) N 0, Σ 1 φ), conforme n, ( em que σ 2 (φ) = lim n n{ n i=1 c (y i,φ)} 1. Aula - Modelos Lineares Generalizados p. 25/??

A estimação do parâmetro φ, quando o mesmo é desconhecido, pode ser vista em Cordeiro e McCullagh (1991). No caso em que φ é desconhecido, podemos observar que os parâmetros β e φ são ortogonais, isto é, [( )( )] L(β,φ;y) L(β,φ;y) E = 0. β φ Logo, os estimadores de máxima verossimilhança de φ e β são assintoticamente independentes. Aula - Modelos Lineares Generalizados p. 26/??

As estimativas de máxima verossimilhança para φ nos casos normal e normal inverso são dadas por ˆφ = n/d(y; ˆµ). Para o caso da distribuição gama, a estimativa de máxima verossimilhança de φ é dada por 1 + (1 + 2 D/3) 1/2 ˆφ = 2 D, onde D = D(y; ˆµ)/n. n φ 1 = {(y i µ i )/ ˆµ i } 2 /(n p). i=1 Para encontrar a EMV de φ com o respectivo desvio padrão aproximado deve-se usar os comandos library(mass) gamma.shape(fit) Aula - Modelos Lineares Generalizados p. 27/??

Testes de hipóteses A estatística da razão de verossimilhança para o teste de H 0 pode ser escrita da seguinte forma LR = 2{L( ˆβ 1, ˆβ 2 ) L(β (0) 1, β 2 )}, (4) onde ˆβ é o EMV irrestrito de β e β 2 é o EMV de β 2 sob H 0, isto é, sob o modelo com componente sistemática η = η (0) 1 + η 2 com q p η (0) 1 = j=1 x j β (0) 1j e η 2 = j=q+1 x j β 2j. LR = φ{d(y; ˆµ 0 ) D(y; ˆµ)} em que ˆµ 0 = g 1 (ˆη 0 ) e ˆη 0 = Xβ 0 1. Assintoticamente e sob H 0, temos que LR χ 2 q. Aula - Modelos Lineares Generalizados p. 28/??

Para calcular a estatística da razão de verossimilhança no R, basta fazer a diferença dos desvios correspondentes aos modelos sob H 0 e H 1. Aula - Modelos Lineares Generalizados p. 29/??

Métodos de Diagnóstico Objetivos principais: 1) Verificar se há afastamentos sérios das suposições feitas para o modelo. se há afastamento da suposição da distribuição da variável resposta; ausência de alguma variável explicativa ou termos (quadrático, cúbico) de variáveis incluídas no modelo; se há indícios de correlação entre as observações. Aula - Modelos Lineares Generalizados p. 30/??

2) Detectar observações atípicas que destoam do conjunto. Essas observações são classificadas em três grupos: aberrantes, mal ajustadas com resíduos altos; de alavanca, posicionadas em regiões remotas com alta influência no próprio valor ajustado; influentes, com influência desproporcional nas estimativas dos coeficientes. Uma observação pode ser classificada em mais de um grupo. Aula - Modelos Lineares Generalizados p. 31/??

Alavanca Pontos de alavanca são aqueles que têm uma influência desproporcional no próprio valor ajustado. Temos que o processo iterativo dos MLGs, na convergência, é dado por ˆβ = (X ŴX) 1 X Ŵz, com z = ˆη + Ŵ 1/2 ˆV 1/2 (y ˆµ), isto é, a solução de M.Q.P. da regressão z contra X com pesos W. Então H é a matriz de projeção H = W 1/2 X(X WX) 1 X W 1/2 Pregibon (1981) sugere usar os elementos da diagonal (h ii ) de H e analisar os pontos que se destacam. Aula - Modelos Lineares Generalizados p. 32/??

Resíduo padronizado Similar ao modelo normal, temos que o resíduo ordinário pode ser definido como r = Ŵ 1/2 (z ˆη) Se assumimirmos que V ar(z) Ŵ 1 φ 1 temos V ar(r ) φ 1 (I Ĥ). A fim de comparar os resíduos deve-se padronizá-los, definindo t Si = φ1/2 (y i ˆµ i ). ˆV i (1 ĥii) Williams (1984) mostra via simulação que t Si em geral é assimétrica. Aula - Modelos Lineares Generalizados p. 33/??

Resíduo Componente do desvio Resíduo componente do desvio é mais utilizado (McCullagh, 1987, Davison e Gigli,1989) e é dado por em que t Di = d (y i ; ˆµ i ), (1 ĥii) d(y i ; ˆµ i ) = sinal(y i ˆµ i ) 2{y i (ˆθ 0 i ˆθ i ) + (b(ˆθ i ) b(ˆθ 0 i ))}1/2. William (1984) verificou que a distribuição t Di está mais próxima da normal. Assim, para grandes amostras, são considerados marginalmente aberrantes pontos tais que t Di > 2 Aula - Modelos Lineares Generalizados p. 34/??

Gráficos Alguns gráficos de diagnóstico envolvendo resíduos: gráfico de t Di contra a ordem das observações ; gráfico de t Di contra ŷ i para detectar indícios de parâmetro de dispersão não constante, correlação entre as observações e pontos aberrantes; gráfico de t Di contra variáveis explicativas para detectar ausência de termos na parte sistemática; envelope, banda de confiança empírica para detectar afastamentos da distribuição postulada. Aula - Modelos Lineares Generalizados p. 35/??

Influência Pontos influentes são aqueles com influência desproporcional nas estimativas dos coeficientes, isto é, quando retirados do modelo mudam de forma substancial as estimativas ou mesmo a significância dos coeficientes. O método mais conhecido para detectar tais pontos é o de deleção de pontos, que consiste em retirar um ponto e verificar as variações nas estimativas. Aula - Modelos Lineares Generalizados p. 36/??

Afastamento da verossimilhança Uma medida de influência mais conhecida para avaliar o impacto em L(ˆβ) é o afastamento da verossimilhança (likelihood displacement) definida por LD i = 2{L(ˆβ) L(ˆβ (i) ). em que ˆβ (i) é a estimativa de β com a exclusão da i-ésima observação. Então usando uma versão aproximada (Pregibon, 1982), temos LD i ( ĥii ) t 2 1 ĥii S i, Recomenda-se como critério olhar com mais atenção aqueles pontos com LD i muito maior que os demais. Aula - Modelos Lineares Generalizados p. 37/??

Análise confirmatória Uma vez detectados os pontos aberrantes, de alavanca e influentes deve-se ainda fazer uma análise confirmatória com os pontos mais destacados. Essa análise consiste em retirar cada pontos dos dados, reajustar o modelo e verificar quanto mudam as estimativas. No entanto, deve-se retirá-los apenas em último caso. Por exemplo, se nenhum método alternativo de acomodá-los no modelo for bem sucedido. Aula - Modelos Lineares Generalizados p. 38/??

Exemplo 1 - Binomial A tabela abaixo fornece dados da proporção de mineradores que apresentam sintomas sérios de doenças no pulmão e o número de anos de exposição (Biometrics, 1959). i Número Número Total de Proporção de Anos(x i ) de casos(n i ) mineradores de casos 1 5.8 0 98 0 2 15,0 1 54 0,0185 3 21,5 3 43 0,0698 4 27,5 8 48 0,1667 5 33,5 9 51 0,1765 6 39,5 8 38 0,2105 7 46,0 10 28 0,3571 8 51,5 5 11 0,4545 Aula - Modelos Lineares Generalizados p. 39/??

doenca.dat<-scan(what=list(anos=0,suc=0,total=0) 5.8 0 98 15.0 1 54 21.5 3 43 27.5 8 48 33.5 9 51 39.5 8 38 46.0 10 28 51.5 5 11 attach(doenca.dat) anos=doenca.dat$anos suc=doenca.dat$suc total=doenca.dat$total prop=suc/total plot(anos,prop,xlab="anos de Exposição", ylab="proporção de casos") lines(anos,prop) Aula - Modelos Lineares Generalizados p. 40/??

Diagrama de Dispersão dos dados de doenças no pulmão Proporção de casos 0.0 0.1 0.2 0.3 0.4 10 20 30 40 50 Anos de Exposição Aula - Modelos Lineares Generalizados p. 41/??

A variável resposta de interesse é Y i Bin(n i,π i ). π i é a probabilidade do mineiro ter sintomas severos da doença quando exposto a categoria i ( anos) i = 1,...,k. n i é o total de mineiros expostos na categoria i. x i é o número de anos de exposição. } Modelo : Log = η i = β 0 + β 1 x i, i = 1,...8 { π(xi ) 1 π(x i ) Valor predito : ˆη(x i ) = ˆβ 0 + ˆβ 1 x i = 4, 7965 + 0, 0935x i valor ajustado :ˆµ = ŷ i = ˆπ(x i ) = exp(ˆη(x i)) 1+exp(ˆη(x i )) predict(fit) fitted(fit) Aula - Modelos Lineares Generalizados p. 42/??

Xmat=cbind(suc,total-suc) fit=glm(xmat anos,family=binomial()) summary(fit) Call: glm(formula = Xmat anos, family = binomial()) Deviance Residuals: Min 1Q Median 3Q Max -1.6625-0.5746-0.2802 0.3237 1.4852 Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) -4.79648 0.56859-8.436 < 2e-16 * anos 0.09346 0.01543 6.059 1.37e-09 * --- Aula - Modelos Lineares Generalizados p. 43/??

Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 (Dispersion parameter for binomial family taken to Null deviance: 56.9028 on 7 degrees of freed Residual deviance: 6.0508 on 6 degrees of freed AIC: 32.877 Number of Fisher Scoring iterations: 4 Aula - Modelos Lineares Generalizados p. 44/??

Interpretação dos parâmetros O valor ajustado em x i é ˆη(x i ) = ˆβ 0 + ˆβ 1 x i O valor ajustado em x i + 1 é ˆη(x i + 1) = ˆβ 0 + ˆβ 1 (x i + 1) ˆη(x i + 1) ˆη(x i ) = ˆβ 1 chance(x i ) : π(x i )) (1 π(x i )) Razão de chances : ψ = chance(x i+1) chance(x i ) ˆη(x i + 1) = log(ψ(x i + 1)) e ˆη(x i ) = log(ψ(x i + 1)) ( ) ˆη(x i + 1) ˆη(x i ) = ˆβ chance(xi + 1) 1 = log chance(x i ) ψ = exp(β 1 ) Aula - Modelos Lineares Generalizados p. 45/??

A razão de chances pode ser interpretado como o aumento estimado na probabilidade de sucesso associado a mudança em uma unidade no valor da variável do preditor linear. Em geral, o aumento estimado da razão de chances associada com a mudança de d unidades na variável preditora é exp(dˆβ 1 ). ˆψ = exp(ˆβ 1 ) = exp(0, 0935) = 1, 10 A cada aumento de um ano na exposição do trabalho, a chance de contrair a doença dos pulmões aumenta em 10%. Se o tempo de exposição for de d = 10 anos tem-se que exp(dˆβ 1 ) = 2.55. Aula - Modelos Lineares Generalizados p. 46/??

Exemplo 2 - Poisson (Montgomery et al. pag 481) apresenta os resultados de um experimento conduzido para avaliar número de falhas (y) de um certo tipo de equipamento usado no processo e o tempo de instalação até apresentar defeito em meses (x). equip Falhas meses equip Falhas meses 1 5 18 2 3 15 3 0 11 4 1 14 5 4 23 6 0 10 7 0 5 8 1 8 9 0 7 10 0 12 11 0 3 12 1 7 13 0 2 14 7 30 15 0 9 Aula - Modelos Lineares Generalizados p. 47/??

Modelo Poisson :y i P(µ i ) com log(µ i ) = β 0 + β 1 x i i = 1,...,15. fab.dat=scan("c:/temp/fabrica.dat", what=list(falha=0,mes=0)) attach(fab.dat) y=fab.dat$falha x=fab.dat$mes fit=glm(y x,family=poisson()) summary(fit) Aula - Modelos Lineares Generalizados p. 48/??

Call: glm(formula = y x, family = poisson()) Deviance Residuals: Min 1Q Median 3Q Max -1.3106-1.0114-0.7003 0.4031 1.8813 Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) -1.71995 0.55770-3.084 0.00204 * x 0.13065 0.02433 5.370 7.88e-08 * --- Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 Aula - Modelos Lineares Generalizados p. 49/??

(Dispersion parameter for poisson family taken t Null deviance: 44.167 on 14 degrees of fre Residual deviance: 14.935 on 13 degrees of fre AIC: 38.481 Number of Fisher Scoring iterations: 5 Aula - Modelos Lineares Generalizados p. 50/??

Estamos interessados em testar H 0 : β 1 = 0 contra H 1 : β 1 0. fit0=glm(y 1,family=poisson()) anova(fit0,fit,test="chi") Analysis of Deviance Table Model 1: y 1 Model 2: y x Resid. Df Resid. Dev Df Deviance P(> Chi ) 1 14 44.167 2 13 14.935 1 29.233 6.419e-08 Aula - Modelos Lineares Generalizados p. 51/??

Interpretação dos parâmetros O modelo ajustado é dado por ˆµ(x) = exp( 1.71 + 0.13x) em que x é o tempo de instalação. Logo se Aumentarmos de uma unidade o tempo de exposição a variação no valor esperado fica dado por ˆµ(x+1) ˆµ(x) = exp(0, 13) = 1, 138. Ou seja o número esperado falhas aumenta aproximadamente 13,8%. Aula - Modelos Lineares Generalizados p. 52/??

Alavanca yh=fitted(fit) X=model.matrix(fit) w=fit$weights W=diag(w) H=sqrt(W)%*%X%*%solve(t(X)%*%W%*%X)%*%t(X) %*%sqrt(w) h=diag(h) plot(h,xlab="índice") identify(h) Sugestão : gráfico h ii versus índice. Resíduo componente do desvio versus índice. Distância de Cook. Envelope Aula - Modelos Lineares Generalizados p. 53/??

Pontos de alavanca h 0.2 0.4 0.6 0.8 14 2 4 6 8 10 12 14 Índice Aula - Modelos Lineares Generalizados p. 54/??

resíduo padronizado ro=residuals(fit,type="response") fi=1 rd=residuals(fit,type="deviance") td=rd*sqrt(fi/(1-h)) rp=residuals(fit,type="pearson") rp=sqrt(fi)*rp ts=rp/sqrt(1-h) LD=h*(tsˆ2)/(1-h) envelope.poisson(form=y x,fam=poisson(),k=100,alfa=0.05) plot(td,ylab="componente do desvio",xlab="índice identify(td) plot(ld,ylab="distância de Cook",xlab="Índice") identify(ld) Aula - Modelos Lineares Generalizados p. 55/??

Envelope Normal Q Q Plot Residuo Componente do desvio 2 1 0 1 2 1 0 1 Percentis da N(0,1) Aula - Modelos Lineares Generalizados p. 56/??

Gráfico do resíduo Componente do desvio 1 0 1 2 2 4 6 8 10 12 14 Índice Aula - Modelos Lineares Generalizados p. 57/??

Distância de Cook Distância de Cook 0 2 4 6 8 10 12 2 4 6 8 10 12 14 Índice Aula - Modelos Lineares Generalizados p. 58/??

Análise confirmatória a observação 14 é influente e alta alavanca fit1=glm(y x,family=poisson,subset=-c(14)) β 0 = 2, 45096 e β 1 = 0, 18511 com desvio = 12, 530 com 12 g.l e AIC : 32, 269. Modelo com todas as observações β 0 = 1, 71995 e β 1 = 0, 13065 com desvio = 14, 935 com 13 g.l. e AIC : 38, 481 %mudanca(β) = ˆβ (i) ˆβ ˆβ 100 %mudanca(β 0 ) = 42, 50% e %mudanca(β 1 ) = 41, 68% Aula - Modelos Lineares Generalizados p. 59/??