Modelos Binomial e Poisson

Transcrição

1 Objetivos Motivação BIE Pós-Graduação em Ecologia USP setembro de 2012

2 Objetivo da Aula Objetivos Motivação Os objetivos dessa aula são:

3 Objetivos Motivação Objetivo da Aula Os objetivos dessa aula são: 1 Generalizar os modelos estatísticos com covariáveis para outras distribuições;

4 Objetivos Motivação Objetivo da Aula Os objetivos dessa aula são: 1 Generalizar os modelos estatísticos com covariáveis para outras distribuições; 2 Exemplificar essas generalização com exemplos de modelos Poisson e binomial;

5 Objetivos Motivação Objetivo da Aula Os objetivos dessa aula são: 1 Generalizar os modelos estatísticos com covariáveis para outras distribuições; 2 Exemplificar essas generalização com exemplos de modelos Poisson e binomial; 3 Mostrar os comandos básicos no R para ajustar e avaliar esses modelos;

6 Objetivos Motivação Objetivo da Aula Os objetivos dessa aula são: 1 Generalizar os modelos estatísticos com covariáveis para outras distribuições; 2 Exemplificar essas generalização com exemplos de modelos Poisson e binomial; 3 Mostrar os comandos básicos no R para ajustar e avaliar esses modelos; 4 Demonstrar que alguns deles pertencem à classe dos modelos lineares generalizados.

7 Onde estamos Objetivos Motivação Até agora vimos:

8 Objetivos Motivação Onde estamos Até agora vimos: Modelos de várias distribuições com parâmetros constantes: Y N (µ = a 0, σ = b 0 ) Y P(λ = a 0 )

9 Objetivos Motivação Onde estamos Até agora vimos: Modelos de várias distribuições com parâmetros constantes: Y N (µ = a 0, σ = b 0 ) Y P(λ = a 0 ) Modelos Gaussianos com covariáveis: Y N (µ = a 0 + a 1 X 1, σ = b 0 ) Y N ( µ = a 0 + a 1 X 1 + a 2 X 2, σ = e b 0+b 1 X 1 )

10 Objetivos Motivação Para onde vamos Hoje veremos modelos de outras distribuições com covariáveis: Modelos Binomiais: Y Bin(N = n, p = f (X i ))

11 Objetivos Motivação Para onde vamos Hoje veremos modelos de outras distribuições com covariáveis: Modelos Binomiais: Y Bin(N = n, p = f (X i )) : Y P(λ = f (X i ))

12 Ou seja Objetivos Motivação Uma expressão geral para modelos estatísticos Y f (Y Θ = f (X i ))

13 Ou seja Objetivos Motivação Uma expressão geral para modelos estatísticos Y f (Y Θ = f (X i )) Em palavras Y é uma variável aleatória, cujos valores tem probabilidades definidas pela função de densidade f (Y ), cujos parâmetros Θ são uma função qualquer de covariáveis X i.

14 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas.

15 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos:

16 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!)

17 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções

18 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções s de respostas binomiais:

19 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções s de respostas binomiais: Presença de alguma espécie em manchas, fragmentos, sítios;

20 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções s de respostas binomiais: Presença de alguma espécie em manchas, fragmentos, sítios; Ocorrência de morte, doença ou qualquer outro evento por indivíduo

21 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções s de respostas binomiais: Presença de alguma espécie em manchas, fragmentos, sítios; Ocorrência de morte, doença ou qualquer outro evento por indivíduo Proporção de frutos parasitados

22 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções s de respostas binomiais: Presença de alguma espécie em manchas, fragmentos, sítios; Ocorrência de morte, doença ou qualquer outro evento por indivíduo Proporção de frutos parasitados Experimentos de dose-resposta

23 Modelos Binomiais Forma geral: Y Bin(N = n, p = f (a 0 + a 1 X i a i X i ))

24 Modelos Binomiais Forma geral: Y Bin(N = n, p = f (a 0 + a 1 X i a i X i )) f (.) é chamada função de ligação (detalhes a seguir)

25 Modelos Binomiais Forma geral: Y Bin(N = n, p = f (a 0 + a 1 X i a i X i )) f (.) é chamada função de ligação (detalhes a seguir) Ela dá propriedades boas ao modelo, incluindo garantir que p fique entre zero e um.

26 : um exemplo Sobrevivência de sementes colocadas as diferentes distâncias da árvore-mãe 8 distâncias, 3 réplicas de 100 sementes Resposta: número de sobreviventes após 60 dias: > head(pred.seed) distancia n.sobrev

27 : um exemplo 0.4 Proporção sobrevivente Distância da árvore mãe

28 Modelo Binomial: Função Logística Nosso modelo é: Y Bin(N = 100, p = f (distância))

29 Modelo Binomial: Função Logística Nosso modelo é: Y Bin(N = 100, p = f (distância)) Que função usar para o efeito da distância sobre p?

30 Modelo Binomial: Função Logística Nosso modelo é: Y Bin(N = 100, p = f (distância)) Que função usar para o efeito da distância sobre p? Uma função sigmóide limitada entre zero e um, como: p = ea 0+a 1 dist 1 + e a 0+a 1 dist

31 Modelo Binomial: Função Logística Nosso modelo é: Y Bin(N = 100, p = f (distância)) Que função usar para o efeito da distância sobre p? Uma função sigmóide limitada entre zero e um, como: o que implica em p = ( ) p ln 1 p ea 0+a 1 dist 1 + e a 0+a 1 dist = a 0 + a 1 dist

32 Modelo Binomial: Funções logística e logit p = ea+bx Y = ln 1+e a+bx ( p 1 p ) Logística(X) Logit(p) X X

33 Modelo Binomial: Ajuste no R Função de log-verossimilhança negativa > seed.ll1 <- function(a0,a1){ + eta <- exp(a0+a1*pred.seed$distancia)/ + (1+exp(a0+a1*pred.seed$distancia)) + -sum(dbinom(pred.seed$n.sobrev,size=100, + p=eta, log=t)) + }

34 Modelo Binomial: Ajuste no R Valores iniciais: regressão linear dos logitos > p1 <- pred.seed$n.sobrev/100 > probito1 <- log(p1/(1-p1)) > (cf1 <- coef(lm(probito1~pred.seed$distancia))) Ajuste numérico (Intercept) pred.seed$distancia > seed.m1 <- mle2(seed.ll1,start= + list(a0=cf1[1],a1=cf1[2]))

35 Modelo Binomial: Ajuste no R Coeficientes > (cf2 <- coef(seed.m1)) a0 a Código do Gráfico observado e estimado > f1 <- function(x){exp(cf2[1]+cf2[2]*x)/ + (1+exp(cf2[1]+cf2[2]*x))} > plot(i(n.sobrev/100)~dist, data=pred.seed, + xlab="dist^ancia da árvore-m~ae", + ylab="proporç~ao sobrevivente") > curve(f1(x),add=t, col="blue")

36 Modelo Binomial: Gráfico previsto 0.4 Proporção sobrevivente Distância da árvore mãe

37 Modelo Binomial: Perfis de log-verossimilhança Log Verossimilhança Negativa Relativa Log Verossimilhança Negativa Relativa a0 a1

38 Modelo binomial: seleção de modelos Modelo sem efeitos: log-verossimilhança negativa > seed.ll0 <- function(a0){ + eta <- exp(a0)/(1+exp(a0)) + -sum(dbinom(pred.seed$n.sobrev, + size=100,p=eta, log=t)) + } Modelo sem efeitos: uma LL mais simples > seed.ll0 <- function(p){ + -sum(dbinom(pred.seed$n.sobrev,size=100, + prob=p, log=t)) + }

39 Modelo binomial: seleção de modelos Ajuste do modelo sem efeito da distância > seed.m0 <- mle2(seed.ll0, + start=list( + p=sum(pred.seed$n.sobrev/2400))) Comparação com AIC > AICtab(seed.m0,seed.m1, base=t) AIC df daic seed.m seed.m

40 Modelos Binomiais: Previstos pelos dois modelos 0.4 Proporção sobrevivente Distância da árvore mãe

41 Descrevem contagens em função de variáveis preditoras contínuas ou discretas.

42 Descrevem contagens em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos:

43 Descrevem contagens em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: contagens com médias baixas

44 Descrevem contagens em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: contagens com médias baixas equivalência entre média e variância

45 Descrevem contagens em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: contagens com médias baixas equivalência entre média e variância s de respostas Poisson:

46 Descrevem contagens em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: contagens com médias baixas equivalência entre média e variância s de respostas Poisson: Número de capturas, avistamentos, registros por unidade de tempo ou espaço

47 Descrevem contagens em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: contagens com médias baixas equivalência entre média e variância s de respostas Poisson: Número de capturas, avistamentos, registros por unidade de tempo ou espaço Taxas de ocorrência de eventos

48 Forma geral: Y P ( λ = e a 0+a 1 X a i X i )

49 Forma geral: Y P ( λ = e a 0+a 1 X a i X i ) Portanto a função de ligação mais usada é a logarítmica: ln(e[y ]) = ln(λ) = a 0 + a 1 X a i X i

50 Forma geral: Y P ( λ = e a 0+a 1 X a i X i ) Portanto a função de ligação mais usada é a logarítmica: ln(e[y ]) = ln(λ) = a 0 + a 1 X a i X i Isso dá propriedades boas ao modelo, incluindo evitar que λ assuma valores negativos na otimização.

51 : um exemplo Capturas de Pyriglena leucoptera em redes de neblina 20 fragmentos de diferentes tamanhos, 500 horas/rede Resposta: número de capturas > head(aves) area ncap

52 Modelo Poisson: Gráfico 8 6 N Capturas Ln área do fragmento (ha)

53 Modelo Poisson: Ajuste no R Função de log-verossimilhança negativa > aves.ll1 <- function(a0,a1){ + eta <- exp(a0+a1*log(aves$area)) + -sum(dpois(aves$ncap,lambda=eta, + log=t)) + }

54 Modelo Poisson: Ajuste no R Valores iniciais: regressão linear dos logarítmos > (cf1 <- coef(lm(log((ncap+0.1))~log(aves$area)))) (Intercept) log(aves$area) Ajuste numérico > aves.m1 <- mle2(aves.ll1,start= + list(a0=cf1[1],a1=cf1[2]))

55 Modelo Poisson: Ajuste no R Coeficientes > (cf3 <- coef(aves.m1)) a0 a Código do Gráfico observado e estimado > f3 <- function(x) exp(cf3[1]+cf3[2]*x) > plot(ncap~log(area), data=aves, + xlab="ln área do fragmento (ha)", + ylab="n de Capturas") > curve(f3(x),add=t, col="blue")

56 Modelo Poisson: Gráfico previsto 0.4 Proporção sobrevivente Distância da árvore mãe

57 Modelo Poisson: Perfis de log-verossimilhança Log Verossimilhança Negativa Relativa Log Verossimilhança Negativa Relativa a0 a1

58 Modelo Poisson: seleção de modelos Modelo sem efeitos: log-verossimilhança negativa > aves.ll0 <- function(a0){ + eta <- exp(a0) + -sum(dpois(aves$ncap, lambda=eta, + log=t)) + }

59 Modelo Poisson: seleção de modelos Ajuste do modelo sem efeito da área > aves.m0 <- mle2(aves.ll0, + start=list( + a0=log(mean(aves$ncap)))) Comparação com AIC > AICtab(aves.m0,aves.m1, base=t) AIC df daic aves.m aves.m

60 : previstos pelos dois modelos 8 6 N de Capturas Ln área do fragmento (ha)

61 IWLS Lógica geral Generalized linear models: exemplo Poisson > aves.glm1 <- glm(ncap~log(area), family=poisson) > coef(aves.glm1) (Intercept) log(area) > coef(aves.m1) a0 a

62 IWLS Lógica geral Iteratively reweighted least squares method

63 IWLS Lógica geral Iteratively reweighted least squares method y 3 y x x

64 IWLS Lógica geral Iteratively reweighted least squares method y 3 y x x

65 Modelo lineares generalizados IWLS Lógica geral IWLS: solução eficiente

66 Modelo lineares generalizados IWLS Lógica geral IWLS: solução eficiente Distribuições da família exponencial:

67 Modelo lineares generalizados IWLS Lógica geral IWLS: solução eficiente Distribuições da família exponencial: Normal

68 Modelo lineares generalizados IWLS Lógica geral IWLS: solução eficiente Distribuições da família exponencial: Normal Binomial

69 Modelo lineares generalizados IWLS Lógica geral IWLS: solução eficiente Distribuições da família exponencial: Normal Binomial Poisson

70 Modelo lineares generalizados IWLS Lógica geral IWLS: solução eficiente Distribuições da família exponencial: Normal Binomial Poisson Gama

71 Modelo lineares generalizados IWLS Lógica geral IWLS: solução eficiente Distribuições da família exponencial: Normal Binomial Poisson Gama Inversa da normal

72 IWLS Lógica geral Modelo lineares generalizados IWLS: solução eficiente Distribuições da família exponencial: Normal Binomial Poisson Gama Inversa da normal Estabelecem uma relação linear entre o valor esperado e a função de ligação. Para a Poisson por exemplo: ln E[Y ] = ln λ = i a i X i 0

73 Modelo lineares generalizados IWLS Lógica geral Função glm no R

74 Modelo lineares generalizados IWLS Lógica geral Função glm no R Generalizações:

75 Modelo lineares generalizados IWLS Lógica geral Função glm no R Generalizações: Quasi-likelihood para dados com sobredispersão

76 Modelo lineares generalizados IWLS Lógica geral Função glm no R Generalizações: Quasi-likelihood para dados com sobredispersão Modelo similar para binomial negativa (função glm.nb)

77 Modelo lineares generalizados IWLS Lógica geral Função glm no R Generalizações: Quasi-likelihood para dados com sobredispersão Modelo similar para binomial negativa (função glm.nb) Modelos lineares generalizados de efeitos mistos

78 Modelo lineares generalizados IWLS Lógica geral Função glm no R Generalizações: Quasi-likelihood para dados com sobredispersão Modelo similar para binomial negativa (função glm.nb) Modelos lineares generalizados de efeitos mistos Modelos lineares generalizados bivariados

79 Modelo lineares generalizados IWLS Lógica geral Função glm no R Generalizações: Quasi-likelihood para dados com sobredispersão Modelo similar para binomial negativa (função glm.nb) Modelos lineares generalizados de efeitos mistos Modelos lineares generalizados bivariados...