Modelos Binomial e Poisson

Transcrição

1 Objetivos Motivação BIE Pós-Graduação em Ecologia USP Setembro de 2016

2 Objetivos Motivação Objetivo da Aula Os objetivos dessa aula são:

3 Objetivos Motivação Objetivo da Aula Os objetivos dessa aula são: 1 Generalizar os modelos estatísticos para incluir covariáveis;

4 Objetivos Motivação Objetivo da Aula Os objetivos dessa aula são: 1 Generalizar os modelos estatísticos para incluir covariáveis; 2 Exemplificar essas generalização com modelos Poisson e binomial;

5 Objetivos Motivação Objetivo da Aula Os objetivos dessa aula são: 1 Generalizar os modelos estatísticos para incluir covariáveis; 2 Exemplificar essas generalização com modelos Poisson e binomial; 3 Mostrar os comandos básicos no R para ajustar e avaliar esses modelos;

6 Objetivos Motivação Objetivo da Aula Os objetivos dessa aula são: 1 Generalizar os modelos estatísticos para incluir covariáveis; 2 Exemplificar essas generalização com modelos Poisson e binomial; 3 Mostrar os comandos básicos no R para ajustar e avaliar esses modelos; 4 Mostrar que alguns deles pertencem à classe dos modelos lineares generalizados (glms);

7 Objetivos Motivação Objetivo da Aula Os objetivos dessa aula são: 1 Generalizar os modelos estatísticos para incluir covariáveis; 2 Exemplificar essas generalização com modelos Poisson e binomial; 3 Mostrar os comandos básicos no R para ajustar e avaliar esses modelos; 4 Mostrar que alguns deles pertencem à classe dos modelos lineares generalizados (glms); 5 Apresentar ajuste de glms no R.

8 Objetivos Motivação Onde estamos Até agora vimos:

9 Objetivos Motivação Onde estamos Até agora vimos: Modelos de várias distribuições com parâmetros constantes: Y N (µ = a 0, σ = b 0 ) Y P(λ = a 0 )

10 Objetivos Motivação Para onde vamos Hoje veremos modelos de distribuições não Gaussianas com covariáveis: Modelos Binomiais: Y Bin(N = n, p = g(x i ))

11 Objetivos Motivação Para onde vamos Hoje veremos modelos de distribuições não Gaussianas com covariáveis: Modelos Binomiais: : Y Bin(N = n, p = g(x i )) Y P(λ = g(x i ))

12 Objetivos Motivação Ou seja Uma expressão geral para modelos estatísticos Y f (Y Θ = g(x i ))

13 Objetivos Motivação Ou seja Uma expressão geral para modelos estatísticos Y f (Y Θ = g(x i )) Em palavras Y é uma variável aleatória, cujos valores tem probabilidades definidas pela função de densidade f (Y ), cujos parâmetros Θ são uma função qualquer g de covariáveis X i.

14 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas.

15 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos:

16 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!)

17 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções

18 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções s de respostas binomiais:

19 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções s de respostas binomiais: Presença de alguma espécie em manchas, fragmentos, sítios;

20 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções s de respostas binomiais: Presença de alguma espécie em manchas, fragmentos, sítios; Ocorrência de morte, doença ou qualquer outro evento por indivíduo

21 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções s de respostas binomiais: Presença de alguma espécie em manchas, fragmentos, sítios; Ocorrência de morte, doença ou qualquer outro evento por indivíduo Proporção de frutos parasitados

22 Modelos Binomiais Descrevem número de ocorrência de uma variável binária em um certo número de tentativas, em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: Respostas binárias (regressão logística!) Proporções s de respostas binomiais: Presença de alguma espécie em manchas, fragmentos, sítios; Ocorrência de morte, doença ou qualquer outro evento por indivíduo Proporção de frutos parasitados Experimentos de dose-resposta

23 : um exemplo Sobrevivência de sementes colocadas as diferentes distâncias da árvore-mãe 8 distâncias, 3 réplicas de 100 sementes Resposta: número de sobreviventes após 60 dias: > head(pred.seed) distancia n.sobrev

24 : um exemplo 0.35 Proporção sobrevivente Distância da árvore mãe

25 Modelo Binomial: Função Logística Nosso modelo é: Y Bin(N = 100, p = g(distância))

26 Modelo Binomial: Função Logística Nosso modelo é: Y Bin(N = 100, p = g(distância)) Que função usar para o efeito da distância sobre p?

27 Modelo Binomial: Função Logística Nosso modelo é: Y Bin(N = 100, p = g(distância)) Que função usar para o efeito da distância sobre p? Uma função sigmóide limitada entre zero e um, como: p = ea 0+a 1 dist 1 + e a 0+a 1 dist

28 Modelo Binomial: Função Logística Nosso modelo é: Y Bin(N = 100, p = g(distância)) Que função usar para o efeito da distância sobre p? Uma função sigmóide limitada entre zero e um, como: o que implica em p = ( ) p ln 1 p ea 0+a 1 dist 1 + e a 0+a 1 dist = a 0 + a 1 dist

29 Modelo Binomial: Funções logística e logit p = ea+bx Y = ln 1+e a+bx ( p 1 p ) Logística(X) Logit(p) X X

30 Modelo Binomial: Ajuste no R Função auxiliar: logística > logistica <- function(x, a0, a1){ + exp(a0 + a1*x) / (1 + exp(a0 + a1*x)) + } Função de log-verossimilhança negativa > seed.ll1 <- function(a0, a1){ + -sum(dbinom(pred.seed$n.sobrev, + size = 100, + p = logistica(x=pred.seed$distancia, + a0=a0, a1=a1), log= T)) + }

31 Modelo Binomial: Ajuste no R Valores iniciais: regressão linear dos logitos > p1 <- pred.seed$n.sobrev/100 > logito1 <- log( p1 / (1-p1) ) > (cf1 <- coef( lm(logito1~pred.seed$distancia) )) Ajuste numérico (Intercept) pred.seed$distancia > seed.m1 <- mle2(seed.ll1, + start=list(a0=cf1[1], a1=cf1[2]) )

32 Modelo Binomial: Ajuste no R Coeficientes > (cf2 <- coef(seed.m1)) a0 a Código do Gráfico observado e estimado > plot(i(n.sobrev/100)~dist, data=pred.seed, + xlab="dist^ancia da árvore-m~ae", + ylab="proporç~ao sobrevivente") > curve(logistica(x, a0 = cf2[1], a1 = cf2[2]), + add=t, col="blue")

33 Modelo Binomial: Gráfico previsto 0.35 Proporção sobrevivente Distância da árvore mãe

34 Modelo Binomial: Perfis de log-verossimilhança 7 Negative relative log likelihood Negative relative log likelihood a0 a1

35 Modelo Binomial: incerteza das estimativas Intervalo de plausibilidade > seed.m1.prf <- profile(seed.m1) > likelregions( seed.m1.prf ) Likelihood regions for ratio = a0: lower upper [1,] a1: lower upper [1,]

36 Modelo Binomial: incerteza das estimativas Intervalo de confiança > confint( seed.m1.prf ) 2.5 % 97.5 % a a

37 Modelo binomial: seleção de modelos Modelo sem efeitos: log-verossimilhança negativa > seed.ll0 <- function(a0){ + eta <- exp(a0)/(1+exp(a0)) + -sum(dbinom(pred.seed$n.sobrev, + size=100, p=eta, log=t)) + } Modelo sem efeitos: uma LL mais simples > seed.ll0 <- function(p){ + -sum(dbinom(pred.seed$n.sobrev,size=100, + prob=p, log=t)) + }

38 Modelo binomial: seleção de modelos Ajuste do modelo sem efeito da distância > seed.m0 <- mle2(seed.ll0, + start=list( + p=sum(pred.seed$n.sobrev/2400)) + ) Comparação com AIC (pacote bbmle) > AICtab(seed.m0, seed.m1, base=t) AIC daic df seed.m seed.m

39 Modelos Binomiais: Previstos pelos dois modelos 0.35 Proporção sobrevivente Distância da árvore mãe

40 Descrevem contagens de eventos independentes em função de variáveis preditoras contínuas ou discretas.

41 Descrevem contagens de eventos independentes em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos:

42 Descrevem contagens de eventos independentes em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: contagens com médias baixas

43 Descrevem contagens de eventos independentes em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: contagens com médias baixas contagens com variância igual à média

44 Descrevem contagens de eventos independentes em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: contagens com médias baixas contagens com variância igual à média s de respostas Poisson:

45 Descrevem contagens de eventos independentes em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: contagens com médias baixas contagens com variância igual à média s de respostas Poisson: Número de capturas, avistamentos, registros por unidade de tempo ou espaço

46 Descrevem contagens de eventos independentes em função de variáveis preditoras contínuas ou discretas. Úteis principalmente quando temos: contagens com médias baixas contagens com variância igual à média s de respostas Poisson: Número de capturas, avistamentos, registros por unidade de tempo ou espaço Taxas de ocorrência de eventos (e.g. fotos/hora, células/área)

47 : um exemplo Capturas de Pyriglena leucoptera em redes de neblina 20 fragmentos de diferentes tamanhos, 500 horas/rede Resposta: número de capturas > head(aves) area ncap

48 Modelo Poisson: Gráfico 8 6 N Capturas Ln área do fragmento (ha)

49 Nosso modelo é: Y P(λ = g(log(área))

50 Nosso modelo é: Y P(λ = g(log(área)) Que função usar para o efeito do log da área sobre λ?

51 Nosso modelo é: Y P(λ = g(log(área)) Que função usar para o efeito do log da área sobre λ? Uma função monotônica positiva como a exponencial: λ = e a 0+a 1 log(área)

52 Nosso modelo é: Y P(λ = g(log(área)) Que função usar para o efeito do log da área sobre λ? Uma função monotônica positiva como a exponencial: λ = e a 0+a 1 log(área) O que implica em ln(λ) = a 0 + a 1 log(área)

53 Modelo Poisson: Ajuste no R Função de log-verossimilhança negativa > aves.ll1 <- function(a0, a1) { + eta <- exp( a0 + a1*log(aves$area) ) + -sum( dpois(aves$ncap, lambda = eta, log = T) ) + }

54 Modelo Poisson: Ajuste no R Valores iniciais: regressão linear dos logarítmos > pm1 <- lm(log(ncap+0.1)~log(aves$area)) > ( cf1 <- coef(pm1) ) (Intercept) log(aves$area) Ajuste numérico > aves.m1 <- mle2(aves.ll1, start= + list(a0 = cf1[1], a1 = cf1[2]) )

55 Modelo Poisson: Ajuste no R Coeficientes > ( cf3 <- coef(aves.m1) ) a0 a Código do Gráfico observado e estimado > f3 <- function(x) exp(cf3[1]+cf3[2]*x) > plot(ncap~log(area), data = aves, + xlab = "Ln área do fragmento (ha)", + ylab = "N de Capturas") > curve(f3(x), add = T, col = "blue")

56 Modelo Poisson: Gráfico previsto 8 6 N de Capturas Ln área do fragmento (ha)

57 Modelo Poisson: Perfis de log-verossimilhança Negative relative log likelihood Negative relative log likelihood a0 a1

58 Poisson: incerteza das estimativas Intervalo de plausibilidade > aves.m1.prf <- profile(aves.m1) > likelregions( aves.m1.prf ) Likelihood regions for ratio = a0: lower upper [1,] a1: lower upper [1,]

59 Poisson: incerteza das estimativas Intervalo de confiança > confint( aves.m1.prf ) 2.5 % 97.5 % a a

60 Modelo Poisson: seleção de modelos Modelo sem efeitos: log-verossimilhança negativa > aves.ll0 <- function(a0){ + eta <- exp(a0) + -sum(dpois(aves$ncap, lambda=eta, log=t)) + }

61 Modelo Poisson: seleção de modelos Ajuste do modelo sem efeito da área > aves.m0 <- mle2(aves.ll0, + start=list( + a0=log(mean(aves$ncap)))) Comparação com AIC > AICtab(aves.m0,aves.m1, base=t) AIC daic df aves.m aves.m

62 : previstos pelos dois modelos 8 6 N de Capturas Ln área do fragmento (ha)

63 no R Definição Generalized linear models: exemplo Poisson Função glm no R > aves.glm1 <- glm(ncap~log(area), family=poisson) > coef(aves.glm1) (Intercept) log(area) > coef(aves.m1) a0 a

64 no R Definição Generalized linear models: exemplo Poisson Função glm no R > loglik(aves.glm1) 'log Lik.' (df=2) > loglik(aves.m1) 'log Lik.' (df=2)

65 no R Definição : gráficos diagnósticos Residuals Residuals vs Fitted Predicted values Std. deviance resid Normal Q Q Theoretical Quantiles Std. deviance resid Scale Location Predicted values 17 Std. Pearson resid Residuals vs Leverage 3 Cook's distance Leverage

66 no R Definição Modelo lineares generalizados (glm) Generalizam a lógica da regressão linear gaussiana para algumas outras distribuições;

67 no R Definição Modelo lineares generalizados (glm) Generalizam a lógica da regressão linear gaussiana para algumas outras distribuições; Preservam várias propriedades dos modelos lineares gaussianos;

68 no R Definição Modelo lineares generalizados (glm) Generalizam a lógica da regressão linear gaussiana para algumas outras distribuições; Preservam várias propriedades dos modelos lineares gaussianos; Abrangem vários modelos sob um conjunto único de soluções anaĺıticas e de propriedades matemáticas.

69 no R Definição Modelo lineares generalizados (glm) Generalizam a lógica da regressão linear gaussiana para algumas outras distribuições; Preservam várias propriedades dos modelos lineares gaussianos; Abrangem vários modelos sob um conjunto único de soluções anaĺıticas e de propriedades matemáticas. a.k.a uma teoria unificada.

70 no R Definição Modelo lineares generalizados (glm) Generalizam a lógica da regressão linear gaussiana para algumas outras distribuições; Preservam várias propriedades dos modelos lineares gaussianos; Abrangem vários modelos sob um conjunto único de soluções anaĺıticas e de propriedades matemáticas. a.k.a uma teoria unificada. Definiu a sintaxe de modelos do R e de várias outras linguagens computacionais.

71 no R Definição Modelos lineares generalizados (glm)

72 no R Definição A família exponencial de distribuições 1 Distribuições que podem ser expressas por { } yθ f (Θ) y exp + h(y, φ) g(φ) 1 Não é o mesmo que distribuição exponencial

73 no R Definição A família exponencial de distribuições 1 Distribuições que podem ser expressas por { } yθ f (Θ) y exp + h(y, φ) g(φ) como: 1 Não é o mesmo que distribuição exponencial

74 no R Definição A família exponencial de distribuições 1 Distribuições que podem ser expressas por { } yθ f (Θ) y exp + h(y, φ) g(φ) como: Gaussiana 1 Não é o mesmo que distribuição exponencial

75 no R Definição A família exponencial de distribuições 1 Distribuições que podem ser expressas por { } yθ f (Θ) y exp + h(y, φ) g(φ) como: Gaussiana Binomial 1 Não é o mesmo que distribuição exponencial

76 no R Definição A família exponencial de distribuições 1 Distribuições que podem ser expressas por { } yθ f (Θ) y exp + h(y, φ) g(φ) como: Gaussiana Binomial Poisson 1 Não é o mesmo que distribuição exponencial

77 no R Definição A família exponencial de distribuições 1 Distribuições que podem ser expressas por { } yθ f (Θ) y exp + h(y, φ) g(φ) como: Gaussiana Binomial Poisson Gama 1 Não é o mesmo que distribuição exponencial

78 no R Definição A família exponencial de distribuições 1 Distribuições que podem ser expressas por { } yθ f (Θ) y exp + h(y, φ) g(φ) como: Gaussiana Binomial Poisson Gama Inversa da normal 1 Não é o mesmo que distribuição exponencial

79 no R Definição A família exponencial de distribuições - A distribuição Poisson f (y) = e λ λ y y!

80 no R Definição A família exponencial de distribuições - A distribuição Poisson f (y) = e λ λ y y! Pertence à família exponencial porque pode ser expressa como { } yθ f (Θ) exp + h(y, φ) g(φ)

81 no R Definição A família exponencial de distribuições - A distribuição Poisson f (y) = e λ λ y y! Pertence à família exponencial porque pode ser expressa como { } yθ f (Θ) exp + h(y, φ) g(φ) onde Θ = ln(λ) f (Θ) = e λ g(φ) = 1 h(y, Θ) = ln(y!)

82 no R Definição A função de ligação Os glms são têm este nome porque generalizam a ideia de estabelecer uma relação do valor esperado com uma combinação linear de covariáveis: η(e[y ]) = a 0 + a 1 X a i X i = i a i X i 0

83 no R Definição A função de ligação Os glms são têm este nome porque generalizam a ideia de estabelecer uma relação do valor esperado com uma combinação linear de covariáveis: η(e[y ]) = a 0 + a 1 X a i X i = i a i X i 0 A função η estabelece esta relação. Ela é chamada função de ligação.

84 no R Definição A função de ligação Os glms são têm este nome porque generalizam a ideia de estabelecer uma relação do valor esperado com uma combinação linear de covariáveis: η(e[y ]) = a 0 + a 1 X a i X i = i a i X i 0 A função η estabelece esta relação. Ela é chamada função de ligação. Quando a função de ligação corresponde ao parâmetro Θ da família exponencial ela é chamada função de ligação canônica. Funções de ligação canônicas dão várias propriedades estatísticas importantes aos modelos.

85 no R Definição s de funções de ligação canônicas Função log para a Poisson: ln E[Y ] = ln λ = i a i X i 0

86 no R Definição s de funções de ligação canônicas Função log para a Poisson: ln E[Y ] = ln λ = i a i X i 0 Função logito para a binomial: ( ) E[Y ] ln n E[Y ] ( ) p = ln 1 p = i a i X i 0

87 no R Definição s de funções de ligação canônicas Função log para a Poisson: ln E[Y ] = ln λ = i a i X i 0 Função logito para a binomial: ( ) E[Y ] ln n E[Y ] ( ) p = ln 1 p = i a i X i 0 Função identidade para a normal E[Y ] = i a i X i 0

88 no R Definição Iteratively reweighted least squares method y 3 y x x

89 no R Definição Iteratively reweighted least squares method x y x y

90 no R Definição Modelo lineares generalizados Função glm no R

91 no R Definição Modelo lineares generalizados Função glm no R Generalizações:

92 no R Definição Modelo lineares generalizados Função glm no R Generalizações: Quasi-likelihood para dados com sobredispersão

93 no R Definição Modelo lineares generalizados Função glm no R Generalizações: Quasi-likelihood para dados com sobredispersão Modelo similar para binomial negativa (função glm.nb)

94 no R Definição Modelo lineares generalizados Função glm no R Generalizações: Quasi-likelihood para dados com sobredispersão Modelo similar para binomial negativa (função glm.nb) Modelos lineares generalizados de efeitos mistos

95 no R Definição Modelo lineares generalizados Função glm no R Generalizações: Quasi-likelihood para dados com sobredispersão Modelo similar para binomial negativa (função glm.nb) Modelos lineares generalizados de efeitos mistos Modelos lineares generalizados bivariados

96 no R Definição Modelo lineares generalizados Função glm no R Generalizações: Quasi-likelihood para dados com sobredispersão Modelo similar para binomial negativa (função glm.nb) Modelos lineares generalizados de efeitos mistos Modelos lineares generalizados bivariados...

97 no R Definição Para saber mais Bolker, B.M Ecological Models and Data in R Princeton: Princeton University Press, caps 6 e 9. Crawley, M.J The R Book. (caps.13,14 e 16) Dobson, A.J An Introduction to Generalized Linear Models. London: Chapman and Hall. McCullagh P. & Nelder, J.A Generalized Linear Models. London: Chapman and Hall. Rodríguez, G Lecture Notes on Generalized Linear Models.