Introdução ao Pensamento Bayesiano via pacote LearnBayes e software R

Transcrição

1 Introdução ao Pensamento Bayesiano via pacote LearnBayes e software R Renato Santos da Silva Márcia D Elia Branco Universidade de São Paulo - USP Instituto de Matemática e Estatística - IME 12 de Março de / 40

2 Sumário 1 Introdução 2 Usando a priori discreta Histograma a Priori 3 Previsão Preditiva usando a priori discreta Preditiva usando a priori beta 4 Referências 2 / 40

3 Introdução Sumário 1 Introdução 2 Usando a priori discreta Histograma a Priori 3 Previsão Preditiva usando a priori discreta Preditiva usando a priori beta 4 Referências 3 / 40

4 Introdução Introdução O objetivo desta apresentação é ilustrar os elementos básicos da inferência Bayesiana por meio de um exemplo para a distribuição amostral de uma proporção. Vamos ilustrar o uso de diferentes a priori para a construção da distribuição a posteriori, intervalo de credibilidade e predição. Utilizaremos o pacote LearnBayes do R criado por Jim Albert, pois contém funções utéis na construção a priori e obtenção da distribuição a posteriori. 4 / 40

5 Sumário 1 Introdução 2 Usando a priori discreta Histograma a Priori 3 Previsão Preditiva usando a priori discreta Preditiva usando a priori beta 4 Referências 5 / 40

6 Aprendendo sobre a proporção de evasão dos alunos no curso de Estatística do IME-USP Suponha que uma pessoa está interessada na evasão de alunos universitários durante a graduação em Estatística no IME-USP. A primeira indagação dessa pesquisadora é qual a proporção de estudantes universitários que permanecem pelo menos 8 semestres no curso de Estatística? 6 / 40

7 Aprendendo sobre a proporção de evasão dos alunos no curso de Estatística do IME-USP Considere uma população constituída de todos os estudantes universitários do curso de estatística do IME-USP. Seja p a proporção dessa população que permanecem pelo menos 8 semestres no curso. Uma amostra de 27 alunos é extraida da população, 11 alunos permaceneram pelo menos oito semestres no curso de estatística. Com base na informação a priori e com esses dados observados, a pesquisadora está interessada em estimar a proporção p. 7 / 40

8 Aprendendo sobre a proporção de evasão dos alunos no curso de Estatística do IME-USP Além disso, ela está interessada em prever o número de estudantes que permanecem pelo menos oito semestres em uma nova amostra de 20 alunos. Suponha uma densidade a priori para p denotada por g(p), se considerarmos o "sucesso"como permanecer pelo menos oito semestres no curso e tomamos uma amostra aleatória com s sucessos e f falhas, a função de verossimilhança é dada por L(p) = p s (1 p) f, 0 < p < 1. 8 / 40

9 Aprendendo sobre a proporção de evasão dos alunos no curso de Estatística do IME-USP Além disso, ela está interessada em prever o número de estudantes que permanecem pelo menos oito semestres em uma nova amostra de 20 alunos. Suponha uma densidade a priori para p denotada por g(p), se considerarmos o "sucesso"como permanecer pelo menos oito semestres no curso e tomamos uma amostra aleatória com s sucessos e f falhas, a função de verossimilhança é dada por L(p) = p s (1 p) f, 0 < p < 1. 8 / 40

10 Aprendendo sobre a proporção de evasão dos alunos no curso de Estatística do IME-USP A densidade a posteriori para p, pela regra de Bayes é proporcional ao produto da densidade a priori pela verossimilhança. g(p dados) g(p)l(p) Mostraremos a seguir o cálculo da distribuição a posteriori utilizando três escolhas diferentes da distribuição a priori. 9 / 40

11 Usando a priori discreta Usando a priori discreta Uma abordagem simples para escolha a priori para p é escrever uma lista plausível de valores para proporção e depois atribuir pesos a estes valores. No nosso exemplo, a pesquisadora escolheu as seguintes proporções 0.05, 0.15, 0.25, 0.35, 0.45, 0.55, 0.65, 0.75, 0.85, 0.95 com os respectivos pesos 2, 4, 8, 8, 4, 2, 1, 1, 1, 1 10 / 40

12 Usando a priori discreta Usando a priori discreta Usando o R temos > p = seq(0.05, 0.95, by = 0.1) > prior = c(2, 4, 8, 8, 4, 2, 1, 1, 1, 1) > prior = prior/sum(prior) > plot(p, prior, type = "h", ylab="probabilidade priori") Figura 1: Distribuição a priori discreta para proporção p. 11 / 40

13 Usando a priori discreta Usando a priori discreta No exemplo, 11 alunos permaceneram pelo menos oito semestres no curso de estatística, ou seja, s = 11 e f = 16, a função de verssosimilhança é dada por: L(p) = p 11 (1 p) 16, 0 < p < 1. Usando a função pdisc do pacote LearnBayes computamos a probabilidade posteriori > pdisc function(p, prior, data) {s = data[1] f = data[2] p1 = p (p == 0) 0.5 (p == 1) like = s log(p1) + f log(1 p1) like = like (p > 0) (p < 1) 999 ((p == 0) (s > 0) + (p == 1) (f > 0)) like = exp(like max(like)) product = like prior post = product/sum(product) return(post) } 12 / 40

14 Usando a priori discreta Usando a priori discreta > data = c(11, 16) > post = pdisc(p, prior, data) > cbind(p, prior, post) p prior post e e e e e e e e e e-15 > plot(p, post, type = "h", ylab="probabilidade Posteriori") 13 / 40

15 Usando a priori discreta Usando a priori discreta Figura 2: Distribuição a posteriori para uma proporção p usando uma priori discreta. 14 / 40

16 Uma vez que a proporção é um parâmetro contínuo, uma abordagem alternativa consiste em construir uma densidade g(p) no intervalo (0, 1) Suponha que a pesquisadora acredita que a proporção é a mesma probabilidade de ser menor ou maior do que p = 0.3. Além disso, ela é 90% confiante de que p é inferior a 0, 5. Uma família conveniente de densidades para uma proporção é a distribuição beta, ou seja. g(p) p a 1 (1 p) b 1, 0 < p < 1 Com a e b sendo parâmetros da distribuição beta(a,b). 15 / 40

17 Aqui, a pesquisadora acredita que a mediana e o percentil 90% são dados, respectivamente, por 0, 3 e 0, 5, então usando uma aproximação razoável do valor da mediana da distribuição beta, para a e b maiores ou iguais a 1, obtemos: Md(x) a 1/3 a + b 2/3 para a, b 1. Uma solução que satisfaz as duas condições é a = 3.4 e b = 7.4, pois qbeta(0.9,a=3.4,b=7.4) / 40

18 A combinação da priori beta com a função de verossimilhança, pode-se mostrar que a densidade a posteriori também é uma distribuição beta com os parâmetros atualizados a + s e b + f. Usando o R temos g(p dados) p a+s 1 (1 p) b+f 1, 0 < p < 1 17 / 40

19 > p = seq(0, 1, length = 500) > a = 3.4 > b = 7.4 > s = 11 > f = 16 > prior=dbeta(p,a,b) > like=dbeta(p,s+1,f+1) > post=dbeta(p,a+s,b+f) > plot(p,post,type="l",ylab="densidade",lty=2,lwd=3) > lines(p,like,lty=1,lwd=3) > lines(p,prior,lty=3,lwd=3) > legend(.7,4,c("priori","veross.", +"Post."), lty=c(3,1,2),lwd=c(3,3,3)) 18 / 40

20 Figura 3: A densidade a priori g(p), A função de verossimilhança L(p), E a densidade posteriori g(p dados). 19 / 40

21 É provável que a proporção de alunos que permanecem pelo menos 8 semestres no curso de estatística é maior que 0, 5? > 1 - pbeta(0.5, a + s, b + f) Uma estimativa do intervalo de credibilidade de 90% para p é obtido pelos percentis 5 e 95 da densidade a posteriori de beta. > qbeta(c(0.05, 0.95), a + s, b + f ) / 40

22 Um método alternativo para a densidade a posteriori é com base na simulação > ps = rbeta(1000, a + s, b + f ) > hist(ps, xlab = p, main =) > sum(ps >= 0.5)/ > quantile(ps, c(0.05, 0.95)) 5% 95% / 40

23 Figura 4: Uma amostra simulada para p a partir da distribuição a posteriori da beta. 22 / 40

24 Histograma a Priori Histograma a Priori É um método conhecido como força bruta, com os seguintes passos Escolha uma grade de valores de p ao longo de um intervalo que cobre a densidade posteriori. Calcula-se o produto da verossimilhança L(p) e a priori g(p). Normaliza-se dividindo cada produto pela soma dos produtos. Neste passo, estamos aproximando a densidade posteriori por uma distribuição de probabilidade discreta. Usando o comando sample no R, obtemos uma amostra aleatória e substituimos na distribuição discreta. O resultado simulado chama-se uma amostra aproximada da distribuição a posteriori. 23 / 40

25 Histograma a Priori Histograma a Priori A função histprior no pacote LearnBayes ajuda na construção da amostra aproximada da distribuição a posteriori function (p, midpts, prob) { binwidth = midpts[2] - midpts[1] lo = round(10000 * (midpts - binwidth/2))/10000 val = 0 * p for (i in 1:length(p)) { val[i] = prob[sum(p[i] >= lo)] } return(val) } 24 / 40

26 Histograma a Priori Histograma a Priori Usando o R obtemos: > midpt = seq(0.05, 0.95, by = 0.1) > prior = c(2, 4, 8, 8, 4, 2, 1, 1, 1, 1) > prior = prior/sum(prior) > p = seq(0, 1, length = 500) > plot(p,histprior(p,midpt,prior),type="l", ylab="densidade priori",ylim=c(0,.25)) 25 / 40

27 Histograma a Priori Histograma a Priori Figura 5: Histograma a priori para uma proporção p. 26 / 40

28 Histograma a Priori Histograma a Priori A densidade a posteriori é obtida por: > like = dbeta(p, s + 1, f + 1) > post = like * histprior(p, midpt, prior) > plot(p, post, type = "l",ylab="densidade Posteriori") Figura 6: A densidade a posteriori para p utilizando um histograma a priori. 27 / 40

29 Histograma a Priori Figura 7: Histograma simulado para a distribuição a posteriori de p com a utilização de um histograma a priori. 28 / 40 Histograma a Priori Para obtermos uma amostra simulada da densidade a posteriori, façamos: > post = post/sum(post) > ps = sample(p, replace = TRUE, prob = post) > hist(ps, xlab="p")

30 Previsão Sumário 1 Introdução 2 Usando a priori discreta Histograma a Priori 3 Previsão Preditiva usando a priori discreta Preditiva usando a priori beta 4 Referências 29 / 40

31 Previsão Previsão Como mencionado anteriormente a intenção da pesquisadora é prever o número de estudantes que permanecem pelo menos oito semestres em uma nova amostra de 20 alunos, então a densidade preditiva para ỹ é dada por f (ỹ y) = f (ỹ p)g(p y)dp. Ilustraremos o cálculo da densidade preditiva utilizando a priori discreta e a priori beta. 30 / 40

32 Previsão Preditiva usando a priori discreta Preditiva usando a priori discreta Suponha a priori discreta onde {p i } representa os valores possiveis da proporção com a respectiva probabilidade {g(p i y)}. Seja f B (y n, p) a densidade da amostra binomial de tamanho n e proporção p: ( ) n f B (y n, p) = p y (1 p) n y, y = 0,..., n. y Então a função preditiva de ỹ sucessos no futuro em uma amostra de tamanho m é dado por: f (ỹ y) = f B (ỹ m, p i )g(p i y). 31 / 40

33 Previsão Preditiva usando a priori discreta Preditiva usando a priori discreta A função pdiscp no pacote LearnBayes pode ser usada para calcular as probabilidades de previsão quando p é dada por uma distribuição discreta. > pdiscp function(p, probs, n, s) { pred = 0 s for(i in 1 : length(p)){ pred = pred + probs[i] dbinom(s, n, p[i]) } return(pred) } 32 / 40

34 Previsão Preditiva usando a priori discreta Preditiva usando a priori discreta Usando o R e a função pdiscp obtemos: > p = seq(0.05, 0.95, by =.1) > prior = c(2, 4, 8, 8, 4, 2, 1, 1, 1, 1) > prior = prior/sum(prior) > m = 20; ys = 0 : 20 > pred = pdiscp(p, prior, m, ys) > cbind(0 : 20, pred) pred / 40

35 Previsão Preditiva usando a priori beta Preditiva usando a priori beta Vamos modelar nossa priori para p utilizando uma beta(a, b). Neste caso, podemos analiticamente obter uma expressão de forma fechada para a densidade preditiva. f (ỹ y) = f B (ỹ m, p)g(p y)dp. = ( ) m B(a + ỹ, b + m ỹ), ỹ = 0,..., m. ỹ B(a, b) 34 / 40

36 Previsão Preditiva usando a priori beta Preditiva usando a priori beta A função pbetap no pacote LearnBayes serve para obter a probabilidade preditiva quando a priori é beta. > pbetap function(ab, n, s) { pred = 0 s a = ab[1] b = ab[2] lcon = lgamma(n + 1) lgamma(s + 1) lgamma(n s + 1) pred = exp(lcon + lbeta(s + a, n s + b) lbeta(a, b)) return(pred)} 35 / 40

37 Previsão Preditiva usando a priori beta Preditiva usando a priori discreta Usando o R e a função pbetap obtemos: > ab=c(3.4, 7.4) > m=20; ys=0:20 > pred=pbetap(ab, m, ys) > pred e e e e e e e e-01 [9] e e e e e e e e-03 [17] e e e e e-05 Simulando 1000 pontos da beta(a = 3.4, b = 7.4) obtemos: > p=rbeta(1000,3.4, 7.4) > y = rbinom(1000, 20, p) > table(y) y > freq=table(y) > ys=c(0:max(y)) > predprob=freq/sum(freq) > plot(ys,predprob,type="h",xlab="y", ylab="probabilidade preditiva") 36 / 40

38 Previsão Preditiva usando a priori beta Preditiva usando a priori beta Figura 8: Probabilidades de previsão de ỹ em uma amostra de tamanho 20, quando p é atribuído a priori beta(3.4, 7.4). 37 / 40

39 Previsão Preditiva usando a priori beta Preditiva usando a priori beta Suponha que queremos resumir esta distribuição preditiva em um intervalo que cobre pelo menos 90% da probabilidade. A função discint no LearnBayes é útil para este fim. > dist = cbind(ys, predprob) > dist yspredprob > covprob =.9 > discint(dist, covprob) $prob $set / 40

40 Referências Sumário 1 Introdução 2 Usando a priori discreta Histograma a Priori 3 Previsão Preditiva usando a priori discreta Preditiva usando a priori beta 4 Referências 39 / 40

41 Referências Referências [1] Albert, J. (2007). Bayesian computation with R. Springer. 40 / 40