Introdução a Inferência Bayesiana

Transcrição

1 Introdução a Inferência Bayesiana Helio S. Migon IM and COPPE - UFRJ migon@im.ufrj.br 2006 Conteúdo 1. Conceitos Básicos da Inferência 2. Distribuição a Priori 3. Sumariazação 4. Inferência Preditiva 1

2 1 - CONCEITOS BÁSICOS DA INFERÊNCIA 1.1. Introdução Informação Objetivo é sempre máximar a informação para reduzir incerteza Toda a informação de que dispomos é útil e deve ser aproveitada Duas visões da Estatística: Bayesiano e clássico 2

3 Exemplo: Considere os seguintes experimentos i) Um músico especialista em música clássica: escolhidos ao acaso 10 trechos de partituras desses autores, o músico acerta o autor dos 10; ii) Um bêbado: Feitos 10 lançamentos da moeda o bêbado acerta os 10 resultados; iii) Uma velhinha inglesa apreciadora de chá: De 10 xícaras enchidas com leite e chá sem nenhuma ordem específica, ela acerta os 10 resultados. A informação obtida nos 3 experimentos é a mesma Acreditamos mais na afirmação do músico que a da velhinha e, certamente, mais que a do bêbado 3

4 O conceito de probabilidade Subjetiva A probabilidade de um evento A mede do grau de confiança em A Seja o evento A = está chovendo em Moscou i) Uma pessoa do Rio que não conhece nada sobre o clima de Moscou poderia ter P (A H 1 ) = 0, 5 ii) Uma pessoa em Leningrado poderíamos ter: 0, 8, se chove em Leningrado P (A H 2 ) = 0, 2, caso contrário iii) Já para uma pessoa em Moscou: 1, se chove P (A H 3 ) = 0, caso contrário 4

5 Construção subjetiva de probabilidade Perdas quadráticas (de Finetti, 1975) A probabilidade p que atribuo a A é obtida através da minimização da perda quadrática (p 1) 2, se E = 1 (p E) 2 = p 2, se E = 0 É possível obter as propriedades básicas de probabilidade. i) p [ 0, 1 ] ii) P (Ē) = 1 P (E) As perdas possíveis associadas às especificações de P (E) = p e P (Ē) = q são: E=1: (p 1) 2 + q 2 E=0: p 2 + (q 1) 2 5

6 Figure 1: As perdas são dadas por AC 2 quando E = 1 e BC 2 quando E = 0 iii) P (E F ) = P (E F )P (F ) Defina-se P (E F ) como a probabilidade de E se F=1. Chamando essa probabilidade de p, P (F ) de q e P (E F ) de r, temos como perda total dessas especificações (p E) 2 F + (q F ) 2 + (r EF ) 2 com valores: E=F=1 : (p 1) 2 + (q 1) 2 + (r 1) 2 E=0, F=1 : p 2 + (q 1) 2 + r 2 F=0 : q 2 + r 2 6

7 1.2 - Elementos de Inferência Teorema de Bayes Quantidade de interesse desconhecida θ com valores em Θ Informação inicial sumarizada por p(θ H), onde H história Dados: observação de uma quantidade aleatória X relacionada com θ A distribuição amostral de X dada por p(x θ, H) 7

8 A questão é como passar de p(θ H) para p(θ x, H) p(θ x, H) = p(θ, x H) p(x H) = p(x θ, H) p(θ H) p(x H) onde p(x H) = p(x, θ H) dθ. Θ p(θ x) p(x θ) p(θ) A constante da fórmula será k 1 = Θ p(x θ)p(θ) dθ = E θ [p(x θ)] 8

9 Função de verossimilhança A função de verossimilhança de θ é l( ; x) : Θ R + θ l(θ ; x) = p(x θ) i) R p(x θ) dx = 1 mas Θ l(θ ; x) dθ = k 1, em geral. ii) A função de verossimilhança conecta a priori à posteriori usando para isso os dados do experimento. Exemplo: X Binomial(2,θ) p(x θ) = l(θ; x) = Note que: ( ) 2 θ x (1 θ) 2 x, x = 0, 1, 2 ; θ Θ = (0, 1) x a) se x=1 então l(θ ; x = 1) = 2θ(1 θ) e o valor mais provável (ou verossímil) de θ é 1/2. b) se x=2 então l(θ ; x = 2) = θ 2, valor mais provável é 1. c) se x=0 então l(θ ; x = 0) = (1 θ) 2, valor mais provável é 0. 9

10 Essas verossimilhanças estão plotadas na figura 2.1. Figure 2: Função de verossimilhança para diferentes valores de x. 10

11 Exemplo João vai ao médico e este desconfia da doença A. Toma várias providências: examina João, observa os sintomas e faz exames de rotina. Seja θ o indicador da doença A em João O médico assume que P (θ = 1 H) = 0, 7 Exame de laboratório X do tipo +/- relacionado com θ P (X = 1 θ = 0) = 0, 40, P (X = 1 θ = 1) = 0, 95, João faz o teste e o resultado é X=1 P (θ = 1 X = 1) l(θ = 1 ; X = 1)P (θ = 1) (0, 95)(0, 7) = 0, 665 P (θ = 0 X = 1) (0, 40)(0, 30) = 0,

12 P (θ = 1 X = 1) = 0, 665/0, 785 = 0, 847 e P (θ = 0 X = 1) = 0, 120/0, 785 = 0, 153 Médico pede a João teste Y, também, do tipo +/- P (Y = 1 θ = 1) = 0, 99 P (Y = 1 θ = 0) = 0, 04 Usando a priori p(θ x) p(y x) = θ Θ p(y θ) p(θ x) e portanto, P (Y = 1 X = 1) = P (Y = 1 θ = 1)P (θ = 1 X = 1) + +P (Y = 1 θ = 0)P (θ = 0 X = 1) = (0, 99)(0, 847) + (0, 04)(0, 153) = 0, 845 e P (Y = 0 X = 1) = 1 P (Y = 1 X = 1) = 0, 155 João faz o teste Y e observa-se Y=0 Agora 12

13 P (θ = 1 X = 1, Y = 0) l(θ = 1 ; Y = 0)P (θ = 1 X = 1) (0, 01)(0, 847) =. 0, 0085 P (θ = 0 X = 1, Y = 0) (0, 96)(0, 155) = 0, 1466 ou P (θ = 1 Y = 0, X = 1) = 0, 0085/0, 1551 = 0, 055 P (θ = 0 Y = 0, X = 1) = 0, 1466/0, 1551 = 0, 945. Resumindo 0, 7, antes de X e Y P (θ = 1) = 0, 847, após X e antes de Y 0, 055, após X e Y 13

14 Distribuição Preditiva Queremos prever Y cuja descrição probabilística é P (Y θ), que pode independer de X p(y x) = Θ p(y, θ x)dθ = Θ p(y θ, x)p(θ x)dθ = Θ p(y θ)p(θ x)dθ = E θ x[p(y θ)] Exemplo (cont.) Antes de observar Y, a nossa previsão atribuia muita chance em Y = 1, mas o observado foi Y = 0. Isto deve levar o médico a repensar o modelo. Deve questionar se: i) 0,7 refletia adequadamente P (θ = 1)? ii) O teste X é tão inexpressivo? A distribuição amostral de X é correta? iii) O teste Y é tão poderoso? 14

15 Natureza sequencial do teorema de Bayes Observa-se X 1 com probabilidade P 1 (X 1 θ) levando a p(θ x 1 ) l 1 (θ ; x 1 )p(θ) Observa-se X 2 com probabilidade P 2 (X 2 θ), X 2 X 1 θ p(θ x 2, x 1 ) l 2 (θ ; x 2 )p(θ x 1 ) l 2 (θ ; x 2 )l 1 (θ ; x 1 )p(θ) Repetindo-se este processo n vezes [ n ] p(θ x n, x n 1,..., x 1 ) l i (θ ; x i ) p(θ) i=1 O teorema de Bayes satisfaz a p(θ x n,..., x 1 ) l n (θ ; x n )p(θ x 1,..., x n 1 ) 15

16 Tma 1.1: Observação e priori normais Sejam θ N(µ, τ 2 ), (X θ) N(θ, σ 2 ), com σ 2 conhecido. Então, a distribuição a posteriori de θ é (θ X = x) N(µ 1, τ 2 1 ) onde Note que: µ 1 = τ 2 µ + σ 2 x τ 2 + σ 2 e τ 2 1 = τ 2 + σ 2 1) A precisão a posteriori é a soma das precisões da priori e da verossimilhança 2) Seja w = τ 2 /(τ 2 + σ 2 ), w (0, 1), logo µ 1 = wµ + (1 w)x 3) Não é fácil usar o teorema de Bayes com prioris não normais. Mistura de Normais p(θ) = α i p i (θ), α i > 0, α i = 1 onde p i (θ) são normais. 16

17 Permutabilidade Permutabilidade é um conceito mais fraco que o conceito de independência Definição Quantidades aleatórias X 1,..., X n do tipo 0-1 são permutáveis se as n! permutações (X k1,..., X kn ) tem a mesma distribuição de probabilidade n-dimensional Exemplo Uma urna com m bolas, r das quais com o número 1 e m-r com o número 0. Selecionamos uma por vez, sem reposição e denotamos por X k o dígito da k-ésima bola selecionada. Assim X 1,..., X n é uma sequência permutável, mas as quantidades aleatórias não são independentes. Tma. 1.2: Para toda sequência infinita de quantidades aleatórias {X n, n = 1, 2,... } permutáveis com valores em {0, 1} corresponde uma distribuição F em (0,1) tal que: P (X 1 = 1,..., X k = 1, X k+1 = 0,..., X n = 0) = 1 0 θ k (1 θ) n k df (θ), n e k n 17

18 2 - DISTRIBUIÇÕES A PRIORI A partir do conhecimento sobre θ pode-se descrever sua densidade por uma particular forma funcional. O caso mais importante é o das distribuições conjugadas. Def.: Seja F = { p(x θ), θ Θ} uma família de distribuições amostrais A classe Ψ é conjugada a F se p F e p(θ) Ψ então p(θ x) Ψ (i) A classe Ψ pode ser muito ampla. (ii) A classe Ψ pode ser muito restrita. Por exemplo: Ψ = {P : P (θ = θ 0 ) = 1} Exemplificando o processo de construção de famílias conjugadas Considere (X i θ) Ber(θ), θ (0, 1), i = 1,, n. Logo p(x θ) = θ t (1 θ) n t onde t = n i=1 x i Do teorema de Bayes x i = 0, 1, i = 1,, n 18

19 p(θ x) p(x θ) p(θ) θ t (1 θ) n t p(θ). Note que p(θ) e p(θ x) estão relacionadas através da verosssimilhança Assim se constroi a conjugada baseado no núcleo da verossimilhança que é da forma θ a (1 θ) b. (i) Se θ Beta(α, β), então p(θ) = Considere agora a família Beta 1 B(α, β) θα 1 (1 θ) β 1, 0 < θ < 1 e α, β > 0 e 1 B(α, β) = Γ(α + β) Γ(α)Γ(β) (ii) A média, moda e variância de θ são dadas, respectivamente, por α α + β, α 1 α + β 2 e αβ (α + β) 2 (α + β + 1) 19

20 Usando priori Beta obtém-se a posteriori p(θ x) θ α+t 1 (1 θ) β+n t 1 e portanto (θ x) Beta(α + t, β + n t) A família de distribuições Beta é conjugada à Bernoulli (binomial) A constante de proporcionalidade será 1/B(α + t, β + n t) O método de determinação da classe conjugada consiste em : (i) identificar a classe Ψ de distribuições para θ tal que l(θ; x) é proporcional a um membro de Ψ ; (ii) verificar se Ψ é fechada por amostragem. Se existe k tal que k 1 = l(θ; x)dθ < e todo p Ψ é definido através de p(θ) = kl(θ; x), para algum l(θ; x) então Ψ é dita ser família conjugada natural ao modelo amostral gerador de l. 20

21 Principais Famílias Conjugadas (i) Binomial A família de distribições Beta é conjugada à Binomial (ou Bernoulli) (ii) Normal com variância conhecida A família de normais é conjugada à Normal - Tma 1.1 (iii) Poisson Se X = (X 1,..., X n ) Poisson(θ) então: n n e θ θ x i p(x θ) = p(x i θ) = x i! i=1 l(θ x) e nθ θ Σx i. Núcleo tem a forma θ a e bθ caracterizando uma Gama i=1 p(θ) θ α 1 e βθ, α, β > 0 e θ > 0 A média e variância a priori são E(θ) = α β e V (θ) = α β 2 CV (θ) = V (θ) E(θ) A densidade a posteriori será p(θ x) θ α+σx i 1 exp{ (β + n) θ} 21

22 3. SUMARIZAÇÃO Sabemos que a Inferência Classica é: Estimação não viciada (mínima variância) Intervalo de Confiança Testes de Significância E a Inferência Bayesiana. O que é? Teoria da decisão Sumarização Resumir a informação disponível através de uns poucos números para comunicação 22

23 Estimação Pontual - Teoria da decisão Sumarização - Intervalo de Credibilidade Figure 3: Densidade a posteriori de θ com três regiões distintas: a primeira contendo cerca de 30 % da probabilidade total, a segunda com 10 % e a terceira com cerca de 60 %. A moda dessa densidade é 3,5, a média é 5,075 e a mediana 5,27. 23

24 3.1 Problema de Decisão i) Espaço do parâmetro ou estados da natureza - Θ ii) Espaço dos resultados possíveis de um experimento - Ω iii) Espaco das ações possíveis - A Regra de decisão: δ : Ω A Perda: L(δ, θ): Θ A R + Def.: O risco a posteriori é definido por R(δ) = E θ x [L(δ, θ)] Def.: Uma regra de decisão δ é ótima R(δ ) < R(δ), δ 24

25 3.2 Estimação Estimador é a regra de decisão ótima O seu valor observado é denominado estimativa Perda Absoluta 0, se θ δ < ε Lema 1 Seja L 1 (δ, θ) = ε > 0. O estimador de θ é δ 1 = moda(θ), a moda da distribuição atualizada 1, se θ δ ε de θ ou EMVG. Perda Quadrática Lema 2 Seja L 2 (δ, θ) = (δ θ) 2 a perda associada à estimação de θ por δ. O estimador de θ é δ 2 = E(θ), a média da distribuição atualizada de θ. 25

26 Perda Zero-Um Lema 3 Seja agora L 3 (δ, θ) = δ θ. O estimador de θ é δ 3 = med(θ), a mediana da distribuição atualizada de θ. Figure 4: Perdas: quadrática, ; absoluta, ; 0-1,. 26

27 Estimação por intervalos Definição C é um intervalo de confiança Bayesiano ou intervalo de credibilidade de 100(1 α)% para θ se P (θ C) 1 α. Exemplo: Seja X = (X 1,..., X n ) uma amostra da N(θ, σ 2 ) com σ 2 conhecido. p(θ) cte { l(θ; x) exp n } 2σ 2(θ x)2 Logo p(θ x) l(θ; x)p(θ) l(θ; x) Assim θ x N(x, σ2 n ) ou n(θ x)/σ x N(0, 1) (i) ( ) n(θ x) P z α x = 1 α σ σ θ z α n + x com probabilidade 1 α 27

28 Intervalo C=(, x + z α σ/ n ] cujo comprimento é infinito. (ii) Sejam z β e z γ tais que: ( n(θ x) P z β σ ) z γ x = 1 α. Usando a simetria da normal tem-se: Φ( z β ) = P (X z β ) = P (X z β ) = 1 P (X < z β ) = β e a probabilidade do intervalo acima é dada por Φ(z γ ) Φ( z β ) = 1 (γ + β) e portanto γ + β = α. O IC 100(1 α)% será z β (θ x) n σ z γ σ n z β + x θ z γ σ n + x Então C = [x n σ ] σ z β, x + z γ n é IC 100(1 α)% para θ. 28

29 Figure 5: Densidade da distribuição normal padronizada. O comprimento de C é (z γ + z β )σ/ n Permanece ainda a questão de como minimizar este comprimento. Considere que z γ < z α/2 < z β e defina a = z α/2 z γ > 0, b = z β z α/2 > 0 e A e B como as áreas compreendidas entre z β e z α/2 e entre z α/2 e z γ O comprimento do intervalo acima é 2z α/2 + b a mas A = B Temos que b > a Logo, o IC de extremos simétricos z α/2 e z α2 é o de menor comprimento A região de credibilidade de menor comprimento é aquela que contém os valores mais prováveis de θ dado x 29

30 Def.: Um IC 100(1 α)% de MDP para θ é o IC 100(1 α)% da forma C = {θ Θ : p(θ x) k(α)} onde k(α) é a maior constante tal que P (θ C x) 1 α. Figure 6: O intervalo de confiança de MDP é dado por C 1 C 2. 30

31 4. INFERÊNCIA PREDITIVA Queremos prever Y cuja descrição probabilística é P (Y θ), que pode independer de X p(y x) = Θ p(y, θ x)dθ = Θ p(y θ, x)p(θ x)dθ = Θ p(y θ)p(θ x)dθ = E θ x[p(y θ)] Exemplo Questão : qual a probabilidade do 13 o filho ser do sexo M? Dados : MMFMMMMFMMMF, M-masculino/F-feminino P r[x 13 = 1 (9, 3)] onde (9, 3) denota o número de filhos do sexo M/F. P r[x 13 = 1 (9, 3)] = 1 0 P [X 13 = 1, θ (9, 3)] dθ = 1 0 P [X 13 = 1 θ, (9, 3)] p(θ (9, 3)) dθ = 1 0 θ p(θ (9, 3)) dθ = E[θ (9, 3)] Distribuição a Priori 31

32 p(θ) = k θ a 1 (1 θ) b 1 0 θ 1, (a, b > 0) p(θ (9, 3)) = p((9,3) θ) p(θ) p((9,3)) θ 3 (1 θ) 9 θ a 1 (1 θ) b 1, θ 3+a 1 (1 θ) 9+b 1 P r[x 13 = 1 (9, 3)] = E[θ (r, s)] = a + 3 a + b + 12 Qual o valor de a and b? Opinião inicial de que as chances de M e F são simétricas e concentradas em 0.5. Escolhemos a família das betas com a = b = 2 Ie.: E(θ) = 0.5, P (0.4 < θ < 0.6) = 0.3 e probabilidade 13 o filho ser M será 11/16=