MEEMF-2010 Aula 01. Noções de inferência estatística: Diferença entre máxima verossimilhança e abordagem bayesiana

Transcrição

1 MEEMF-2010 Aula 01 Noções de inferência estatística: Diferença entre máxima verossimilhança e abordagem bayesiana

2 O que é inferência estatística? Inferência estatística é o importante ramo da Estatística que tem por objetivo fazer afi rmações sobre um conjunto de valores representativo (amostra) de um universo. Tal tipo de afi rmação deve sempre vir acompanhada de uma medida de precisão sobre sua veracidade. Para realizar este trabalho o estatístico coleta informações de dois tipos, experimentais (as amostras) e aquelas que obtém na literatura. As duas principais escolas de inferência são a inferência freqüentista (ou clássica) e a inferência bayesiana.

3 Probabilidade do resultado Cada lançamento é independente, portanto: Pr(C) Pr(K) Pr(K) Pr(C) Pr(K) Pr(K) Pr(K) Pr(C) Pr(K) Pr(C) Pr(X) = Pr(C).Pr(K).Pr(K).Pr(C).Pr(K).Pr(K).Pr(K).Pr(C).Pr(K).Pr(C) Pr(C) e Pr(K)... produto

4 Lançamento de moedas Um dos exemplos mais usados em estatística é o lançamento de moedas. Considere o seguinte resultado de 10 lançamentos: X = {C, K, K, C, K, K, K, C, K, C}

5 Probabilidade do resultado Seja p = Pr(K) e q = Pr(C) p + q = 1 Pr(X) = Pr(C).Pr(K).Pr(K).Pr(C).Pr(K).Pr(K).Pr(K).Pr(C).Pr(K).Pr(C) Pr X = p 6 q 4 Pr X = p n 1 p n x

6 Se p = 0.5 Pr X p=0.5 = Pr X p=0.5 =

7 Interpretação alternativa Com 2 lançamentos existem 4 resultados possíveis: X1 = {K, K} X2 = {K,C} X3 = {C, K} X4 = {C, C} X1 = {K, K} X2 = {K,C} X3 = {C, K} X4 = {C, C} A probabilidade de qualquer um dos resultados é 1 Pr X 1 =0.5 2 = 1 4 =0.25

8 Para 10 lançamentos =2 10 = = = Pr X p=0.5 =

9 Distribuição binomial Pr K=k = n k pk 1 p n k Pr K=k = n! k! n k! pk 1 p n k

10 No caso acima... Pr K=6 = 10! 6! 4! Pr K=6 = ,51% dos 1024 (210) resultados possíveis do lançamento de 10 moedas apresentam exatamente 6 caras se p = 0.5

11 Se a moeda for viciada para cara... Pr K=6 = 10! 6! 4! Pr K=6 = Apenas 1.1% dos 1024 resultados possíveis do lançamento de 10 moedas apresentam exatamente 6 caras se p = Isso soa pouco intuitivo, mas como a chance de cair cara é muito grande, quase todos os resultados terão k > 6. Somente 1.1% terá k = 6

12 Probabilidade de no mínimo 6 caras Pr K 6 =1 [ k =0 5 ] 10! k! 10 k! 0.9 k 10 k 0.1 Pr K

13 E se p for desconhecido? Até o momento, assumimos que p era conhecido. O que fazer se p não for conhecido? R: p deve ser inferido.

14 Infererindo p O que temos? Temos o resultado do lançamento: X = {C, K, K, C, K, K, K, C, K, C} Temos a descrição probabilística do mesmo em função de p 1 p n k f X p = n k pk f X p = 10 6 p6 1 p 4

15 Plotando f(x p) Sabemos que p varia de 0 a 1. Valor de p que maximiza a função f(x p)

16 Estimativa de máxima verossimilhança Quando p é uma variável, f(x p) é chamada de função de verossimilhança f X p = f X ; p =L p = 10 6 p6 1 p 4 O valor de p que maximiza essa função é chamado de estimativa de máxima verossimilhança (EMV) de p

17 Encontrando p O valor de p que maximiza L(p) é dl p dp = p 5 1 p p 6 1 p 3 =0 p=0.6

18 Interpretação de f(x p) Estritamente falando, p = 0.6 é o valor que maximiza a probabilidade de se observar os dados X A probabilidade usual é o valor f(x p) quando p é fixo Assim, f(x p) com p variável estima a verossimilhança de X

19 Log-verossimilhança Frequentemente o valor de f(x p) é pequeno Na prática, trabalhamos com ln( f(x p) ) O lnl de p = 0.6 é

20 O método de máxima verossimilhança Dados X Função probabilística L descrevendo os dados X dl dp =0 Encontra valor paramétrico que maximiza L EMV do parâmetro

21 EMV de um p qualquer f X p =L p = n k pk 1 p n k dl p dp =0 p= k n

22 Variância da EMV de p Como p=0.6 é um valor estimado, devemos calcular o intervalo de confiança da estimativa O intervalo de 95% de confiança é dado por ±1.96 var p Como encontrar a variância da estimativa?

23 A curvatura Intuitivamente, sabemos que quanto mais dados, menor será a variância da estimativa encontrada. Por exemplo: n = 10 n = 1000

24 Aproximando a curva A superfície de verossimilhança pode ser aproximada pela série de Taylor L p = L p p p L p p 2 p 2! 2 L p p 3 2 p 3! 3 L p 3...

25 Série de Taylor L p = L p p p L p p 2 p 2! 2 L p p 3 2 p 3! 3 L p 3... L p =L p p p L =L p L p p = L p p p L p p 2 p 2! p p 2 =L p 2! 2 L p 2 2 L p 2 L p =L p p p L p p 2 2 L p 2! p p 2 =L p 2! 2 L p p 3 p 2 3! p p 3 p 2 3! 3 L p 3 3 L p 3

26 A formação observada de Fisher A variância, uma medida da curvatura em torno da EMV, é dada por var p = [ 2 L p 2 p= p] 1 Assim, o intervalo de 95% de confiança será p= p±1.96 [ 2 L p p] 1 2 p=

27 Aproximação pela normal Conforme n aumenta, a curva de verossimilhança é assintoticamente uma normal com média na EMV de p n = 10 n = 1000

28 Características dos estimadores de MV Consistentes: conforme n, a curva de verossimilhança se aproxima de uma normal com variância zero n var p 0

29 Mais de um parâmetro Considere agora o resultado de 2 lançamentos: X X1 = {C, K, K, C, K, K, K, C, K, C} X2 = {K, C, K, C, K, C, C, C, K, C} K1=6, k2=4

30 Probabilidade do resultado X X1 = {C, K, K, C, K, K, K, C, K, C} X2 = {K, C, K, C, K, C, C, C, K, C} f X p 1, p 2 =[ 10 4] 6 p p 1 [ 10 4 p p 2 6 ]

31 EMV(p1,p2) Plotando f(x p1,p2)

32 Calculando a EMV = p 1, p 2 {df X ; =0 dp 1 df X ; =0 dp 2 p 1 =0.6 p 2 =0.4

33 As propriedades dos estimadores são mantidas n = 10 n = 1000

34 Cálculo da covariância com mais de um parâmetro f X Quando na função, é um vetor de parâmetros, as variâncias e covariâncias podem ser obtidas pela matriz Hessiana

35 Matriz Hessiana H =[ var(p1) 2 L p L p 2 p 1 cov(p1,p2) 2 L p 1 p 2 ] 2 L 2 p 2 cov(p2,p1) var(p2)

36 A abordagem Bayesiana Além da máxima verossimilhança, parâmetros podem ser estimados por inferência bayesiana A pergunta baysiana é diferente da abordagem probabilista clássica. Qual é a probabilidade da moeda ser justa com base nos dados? f p=0.5 X =?

37 A diferença Até o momento trabalhamos com a seguinte função (verossimilhança): f X p Nós calculamos a verossimilhança dos dados com uma moeda justa: f X p=0.5 Agora queremos a seguinte função: f p X Para obter: f p=0.5 X

38 A distribuição posterior A função f(p X) é chamada de distribuição posterior do parâmetro p. Bayes mostrou que f p X = f X p f p f X p f p p

39 Anatomia da fórmula de Bayes verossimilhança distribuição a priori f p X = f X p f p f X p f p p termo normalizador

40 Exemplo Suponhamos que a variável p assuma os seguintes valores: p1, p2 e p3 A probabilidade posterior, por exemplo, de p2 será: f p i X = Fórmula geral j j=1 f X p i f p i f X p j f p j f p 2 X = Para o caso específico 3 j=1 f X p 2 f p 2 f X p j f p j Fórmula aberta f p 2 X = f X p 2 f p 2 f X p 1 f p 1 f X p 2 f p 2 f X p 3 f p 3

41 No caso das moedas Queremos calcular f p=0.5 X f p=0.5 X = f X p=0.5 f 0.5 f X p=0.0 f 0.0 f X 0.1 f 0.1 f X 0.99 f 0.99 f X 1.0 f 1.0 p é uma variável contínua no intervalo [0.0, 1.0] f p=0.5 X = f X p=0.5 f f X p f p dp

42 Fórmula de Bayes para variáveis contínuas f X = f X f f X f d f, X = f X, f, f X, f, d d

43 O prior, a função f(p) O prior modela a informação prévia que se possui sobre a distribuição do parâmetro A inferência bayesiana é criticada pelo uso desta função

44 Influência do prior Quando não existe muita informação nos dados (contida na função de verossimilhança), a distribuição posterior de p será semelhante à distribuição a priori de p

45 f p ~ N 0.2, n=10 n=1000 f X p = p 6 1 p 4 f X p = p p 400 f p X f p X

46 Valor médio da distribuição posterior A média (esperança) de uma variável discreta é dada por f(x3) x=e X = i x i p i f(x2) f(x1) p1 p2 p3 p4 p5 5 x=e X = i=1 x i p i x1 x2 x3 x4 x5 probabilidade de xi = área do retângulo

47 f(x3) f(x2) f(x1) p1 p2 p3 p4 p5 5 x=e X = i=1 x i p i x x1 x2 x3 x4 x5 p 1 = f x 1 x 5 E X = i=1 x i f x i x

48 Variáveis contínuas 5 E X = i=1 x i f x i x f(x1) x x 0 x1 E X = x f x dx

49 Valor médio da distribuição posterior E p = p f p X dp

50 Bayes com 2 parâmetros contínuos f p 1, p 2 X = f X p 1, p 2 f p 1, p 2 f X p 1, p 2 f p 1, p 2 dp 1 dp 2 p 1 p 2

51 f p 1, p 2 ~ { N 0.2, N 0.1,0.005 n=10 n=100 f X p 1, p 2 f X p 1, p 2 f p 1, p 2 X f p 1, p 2 X

52 Distribuição marginal do parâmetro Se estivermos interessado apenas em p1, podemos encontrar f(p1 X) da seguinte forma f p 1, p 2 X = f X p 1, p 2 f p 1, p 2 f X p 1, p 2 f p 1, p 2 dp 1 dp 2 p 1 p 2 f p 1 X = p 2 f p 1, p 2 X dp 2

53 Últimos conceitos viciado baixa precisão pouco acurado não-viciado baixa precisão pouco acurado viciado alta precisão baixa acurácia não-viciado boa precisão muito acurado