Função de Verossimilhança

Transcrição

1 Função de Verossimilhança João Batista e Paulo Inácio Prado 2018 BIE5781 Modelagem Estatística em Ecologia e Recursos Naturais 1/38

2 Sumário

3 Sumário 1. Motivação 2. Estimação por Máxima Verossimilhança Lei de Verossimilhança Função de Verossimilhança Mútliplas Observaçães Independentes Estimador de Máxima Verossimilhança 3. Questões de Ordem Prática Função de Log-Verossimilhança Função de Log-Verossimilhança Relativa Função de Log-Verossimilhança Negativa 4. Estimação baseada em Verossimilhança Curva de Verossimilhança Superfície de Verossimilhança Verossimilhança Perfilhada 5. Axioma de Verossimilhança 2/38

4 Motivação

5 Onde estamos? Função de Verossimilhança 3/38

6 Onde estamos? O que já vimos? Especificação de Modelos Distribuições Discretas Distribuições Contínuas O que veremos? 1. Estimação ajuste dos modelos aos dados encontrar valores para os parâmetros 2. Seleção e comparação de modelos 4/38

7 Estimação por Máxima Verossimilhança

8 O Nosso Problema Ajustar Modelos = Estimar os parâmetros Determinar valores numéricos dos parâmetros Para um conjunto de dados particular Quais Critérios? Guiam a estimação? Definem que a estimação é apropriada? Exemplo Prático: Número de plântulas de Euterpe edulis Modelo: Dist. Poisson parâmetro: λ (=valor esperado) Dados: /38

9 Critério: Lei da Verossimilhança Cenário: um cenário estocástico gera o resultado (dados) X Modelo: um único modelo estocástico M Duas hipóteses: H 1 e H 2 Probabilidades dos dados sob as hipóteses (segundo M): Sob H 1 P M (X H 1 ) = p 1 Sob H 2 P M (X H 2 ) = p 2 Lei de Verossimilhança: se p 1 > p 2, então o resultado X é evidência em favor de H 1 vis-à-vis H 2 Razão de Verossimilhança: a razão p 1 /p 2 é a força de evidência em favor de H 1 contra H 2 6/38

10 Lei da Verossimilhança: Exemplo do Euterpe edulis Cenário: levantamento de plântulas observou-se X = 202. Modelo: distribuição Poisson (Contragem ) P (X = x λ) = f(x λ) = e λ λ x /x! Duas hipóteses: H 1 : λ = 250 e H 2 : λ = 150 Probabilidades: H 1 : P (202 λ = 250) = e /202! = 0, H 2 : P (202 λ = 150) = e /202! = 0, Lei de Verossimilhança: Como p 1 > p 2, então o resultado X = 202 é evidência em favor de H 1 (λ = 250) vis-à-vis H 2 (λ = 150) Razão de Verossimilhança A força de evidência em favor de H 1 contra H 2 é de p 1 /p 2 = 0, /0, = 24, 21 H 1 é 24 vezes mais plausível que H 2 7/38

11 Função de Verossimilhança Hipóteses Mas, por que apenas duas hipóteses? Mais hipóteses? Modelo: Distribuição Poisson Função de Densidade: Parâmetro (λ) conhecido Probabilidade de se observar X = x: P (X = x λ) = f(x λ) = e λ λ x /x! Função de Verossimilhança: Dado observado X = x Parâmetro (λ) desconhecido L(λ X = x) = f(λ x) = e λ λ x /x! 8/38

12 Função de Verossimilhança: Exemplo do Euterpe edulis No Exemplo: X = 202 foi observado L(λ X = 202) = f(λ 202) = e λ λ 202 /202! Verossimilhança (X=202) λ 9/38

13 Múltiplas Observações Independentes Prob. de Eventos Independentes Série de eventos independentes: x 1, x 2,..., x n P (x 1, x 2,..., x n ) = P (x 1 )P (x 2 )... P (x n ) Verossimilhança dadas Observações Independentes Amostra de observações independentes: X = {x 1, x 2,..., x n } L(λ x 1, x 2,..., x n ) = L(λ x 1 )L(λ x 2 )... L(λ x n ) Amostra de observações independentes: número de plântulas ( e λ λ 202 ) ( e λ λ 151 ) ( e λ λ 261 ) L(λ 202, 151,..., 261) = ! 151! 261! 10/38

14 Múltiplas Observações Independentes Verossimilhança das observações independentes Verossimilhança λ 11/38

15 Amostra de Observações Independentes Verossimilhança da amostra Verossimilhança 0e+00 2e 206 4e 206 6e λ 12/38

16 Amostra de Observações Independentes Verossimilhança da amostra Verossimilhança 2e 206 4e 206 6e λ 13/38

17 Estimador de Máxima Verossimilhança Método: valor do parâmetro que maximiza a verossimilhança λ L( λ) = máx [L(λ)] Verossimilhança 2e 206 4e 206 6e λ 14/38

18 Estimativa de Máxima Verossimilhança (MLE) Estimativa: que maximiza a verossimilhança MLE: λ L( λ) = máx [L(λ)] MLE Valor mais plausível para o parâmetro Valor que os dados indicam como mais plausível Valor que melhor ajusta o modelo aos dados Propriedades na Inferência Clássica Consistência Eficiência Assimptótica Normalidade Assimptótica Invariância 15/38

19 Questões de Ordem Prática

20 Função de Log-Verossimilhança Valor da Função de Verossimilhança Se torna muito pequeno para amostras grandes: Verossimilhança de observações individuais ordem de 10 2 Verossimilhança da amostra: produto de 20 observações ordem de Solução: Transformação logarítmica: Uma observação: log e (L(λ x)) = ln(l(λ x)) = L(λ x) Dist. Poisson: ( e λ λ x ) ln x! = λ + x ln(λ) ln(x!) 16/38

21 Função de Log-Verossimilhança (cont.) Solução: Transformação logarítmica: Amostra de n observações independentes: ln(l(λ x 1, x 2,..., x n )) = = ln [L(λ x 1 ) L(λ x 2 )... L(λ x n ) ] = ln[l(λ x 1 )] ln[l(λ x n )] = L(λ x 1 ) + L(λ x 2 ) L(λ x n ) = n L(λ x i ) i=1 17/38

22 Função de Log-Verossimilhança (cont.) Solução: Transformação logarítmica: Distribuição Poisson: L(λ x 1, x 2,..., x n ) = n = [ λ + x i ln(λ) + ln(x i!)] i=1 = n λ + ln(λ) n n x i + ln(x i!) i=1 i=1 Note que nesta função de log-verossimilhança: São constantes: n, n x i e i=1 i=1 n ln(x i!) 18/38

23 Função de Log-Verossimilhança (cont.) Transformações: Produto de Verossim. Soma da Log-Verossim. Valor no exemplo: ln( ) 400 Verossimilhança Log-Verossimilhança Verossimilhança 2e 206 4e 206 6e 206 Log Verossimilhança λ λ 19/38

24 Função Log-Verossimilhança Relativa Outro Problema A Verossimilhança só tem interpetação relativa!! Interpretação Vis-à-Vis só é interpretável: Razão de Verossimilhança L(λ 1 ) L(λ 2 ) Diferença de Log-Verossimilhança L(λ 1 ) L(λ 2 ) 20/38

25 Função Log-Verossimilhança Relativa (cont.) Log-Verossimilhança Relativa É a diferença de Log-Verossimilhança em relação à MLE: L R (λ) = L(λ) max [L(λ)] = L(λ) L( λ) Os valores das ordenadas (eixo-y) do gráfico da Log-Verossimilhança Relativa são intrepetáveis 21/38

26 Função Log-Verossimilhança Relativa (cont.) Interpretação da Função Log-Verossimilhança Relativa Log Verossimilhança Relativa Razão de Verossimilhança λ 22/38

27 Limites de Plausibilidade Experimento Canônicos Uma urna com bolas As bolas são retiradas e re-colocadas Duas hipóteses: H 1 : todas as bolas são brancas H 2 : metada das bolas são brancas e metade são pretas Pergunta: Quantas bolas brancas para se aceitar H 1 sobre H 2? Com que convicção se decide? Resposta: Três bolas brancas para se aceitar H 1 sobre H 2 Cinco bolas brancas para se decidir com muita convicção. 23/38

28 Limites de Plausibilidade (cont.) Interpretação do Experimento Canônicos Três bolas brancas: Probabilidades: H 1 : P = (1) 3 = 1 H 2 : P = ( ) 3 1 = Razão de Verossimilhança: H 1 /H 2 = 1/(1/8) = 8 H 1 é 8 vezes mais plausível que H 2 Cinco bolas brancas: Probabilidades: H 1 : P = (1) 5 = 1 H 2 : P = ( ) 5 1 = Razão de Verossimilhança: H 1 /H 2 = 1/(1/32) = 32 H 1 é 32 vezes mais plausível que H 2 24/38

29 Limites Canônicos para a Log-Verossimilhança Relativa Valores Canônicos Razão de Veros. de 8 diferença de Log-Veros. de ln(8) 2.1 Razão de Veros. de 32 diferença de Log-Veros. de ln(32) /38

30 Limites Canônicos para a Log-Verossimilhança Relativa Interpretação da Função Log-Verossimilhança Relativa Log Verossimilhança Relativa ln(8) ln(32) Razão de Verossimilhança λ 26/38

31 Função Log-Verossimilhança Relativa Negativa Alguns Autores 6 Log Verossimilhança Negativa ln(32) ln(8) λ 27/38

32 Estimação Baseada em Verossimilhança

33 Curva de Verossimilhança 0 Curva de Verossimilhança Log Verossimilhança Relativa ln(8) ln(32) λ 28/38

34 Intervalo de Verossimilhança: ln(8) 0 Log Verossimilhança Relativa ln(8) Intervalo de Verossimilhança λ 29/38

35 Intervalo de Verossimilhança: ln(32) 0 Log Verossimilhança Relativa ln(32) Intervalo de Verossimilhança λ 30/38

36 Superfície de Verossimilhança Superfície Modelo com dois parâmetros: superfície Modelo com mais de dois parâmetros: hiper-superfície Como avalira modelos com muitos parâmetros? Exemplo Número de plântulas de Euterpe edulis Modelo: dist. binomial negativa 2 parâmetros valor esperado (número médio de plântulas): µ índice de dispersão: k Região de Verossimilhança Log-verossimilhança de no mínimo ln(8) ou ln(32) 31/38

37 Superfície de Verossimilhança µ k 32/38

38 Verossimilhança Pefilhada µ k 33/38

39 Curva de Verossimilhança Pefilhada Log Verossimilhança Relativa k 34/38

40 Curva de Verossimilhança Pefilhada Log Verossimilhança Relativa µ 35/38

41 Axioma da Verossimilhança

42 Axioma da Verossimilhança Axioma Lei da Verossimilhança Princípio da Verossimilhança Lei da Verossimilhança Razão de Verossimilhança = medida da força de evidência MLE: os dados favorecem as MLEs sobre todas as outras Evidência estatística é sempre RELATIVA Jamais posso saber se um modelo é bom Só posso saber se um modelo é melhor que outro 36/38

43 Axioma da Verossimilhança (cont.) Princípio da Verossimilhança Função de Verossimilhança compreende: toda evidência que os dados têm a respeito de uma estimativa um modelo estocástico A Razão de Verossimilhança tem interpetação universal Para quaisquer modelos Para quaisquer conjunto de dados A curva de verossimilhança basta para inferência Qualquer outra informação é irrelevante O espaço amostral é irrelevante 37/38

44 FIM Grato pela atenção! 38/38