AGA Análise de Dados em Astronomia I. 6. O Método da Máxima Verossimilhança- I

Transcrição

1 1 / Introdução AGA Análise de Dados em Astronomia I 6. O Método da Máxima Verossimilhança- I Laerte Sodré Jr. 1o. semestre, 2019

2 introdução aula de hoje: 1 modelagem dos dados 2 a verossimilhança 3 inferência de parâmetros pelo método da máxima verossimilhança 4 exemplo: combinação de medidas 5 exemplo: distribuição gaussiana 6 exemplo: distribuição binomial 7 exemplo: distribuição poissoniana 8 exemplo: função com erros gaussianos 9 otimização de funções 10 erro nos parâmetros 11 propagação de erros 12 métodos de reamostragem: bootstrap Essencialmente todos os modelos estão errados, mas alguns são úteis George Box 2 / 26

3 modelagem dos dados modelagem dos dados dado um conjunto de dados, D, queremos ajustar um modelo M que depende de um certo número de parâmetros ajustáveis, w exemplo: ajuste aos dados de uma função y = f (x; w) modelos podem ser de natureza muito diversa: funções simples para as quais o ajuste fornece w ex.: ajuste de polinômios, gaussiana,... funções teóricas onde conhecemos os parâmetros e queremos ver se eles ajustam os dados ex.: a função de massa de aglomerados de galáxias com o modelo ΛCDM funções muito complexas para as quais o ajuste fornece w mas w não nos interessa: deep learning... 3 / 26

4 4 / 26 modelagem dos dados modelagem dos dados dados geralmente tem erros dois tipos de erros: aleatórios e sistemáticos suponha que você meça n vezes a distância entre dois pontos com uma régua esperamos que a média e o desvio padrão dessas medidas sejam uma boa estimativa da distância entre os dois pontos e do erro da medida mas e se você descobre que a escala da régua que você estava usando era 10% maior que o padrão? Como isso afeta seus resultados? erros intrínsecos ao processo de medida decrescem com n 1/2 e são em geral aleatórios erros sistemáticos são introduzidos por processos que muitas vezes não se controla (ruído indesejado em um detector, problemas na sensibilidade dos filtros, estrelas de calibração erradas... ): o desafio é identificá-los e corrigi-los (modelá-los) erros homocedásticos: todas as medidas têm o mesmo erro erros heterocedásticos: as medidas têm erros diferentes

5 a verossimilhança modelagem dos dados dado um conjunto de dados, D, queremos ajustar um modelo M que depende de um certo número de parâmetros ajustáveis, w métodos frequentistas- 3 instâncias: estimativa de parâmetros: qual é a melhor estimativa para o parâmetro w de um modelo com base nos dados disponíveis? intervalo de confiança: quão confiante podemos estar no valor estimado do parâmetro? testes de hipótese: os dados são consistentes com a hipótese ou modelo? verossimilhança dos dados: probabilidade dos dados para um certo valor dos parâmetros do modelo: L(w) = P(D w, M) a verossimilhança pode ser considerada tanto uma função dos parâmetros quanto dos dados NÃO É uma função de distribuição de probabilidades: não é normalizada método da máxima verossimilhança: os parâmetros são estimados maximizando-se L(w) 5 / 26

6 6 / 26 a verossimilhança modelagem dos dados verossimilhança: L(w) = P(D w, M) método da máxima verossimilhança: os parâmetros são estimados maximizando-se L(w), ou a probabilidade dos dados em relação aos parâmetros do modelo procedimento proposto por R. A. Fisher em 1912 maximização de L(w): dl(w) d 2 L(w) = 0, dw dw 2 < 0 MV MV frequentemente trabalha-se com log L como veremos, log L χ2 2

7 7 / 26 exemplos simples exemplo: combinando medidas suponha que tenhamos duas medidas independentes de uma quantidade x com erros heterocedásticos (sigmas diferentes): x = x A ± σ A x = x B ± σ B como combinar as medidas A e B para se obter uma melhor estimativa de x? alerta: note que se x A x B for muito maior que os desvios padrão, os dados podem estar sendo afetados por erros de outra natureza (dados inconsistentes) vamos resolver este problema pelo método da Máxima Verossimilhança: vamos supor que as duas medidas são extraídas de distribuições gaussianas onde o valor verdadeiro da quantidade medida é µ: [ ] [ ] P(x A µ, σ A ) 1 exp (x A µ) 2 σ A 2σA 2 P(x B µ, σ B ) 1 exp (x B µ) 2 σ B 2σB 2

8 8 / 26 exemplos simples exemplo: combinando medidas probabilidade conjunta de x A e x B : L(µ) = P(x A, x B µ, σ A, σ B ) = P(x A µ, σ A )P(x ( B µ, ) σ B ) 1 σ A σ B exp onde χ 2 (µ) = ( χ2 2 x A µ σ A ) 2 + ( x B µ σ B ) 2 ˆx: estimativa de µ que maximiza a verossimilhança (ou que minimiza o χ 2 ) é fácil ver que ˆx = x A σ A 2 1 σ A 2 + x B σ 2 B + 1 σ 2 B = w Ax A +w B x B w A +w B, onde w A = 1/σ 2 A e w B = 1/σ 2 B a melhor estimativa é a média ponderada das medidas, onde os pesos dependem do inverso das variâncias se os erros são iguais, ˆx é a média das medidas

9 9 / 26 exemplos simples exemplo: distribuição gaussiana exemplo: temos um conjunto de medidas de uma certa variável, x, D = {x 1, x 2,..., x n }, distribuídas como uma gaussiana com erros homocedásticos (mesmo sigma) N(µ, σ): parâmetros: w = (µ, σ) função verossimilhança: ou L(µ, σ) = P(D µ, σ) = ( n 1 = exp (x i ) µ)2 2πσ 2σ 2 L(µ, σ) exp ( ) χ2 (µ, σ) 2 onde χ 2 (µ, σ) = n (x i µ) 2 χ 2 é função apenas dos parâmetros daí, maximizando L ou minimizando o χ 2 : σ 2 µ MV = x = 1 n x i n σ 2 MV = 1 n (x i x) 2 n

10 10 / 26 exemplos simples exemplo: distribuição gaussiana população: média µ e variância σ 2 amostra {x i }: média x e variância s 2 n x = 1 n x i n s 2 n = 1 n (x i x) 2 n σ 2 = 1 n (x i µ) 2 n a variância da amostra está associada à soma dos quadrados dos resíduos x i x: como a soma dos resíduos soma zero, temos apenas n 1 resíduos independentes s 2 n é um estimador viesado de σ 2 : [ ] E(s 2 1 n n ) = E (x i x) 2 = n [ ( ) 1 n 2 ] = E (x i µ) ( x µ) = n =... = n 1 σ 2 n o estimador não-viesado da variância de uma amostra é: s 2 = 1 n 1 n (x i x) 2 em geral deve-se sempre usar s

11 11 / 26 exemplos simples exemplo: distribuição binomial exemplo: joga-se uma moeda n = 5 vezes e obtém-se T=4 caras e H=1 coroas a verossimilhança é dada pela distribuição binomial com parâmetro w, a probabilidade de se obter uma coroa: ( ) n L(w) = w H (1 w) n H H estimativa de MV de w: d ln L(w) dw = [ = d ( ) ] n ln +H ln w+(n H) ln(1 w) = dw H ou = H w n H 1 w = 0 w MV = H n a estimativa de MV de w é a fração observada de coroas, o que é intuitivo

12 12 / 26 exemplos simples exemplo: distribuição de Poisson exemplo: estimativa da taxa de um processo poissonianoobservamos n eventos durante um intervalo de tempo t L(w) = P(n, t w) = (wt)n n! estimativa de MV de w: d ln L(w) dw = exp( wt) ou [ ] = d n ln(wt) ln n! wt = dw nt wt t = 0 w MV = n t a estimativa de MV de w é a taxa média de eventos

13 13 / 26 exemplos simples exemplo: modelagem de uma função com erros gaussianos n dados D = {x i, y i } com erros σ i que queremos modelar com uma função com m parâmetros w: y = f (x; w) w: vetor de m parâmetros assumindo que as medidas são independentes e os erros gaussianos, n L(w) = P(D w) = P(D i w) [ ] n exp 1 (y i f (x i, w)) 2 2 σ 2 i [ exp 1 2 ] n (y i f (x i, w)) 2 [ ] logo, L(w) exp 1 2 χ2 (w) onde σ 2 i ] n χ 2 (y (w) = i f (x i, w)) 2 σ 2 i

14 14 / 26 exemplos simples exemplo: modelagem de uma função com erros gaussianos solução de MV: minimização do χ 2 (w) n χ 2 (y = i f (x i ; w)) 2 função de m parâmetros w MV pode em alguns casos ser obtido analiticamente ou, na maioria dos casos, numericamente σ 2 i algumas vezes não se conhece de antemão os erros nas medidas; se eles forem iguais podem ser estimados minimizando-se o χ 2 com σ constante e depois recalculando-o como n σ 2 = (y i f (x i ; w MV )) 2 n m

15 otimização de funções máxima verossimilhança como otimização de funções solução de MV: vetor de m parâmetros w que maximiza a verossimilhança ou que minimiza o exemplo: minimização de funções descendo o gradiente procedimento iterativo: χ 2 (w) = [ ] n (y i f (x i, w)) 2 σ 2 i w n+1 = w n γ χ 2 (w) (0 < γ < 1) em geral os parâmetros que minimizam o χ 2 (w) devem ser obtidos numericamente - otimização de funções 15 / 26

16 16 / 26 otimização de funções otimização de funções máximo e mínimo de funções: problemas de otimização Press, Teukolsky, Vetterling & Flannery, Numerical Recipes, 3a. edição, (2007), cap. 10 mínimos: locais global: no caso geral difícil de se achar métodos: com e sem cálculos de derivadas/gradientes custo computacional: memória e tempo de processamento recomendações do NR: minimização unidimensional: isolar o mínimo + Brent ou golden search (método robusto) caso multidimensional: simplex (sem derivadas), quasi-newton

17 incertezas nos parâmetros erro nos parâmetros vamos considerar a função de verossimilhança de um parâmetro, L(w) expandindo em série de Taylor em torno do máximo: d ln L(w) ln L(w) = ln L(w MV ) + (w w dw MV ) + 1 d 2 ln L(w) 2 dw 2 (w w MV ) MV MV como o segundo termo se anula na vizinhança de w MV, [ ] L(w) L(w MV ) exp (w w MV) 2 2σw onde 1 σ 2 w = d2 ln L(w) dw 2 a verossimilhança em torno do máximo pode ser aproximada por uma gaussiana de largura σ w 17 / 26 MV

18 18 / 26 incertezas nos parâmetros erro nos parâmetros no caso de vários parâmetros w = {w 1, w 2,..., w m }, L em torno do máximo pode ser aproximada por uma gaussiana multivariada: [ ] L(w) L(w MV ) exp 1 2 (w w MV)C 1 (w w MV )T C: matriz de variância-covariância (m m) hessiano H: matriz com as derivadas segundas de L matriz de informação de Fisher: negativo do valor esperado do hessiano no máximo: I jk = E(H jk ) MV = 2 ln L(w) w j w k MV +... C = I 1 (inverso da matriz de informacao) erros nos parâmetros: σ 2 j = C jj

19 19 / 26 incertezas nos parâmetros erro nos parâmetros note que nem sempre σ w é uma boa forma de representar as incertezas em um ajuste: elipses de erro (em duas dimensões) podem ser mais informativas

20 incertezas nos parâmetros elipses de erro nos parâmetros modelos com 2 parâmetros (Coe, arxiv: ) [ ] C = I 1 σ 2 = 11 σ 12 σ 21 σ22 2 onde σ 12 = σ 21 = ρσ 11 σ 22 ρ: coeficiente de correlação elipses: semi-eixos a e b, inclinação θ: a 2 = σ σ b 2 = σ σ (σ 2 11 σ2 22 )2 4 (σ 2 11 σ2 22 )2 4 + σ σ σ 12 tg(2θ) = σ 11 2 σ2 22 multiplicamos a e b por um fator α, que depende do nível de confiança α desejado 20 / 26

21 incertezas nos parâmetros elipses de erro nos parâmetros forma do χ 2 : [ χ 2 (w 1, w 2 ) = 1 (w 1 ŵ 1 ) 2 1 ρ 2 + σ (w 2 ŵ 2 ) 2 σ 2 22 ] 2ρ (w 1 ŵ 1 ) (w 2 ŵ 2 ) σ 11 σ 22 para ρ = 0 temos a fórmula usual, enquanto que para x e y correlacionados, o χ 2 fica menor 21 / 26

22 22 / 26 propagação de erros: incertezas nos parâmetros vamos supor que temos uma quantidade f que é função de ao menos duas variáveis, x 1 e x 2 : f = f (x 1, x 2,...) se medimos x 1 e x 2, como o erro nessas variáveis, σ x1 e σ x2, afeta f, supondo que as medidas e seus erros são independentes? considerando pequenos desvios δ em torno do ponto (x 1, x 2,...), expandindo f em série de Taylor e retendo apenas os termos de primeira ordem da expansão: ( ) ( ) f f δf = δ x1 + δ x x 1 x 2 x 1 x 2 como a variância de uma soma é a soma das variâncias: ( ) 2 ( ) 2 ( ) ( ) σf 2 f = σx 2 f x 1 + σ 2 f f x 1 x ρσ x1 σ x x 1 x 2 x 1 x 2 x 2 x 1

23 incertezas nos parâmetros propagação de erros Exemplo: relação entre fluxo e magnitude como os erros em m e F se relacionam? ( m = const. 2.5 log F σ 2 m = m F ) 2 σ 2 F ou razão sinal ruído: σ m = ( ) 2.5 σ F ln 10 F σ F F F σ F 1 σ m 23 / 26

24 24 / 26 métodos de reamostragem limites de confiança nos parâmetros do modelo por bootstrap suponha que a Mãe Natureza saiba que os parâmetros verdadeiros de um modelo sejam w v suponha que os dados observados, representados por D 0, sejam uma realização estatística do modelo verdadeiro e que w 0 sejam os parâmetros obtidos a partir desses dados por minimização do χ 2 devido aos erros de medida, D 0 não é a única realização estatística do modelo: outros conjuntos de dados são possíveis, D 1,D 2,..., correspondendo a diferentes valores dos parâmetros, w 1, w 2,... não sabemos a distribuição de w v, mas temos uma maneira de encontrar a distribuição de w i w v : simulações de Monte Carlo dos dados D i

25 25 / 26 métodos de reamostragem limites de confiança nos parâmetros do modelo por bootstrap mágica! reamostragem dos dados por bootstrap (Efron, 1979) técnica válida para dados iid (independentes e identicamente distribuídos) ideia básica do bootstrap: seja D 0 o conjunto de dados um novo conjunto de dados D i pode ser simulado reamostrando D 0 com substituição (isto é, pode ter dado repetido) w i é estimado para cada D i minimizando o χ 2 (ou outra função de mérito) as distribuições dos parâmetros w i obtidos em muitas simulações permitem estimar vários limites de confiança para os parâmetros individuais ou curvas de confiança para pares de parâmetros a técnica se aplica mesmo quando os erros nas medidas são não-gaussianos outra técnica de reamostragem: jackknife

26 métodos de reamostragem exercícios 1 Suponha que tenhamos um conjunto de variáveis {x i }, i = 1,..., n, que queremos modelar com uma distribuição de densidade de probabilidades dada por ( ) P(x σ) = 1 2σ exp x. σ Estime σ pelo método da máxima verossimilhança. 2 Às vezes se modela a distribuição de redshifts em um certo intervalo de magnitudes como uma distribuição Gama: P(z α, β) = 1 Γ(α) βα z α 1 e βz. Dada uma amostra de redshifts, {z i }, estime β pelo método da máxima verossimilhança, supondo α conhecido. 3 Suponha que você tenha um conjunto de medidas da distância de uma estrela (em pc): 7.5, 11.8, 9.5, 11.1, 10.6, 11.8, 8.8, 9.7, 12.4, 13.6, 10.2,12.9, 10.8, 8.9, Estime por bootstrap a probabilidade desta distância ser maior que 11 pc. 26 / 26