AGA Análise de Dados em Astronomia I 7. Modelagem dos Dados com Máxima Verossimilhança: Modelos Lineares

Transcrição

1 1 / 0 AGA Análise de Dados em Astronomia I 7. Modelagem dos Dados com Máxima Verossimilhança: Modelos Lineares Laerte Sodré Jr. 1o. semestre, 018

2 modelos modelagem dos dados dado um conjunto de dados, D, queremos ajustar um modelo M que depende de um certo número de parâmetros ajustáveis, w modelos podem ser de natureza muito diversa: funções simples para as quais o ajuste fornece w ex.: ajuste de polinômios, gaussiana,... funções teóricas onde conhecemos os parâmetros e queremos ver se eles ajustam os dados ex.: a função de massa de aglomerados de galáxias com o modelo ΛCDM funções muito complexas para as quais o ajuste fornece w mas w não nos interessa: deep learning... para ser útil a modelagem dos dados precisa fornecer estimativas dos: parâmetros erro nos parâmetros qualidade do ajuste / 0

3 modelos modelagem dos dados o ajuste é feito usando uma função de mérito: função dos parâmetros que mede a diferença entre os dados e o modelo exemplo: o χ no caso de um ajuste de reta y = a + bx, χ (a, b) = N (y i a bx i ) σ i os parâmetros e seus erros são obtidos minimizando-se esta figura de mérito 3 / 0

4 4 / 0 método da máxima verossimilhança método da máxima verossimilhança a MV é o método mais usado de ajuste de modelos temos N dados {x i, y i } com erros σ i que queremos modelar com uma função com M parâmetros w: y = f (x; w) w é um vetor com M parâmetros a probabilidade dos dados, dados os parâmetros, é a verossimilhança supondo uma distribuição gaussiana de desvios, N(0, σ i ),a verossimilhança de um dado é proporcional a [ exp (y i f (x i ; w)) ] e, supondo que os dados são independentes, a verossimilhança da amostra é o produto da verossimilhança dos dados: N [ L(w) = exp (y i f (x i ; w)) ] σ i σ i

5 método da máxima verossimilhança método da máxima verossimilhança verossimilhança da amostra de N dados {x i, y i } com erros σ i modelados com uma função: y = f (x; w): L(w) = N [ exp (y i f (x i ; w)) ] σ i [ = exp N (y i f (x i ; w)) ] [ = exp χ ] os parâmetros w são encontrados maximizando-se a função de mérito verossimilhança ou, o que é equivalente, minimizando-se a função χ (w): σ i χ (w) = N (y i f (x i ; w)), σ i note que o χ (w) é função apenas dos parâmetros 5 / 0

6 6 / 0 método da máxima verossimilhança método da máxima verossimilhança: estimativa dos parâmetros algumas vezes não se conhece de antemão os erros nas medidas; se eles forem iguais podem ser estimados minimizando-se o χ com σ constante e depois recalculando-o como N σ = (y i f (x i ; w)) N M (M é o número de parâmetros) os parâmetros w são encontrados minimizando-se o χ ; isso pode ser feito: analiticamente, se f (x; w) for suficientemente simples, resolvendo-se o sistema de equações para os parâmetros w: χ w k = ( N numericamente, na maioria dos casos! ) y i f (x i ; w) f (x i ; w) σi = 0 w k

7 método da máxima verossimilhança método da máxima verossimilhança: qualidade do ajuste para desvios gaussianos, a estatística χ : χ = N (y i f (x i ; w)) σ i distribui-se como uma distribuição χ com ν = N M graus de liberdade qualidade do ajuste: pode ser determinado pelo valor p em geral um ajuste razoavelmente bom tem χ ν muitas vezes se aplica este método mesmo sem se saber se os erros são gaussianos... 7 / 0

8 8 / 0 método da máxima verossimilhança método da máxima verossimilhança: erros nos parâmetros erros aleatórios e sistemáticos: suponha que você meça várias vezes a distância entre dois pontos com uma régua você espera que a média e o desvio padrão dessas medidas sejam uma boa estimativa da distância e do erro da medida mas e se você descobre que a escala da régua que você estava usando era 10% maior que o padrão? Como isso afeta seus resultados? erros intrínsecos ao processo de medida decrescem com N 1/ e são em geral aleatórios erros sistemáticos são introduzidos por processos que muitas vezes não se controla (ruído indesejado em um detector, problemas na sensibilidade dos filtros, estrelas de calibração erradas... ): o desafio é identificá-los e corrigi-los

9 9 / 0 método da máxima verossimilhança método da máxima verossimilhança: erros nos parâmetros propagação de erros: vamos supor que temos uma quantidade f que é função de ao menos duas variáveis, x 1 e x : f = f (x 1, x,...) se medimos x 1 e x, como o erro nessas variáveis, σ x1 e σ x, afeta f, supondo que as medidas e seus erros são independentes? considerando pesquenos desvios δ em torno do ponto (x 1, x,...), expandindo f em série de Taylor e retendo apenas os termos de primeira ordem da expansão: ( ) ( ) f f δf = δ x1 + δ x +... x 1 x x 1 x como a variância de uma soma é a soma das variâncias: ( ) ( ) σf f = σ f x x 1 + σx 1 x +... x 1 x

10 método da máxima verossimilhança método da máxima verossimilhança: erros nos parâmetros propagação de erros Exemplo: relação entre fluxo e magnitude como os erros em m e F se relacionam? ( ou razão sinal ruído: σ m = m = const..5 log F σ m = m F ) σ F ( ).5 σ F ln 10 F σ F F F σ F 1 σ m 10 / 0

11 11 / 0 combinando medidas método da máxima verossimilhança suponha que tenhamos duas medidas de uma quantidade x: x = x A ± σ A x = x B ± σ B como combinar as medidas A e B para se obter uma melhor estimativa de x? suponha que essas medidas são consistentes: se x A x B for muito maior que os desvios padrão, os dados podem estar sendo afetados por erros de outra natureza (dados inconsistentes) vamos resolver este problema pelo método da Máxima Verossimilhança: vamos supor que as duas medidas são extraídas de distribuições gaussianas onde o valor verdadeiro da medida é µ: [ ] [ ] P(x A ) 1 exp (x A µ) σ A σa P(x B ) 1 exp (x B µ) σ B σb

12 1 / 0 combinando medidas método da máxima verossimilhança a probabilidade conjunta de x A e x B é a verossimilhança: P(x A, x B ) = P(x A )P(x B ) 1 σ A σ B exp ( ) χ onde χ = ( ) ( ) x A µ x B µ + σ A σ B pelo Princípio da Máxima Verossimilhança, a melhor estimativa de µ, ˆx, é a que maximiza a verossimilhança (ou que minimiza o χ )

13 13 / 0 combinando medidas método da máxima verossimilhança minimizando o χ, é fácil ver que ˆx = x A σ A + x B σ B σa σb = w Ax A + w B x B w A + w B onde w A = 1/σ A e w B = 1/σ B a melhor estimativa é a média ponderada das medidas, onde os pesos são os inversos das variâncias se os erros são iguais, ˆx é a média das medidas

14 14 / 0 ajuste de uma reta aos dados regressão linear suponha que temos N dados {x i, y i } que queremos modelar com uma reta y = f (x; a, b) = a + bx (este problema é denominado regressão linear) supomos que conhecemos os erros nas medidas σ i e que os x i são conhecidos exatamente nesse caso a função de mérito é os parâmetros a, b são determinados por minimização do χ : χ (a, b) = N (y i a bx i ) σ i χ N (y i a bx i ) = a σ i = 0 S y as bs x = 0 χ N x i (y i a bx i ) = b σ i = 0 S xy as x bs xx = 0 onde N 1 S = σ i N x i S x = σ i N y i S y = σ i N x i S xx = σ i N x i y i S xy = σ i = SS xx S x e, portanto, SxxSy SxSxy a = SSxy SxSy b =

15 15 / 0 ajuste de uma reta aos dados regressão linear os parâmetros a e b obtidos dessa maneira são os que melhor ajustam os dados com a função de mérito χ as incertezas nos parâmetros podem ser obtidas por propagação de erros: a variância do parâmetro p (a ou b) é dada por e é fácil de ver que σ p = N σ i ( p y i σa = S xx σb = S a qualidade do ajuste pode ser avaliada com um teste do valor p usando uma distribuição χ com N graus de liberdade para um nível de confiança α pré-determinado )

16 16 / 0 regressão linear mínimos quadrados linear geral uma generalização da reta para ajustar os dados {x i, y i } é uma combinação linear de M funções quaisquer de x: M y(x) = a k X k (x) k=1 onde os X k (x) são denominados funções de base note que a função y(x) é linear nos parâmetros a k! exemplo: polinômio de grau M 1: nesse caso a função de mérito χ é y(x) = a 1 + a x + a 3 x a M x M 1 χ = N [ y i M k=1 a kx k (x i ) σ i ]

17 17 / 0 regressão linear mínimos quadrados linear geral χ = N [ y i M k=1 a kx k (x i ) σ i ] vamos usar matrizes para encontrar os parâmetros a k : a: o vetor M-dimensional dos parâmetros sejam A ij = X j(x i ) σ i b i = y i σ i com a matriz A sendo N M e b um vetor de dimensão N então, χ = (b A.a) T.(b A.a)

18 18 / 0 regressão linear mínimos quadrados linear geral minimizando χ = (b A.a) T.(b A.a) em relação aos parâmetros a leva a: α.a = β onde e α kj = N X j (x i )X k (x i ) σ i a = α 1.β = C.β N y i X k (x i ) β k = σ i b = A.β ou M M a j = [α] 1 β jk k = C jk β k, k=1 k=1 onde C = α 1 é a matriz de covariância em alguns casos a matriz A é singular ou quase: isso acontece quando duas ou mais funções base são muito correlacionadas entre si nesse caso convém resolver o sistema linear usando SVD: singular value decomposition os erros dos parâmetros são os elementos da diagonal de C: σ(a j ) = C jj

19 19 / 0 regressão linear mínimos quadrados linear geral ajustes multidimensionais: se estamos medindo uma quantidade y em função de várias variáveis tal que os dados são {x i } = {x ij }, j = 1,...L, então χ = N e toda a discussão anterior se aplica [ y i M k=1 a kx k (x i ) σ i ]

20 0 / 0 regressão linear exercícios 1 Como o erro na densidade de um corpo depende dos erros na massa e no volume do corpo? Mostre que minimizando-se o χ da página 1 chega-se ao resultado da página Obtenha por propagação de erros as incertezas nos parâmetros de uma reta, a e b (pg. 15).