p( y θ ) depende de um parâmetro desconhecido θ.

Transcrição

1 55Modelação, Identificação e Controlo Digital 55 Método de Máxima Verosimilhança (Maximum Likelihood) Seja y uma variável aleatória (v. a.) cuja densidade de probabilidade p( y θ ) depende de um parâmetro desconhecido θ. Admite-se conhecida a forma de p( y θ ). Repare-se que p( y θ ) fica uma função apenas de θ quando é feita uma observação y.

2 56Modelação, Identificação e Controlo Digital 56 Estimador de Máxima Verosimilhança Dada uma observação de y escolher o valor de θ que maximiza a função de verosimilhança (likelihood function) ou, equivalentemente Assim: ( θ ) ˆ θ = arg max log{ L } ML θ L( θ ) : = p( y θ ) log{ L( θ )} { } ˆ ( θ ) ou seja L θ = θ θ ML log = 0

3 57Modelação, Identificação e Controlo Digital 57 Exemplo e(t) θ y(t)= θ +e(t) θ é uma constante desconhecida, que se pretende estimar por observações de y (que são corrompidas pelo ruído e (t) ). Para cada instante de tempo t a f.d.p. de e é: ( e) exp e = p e ( t ) π t t e( t), e( ) v.a. independentes ( ruído Branco ) t

4 58Modelação, Identificação e Controlo Digital 58 Pretende-se estimar θ pelo método de Máxima Verosimilhança, em função de Y [ y( ) y( t) ]' =. Se x e x são v. a. independentes Sugestão p x x ( α, β ) = p ( α) ( x p x β Tendo em conta este facto e a f.d.p. de cada y (t) probabilidade do conjunto das observações (que depende de θ ). Calcule o logaritmo e iguale a derivada a zero. ), calcule a densidade de

5 59Modelação, Identificação e Controlo Digital Para cada uma das observações feita num instante genérico t, tendo em conta o modelo das observações: py( t) ( y( t) θ ) = exp ( y( t) θ ) = pe( t) y( t) θ π e( t ) Dado que os e (t) são independentes Assim, t py ( Y θ ) = py( i) ( y( i) θ ) ( ) i= t py ( Y θ ) = exp ( y( i) ) t / θ π i= ( ) 59

6 60Modelação, Identificação e Controlo Digital 60 t py ( Y θ ) = exp ( y( i) ) t / θ π i= ( ) t t log Y ( log ( ) ( p Y θ ) = ( π ) ( y i θ ) i= A estimativa de máxima verosimilhança satisfaz θ { ( p ˆ )} Y Y θml log ( = 0 ou seja t i= ( y( i) ˆ θ ) = 0 ML sendo a estimativa θˆ ML = t t i= y( i)

7 6Modelação, Identificação e Controlo Digital Caso particular: Observações independentes, gaussianas, com variância conhecida (relação com os mínimos quadrados) As observações consistem em amostras independentes Y = y y de uma v. a. gaussiana y com f. d. p. Admite-se σ conhecido! (,, )' py ( y θ ) = exp ( y m( θ )) σ π σ A média m( θ ) depende do vector de parâmetros a estimar θ. 6

8 6Modelação, Identificação e Controlo Digital 6 Sendo as observações independentes, a sua densidade conjunta é o produto das densidades de probabilidade das observações individuais: L = p y p y ( θ ) ( θ ) ( θ ) Tendo em conta que y é gaussiana: L( θ ) = exp ( ) y i m σ π σ i= ( ) ( θ )

9 63Modelação, Identificação e Controlo Digital 63 L( θ ) = exp ( ) y i m σ π σ i= ( ) ( θ ) Introduzindo o resíduo: i ( ) : = y m( ) ε θ θ i o simétrico do logaritmo da função de verosimilhança escreve-se log L( θ ) = ε ( θ ) + logσ + log( π ) i σ i =

10 64Modelação, Identificação e Controlo Digital 64 Maximizar L Minimizar = + + log L log log( ) εi σ π σ i = Se σ é conhecido, maximizar L é equivalente a minimizar o critério de Mínimos Quadrados = i= i ( ) V ( θ ) ε θ Assim, para observações independentes, gaussianas e com variância conhecida, o critério de máxima verosimilhança é equivalente ao critério de mínimos quadrados. outras situações não é assim.

11 65Modelação, Identificação e Controlo Digital 65 Exercício: Pretende-se medir um parâmetro θ, para o que se dispõe de dois sensores que produzem medidas y e y. Admite-se que o sensor i produz uma medida y i relacionada com o valor verdadeiro do parâmetro por y i = θ + e tal que: i p ( e ) = exp ei i e πσ σ i i i em que σ = e σ =. θ θ θ e e sensor sensor y y a) Para um determinado instante t são obtidas medidas simultâneas dos sensores, y (t) e y (t). Determine a estimativa de máxima verosimilhança do parâmetro θ, calculada a partir dessas duas medidas. b) Determine a variância do erro de estimação. c) Indique o que fazer para obter melhores estimativas de θ, admitindo que se podem obter medidas noutros instantes de tempo.

12 66Modelação, Identificação e Controlo Digital 66 Determinação umérica do Estimador de Máxima Verosimilhança O método de Máxima Verosimilhança determina o valor de θ que maximiza Isto é equivalente a minimizar log { L( θ )} { L θ } J ( θ ) = log ( ) Para tal, é necessário recorrer, nos casos de interesse, a um algoritmo numérico iterativo.

13 67Modelação, Identificação e Controlo Digital 67 Estimação de Máxima Verosimilhança dos parâmetros de um modelo ARMAX Modelo Armax: A( q) y( t) = B( q) u( t) + C( q) e( t) θ = Polinómios cujos parametros se pretendem estimar [ a a b b c c ] n 0 m n e(t) é ruído branco de variância desconhecida

14 68Modelação, Identificação e Controlo Digital Modelo Inverso 68 n n n e( t) = y( t) + a y( t i) b u( t i) c e( t i), t = n... i i i i= i= i= Dada uma estimativa inicial dos parâmetros θ, estima-se o erro de predição: Minimiza-se: n n n θ θ θ i i i i= i= i= ε θ ( t) = y( t) + a y( t i) b u( t i) c ε θ ( t i) ( n + ) log L( θ, σ ) = ε ( t) + ( n + ) logσ + log( π ) σ = θ t n

15 69Modelação, Identificação e Controlo Digital 69 ( n + ) J t n σ = ( θ, σ ) = ( ) ( ) log log( ) εθ + + σ + π t n Minimização em σ: Minimização em θ: ε θ ( t) J = t n 0 ˆ σ = = σ ( n + ) J ε ( t) = 0 ( ) = 0 θ εθ t θ σ t= n θ Ver método da minimização do erro de predição.

16 70Modelação, Identificação e Controlo Digital Propriedades do Estimador de Máxima Verosimilhança 70 Consistência : Para observações independentes o estimador ML é consistente. A estimativa é uma função das observações que são v. a., pelo que também é uma variável aleatória e, como tal, tem uma fdp muito grande De um modo grosseiro, a consistência significa que a fdp da estimativa se vai apertando cada vez mais quando o número de observações aumenta. p(θ ML ) grande pequeno θ θ ML o

17 7Modelação, Identificação e Controlo Digital 7 Desigualdade de Cramer-Rao A precisão de um estimador centrado é limitada pela desigualdade de Cramer-Rao: em que: [ ] T P E ( ˆ θ θ ˆ o)( θ θo) J P J = é a matriz de covariância do erro de estimação = E L θ ( log ) é a matriz de informação de Fischer

18 7Modelação, Identificação e Controlo Digital 7 Propriedades do Estimador de Máxima Verosimilhança Eficiência : O estimador de Máxima verosimilhança é assimptoticamente eficiente. Quer dizer que, quando o número de observações independentes tende para, a covariância do erro tende para o limite de Cramér-Rao.