θ depende de um parâmetro desconhecido θ.

Transcrição

1 73 Método de Máxima Verosimilhança (Maximum Likelihood) Seja uma variável aleatória (v. a.) cuja densidade de probabilidade depende de um parâmetro desconhecido. Admite-se conhecida a forma de Exemplo - Distribuição Gaussiana: πσ ( ) σ σ 2 - variância (conhecida)

2 74 Estimador de Máxima Verosimilhança Dada uma observação de escolher o valor de que maximiza a função de verosimilhança (likelihood function) ou, equivalentemente { ( )} Repare-se que fica uma função apenas de quando é feita uma observação.

3 75 Assim: ( ) { } { } ( ) ou seja Quando a função de verosimilhança é gaussiana teremos: πσ ( ) σ σ Obviamente, com uma observação apenas, a melhor estimativa para a média de uma distribuição é o próprio valor da medida. O que sucede quando temos mais medidas?

4 76 Exemplo e(t) y(t) +e(t) é uma constante desconhecida, que se pretende estimar por observações de (que são corrompidas pelo ruído ). Para cada instante de tempo a f.d.p. de é: π v.a. independentes ( ruído Branco )

5 77 Pretende-se estimar pelo método de Máxima Verosimilhança, em função de [ ]. Para cada uma das observações feita num instante genérico, tendo em conta o modelo das observações, a distribuição de y é: π ( ) ( ) Dado que os são independentes, a distribuição conjunta das observações é: ( )

6 78 Assim, π ( ) ( ) ( π ) ( ) A estimativa de máxima verosimilhança satisfaz { ( )} ( ) sendo a estimativa

7 79 Resumo: Observações independentes, gaussianas, com variância conhecida As observações consistem em amostras independentes de uma v. a. gaussiana com f. d. p. ( ) σ π σ Admite-se σ conhecido!

8 80 Sendo as observações independentes, a sua densidade conjunta é o produto das densidades de probabilidade das observações individuais: Tendo em conta que é gaussiana: σ ( σ π ) ( )

9 81 Definindo o resíduo como: ε ( ) o simétrico do logaritmo da função de verosimilhança escreve-se ( ) ε ( ) + σ + π σ Maximizar Minimizar ε + σ + π σ

10 82 Relação com os mínimos quadrados Se σ é conhecido, maximizar é equivalente a minimizar o critério de Mínimos Quadrados ( ) ε Assim, para observações independentes, gaussianas e com variância conhecida, o critério de máxima verosimilhança é equivalente ao critério de mínimos quadrados. Noutras situações não é assim.

11 83 Determinação Numérica do Estimador de Máxima Verosimilhança O método de Máxima Verosimilhança determina o valor de que maximiza Isto é equivalente a minimizar { } { } Para tal, é necessário recorrer, nos casos de interesse, a um algoritmo numérico iterativo.

12 84 Propriedades do Estimador de Máxima Verosimilhança Consistência : Para observações independentes o estimador ML é consistente. A estimativa é uma função das observações que são v. a., pelo que também é uma variável aleatória e, como tal, tem uma fdp N muito grande De um modo grosseiro, a consistência significa que a fdp da estimativa se vai apertando cada vez mais quando o número de observações aumenta. p( ML ) N grande N pequeno ML o

13 85 Desigualdade de Cramer-Rao A precisão de um estimador centrado é limitada pela desigualdade de Cramer-Rao: em que: [ ] é a matriz de covariância do erro de estimação ( ) é a matriz de informação de Fischer

14 86 Propriedades do Estimador de Máxima Verosimilhança Eficiência : O estimador de Máxima verosimilhança é assimptoticamente eficiente. Quer dizer que, quando o número de observações independentes tende para, a covariância do erro tende para o limite de Cramér-Rao.

15 87 Exercício: Pretende-se medir um parâmetro, para o que se dispõe de dois sensores que produzem medidas e. Admite-se que o sensor produz uma medida relacionada com o valor verdadeiro do parâmetro por + tal que: πσ σ em que σ 11 e σ 2 2. e e 1 sensor 1 2 sensor 2 y y 1 2 a) Para um determinado instante t são obtidas medidas simultâneas dos sensores, (t) e (t). Determine a estimativa de máxima verosimilhança do parâmetro, calculada a partir dessas duas medidas. b) Determine a variância do erro de estimação. c) Indique o que fazer para obter melhores estimativas de, admitindo que se podem obter medidas noutros instantes de tempo.

16 Selecção e Validação da Estrutura do Modelo 88 A estrutura do modelo é dada pelos valores de m, n, e d. + [ ] 1 - Quais os valores de m, n e d mais adequados para obter um bom ajuste do modelo aos dados experimentais existentes e, simultaneamente atenuar o efeito do ruído existente na realização da experiência? 2 Como avaliar a qualidade do ajuste?

17 89 Exemplo Ilustrativo Ajuste de dados gerados por um polinómio de terceiro grau + ruído. 30 Noisy data y x

18 y y y y y y 90 Ajuste de Modelos de Polinómios de complexidade crescente 30 Two Params 30 Three Params 40 Four Params x x x 30 Five Params 30 Six Params 30 Seven Params x x x

19 Erro no Conjunto de Treino vs Erro no Conjunto de Teste Train versus Test error Error Model Order

20 92 Sobre-ajuste Overfitting Com o aumento do número de parâmetros, o modelo tende a aproximar-se demasiado da realização particular do processo estocástico representado pelos dados e incorporar o ruído existente. Deveremos escolher um número de parâmetros tal que os dados existentes sejam bem aproximados, mas que o modelo apresente pouco erro também para outras realizações do processo.

21 93 Erro de Simulação Avaliação da qualidade do ajuste em sistemas dinâmicos Sistema real : y(t) G(q) u(t) + H(q) e(t) Sistema Simulado: y*(t) G(q) u(t) Erro de simulação: ε Pode ser usado para avaliar a qualidade do ajuste em sistemas estáveis. Para sistemas instáveis, as perturbações desconhecidas não são devidamente simuladas e provocam desvios da realidade que não se extinguem com o tempo.

22 94 Para sistemas instáveis temos que usar o Erro de Predição: Sistema real : y(t+m) G(q) u(t+m) + H(q) e(t+m) Preditor a m passos: y(t+m t) Erro de predição: ε Em breve veremos como calcular preditores para diversos horizontes temporais.

23 95 Critério de ajuste normalizado Para comparar ajustes efectuados com diferentes conjuntos de dados temos que normalizar o critério de erro para ser insensível à amplitude dos sinais: ε ( ) ( ) Caso contrário, estaremos a penalizar experiências efectuadas com amplitudes dos sinais elevadas, independentemente da qualidade do ajuste.

24 96 Técnicas de Selecção da Ordem do Modelo Havendo um número de dados suficiente: o Diferentes conjuntos de treino, validação e teste. Com número de dados limitados: o Validação Cruzada o Critério de Informação Bayesiano (BIC) o Critério de Informação de Akaike (AIC) o Minimum Description Length (MDL)

25 97 Conjuntos de treino, validação e teste Repartir os dados experimentais em subconjuntos de treino, validação e teste: O conjunto de treino serve para efectuar a estimação dos parâmetros dos modelos. O conjunto de validação serve para verificar o comportamento dos modelos estimados em dados novos e escolher o modelo que produz erro mínimo no conjunto de validação. O conjunto de teste serve para fazer a avaliação final do modelo escolhido, num conjunto de dados independentes. Uma partição típica dos dados é de 50%, 25%, 25%.

26 Validação Cruzada 98 Particionar os dados em K sub-conjuntos de tamanhos aproximados. Executar K-1 estimações do modelo, deixando de fora um dos subconjuntos à vez. Em cada estimação, avaliar o erro de validação-cruzada no sub-conjunto deixado de fora. Calcular o erro total de validação cruzada como a média dos erros de validação parciais. Escolher o modelo conducente ao menor erro total de validação cruzada. Efectuar a avaliação final do modelo escolhido com o sub-conjunto restante dos dados

27 99 Selecção de ordem do modelo com poucos dados Nos casos em que não é possível obter um número suficiente de dados para aplicar as técnicas anteriores, utilizam-se critérios estatísticos para seleccionar a ordem dos modelos: Critério de Informação de Akaike Critério de Informação Bayesiano Minimum Description Length

28 100 Estes critérios baseiam-se na minimização de uma função com um termo que depende do erro de ajuste e de um termo que depende da ordem do modelo. custo Termo dependente da ordem (número de parâmetros) Termo dependente dos dados Ordem do modelo

29 101 Critério de Informação de Akaike Pretende-se escolher o modelo cuja densidade de probabilidade seja mais próxima da verdadeira. É pois necessário introduzir uma distância entre densidades de probabilidade. Akaike (1974) sugeriu a chamada divergência de Kullback: ( ) Escolhe-se o modelo com mínimo.

30 102 Isto conduz ao critério de informação de Akaike (AIC). De acordo com este critério, é escolhido o modelo que minimiza: + Função de verosimilhança Número de parâmetros do modelo Este critério pode conduzir a valores de excessivamente elevados.

31 103 Critério de Informação Bayesiano Seja um conjunto de modelos candidatos (M m ) e correspondentes parâmetros ( m ). Pretende-se maximizar a probabilidade de um modelo, para o conjunto de dados y: O integral é difícil de calcular. Usa-se a aproximação de Laplace: + N número de dados do conjunto de treino, d m número de parâmetros livres no modelo.

32 104 Isto conduz ao seguinte critério Minimizar: + BIC é consistente selecciona o modelo correcto para N muito grande. Para N pequeno, BIC tende a penalizar mais os modelos complexos do que o AIC. O BIC permite-nos ainda estimar a probabilidade de cada modelo:

33 Minimum Description Length 105 Baseado em codificação óptima de sinais. Pretende-se transmitir um conjunto de mensagens z i, com o menor número possível de bits (length). Atribuir códigos com menos bits a mensagens mais frequentes e códigos com mais bits a mensagens raras. Lower bound (Shannon): Aplicando ao problema de estimação: ( )!!! "

34 106 Cálculo do MDL para modelos ARMAX ε λ ε + λ