Comportamento Assimptótico dos Mínimos Quadrados Questão: Será que a estimativa de mínimos quadrados converge para o valor verdadeiro dos parâmetros?

Transcrição

1 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 05 Comporameno Assimpóico dos Mínimos Quadrados Quesão: Será que a esimaiva de mínimos quadrados converge para o valor verdadeiro dos parâmeros? Modelo verdadeiro : 0 v A esimaiva dos mínimos quadrados é ' ˆ

2 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 06 0 v ' ˆ v 0 ' ' ˆ ou seja v 0 ' ˆ A esimaiva é igual ao valor verdadeiro adicionado de uma polarização. Em que condições é que a polarização é zero?

3 Conrolo por Compuador 3-Idenificação 07 Para que a esimaiva de mínimos quadrados seja cenrada, iso é para que: em de ser ˆ E E 0 Em geral, iso aconece se ou seja: E v 0 v fôr incorrelacionado com,, n, v em de ser incorrelacionado com v, v, Para que a esimaiva de mínimos quadrados seja cenrada o ruído em de ser branco. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

4 Conrolo por Compuador 3-Idenificação 08 Exemplo Considere o processo descrio pelo modelo ARMAX a bu e ce em que u e e são sinais brancos e independenes, com média nula e variância uniária. Deermine os valores explícios das esimaivas de mínimos quadrados â e bˆ em função de a, b, c. Sugesão: 0 v ˆ ' J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

5 Conrolo por Compuador 3-Idenificação 09 Sugesão con.: Escreva 0 e nese caso paricular. Tenha em cona que, para grande ' E ' E Calcule esas médias considerando que u e e são sinais brancos e independenes, com média nula e variância uniária. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

6 Conrolo por Compuador 3-Idenificação 0 a bu e ce u a b e ce ' 0 v J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

7 Conrolo por Compuador 3-Idenificação Esimação em presença de Ruído colorido Como se viu, em presença de ruído colorido, os mínimos quadrados fornecem uma esimaiva polarizada. Quer dizer, ao fazer muias observações a esimaiva não se aproxima do valor verdadeiro dos parâmeros. Méodos que permiem resolver ese problema: Variáveis insrumenais Insrumenal Variables Mínimos Quadrados Exendidos Exended Leas Squares Máxima Verosimilhança Maximum Likelihood Deses a Máxima Versimilhança é o mais geral e poderoso, embora o que seja compuadcionalmene mais pesado. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

8 Conrolo por Compuador 3-Idenificação Em presença de ruído colorido, usar os mínimos quadrados depende do objecivo: Se se preende consruir um modelo do sisema para esudar as suas caracerísicas e/ou projecar um conrolador, devem esimar-se os polinómios A q, B q e C q adequados.. Os mínimos quadrados não são Se se preende combinar a idenificação com uma lei de conrolo por forma a ober uma lei de conrolo adapaiva, os mínimos quadrados são os adequados porque, com ceras leis de conrolo variância mínima, há um * erro por se omar C q que compensa a polarização das esimaivas. É niso que consise a propriedade de auo-sinonização self-uning. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

9 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 3 Variáveis Insrumenais Modelo: ' v o Esimador de mínimos quadrados LS ' ˆ Esimador de variáveis insrumenais IV ' ˆ

10 Conrolo por Compuador 3-Idenificação 4 ˆ IV ' A variável, denominada insrumeno, deve ser al que: e v são incorrelacionadas e são correlacionadas, por forma a que a mariz seja inverível. ' J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

11 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 5 Comporameno Assimpóico das Variáveis Insrumenais IV ' ˆ o IV v ' ' ˆ o IV v ' ˆ Sendo e v incorrelacionadas, 0 v e o IV ˆ

12 Conrolo por Compuador 3-Idenificação 6 Escolha das Variáveis Insrumenais ˆ IV ' e v são incorrelacionadas ' v o e são correlacionadas, por forma a que a mariz ' seja inverível. Uma possibilidade é M ' ˆ IV ' M M n u u n J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

13 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 7 Variáveis Insrumenais em bach Com esa escolha das variáveis insrumenais, em-se o seguine algorimo:. Comece com uma escolha a priori da esimaiva ˆ. Calcule as variáveis insrumenais por ˆ ' M ' n u u n M M 3. Corrija a esimaiva por ' ˆ 4. Vole a.

14 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 8 Variáveis Insrumenais Recursivas O esimador de variáveis insrumenais pode ser expresso recursivamene: ' ' P P P P P P H ˆ ˆ ˆ H Exercício: Demonsre esas expressões de modo análogo ao feio para ober o algorimo RLS.

15 Conrolo por Compuador 3-Idenificação 9 Mínimos Quadrados Esendidos Generalização heurísica dos Mínimos Quadrados para processos ARMAX: ' o v v e ce cne n e branco Admia-se que, num dado insane se conhecem esimaivas A esimaiva de,, n de e,, e n e pode ser calculada a parir de ˆ cˆ ' n cˆ n J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

16 Conrolo por Compuador 3-Idenificação 0 ' e ce c e n o n Sejam ' : ' n ˆ' : ˆ' cˆ ˆ es es c n As equações dos Mínimos Quadrados Esendidos são: ˆ es es K es ' es ˆ es K es é o ganho de Kalman correspondene ao regressor ' es ˆ es J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

17 Conrolo por Compuador 3-Idenificação Méodo de Máxima Verosimilhança Maximum Likelihood mehod Seja uma variável aleaória v. a. cuja densidade de probabilidade p, depende de um parâmero desconhecido Preende esimar-se o parâmero em função de observações de e adimiindo conhecida a forma de p,. Repare-se que, observação. p fica uma função apenas de quando é feia uma J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

18 Conrolo por Compuador 3-Idenificação Esimador de Máxima Verosimilhança Dada uma observação de escolher o valor de que maximiza a função de verosimilhança likelihood funcion L, : p, ou, equivalenemene Assim: ˆ max log L, log L, ML ou seja log ˆ ML L, 0 J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

19 Conrolo por Compuador 3-Idenificação 3 Exemplo e é uma consane desconhecida, que se preende esimar por observações de que são corrompidas pelo ruído e. Para cada insane de empo a f.d.p. de e é e, e v.a. independenes ruído Branco e exp e p e Preende-se esimar pelo méodo de Máxima Verosimilhança, em função de Y '. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

20 Conrolo por Compuador 3-Idenificação 4 Se x e x são v. a. independenes Sugesão p x, x p x p x Tendo em cona ese faco e a forma da f.d.p. de cada, calcule a densidade de probabilidade do conjuno das observações de. Calcule o logarimo e iguale a derivada a zero. p Y que depende J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

21 Conrolo por Compuador 3-Idenificação 5 Para cada uma das observações feia num insane genérico, endo em cona o modelo das observações: Dado que os e são independenes Assim,, exp p p Y Y, p i, i i p Y Y, exp i / i J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

22 Conrolo por Compuador 3-Idenificação 6 p Y Y, exp i / i log p Y Y, log i i A esimaiva de máxima verosimilhança saisfaz log p Y, ˆ 0 Y ML ou seja i i ˆ 0 ML sendo a esimaiva ˆ ML i i J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

23 Conrolo por Compuador 3-Idenificação 7 Caso paricular: Observações idependenes, gaussianas, com variância conhecida relação com os mínimos quadrados As observações consisem em amosras independenes,, de uma v. a. gaussiana com f. d. p. p Admie-se conhecido., exp m A média m m depende do vecor de parâmeros a esimar. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

24 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 8 Sendo as observações independenes, a sua densidade conjuna é o produo das densidades de probabilidade das observações individuais:,, ;,, p p L Tendo em cona que é gaussiana: i i m L exp ;,,

25 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 9 i i m L exp ;,, Definindo m i i : o simérico do logarimo da função de verosimilhança escreve-se log log log L i i

26 Conrolo por Compuador 3-Idenificação 30 log L Maximizar log log i i L Minimizar log L Se é conhecido, maximizar L é equivalene a minimizar o criério de Mínimos Quadrados V i i J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

27 Conrolo por Compuador 3-Idenificação 3 Assim, para observações independenes, gaussianas e com variância conhecida, o criério de máxima verosimilhança é equiivalene ao criério de mínimos quadrados. ouras siuações não é assim. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

28 Conrolo por Compuador 3-Idenificação 3 Propriedades do Esimador de Máxima Verosimilhança Consisência Para observações independenes o esimador ML é consisene muio grande p ML grande pequeno ML o J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

29 Conrolo por Compuador 3-Idenificação 33 A esimaiva é uma função das observações que são v. a., pelo que bambém é uma variável aleaória e, como al, em uma fdp. De um modo grosseiro, a consisência significa que a fdp da esimaiva se vai aperando cada vez mais quando o número de observações aumena. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

30 Conrolo por Compuador 3-Idenificação 34 Desigualdade de Cramer-Rao A precisão de um esimador cenrado é limiada pela desigualdade de Cramer-Rao: em que: P J T P E ˆ ˆ o o é a mariz de covariância do erro de esimação J E log L é a mariz de informação de Fischer J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

31 Conrolo por Compuador 3-Idenificação 35 Propriedades do Esimador de Máxima Verosimilhança Eficiência O esimador de Máxima verosimilhança é assimpoicamene eficiene. Quer dizer que, quando o número de observações independenes ende para, a covariância do erro ende para o limie de Cramér-Rao. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

32 Conrolo por Compuador 3-Idenificação 36 Deerminação umérica do Esimador de Máxima Verosimilhança O méodo de Máxima Verosimilhança deermina o valor de que maximixa Iso é equivalene a minimizar log L, J log L, Para al, é necessário recorrer, nos casos de ineresse, a um algorimo numérico ieraivo. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

33 Conrolo por Compuador 3-Idenificação 37 Minimização de funções pelo méodo de ewon Seja J uma função escalar de variável vecorial a minimizar. Um algorimo acualiza uma esimaiva ˆ k do mínimo, para cosnruir uma nova esimaiva ˆ k. De acordo com o méodo de ewon: ˆ k ˆ k J ˆ k J. T ˆ k J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

34 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 38 Exemplo de aplicação do Méodo de ewon Preende-se minimizar a função quadráica T T b A J 0 T A A Tem-se T T b A J A J ˆ ˆ. ˆ ˆ k T k J J k k b A b k A A k k. Ainje o mínimo em um passo, parindo de qualquer pono!

35 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 39 Esimação de Máxima Verosimilhança dos parâmeros de um modelo ARMAX Modelo Armax: e q C u q B q A n m n c c b b a a 0 Polinómios cujos parãmeros se preendem esimar

36 Conrolo por Compuador 3-Idenificação J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo 40 Predior passo à frene: ˆ ˆ ˆ ˆ ˆ u q B A q q C q C Erro de predição: ˆ Aproximação de Asrom do gradiene e da mariz hessiana: T n e e m u u n q C ˆ J T J T

37 Conrolo por Compuador 3-Idenificação 4 Esimação de Máxima Verosimilhança com o MATLAB z=[ u]; na=4; nb=; nc=4; nk=; nn=[na nb nc nk]; h=armaxz,nn; h=idsimu,h; plo,[ h]; [Phi,Gamma,C,D,K,X0]=hssh; T=0.05; [A,B]=dcPhi,Gamma,T; [num,den]=ssfa,b,c,d; A esimação em presença de ruído colorido faz-se com a função armax A esimação de Mínimos Quadrados faz-se com a função arx J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

38 Conrolo por Compuador 3-Idenificação 4 Mínimos Quadrados Máxima Versomilhança J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

39 Conrolo por Compuador 3-Idenificação 43 Selecção da Esruura do Modelo A esruura do modelo é dada pelos valores de m e n a A q B q u C q e a b b c n 0 m O uso de modelos permie aproximar a densidade de probabilidade dos dados observados p pela sua esimaiva de Máxima Verosimilhança, p ˆ. c n J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

40 Conrolo por Compuador 3-Idenificação 44 Se exisirem vários modelos em compeição, devemos escolher o que conduz a uma densidade de probabilidade mais próxima da verdadeira. É pois necessário inroduzir uma disância enre densidades de probabilidade. Akaike 974 sugeriu a chamada divergência de Kullback: D ˆ p p ; p : E log A média é omada relaivamene a p. p ˆ Escolhe-se o modelo com D mínimo. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

41 Conrolo por Compuador 3-Idenificação Iso conduz ao criério de informação de Akaike AIC. De acordo com ese criério, é escolhido o modelo que minimiza: AIC log L p 45 Função de verosimilhança úmero de parâmeros do modelo Ese criério pode conduzir a valores de p excessivamene elevados. Um criério mais rigoroso é o Minimum Descripion Lengh MDL. J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo

42 Conrolo por Compuador 3-Idenificação 46 Cálculo do MDL para modelos ARMAX, ˆ, ˆ, ˆ MDL plog ˆ J. Miranda Lemos IST-DEEC Área Cienífica de Sisemas, Decisão e Conrolo