Resumindo e concluindo

Transcrição

1 Resumindo e concluindo eleextos de bolso e de trazer por casa, suavemente, suavemente Parte Sílvio A Abrantes Departamento de Engenharia Electrotécnica e de Computadores Faculdade de Engenharia, Universidade do Porto Porto, Portugal sam@feuppt Julho de Conteúdo Introdução Estimação de parâmetros simples A informação de Fisher 3 3 Amostras de sinal em ruído gaussiano branco (AWGN) 3 3 Constante imersa em ruído AWGN 4 3 Sinusóide em ruído AWGN 4 3 Estimação conjunta de vários parâmetros 6 3 Amostras de sinal em ruído gaussiano branco (AWGN) 8 3 Sinusóide em ruído AWGN 8 4 Referências Introdução Ao falar-se da estimação de parâmetros são habitualmente referidos os critérios da máxima verosimilhança (M) e da máxima probabilidade a posteriori (MAP) Supondo que se deseja estimar o parâmetro a partir das observações consignadas num vector de amostras r, o critério da máxima verosimilhança assenta na procura do valor ˆM ˆ M arg max p r que maximiza a função de verosimilhança p r : O critério MAP decide-se pela estimativa ˆMAP que maximiza a probabilidade a posteriori p r : ˆ MAP arg max p r Portanto, consoante o critério de estimação assim se procura o máximo de p r ou de p r É sabido que, em certas condições, os dois critérios de estimação são equivalentes Por M: maximum likelihood ; MAP: maximum a posteriori probability

2 exemplo, tratando-se da estimação dos símbolos enviados numa comunicação, as escolhas dos dois critérios são as mesmas se os símbolos forem equiprováveis A estimativa ˆ é uma variável aleatória Idealmente o seu valor médio seria igual ao próprio parâmetro estimado e a sua variância seria nula, mas este último desejo não é possível de satisfazer De facto, o valor médio até poderá ser igual ao parâmetro mas a variância será sempre superior ou igual a uma certa quantidade positiva, um valor mínimo designado por minorante de Cramér-Rao Este eleexto não trata dos estimadores de parâmetros em si (assunto abordado em [] e []); trata, sim, dos minorantes de Cramér-Rao, em particular os associados à estimação dos parâmetros de sinusóides mergulhadas em ruído gaussiano branco; outras diversas situações de interesse, como a recuperação da fase da portadora em modulações digitais, serão tratadas em eleexto posterior Consideraremos daqui para a frente que se usa o critério da máxima verosimilhança Em primeiro lugar vamos lidar com a estimação de parâmetros simples, a situação, mais favorável, em que apenas um parâmetro vai ser estimado (porque todos os outros que existam são conhecidos); depois passaremos para a situação mais complicada de desejarmos estimar vários parâmetros desconhecidos ao mesmo tempo Estimação de parâmetros simples Deseja-se estimar o parâmetro determinístico a partir de amostras rk ( ), k,,, A estimativa ˆ é uma variável aleatória e o erro de estimação ˆ também, com valor médio E ˆ E ˆ e variância igual à variância ˆ de ˆ : ˆ var( ˆ ) E ( ˆ ) E( ˆ ) E ˆ E( ˆ ) Se o valor médio da estimativa for igual ao parâmetro a estimar, não-enviesada Nesse caso a média do erro de estimação é nula, E ˆ Seja p( ) E( ˆ ), a estimativa diz-se r a verosimilhança do vector de amostras r() r() r( ) r e ln p( r ) a sua log-verosimilhança Admitindo que a primeira e a segunda derivada de ln p( r ) existem e são absolutamente integráveis, o valor quadrático médio do erro de estimação de não pode ser inferior a uma certa quantidade mínima, aqui expressa de duas maneiras equivalentes [3]: E d E( ˆ ) d E( ˆ ) d d d d E ln p( r ) E ln p( ) d r d ( ˆ ) Se a estimativa for não-enviesada os numeradores valem, porque igual à variância da própria estimativa ˆ, porque ( ˆ ) ˆ ˆ fica limitada inferiormente pelo minorante de Cramér-Rao, CRB( ) [4]: de( ˆ ) d, e ˆ E ( ) é E E E ˆ Assim, ˆ Harald Cramér ( ), matemático e estatístico sueco; C R Rao (9-), estatístico indiano

3 ˆ CRB( ) d d E ln p( r ) E ln p( ) d r d Deseja-se, naturalmente, que a variância ˆ seja a menor possível: quanto mais próxima de CRB( ) estiver, melhor Se a variância atingir o valor mínimo possível, isto é, se ˆ CRB( ), a estimativa diz-se eficiente Sabe-se que, se uma estimativa for eficiente, essa é, de certeza, a estimativa de máxima verosimilhança [3] A informação de Fisher Ao valor médio do quadrado da derivada da log-verosimilhança em ordem a chama-se informação de Fisher 3 : I( ) dln p( r ) E () d Alternativamente podemos escrever I( ) d ln p( r ) E d () ogo, com estimadores não-enviesados o minorante de Cramér-Rao é o inverso da informação de Fisher: CRB( ) I( ) (3) 3 Amostras de sinal em ruído gaussiano branco (AWGN) As situações que envolvem ruído branco gaussiano aditivo (AWGN) são muito comuns Vamos ver que, nesse contexto, as equações () e () se simplificam razoavelmente Suponhamos que r( k) s( k) n( k), em que r(k) representa a k-ésima amostra observada, s(k) é uma amostra de sinal determinístico que contém um parâmetro real não-aleatório desconhecido,, e n(k) é uma amostra de ruído AWGN de média nula e variância Queremos determinar a informação de Fisher e o minorante de Cramér-Rao quando a estimativa de não é enviesada Como as amostras de ruído são independentes, a verosimilhança e a log-verosimilhança de r escrevem-se, respectivamente, p( r ) p( r( k) ) exp r( k) s( k) k k ln p ( r ) ln ( ) ( ) r k s k k Partindo da segunda derivada de ln p( r ), 3 Ronald A Fisher (89-96): famoso estatístico inglês 3

4 d d s( k) ln p( r ) r( k) s( k) d k d d, obtemos o valor médio (em r) E p E r k s k d d s( k) ln ( ) ( ) ( ) r d k d k d nk ( ) d s( k) En( k) d k d k d k endo em conta () e (3) chegamos imediatamente a I( ) e a CRB( ) : k I( ) d (4) CRB( ) k d (5) Esta é uma conclusão interessante: na presença de ruído gaussiano não precisamos de derivar a log-verosimilhança ln p( r ), bastando derivar o sinal que contém o parâmetro a estimar Seguem-se alguns casos especiais de cálculo da informação de Fisher e do minorante CRB 3 Constante imersa em ruído AWGN Seja s( k) A Como da, então I( A) CRB( A) I( A) 3 Sinusóide em ruído AWGN Suponhamos que s( k) Acos( fk ) Os parâmetros desta sinusóide são a amplitude A, a fase e a frequência f Vamos determinar sucessivamente CRB( A ), CRB( ) e CRB( f ), para o que precisaremos de da, d e df, respectivamente 3 Estimação da amplitude A (frequência e fase conhecidas) A partir de cos( fk ) (6) da obtemos fk k da k cos ( ) Como cos ( fk ) cos(4 fk ) então 4

5 cos ( f k ) cos(4 f k ) cos(4 f k ) k k k Mas cos(4 fk ), se k f ou f,5, (7) e, portanto, cos ( fk ) e k I( A) (8) CRB( A) 3 Estimação da fase (amplitude e frequência conhecidas) Agora é d Asen( f k ) (9) A sen ( fk ) k d k Mas sen ( fk ) cos(4 fk ) e sen ( f k ) cos(4 f k ) cos(4 f k ) k k k, expressão que, tendo em conta (7), se simplifica em k sen ( fk ) Sendo assim, A I( ) () CRB( ) A A equação anterior condiz com o senso comum: é natural que a precisão da estimativa seja tanto maior (variância mínima menor) quanto mais amostras tivermos (), maior for a potência do sinal ( A ) e menor for a potência do ruído AWGN ( ) 33 Estimação da frequência f (amplitude e fase conhecidas) Começamos com 5 Ak sen( fk ) () df 4 A k sen ( fk ) k df k

6 CRB(f) Poderíamos escrever já que o minorante CRB( f ) vale exactamente CRB( f ) k 4 A k sen ( fk ) df k () mas vamos procurar uma aproximação Fazendo como anteriormente somos levados a k k k k sen ( f k ) k k cos(4 f k ) No segundo membro o segundo somatório é muito menor que o primeiro, que vale k cos(4 fk ) k k k, ( )( ) k 6 k Portanto, k k ( )( ) sen ( f k ) e A ( )( ) I( f) (3) 3 3 CRB( f) A ( )( ) (4) Na Fig compara-se o minorante exacto () com o minorante aproximado (4), para = 5, A =, e º Excepto nos extremos do gráfico, junto às frequências proibidas f = e f =,5, a aproximação está sempre muito próxima do valor exacto Porém, aquela é muitíssimo mais fácil de calcular 4 x CRB(f ) aproximado 3 A ( )( ) CRB(f ) exacto k df freq Fig O minorante CRB(f ) exacto e a sua aproximação 3 Estimação conjunta de vários parâmetros Até ao momento lidámos apenas com a estimação de um parâmetro único Se, pelo contrário, pretendermos estimar vários parâmetros ao mesmo tempo, quais são os minorantes de Cramér-Rao 6

7 associados? O que há a fazer é estender os conceitos apresentados no anterior caso, escalar, à nova situação, vectorial Assim, na estimação de N parâmetros,,, i,, N vamos considerar os vectores-coluna de N elementos α N e α ˆ ˆ ˆ N e supor que estas estimativas são não-enviesadas De acordo com [3], a variância do erro de estimação do parâmetro genérico i, igual à variância da estimativa ˆi, nunca é inferior ao minorante de Cramér-Rao CRB( i ) Este é o elemento ii da diagonal principal do inverso da matriz de informação de Fisher: CRB i i Iii ˆ ( ) ( α ) A matriz de informação de Fisher é uma matriz quadrada N N e o elemento I ( α ) da linha i e coluna j é definido assim: I ( α) ij ln p( r α) ln p( r α) E i j ln p( r α) E i j A estimação de parâmetros simples é o caso particular em que a matriz de informação de Fisher se reduz a um escalar A partir da matriz I ( α ) relativa a α N podemos obter a matriz associada a um vector com menos parâmetros Por exemplo, se de 3 α se passar a α basta eliminar a terceira linha e a terceira coluna da matriz I ( α ), e se se passar a α 3 basta eliminar a segunda linha e a segunda coluna Depois é só inverter a nova matriz I( α ) x e olhar para a diagonal principal dessa inversa para encontrarmos os minorantes desejados O caso escalar (um único parâmetro) também é abrangido: por exemplo, se quisermos conhecer CRB( N ) quando todos os outros parâmetros são conhecidos pegamos em I ( α ), eliminamos todas as linhas e colunas excepto a última, invertemos o escalar resultante e pronto, já temos o que procuramos Exemplo ij Seja α 3 e α,88,44,98 I ( α ),44,,49 Determine,98,49, CRB( ) se R: Invertemos I ( α ) para regressarmos à matriz de informação de Fisher e em seguida retiramos a terceira linha e terceira coluna Depois invertemos a matriz x resultante e encontramos CRB( ) no segundo elemento da diagonal principal: 5 45 I( α ) 5,5 45, I( α ) 5 I, ( α ), Assim, CRB( ), Note-se a diminuição esperada do minorante (de, para,) dado agora se supor conhecido o parâmetro 3 7

8 3 Amostras de sinal em ruído gaussiano branco (AWGN) Usando um procedimento idêntico ao da Sec 3 chega-se à conclusão que, na presença de ruído AWGN, s( k) s( k) Iij ( α ) (5) k i j Vamos de novo exemplificar com os parâmetros de uma sinusóide e depois comparar os resultados com os apresentados antes 3 Sinusóide em ruído AWGN al como na Sec 3, consideremos de novo amostras reais r( k) s( k) n( k), com s( k) Acos( fk ) Vamos obter os minorantes de Cramér-Rao em dois casos: ) estimação conjunta da amplitude, fase e frequência da sinusóide; ) estimação conjunta da amplitude e fase, admitindo que se conhece a frequência Os vectores de parâmetros são, respectivamente, α A f e α A 3 Estimação conjunta da amplitude, da fase e da frequência A matriz de informação de Fisher tem dimensões 3x3 e os seus elementos são dados pelas expressões seguintes, tendo em conta (6), (9) e (): I ( α ) k da s( k) s( k) A I ( α) I ( α) cos( f k )sen( f k ) k A k A sen(4 fk ) k s( k) s( k) A I ( α) I ( α) k cos( f k )sen( f k ) 3 3 k A f k I ( α ) A k sen(4 fk ) k A k d s( k) s( k) A 3 α 3 α k f k I ( ) I ( ) k sen ( f k ) I ( α ) A A ( ) k k 33 k df 3 A ( )( ) Os elementos I ( α ), I ( α ) e I 33 ( α ) decorrem imediatamente de (8), () e (3) e em I 3 ( α ) a soma da progressão aritmética vale k ( ) k emos então 8

9 I( α ) A A ( ) (6) A ( )( ) A ( ) 3 I ( ) 3 ( α ) (7) A ( ) A ( ) 3 3 A ( ) A ( ) 4 ( ) 6 Portanto, CRB( A), CRB( ) e CRB( f ) Era de antecipar A ( ) A ( ) que, devido aos termos cruzados fase-frequência não-nulos, os minorantes associados fossem mais elevados do que na estimação de parâmetros simples 4, como são, de facto 3 Estimação conjunta da amplitude e da fase (com frequência conhecida) Seja então α A As matrizes x que interessam são I( α ) A I ( α ), A donde se conclui que CRB( A) e CRB( ), precisamente os valores que tínhamos obtido A aquando da estimação de um único parâmetro Isso acontece quando a estimação do parâmetro não interfere na estimação de, e vice-versa, e, como tal, o elemento cruzado I ( α ) é nulo j ij i Exemplo Seja s( k) Acos( fk ), α A f, e minorantes Substituindo em (7) obtemos A Vamos determinar os, α, 4 7,9 6, 4 I ( ),79,9 donde CRB( A),, CRB( ),79 e CRB( f ) 6, na estimação de parâmetros simples valem, por sua vez, CRB( A), CRB( ), A 3 CRB( f),5 A ( )( ) 7 7 Viu-se atrás que os minorantes CRB 4 Não é de prever que a variância mínima atingível aumente quando os parâmetros interferem entre si? 9

10 Confirma-se que o limite inferior da variância das estimativas aumenta da estimação de parâmetros simples para a estimação multiparâmetros quando os termos cruzados da matriz de informação de Fisher não são nulos Exemplo 3 Dispomos de amostras r( k) A cos wk A sen wk n( k) Desejando estimar as amplitudes e a frequência angular de s(k), quais são os valores mínimos possíveis das variâncias de estimativas não-enviesadas conjuntas? Particularize para, A A e R: Pretende-se conhecer CRB( A ), CRB( A ) e CRB( w ) Precisamos, primeiro, de determinar a matriz de informação de Fisher I ( ), em que A A w, pelo que, de acordo com (5), vamos necessitar das derivadas seguintes: cos wk da sen wk da A k sen wk Ak cos wk dw Recorrendo às expressões e aproximações adequadas facilmente se chega à matriz I ( ) : A ( ) A ( ) I( ) A ( ) A ( ) ( A A )( )( ) 3 α Substituindo os valores dados e invertendo a matriz obtemos 95,88,88,3 I( α ) 95 I ( α ),88,88, ,3,3,3 Portanto, CRB( A) CRB( A),88 e CRB( w ),3 Já era de contar que CRB( A) CRB( A) visto as amplitudes serem iguais Se o não fossem a situação seria outra; por exemplo, se A e A teríamos 95,5,3, I( α ) 9 I ( α ),3,46, ,,4, 4 Referências [] Abrantes, S A, Os critérios de decisão MAP e M, série Resumindo e concluindo, FEUP, Janeiro de 9 Disponível online em [] Abrantes, S A, Em busca da fase perdida, série Resumindo e concluindo, FEUP, Fevereiro de 9, disponível online em [3] Van rees, H, Detection, Estimation, and Modulation heory, Part I, Wiley, 968 [4] Poor, H V, An introduction to signal detection and estimation, ª edição, Springer, 994