Resumindo e concluindo

Transcrição

1 Resumno e concluno TeleTextos e bolso e e traer por casa, suavemente, suavemente Os crtéros e ecsão MA e ML Sílvo A. Abrantes Departamento e Engenhara Electrotécnca e e Computaores Faculae e Engenhara, Unversae o orto orto, ortugal sam@fe.up.pt Janero e 9 Conteúo. Introução.... Os crtéros e estmação MA e ML..... Crtéro ML ( maxmum lkelhoo ) Crtéro MA ( maxmum a posteror probablty ) Decsões bnáras com ruío gaussano branco atvo Extensão à transmssão não-bnára em espaço multmensonal Decsões com ruío gaussano branco atvo Mnmação a probablae e erro.... Introução Uma sequênca e M formas e ona s () t, t T, representaas num espaço e snal e N M mensões atravessa um canal e comuncação ruoso e chega ao receptor, que a tenta estmar através e uma escolha realaa num bloco ecsor (ver fgura segunte). Amtamos que em caa nstante e amostragem o ecsor recebe um conjunto e N valores, que encararemos como um vector-coluna T = N no refero espaço e snal e N mensões. A mensão o espaço epene o snal envao. or exemplo, um snal moulao em 6-QAM necessta e uas mensões, ao passo que um snal e 8-FSK precsa e oto e um snal antpoal em bana-base só precsa e uma. Receptor Snal recebo Fltro/ Decsor esmoulaor rt () = s () t + nt () ˆ s N Estmatva a sequênca bnára transmta N N M

2 Sem ruío o vector nos sucessvos nstantes e amostragem apresenta-nos as coorenaas os pontos a constelação. Com ruío já não obtemos esses pontos mas sm outros. Sem ruío: s s = = = s s N N Com ruío: s+ n s + n = = = s + n s + n N N N No vector anteror o ruío é representao pelo vector e amostras n = n nn. A pergunta que faemos é: como estmar o símbolo s a partr o vector recebo? or exemplo, se na fgura segunte recebermos o vector assnalao que ponto a constelação evemos escolher? Deveremos escolher o símbolo? E por que não o símbolo? 3 ara responer às perguntas evemos ter em conta a estatístca o ruío e as probablaes e ocorrênca os símbolos, que no seu conjunto nos vão ajuar a estabelecer regões e ecsão, ou regões e pertença: se o ponto recebo car na regão o snal, por exemplo, o ecsor escolhe esse símbolo. Como estabelecer regões e ecsão e suas fronteras? Vamos aborar os métoos.. Os crtéros e estmação MA e ML Suponhamos que o ruío atvo tem méa nula e que a sua função ensae e probablae (fp) é pn ( n ), uma função e N varáves vsto o vector n ser composto e N elementos. Como estes são nepenentes uns os outros a fp conjunta p ( n ) é gual ao prouto as fp e caa um: N p ( n ) p ( n ) p ( n ) p ( n ) p ( n ). = = n n n n N n j j= varável aleatóra cuja fp é ( ) n Se transmtrmos o símbolo corresponente a s o ecsor recebe uma amostra = s + n e uma N p s = p ( s ) = p ( s ). À função ensae e n n j j j= probablae conconal p ( s ) á-se o nome e verosmlhança e s. As verosmlhanças são conhecas a pror, mesmo sem ana termos recebo naa. Se o ruío for gaussano com méa nula e varânca sto é, ruío n j é aa por N (, ) a fp a amostra e n j ( ) = () π p n nj e ara quem não sabe: N ( X, ) esgna uma strbução normal (gaussana) e méa X e varânca.

3 e a verosmlhança a componente s j é gual a ( j sj) pn( j sj) = exp π e moo que globalmente temos p ( s) N ( j s ) j = exp = j= π N ( s) + ( s) + + ( N sn) exp = = π = π N s exp () Note-se que s = representa a stânca o ponto recebo ao símbolo s pelo que N poeríamos escrever também p ( s ) = exp. Um caso muto frequente é o o π espaço e snal a uas mensões. Aí é s p ( s ) = exp = exp. (3) π π A estmatva o ponto envao é feta e acoro com os crtéros e estmação e parâmetros: MA e ML. Suponhamos, em prmero lugar, que temos uma transmssão bnára e pontos s e s. Depos generalaremos a stuação para a transmssão não-bnára e símbolos num espaço e snal multmensonal... Crtéro ML ( maxmum lkelhoo ) Imagne-se que a probablae e se receber um ao vector teno-se envao s é maor que a e receber o mesmo se se tver envao s. Se assm for somos nclnaos a pensar que, provavelmente, fo envao s. Então uma manera e escolher o ponto envao é procurar aquele que está assocao à maor as verosmlhanças ( ) p s e p( s ). É por sso que se chama a esta opção e escolha crtéro a máxma verosmlhança, ou crtéro ML. As ecsões são tomaas e acoro com p( s ) p( s ) crtéro ML (4) A expressão sgnfca que se p( s) > p( s ) escolhemos a hpótese (símbolo s ), senão escolhemos a outra. Embora possa não nos levar aos melhores resultaos a etecção e máxma verosmlhança é a mas usaa e toas... Crtéro MA ( maxmum a posteror probablty ) Imagnemos agora que, teno-se recebo um certo ponto, a probablae e se ter envao s é maor que a e se ter envao s. Então o nosso ecsor pensará, com certea, que s fo envao, sto é, escolherá o ponto assocao à maor as probablaes conconas a posteror p ( s ) e ( ) p s. or sso se chama a este tpo e escolha crtéro a máxma probablae a 3

4 posteror, ou crtéro MA. Tínhamos acabao e ver que, pelo contráro, a estmação ML usa probablaes a pror (as verosmlhanças). Sem o provar por enquanto, poemos contuo r já aantano: A estmação MA mnma a probablae e erro. Com base na amostra observaa as ecsões MA respetam, portanto, p( s ) p( s ) crtéro MA (5) orém, temos um problema: não conhecemos as probablaes p ( s ) e ( ) p s. Felmente temos Bayes. De facto, seno a probablae e ocorrênca o símbolo s o teorema e Bayes papb ( ) ( A) = pbpa ( ) ( B) permte-nos escrever p( s ) p( s), p( ) p( ) para logo a segur nos esembaraçarmos o enomnaor comum p( ) e obtermos a expressão fnal, uma raão e verosmlhanças: p( s ) crtéro MA (6) p( s ) Se = então p( s ) p( s ). Mas sto é o crtéro ML! Concluímos então que Os crtéros e estmação MA e ML são equvalentes se os símbolos forem equprováves. Resumno um pouco: Na estmação MA conseramos probablaes a posteror, sto é, probablaes obtas após observação a saía o canal. Na estmação ML conseramos probablaes a pror (verosmlhanças), sto é, probablaes já conhecas antecpaamente. É um métoo mas smples e também o mas usao. Se as formas e ona s () t e s () t forem equprováves os os crtéros e estmação são equvalentes. A estmação MA mnma a probablae e erro. A estmação ML só mnma a probablae e erro se os símbolos forem equprováves. Se não conhecermos as probablaes e ocorrênca os símbolos o melhor é supor que são gualmente prováves. Exemplo : Transmssão bnára em espaço unmensonal Conseremos a transmssão gtal e uma sequênca e bts representaos por formas e ona s () t e s () t a que corresponem os pontos s e s a Fg., one ψ () t é uma função-base e energa untára. Fo recebo o ponto = 3,5. s s 3,5 5 ψ () t Fg. ontos envaos e ponto recebo. 4

5 Devemos escolher o ponto a Fg. que estver mas próxmo o recebo (neste caso, s )? A resposta correcta poe ser esta, mas também poe não ser. Qual é a resposta correcta afnal? ara responer precsamos e encontrar um lmar e ecsão γ, um valor que va a recta a fgura em uas sem-rectas: se estver à reta o lmar escolhemos um ponto (s, por exemplo), se estver à esquera escolhemos o outro. Exprmmos tal procemento escreveno γ e para etermnarmos γ teremos e nos servr as Eqs. (4) e (6)..: Amtamos que o ruío no canal tem função ensae e probablae n / pn( n) = e, em que = 9 representa a potênca. Se = 3 quas everão ser os lmares e ecsão MA e ML e quas as respectvas estmatvas o ponto envao? R.: As verosmlhanças e que necesstamos estão representaas na fgura segunte. p( s ) p( s ) 3 5 A Eq. (4) -nos logo que o lmar e ecsão ML está na ntersecção as funções, sto é, 3. Já o p ( s ) confrmaremos. Quanto ao crtéro MA, é expresso por, que neste caso se escreve p ( s) exp 5 ( ). O esenvolvmento esta expressão conu-nos sucessvamente a exp ( + 5) 3+ ln 3,735 γ = 3,735 MA Fcámos a saber que, seguno o crtéro MA, acma e 3,735 ecmos uma cosa e abaxo ecmos outra. O crtéro ML exprme-se faeno = na expressão MA 3+ ln : 3 γ = 3 (confrma o valor antecpao) ML s MA s ML 3,5 5 ψ () t O valor recebo, = 3,5, conu-nos a uas ecsões stntas: MA: escolhemos s. ML: escolhemos s. A prmera é uma melhor escolha. 5

6 .3. Decsões bnáras com ruío gaussano branco atvo Sejam = s e = s as stâncas o ponto recebo aos os pontos s e s, respectvamente, e suponhamos que o ruío tem strbução normal N (, ). As verosmlhanças e que precsamos são as probablaes gaussanas conconas a Eq. (), p ( s ) π π N N s = exp = exp N N s p ( s ) = exp exp =. π π Em função as stâncas quarátcas o crtéro MA nepenentemente e N: p( s ) p( s ) exprme-se assm, + exp + ln (MA) (7) O crtéro a máxma verosmlhança p( s ) p( s ), sempre mas smples, reu-se a (ML) (8) Note-se que a ecsão e máxma verosmlhança não epene as probablaes e ocorrênca os símbolos nem o ruío, só epene e stâncas: escolhe-se o ponto que estver mas perto o recebo. bnára No caso partcular e um espaço unmensonal (N = ) o receptor everá tomar uma ecsão γ. Quanto vale γ? ψ () t s s = s + n Decsor (comparaor) γ sˆ () t As verosmlhanças (mostraas na Fg. ) são guas a p ( s) = exp ( s) π p ( s) = exp ( s) π Basta usar a Eq. (7) com = s e = s que logo chegamos a + s s + ln s s γ MA + s s = + ln s s (MA) É tentaor usar a stânca em ve a stânca quarátca (o resultao fnal sera o mesmo, eventemente). No entanto qual é mas fácl e calcular? 6

7 Daqu obtemos o lmar e ecsão ML, que fca equstante e s e s : γ ML s + s =. Verosmlhança e s p( s ) Verosmlhança e s p( s ) s γ ML s Fg. As funções e verosmlhança gaussanas. Exemplo : Transmssão bnára com ruío gaussano em espaço bmensonal Uma constelação bnára é formaa pelos os pontos s = T e s = 5 T. A ensae espectral e potênca o ruío gaussano é = N, com N = 3, e os símbolos ocorrem com as probablaes = p( s ) e =. O ecsor recebeu o ponto =,5 T r. Queremos etermnar a equação a lnha que separa as regões e ecsão e s e s seguno os crtéros MA e ML quano =,5 e =,. Qual será a estmatva o ponto envao se =,? R.: As stâncas quarátcas e um ponto recebo = r s = ( x ) + ( y ) e r T a caa um os símbolos são = x y = r s = ( x 5) + y. Sabemos que (Eq. (7)) pelo que a regão e ecsão MA e s é efna por + ln ( x ) + ( y ) > ( x 5) + y + ln y< x ln 5 ou, teno em conta que = N, N y< x+ ln 5. Dgamos, portanto, que 4 y N x+ ln 5. 4 A frontera MA é a recta N N y = x+ ln 5, e eclve e que crua o exo os yy em 4 ln 5. Este cruamento é tanto mas alto no exo quanto maor for N e quanto menos 4 provável for s (costuma ser assm, realmente: o lmar e ecsão óptmo está mas próxmo o símbolo menos provável). Substtuno os valores e obtemos: =,5 : =, : y x 5. 3,9 y x+ ln 5= x 3,35. (a recta está a subr, aproxmano-se e s ) 4, A fgura mostra as fronteras para N = 3 e três valores ferentes e. 7

8 s, -, -4 s r = [ -,5] T =,5 ML 4 6 A frontera estabeleca pela regra e ecsão ML é obta a regra MA faeno =,5 : y x 5. A frontera e ecsão ML não epene o nível e ruío nem as probablaes e ocorrênca os bts. y x 3,35 o crtéro MA estmamos que fo transmto o bt s. A lnha vsóra ML é outra, y x 5, e como r fca acma ela estmamos que fo transmto o símbolo s. Como o ponto r =,5 T fca abaxo a lnha e frontera.4. Extensão à transmssão não-bnára em espaço multmensonal Agora temos M símbolos passíves e ser envaos e recebemos um vector e N elementos. Consoante o tpo e estmação, ou escolhemos a maor e toas as verosmlhanças p( s ) (crtéro ML) ou a maor e toas as probablaes a posteror p ( s ) (crtéro MA). O prmero crtéro exprme-se assm: Escolhe-se K s se p( K ) = max p( ) s s, =,,, M crtéro ML Dao que a função logartmo é crescente, o mesmo símbolo será escolho se em ve a máxma verosmlhança p ( s ) procurarmos a máxma log-verosmlhança ln ( ) Escolhe-se K s se ln p( K ) = max ln p( ) Quanto ao crtéro MA faremos este moo: Escolhe-se K p s : s s, =,,, M crtéro ML s se p( K ) = max p( ) Socorremo-nos e novo e Bayes e escrevemos p ( s) p( s ) = p( ) p ( s) (ou seja, p( s ) = p( ) s s, =,,, M crtéro MA p( s ), p( s ) = p( ) toas as p ( s ) tanto fa procurar a maor probablae ( ) Dremos então que Escolhe-se K = s se p( ) max p( ) K s K s,,,, M, etc.). Como o enomnaor p( ) é comum a p s como o maor prouto p( s ). = crtéro MA 8

9 ou, aplcano logartmos, Escolhe-se K s se [ p ] ln K ( s K) = maxln p ( s ), =,,, M crtéro MA E se os símbolos forem equprováves? Nesse caso toas as probablaes são guas e tanto fa procurar o máxmo e p ( s ) como o máxmo e p( s ). Mas não é este o crtéro ML? os é! Voltámos a conclur que com equprobablae os os tpos e escolha são equvalentes. Exemplo 3: Transmssão quaternára com ruío gaussano em espaço unmensonal Uma constelação e snal unmensonal é consttuía pelos quatro pontos s = 3A, s = A, s3 = A e s 4 = 3A. As suas probablaes e ocorrênca são = 4 = 8 e = 3 = 38 e o ruío é gaussano atvo com méa nula e varânca ecsão MA. = A ln 3. Vamos etermnar os lmares e A fgura segunte apresenta os quatro proutos p s e π necessáros ao crtéro MA; seguno este, everemos escolher o símbolo para o qual p( s ) seja o maor e toos. ( s ) ( ) =, =,,3, 4, p( s ) 3 p( s 3 ) p( s ) 4 p( s 4 ) -3A γ -A γ = A γ 3 3A p( s ) é maor As curvas ntersectam-se em = γ, = γ = e = γ 3. Se < γ o valor e que os outros três proutos e everemos escolher o símbolo s ; o mesmo moo, se γ 3 o p ( s ) é o maor e everemos escolher 4 valor e 4 4 s, enquanto que s e s 3 everão ser escolhos se γ < γ e γ < γ 3, respectvamente. As ntersecções ncam assm os lmares e ecsão MA. Já conhecemos um ( γ = ) e, aa a smetra, sabemos que γ 3 = γ. Determnemos γ 3, por exemplo: p( s ) = p( s ) e = e 8 π 8 π 3 A 3 A ( γ ) ( γ 3 ) Tomano logartmos obtemos 3 A γ3 A ( γ ) ( 3 ) ln 3 = ln 3 γ 3 = A + =,5A A Em conclusão: no crtéro ML os lmares óptmos encontram-se nas ntersecções e p ( s ) ao passo que no crtéro MA se encontram nas ntersecções e p( s )..4.. Decsões com ruío gaussano branco atvo Seja = tem strbução normal s a stânca o ponto recebo ao ponto genérco N (, ). A verosmlhança genérca é p ( ) s e suponhamos que o ruío N exp s =. π 9

10 Comecemos pelo crtéro MA, como e costume. Em ve e N max p ( s ) = max exp π poemos usar max exp( ) max ( ln ) mínmo e por causa o factor comum ( π ) N, e epos após aplcarmos logartmos. Mas procurar este máxmo equvale a procurar o ln. ortanto, Escolhe-se s K se K ln mn ln K =, =,,, M crtéro MA Como é hábto, para obter o crtéro ML basta conserar que no crtéro MA os símbolos são equprováves ( M procurar = ). Logo, procurar mn ( ln ) mn ( ln M) mn( ) e também Escolhe-se s K se mn. Assm, K = mn,,,, M = crtéro ML = + equvale a A conclusão não é nesperaa: tal como na transmssão bnára, com símbolos equprováves evemos escolher o ponto envao que estver mas próxmo o recebo. Nota: a stânca só serve como crtéro se o ruío for gaussano. Exemplo 4: Constelação e 4 pontos no plano.: Os pontos s a constelação rômbca a fgura têm coorenaas s = 3 3 T, s = T, s 3 = 3 3 T e s = T 4 e probablaes e ocorrênca = = 8 3 e = 4 = 38. Se com ruío gaussano com = N = 5 se tver so recebo o ponto T = quas são as estmatvas MA e ML o ponto envao? ψ s s ψ s 3 s 4 R.: Na escolha ML procura-se a menor stânca quarátca menor valor ln : = s e na escolha MA o = ( 3) + ( 3) = = 4 3 = 34 4 = = ln 3, 8 = ln, = ln 5, = ln, 98

11 A escolha ML é o símbolo s e a escolha MA também. A fgura segunte mostra as regões e ecsão e máxma verosmlhança, que confrmam que o ponto está stuao na regão e s. ψ s s ψ s 3 s 4 3. Mnmação a probablae e erro Afrmou-se atrás: A estmação MA mnma a probablae e erro. Vamos ver porquê, cngno-nos à transmssão bnára. A probablae e erro numa ecsão bnára entre os símbolos s e s é calculaa através a méa poneraa e = ( erro s) + ( erro s). É sabo que o lmar óptmo γ, aquele para o qual atnge o valor mínmo, é etermnao pela relação e p( γ s) = p( γ s ), em que p( γ s ) e p( γ s ) são os valores as verosmlhanças ps ( ) para = γ. Olhano para a relação MA melhor, quano p( s ) vemos que o seu lmar e ecsão é obto quano p( s ) p( γ MA s) =. Ora não quer sto er que γ MA = γ? p( γ s ) MA O lmar γ ML só é óptmo quano os símbolos são equprováves. p( s) =, ou p( s ) Um pequeno exemplo va mostrar a ferença. Seja então = 34, s = s = 3 e = 6, a que corresponem os lmares γ ML = e γ MA = ln 3 =,. Não será fícl e obter as corresponentes probablaes e erro prevstas: γ ML s 6 ML: e = ( erro s) = Q = Q =, γ MA s s γ MA MA: e = ( erro s) + ( erro s) = Q + Q =,9 O que é melhor? Exemplo 5: robablae e erro em transmssão quaternára unmensonal Retomemos o Exemplo 3 para calcular a probablae e erro resultante a escolha os lmares e ecsão óptmos γ = e γ3 = γ =,5A :

12 = erros ( ) + erros ( ) + erros ( ) + erros ( ) = e γ + 3A 3 A γ3 A 3A γ3 = Q Q Q Q = 8 A 3 A 3A = Q + Q + Q = 4 4, A escolha e outros lmares e ecsão conurá a uma probablae e erro superor a esta.