Instituto Superior Técnico FUNDAMENTOS DE TELECOMUNICAÇÕES

Transcrição

1 Insttuto Superor éno Departamento de Engenhara Eletroténa e de Computadores FUNDAMENOS DE ELECOMUNICAÇÕES Vtor Barroso Professor Assoado 999

2

3 INDÍCE DE CONEÚDOS. eora da Informação: Codfação de Fonte. Snas Aleatóros em empo Contínuo. Parte I: Espaço de Probabldade e Varáves Aleatóras 3. Snas Aleatóros em empo Contínuo. Parte II: Modelos de Fontes de Informação e de Ruído 4. Dgtalzação de Fontes Analógas em empo Contínuo 5. Sstemas de ransmssão 6. Desempenho dos Sstemas de ransmssão Analógos na Presença de Ruído 7. eora da Deteção e da Estmação em Problemas de eleomunações 8. eora da Informação: Capadade do Canal de ransmssão 9. Codfação de Canal: Códgos de Bloo Lneares

4

5 eora da Informação: Codfação de Fonte O estudo de um sstema de omunações dgtas envolve dos aspetos ruas:. a efêna da representação da nformação gerada pela fonte;. a taa de transmssão à qual é possível envar a nformação om fabldade através de um anal rudoso. A teora da nformação estabelee os lmtes fundamentas assoados às questões ama referdas. A saber: I. o número mínmo de undades de nformação bnára (bt) por símbolo neessáro para representar ompletamente a fonte; II. o valor mámo da taa de transmssão que garante fabldade da omunação através de um anal rudoso. Começaremos por abordar o prmero dos problemas ama enunados, sto é, o da odfação de fontes dsretas (ou dgtas).. Modelo de uma Fonte Dsreta Consderemos, a título de eemplo, uma fonte dsreta que gera símbolos bnáros. Observemos as duas sequênas bnáras seguntes: A: B: Enquanto a sequêna B paree ser onsttuída pela repetção peróda do padrão {}, a lóga de oorrêna dos símbolos bnáros na sequêna A é mpereptível, tornando dfíl ou mesmo mpossível predzer as oorrênas futuras. No entanto, ambas as sequênas poderam ter sdo geradas pela mesma fonte bnára. Por outro lado, no outro etremo do sstema de omunações o destnatáro não tem onhemento da sequêna gerada pela fonte. Estas onsderações mostram que a esolha de um modelo determnísto para representar o omportamento da fonte de nformação não é o mas adequado. Com efeto, para um observador eterno, a saída da fonte dgtal num dado nstante tem sempre assoada alguma nerteza. Voltemos ao eemplo das sequênas A e B e suponhamos que o observador não tem memóra, sto é, observa a saída num dado nstante e esquee-a antes que um novo símbolo seja gerado. Suponhamos anda que o número de oorrênas de "" e de "" va sendo atualzado. Após ter sdo observado um número sgnfatvo de saídas da fonte, o grau de nerteza assoado à oorrêna de ada um dos símbolos bnáros é naturalmente dferente onforme se onsdera a sequêna A ou a sequêna B. Enquanto que em B a nerteza assoada à oorrêna de "" é menor do que a assoada à oorrêna de "", em A o grau de nerteza é gual para ambos os símbolos. O oneto de nerteza assoada a um aontemento está assm ntmamente lgado à probabldade de oorrêna desse aontemento. Em onsequêna deste fato, podemos anda avançar om a segunte dea: se a um valor bao da probabldade de oorrêna de um aontemento orresponde um valor elevado da nerteza assoada, então da oorrêna desse aontemento deve resultar um ganho de nformação também ele elevado. À luz das deas anterores, deve onlur-se que a fonte de nformação deve ser representada usando um modelo aleatóro. -

6 .. Fonte Dsreta sem Memóra Consderemos uma fonte dgtal que gera símbolos de um alfabeto om probabldade Pr{ } p = tal que: m A = {, =,, K, M} m M = p =. (.) Def..: Uma fonte dsreta sem memóra gera ao longo do tempo símbolos estatstamente ndependentes. De aordo om a defnção anteror, a probabldade de oorrêna de qualquer sequêna gerada pela fonte é dada pelo produto das probabldades de oorrêna dos símbolos que a onsttuem. Eemplo.: Consderemos a sequêna temporal S { m, m, m, m, } = M 5 5 m 3 gerada pela fonte A. Supondo que esta fonte não tem memóra, então {} S = p p p p. Pr M 5 3. Informação e Entropa Consderemos uma sequêna muto longa de K símbolos do alfabeto A gerados pela fonte dsreta defnda na subseção... Uma manera possível de avalar o onteúdo nformatvo da fonte, sto é, a nformação própra, onsste em determnar o número total de mensagens (ou sequênas) de omprmento K que a fonte pode gerar. Note-se que a nformação própra da fonte rese om o número de mensagens possíves. Portanto, é equvalente usar o número de mensagens ou o respetvo logartmo, uma vez que a função logarítma é monótona resente. O número Ω de mensagens de omprmento K, nlundo K oorrênas do símbolo m, K do símbolo m, et., K M do símbolo m M, é dado por onde K! Ω =, (.) K!K! K! M L M K = K. (.3) = Supondo que K é tão elevado que qualquer dos K é também muto grande, podemos alular uma apromação de Ω usando a fórmula de Strlng em (.), obtendo-se K! ( ) K+ K π e K -

7 ( π) ( π) e K Ω. (.4) M M M K K + e K = K = K+ Como de (.4), vem: M = e K e M = = K = e K, K K +, K K +, K K = M = K K, Ω M K K K ( ) ( M ) π. = Aplando a função log em ambos os membros da relação anteror, e tendo em onta que a probabldade de oorrêna do símbolo m é o número p para o qual onverge a razão K K quando, K +, vem K log Ω ( M ) log( π) K p log p, ou, tendo em onta que o º termo se torna domnante para K sufentemente elevado, M M = log Ω K p log p. (.5) = A fórmula anteror dá o valor apromado da nformação própra de uma fonte dsreta om M símbolos, ou dto de outra forma, de uma mensagem de omprmento muto longo K gerada pela mesma fonte. Observando a fórmula (.5), verfamos que, em méda, a nformação por símbolo é medda pela quantdade log Ω K M = p log p. (.6) Por outro lado, a quantdade log p está assoada à oorrêna do símbolo m, ou seja, é uma varável aleatóra dsreta que toma o valor real I( m ) = log p om probabldade p. Note-se que o º membro de (.6), não é mas do que o valor epetável (méda) desta varável aleatóra... Medda de Informação A dsussão anteror sugere então a segunte defnção para o ganho de nformação assoado à oorrêna de um símbolo: Def..: Consdere-se a fonte dsreta sem memóra ntroduzda na subseção... A nformação assoada à oorrêna de um símbolo desta fonte é defnda por: I ( m ) = log( p ) = log p, =,, KM. (.7) -3

8 Esta medda quanttatva da nformação gerada pela oorrêna de um símbolo na saída de uma fonte dsreta fo ntroduzda por Claude E. Shannon no seu trabalho nttulado he Mathematal heory of Communaton, publado em 948 no nº de Outubro do Bell System ehnal Journal. É nteressante notar que, sendo o oneto de nformação relatvamente subjetvo, a medda (.7) dá onta de algumas das suas propredades qualtatvas: ou seja,. I( m ) se p =. ( m ) = (.8) I (.9) 3. I ( m ) I( m j ) se p < p j > (.). o ganho de nformação resultante da oorrêna do aontemento erto é nulo;. eepto no aso do aontemento erto, a oorrêna de um qualquer aontemento onduz a um ganho de nformação; 3. quanto menor for a probabldade de oorrêna de um aontemento maor é o ganho de nformação que lhe está assoado. endo em onta (.7), verfamos que a nformação assoada à oorrêna smultânea de dos aontementos estatstamente ndependentes I ( m, m j ) = log( Pr{ m, m j} ) = log( p p ) = = log p ( m ) + I( m ) I j log p é a soma da nformação assoada a ada uma das oorrênas. j j (.) Nas epressões anterores é usual onsderar a função logarítma defnda na base. A undade de medda de nformação defne-se omo se segue. Def..3: a undade bnára de nformação (bt) é a nformação própra assoada a ada um dos símbolos de uma fonte bnára om símbolos equprováves: I( ) = I( ) = log = bt (.).. Entropa de uma Fonte Dsreta sem Memóra Já fo sublnhado anterormente que a nformação própra de um símbolo, ver Def.., é uma varável aleatóra dsreta em que ada realzação I( m ), =, K, M, oorre om probabldade, =, K, M. Reorde-se que esta dstrbução de probabldade verfa (.). p Def..4: A entropa de uma fonte dsreta sem memóra é o valor epetável da nformação própra dos símbolos da fonte: M ( A) = E{ I( m) } = pi( m ) = = M H p log p (.3) = -4

9 Eemplo.: Consderemos uma fonte bnára om símbolos equprováves. De aordo om (.3), a entropa desta fonte vale H = = ( A) - log bt símbolo = Consderemos agora o aso mas geral em que Pr Pr {} = p {} = p Reorrendo novamente a (.3), podemos esrever H. (.4) ( A) log p ( p) log ( p) bt símbolo. = (.5) p A entropa da fonte bnára, epressa em (.5), está representada na Fgura. em função da probabldade p p Fgura.: Entropa da fonte bnára É nteressante notar que:. quando p =, a entropa ( A) = H, pos log quando ;. a entropa H ( A) = quando 3. a entropa H ( A) atnge o valor mámo ( A) bt símbolo p = ; H = quando p =, ou seja, quando os símbolos são equprováves. Estas propredades, nferdas a partr do eemplo anteror são generalzáves para qualquer fonte dsreta sem memóra. -5

10 ... Propredades da Entropa de uma Fonte Dsreta sem Memóra A entropa ( A) H da fonte dsreta sem memóra A, defnda na subseção.., é lmtada de aordo om a segunte desgualdade: ( A) log M, H (.6) onde M é o número de símbolos do alfabeto A. Podemos mostrar que: P. ( A) = H sse p = para algum e p j =, j =, K,, +, K, M. O lmar nferor da entropa orresponde portanto à ausêna de nerteza sobre a saída da fonte. H A = log sse p = M, =, K, M, sto é, sse todos os símbolos forem equprováves. O lmar superor da entropa orresponde assm ao mámo da nerteza. P. ( ) M A epressão (.3) da Def..4 pode esrever-se na forma M ( A) = p log ( p ). H (.7) = Como p, onlu-se que todas as parelas de (.7) são não negatvas. Portanto, ( A) = H sse todas as parelas forem nulas. Como a dstrbução de probabldade verfa a restrção (.), onlu-se que o lmar nferor da entropa só é atngdo na ausêna de nerteza, omo se dz em P. O problema da mamzação de (.7) pode ser formulado do segunte modo: Determnar a dstrbução, =, K, M, que mamza H sujeta à restrção M p ( A) = p log ( p ) M = p = =. Para o resolver podemos usar o método dos multpladores de Lagrange. Defnndo a Lagrangeana M M L ( p, K, p M ) = p log p + λ p, (.8) = = onde λ é o multplador de Lagrange, verfamos que mamzar (.8) é o mesmo que mamzar H ( A), pos a segunda parela de (.8) é sempre nula. Dferenando L () em ordem a ada um dos p, e gualando a zero, obtém-se o segnte sstema de equações : d log Reorda-se que = d ln -6

11 log p = + λ, =, K, M. ln Conluímos assm que, mesmo sem alular o valor de λ que garante a restrção, todos os p são guas. Portanto, omo se dz em P, a dstrbução de probabldade que mamza a entropa é p =, M =, K, M. M = M Deste modo, o valor mámo da entropa é H ( A) log M log M. ma = =... Desgualdade Fundamental P3. Seja, =, K, M, uma dstrbução de probabldade assoada aos símbolos p m A, =, K, M. Obvamente, a restrção (.) é verfada. Sendo q, =, K, M, uma outra dstrbução de probabldade, então M = M = q =, q p log, p (.9) (.) sendo atngdo o valor mámo quando q = p, =, K, M. (.) A demonstração deste fato resulta dretamente da resolução do segunte problema: Sendo q, p, =, K, M, uma dstrbução de probabldade, determnar os valores de =, K, M, que mamzam M = q p log, p (.) sujetos à restrção M = q =. Pode verfar-se que om esta dstrbução de probabldade a segunda dervada da Lagrangeana é d L M negatva. De fato, = <. dp ln p = M -7

12 Usando (.9) e (.) podemos esrever a Lagrangeana L M ( q, K,q ) = M p log q p log p + λ q. = = = q,, K, M Dferenando em ordem aos =, e gualando a zero, obtém-se o sstema de equações ( ln ) q = p, =, K, M. M λ (.3) endo em onta (.) e (.9) e somando membro a membro todas as equações do sstema (.3), onlu-se que λ = ln. Usando este valor em (.3), obtém-se a dstrbução que mamza 3 (.): M q = p, =, K, M. (.4) Usando este resultado, verfa-se falmente que o mámo de (.) é nulo e, portanto, a desgualdade (.) fa demonstrada. A desgualdade (.) é onheda por desgualdade fundamental e será usada mas adante para obter outros resultados mportantes da eora da Informação..3 Codfação de Fonte Consderemos o problema da odfação de símbolos pertenentes a um alfabeto estenddo de símbolos estatstamente ndependentes. Em partular, onsderemos um alfabeto de 37 símbolos equprováves: 6 letras, o espaço em brano, e dígtos. Suponhamos que para odfar estes símbolos dspomos apenas de símbolos bnáros (bts 4 ) e, naturalmente por razões de efêna de representação, pretendemos usar palavras de ódgo de omprmento mínmo. Suponhamos, a título de eemplo, que odfamos 5 6 ndvdualmente ada um dos 37 símbolos. Como < 37 < presamos de usar pelo menos 6 bts por símbolo. No entanto, esta estratéga de odfação resulta em desperdío uma vez que sobram 6 37 = 7 palavras de ódgo às quas não orresponde qualquer símbolo do alfabeto orgnal. Outro modo de avalar este desperdío onsste em verfar que a entropa da fonte vale H = log 37 = 5. bt símbolo (note-se que os símbolos são equprováves e portanto a entropa é gual à nformação própra de ada símbolo). Como se vê, a nformação méda por símbolo é nferor ao omprmento da palavra de ódgo ndando que este ódgo orresponde a uma representação redundante do alfabeto onsderado. Consderemos agora um novo alfabeto (etensão de ª ordem) em que ada símbolo estenddo orresponde a um dos 37 pares de símbolos do alfabeto orgnal. Para odfar ada um dos símbolos da etensão são neessáros bts, enquanto que a respetva entropa é agora H = log 37 =.4 bt símbolo estenddo. Isto orresponde de fato a usar, em méda, 5.5 bts por ada símbolo orgnal, resultando numa estratéga de odfação mas efente. Este eerío pode ser ontnuado para etensões de ordem resente, obtendo-se os resultados que se mostram na tabela.. Da onsulta desta tabela onlu-se: 3 Pode verfar-se que, om esta dstrbução, a segunda dervada da Lagrangeana é negatva. 4 Aqu "bt" desgna um símbolo bnáro e não deve ser onfunddo om a undade bnára de nformação. -8

13 . à medda que aumenta a ordem da etensão, va dmnundo o número médo de bts neessáros para odfar ada símbolo do alfabeto orgnal;. esta dmnução não é unforme, embora pareça onvergr para a entropa do alfabeto orgnal. ordem da etensão entropa omprmento da palavra de ódgo omprmento médo por símbolo abela.: Efêna da odfação de alfabetos estenddos Este eerío, embora não seja onlusvo de um ponto de vsta estrtamente formal, sugere que a efêna dos ódgos está assoado a etensões de ordem superor do alfabeto da fonte dsreta..3. Etensão de Fonte Def..5: Consderemos a fonte dsreta sem memóra defnda na subseção... A etensão de ordem K desta fonte é anda uma fonte dsreta sem memóra om alfabeto A K = { σ, σ,, σ K }, σ = ( m, m, K, m ), m A K (.5) M K e dstrbução de probabldade p K { σ } = Pr{ m } Pr{ m } L Pr{ m }, =,, K, M. = Pr (.6) K.3. Entropa da Fonte Estendda Antes de alularmos a entropa da fonte A, etensão de ordem K da fonte A, vamos verfar que a dstrbução (.6) é de fato uma dstrbução de probabldade. Em prmero lugar, qualquer dos p em (.6) é um produto de probabldades e portanto p. Notemos anda que a etensão de ordem K se pode obter da etensão de ordem K, sto é, K m ( K ) ( m,, m K, 4 4 K m σ = ), (.7) 43 4 ( K σ ) M m M -9

14 ada símbolo da etensão de ordem K dá orgem a M símbolos da etensão de ordem K. Portanto K M = K M M ( K ) ( K ) Pr{ σ } = Pr σl Pr m = l= 443 = K M ( K ) { } { } σ = l= Pr{ }. l (.8) Prossegundo o mesmo raoíno, verfamos que esta gualdade se mantém válda seja qual for a ordem da etensão onsderada. Em partular, K M M ( K ) Pr{ σ } = Pr{ m }. = = = (.9) ou seja, Por defnção, Def..4, eq. (.3), a entropa da etensão de ordem K da fonte A é H K M K ( K ) ( K ) ( A ) Pr{ σ } log σ = = Pr{ }, K M M K ( K ) ( K ) ( ) = Pr{ σ } Pr{ m } log ( Pr{ σ } Pr{ m }) H A Fnalmente, podemos esrever = + l= = l K M M ( K ) ( K ) Pr{ σ l } log Pr{ σ l } Pr{ m } 4l = = K H( A ) = K M M ( K ) Pr{ σl } Pr{ m } log Pr{ m }. 443 l= 4 4 = = H( A ) K K ( A ) = H( A ) H( A), H + e, repetndo argumentos, onluímos que: A entropa da etensão de ordem K de uma fonte dsreta sem memóra é gual a K vezes a entropa da fonte orgnal, sto é, K ( A ) KH( A). H = (.3) l.3.3 Comprmento Médo do Códgo A odfação de fonte onsste em atrbur uma palavra de ódgo úna a ada uma das mensagens geradas pela fonte. Aqu a palavra mensagem é usada ndsrmnadamente para desgnar um símbolo da fonte orgnal ou um símbolo de uma qualquer etensão do alfabeto fonte. Como vmos em dsussão anteror, a efêna da odfação está assoada à parsmóna que se usa na esolha do omprmento das palavras de ódgo. Por outro lado, para uma dada taa de geração de símbolos, quanto maor for o omprmento das palavras de ódgo maores serão as neessdades em termos de taa de transmssão. Como, em geral, os símbolos do alfabeto fonte não são equprováves, é razoável pensar em ódgos de -

15 omprmento varável: o omprmento de ada palavra de ódgo deverá ser tanto menor quanto maor for a probabldade de oorrêna do símbolo orrespondente. Este proedmento tenderá a mnmzar o omprmento médo do ódgo (ou das palavras do ódgo) sendo, portanto, efente. O proesso de odfação onsste em atrbur rótulos ou símbolos às saídas de uma fonte de nformação. emos então que dstngur entre os símbolos da fonte e os símbolos do alfabeto do ódgo. Def..6: Sejam A = { m, K, } e C = { α, K, α } m M os alfabetos fonte e do ódgo, respetvamente. Nos ódgos de bloos, r ( α, α, K, α ) α C, =, K, M : m A =, l sto é, a ada símbolo do alfabeto fonte faz-se orresponder uma e uma só palavra de ódgo, ujo omprmento é varável. Obvamente que o problema nverso da odfação tem de ter solução úna, sto é, qualquer ódgo de fonte tem de ser unvoamente desodfável. Nos ódgos de omprmento fo basta que a ada palavra do ódgo se faça orresponder uma e uma só mensagem m A para que se garanta a desodfação úna. No entanto, tal não é sufente quando se trata de ódgos de omprmento varável, sendo neessára uma ondção adonal: a estrutura do ódgo deve permtr dentfar sem ambgudade o nío e o fm de ada palavra de ódgo. Para lustrar esta dea onsderemos os eemplos de ódgos que se mostram na abela.. símbolo fonte probabldade de oorrêna ódgo I ódgo II ódgo III j ódgo IV m.5 m.5 m 3.5 m 4.5 abela.: Eemplos de ódgos de fonte O ódgo I é um ódgo bnáro smples e, portanto, unvoamente desodfável. Neste aso, o omprmento médo do ódgo M L = p l (.3) = é obvamente gual a. Os restantes ódgos usam omprmentos varáves, sendo as palavras mas longas aquelas que orrespondem aos símbolos menos prováves. Ao ontráro do que aontee no ódgo IV, nenhuma palavra do ódgo III onsttu prefo de outra. Estes ódgos são desgnados por ódgos de prefo. Os ódgos de prefo são sempre unvoamente desodfáves. Com efeto, estes ódgos são ompletamente desrtos por uma estrutura em árvore om um estado nal e M estados fnas, omo se pode ver na Fgura. para o aso do ódgo III. Partndo do estado nal, o desodfador va desendo ao longo da árvore à medda que reebe ada bt e até atngr um dos quatro estados termnas. -

16 Quando sto aontee, o símbolo fo desodfado e o desodfador retorna ao estado nal. O omprmento médo deste ódgo de prefo vale L =.75. O ódgo III é, omo sera de esperar, mas efente do que o ódgo I. O ódgo IV tem omprmento L =. 875 e, embora não sendo um ódgo de prefo, é também unvoamente desodfável. Basta notar que nenhuma palavra de ódgo ebe dos bts onseutvos e que todas elas são nadas por. Quando é detetado um o desodfador sabe que se na uma palavra do ódgo, bastando ontar o número de bts onseutvos para dentfar o símbolo fonte orrespondente. Fnalmente, é fál verfar que o ódgo II, sendo aparentemente o mas L =.5, não é unvoamente desodfável. efente ( ) m estado nal m m 3 m 4 Fgura.: Árvore de desodfação de um ódgo de prefo Os ódgos de prefo, omo o ódgo III, são ódgos nstantâneos pos qualquer palavra de ódgo é desodfada assm que a totaldade dos símbolos que a onsttuem é reebda. Ao ontráro, no ódgo IV o símbolo funona omo separador, pelo que ada palavra é desodfada om atraso de um bt..3.4 Desgualdade de Kraft Como se onlu da dsussão anteror, é neessáro mpor restrções na estrutura de um ódgo nstantâneo de omprmento varável de modo a garantr a undade da desodfação. A desgualdade de Kraft estabelee uma ondção neessára e sufente de estêna de um ódgo nstantâneo formado por palavras de omprmento varável l : ξ = M = r l, (.3) onde r é o número de símbolos do alfabeto do ódgo. A soma ξ é desgnada por soma de Kraft. Consderemos o eemplo da Fgura., onde M = 4 e r = : a soma de Kraft vale 3 3 ξ = =, e portanto a desgualdade de Kraft (.3) é verfada. Este fato garante que este um ódgo bnáro nstantâneo, unvoamente desodfável, e uja dstrbução dos omprmentos das palavras de ódgo é o do eemplo. Sublnha-se que a verfação da desgualdade de Kraft não defne o ódgo, garantndo tão somente a sua estêna. Para provar a desgualdade de Kraft podemos usar um raoíno smples baseado na árvore de odfação. Consderemos uma árvore r ára onde ada nó tem r desendentes. -

17 Suponhamos anda que ada ramo representa um símbolo da palavra de ódgo. Por eemplo, os r ramos que partem da raíz representam os r possíves valores do prmero símbolo da palavra de ódgo. Portanto, ada palavra de ódgo orresponde a um nó termnal da árvore. O perurso entre a raíz e um destes nós termnas dentfa os símbolos que fazem parte da palavra de ódgo. A Fgura.3 lustra estas deas para o aso bnáro, r=. raíz Fgura.3: Árvore de odfação para a desgualdade de Kraft A ondção de o ódgo ser de prefo mpla que nenhuma palavra de ódgo seja asendente de qualquer outra palavra de ódgo na árvore. Assm, ada palavra de ódgo elmna os seus desendentes omo possíves palavras do ódgo. Seja l ma o omprmento da palavra mas longa do ódgo. Consderemos todos os nós ao nível l ma da árvore. Alguns são palavras de ódgo, outros são desendentes de palavras de ódgo e os restantes nem uma osa nem outra. Qualquer palavra de ódgo ao nível l terá r l ma l desendentes no nível l ma. Estes onjuntos de desendentes têm de ser dsjuntos e, por lma outro lado, o número total de nós neles nluídos deverá ser nferor ou gual a r. Portanto, somando para todas as palavras de ódgo, tem-se M = r l ma l r l ma, (.33) ou seja, M = r l (.34) que é eatamente a desgualdade de Kraft (.3). Por outro lado, dado um onjunto de omprmentos l, l,, l M de palavras do ódgo que satsfazem a desgualdade de Kraft, é sempre possível onstrur uma árvore semelhante à da Fgura.3 de modo a obter um ódgo de prefo ujas palavras têm os omprmentos espefados..3.5 º eorema de Shannon Consderemos um ódgo nstantâneo, unvoamente desodfável, para o qual se verfa neessaramente a desgualdade de Kraft (.3). Consderemos anda as quantdades Note-se que q = ξ l r, =, K, M. (.35) -3

18 M = q = q M = M m= r r l lm = = M r m= l r lm =, K, M ou seja, as quantdades q formam uma dstrbução de probabldade. Então, sendo p a probabldade de oorrêna de ada um dos símbolos do alfabeto fonte, podemos afrmar que as dstrbuções q e p, =, K, M, verfam a desgualdade fundamental (.). endo em onta a defnção de entropa (.3), aquela desgualdade pode ser esrta na forma M = p logq ( A). Por outro lado, e usando (.35) e (.3), podemos esrever + H (.36) M = p log q = p ( log ξ l log r) = log ξ log r p l (.37) = log ξ L log r. Usando (.37) em (.36), obtém-se ( A) L log r. H (.38) Este resultado é ndependente da base da função logarítma, pelo que se usarmos a função log r (no aso de um alfabeto de ódgo om r símbolos) onluímos que a entropa onsttu o lmar nferor do omprmento médo de qualquer ódgo nstantâneo unvoamente desodfável. Este fato, agora demonstrado formalmente, tnha já sdo antepado na sequêna da dsussão em torno do eemplo apresentado na abela.. Da análse deste mesmo eemplo, verfou-se que, embora de forma não unforme, o omprmento médo do ódgo parea onvergr para a entropa da fonte à medda que se onsderavam etensões do alfabeto de ordem resente. Naturalmente, a ada palavra do ódgo orresponde uma probabldade de oorrêna p = Pr{ } = Pr{ m }, onde m é um dos M símbolos do alfabeto da fonte A. Suponhamos que ada palavra tem um omprmento que obedee às restrções log p l log p +, =, K, M, (.39) r r garantndo-se que aos símbolos menos prováves orrespondem palavras de ódgo mas longas. Note-se que (.39) garante anda que este o ódgo nstantâneo unvoamente desodfável, pos a desgualdade de Kraft é verfada. Com efeto, temos r log p r = p r l, =, K, M -4

19 e (.3) resulta medatamente somando de a M ambos os membros da desgualdade anteror. Multplando por p todos os termos de (.39), somando de até M, e tendo em onta (.3) e (.3), obtém-se ( A) L H( A) +. H (.4) Obvamente que, sendo esta desgualdade verfada para a fonte A e para o ódgo que verfa (.39), então K K ( A ) L H( A ) +, H (.4) K onde L K é o omprmento médo do ódgo usado para odfar os símbolos da fonte Reordando (.3), de (.4) obtém-se ( ) L H A K H ( A ) +. (.4) K K K A. Este resultado demonstra que este pelo menos um ódgo nstantâneo unvoamente desodfável ujo omprmento médo L K K é arbtraramente pómo da entropa da fonte A; basta notar que em (.4) a parela K va para zero quando K rese, enquanto L K K é sempre uma quantdade fnta. Portanto a odfação efente da fonte dsreta sem memóra obtém-se onsderando etensões de ordem mas elevada. O usto da efêna tem omo ontrapartda a resente ompledade do ódgo. Estamos neste momento em ondções de enunar formalmente o º eorema de Shannon para a odfação de fonte. º eorema de Shannon É possível odfar (e desodfar unvoamente) uma fonte dsreta sem memóra om entropa H bt símbolo usando um ódgo nstantâneo de omprmento médo L bt símbolo tal que, para qualquer ε >, L = H + ε. A odfação é mpossível no aso em que L < H. Def..7: A efêna do ódgo é defnda por.4 Códgo de Huffman H η =. (.43) L O ódgo de Huffman é formado por palavras ujo omprmento médo se aproma do lmar nferor espefado pela entropa de uma fonte dsreta sem memóra. O ódgo de Huffman é óptmo no sentdo em que, para uma dada fonte dsreta sem memóra, não este outro onjunto de palavras de ódgo om desodfação unívoa e que tenha um omprmento médo nferor. A essêna do algortmo de odfação onsste na substtução da estatísta da fonte dsreta sem memóra por uma outra mas smples. Este proesso de redução é onduzdo passo a passo até que se atnja um onjunto fnal das estatístas orrespondentes a apenas dos símbolos e para os quas os símbolos bnáros e são um ódgo óptmo. -5

20 Mas onretamente, o algortmo de odfação é o segunte:. os símbolos fonte são ordenados por ordem deresente das respetvas probabldades de oorrêna, sendo atrbuídos os bts e aos dos símbolos de menor probabldade;. estes dos símbolos são assoados formando um novo símbolo uja probabldade de oorrêna é a soma das probabldades dos símbolos assoados, reduzndo-se a lsta de símbolos de uma undade; a nova lsta é reordenada por ordem deresente das probabldades de oorrêna; 3. os proedmentos anterores são repetdos até que se atnja uma lsta fnal om apenas dos símbolos aos quas são atrbuídos os bts e ; 4. a palavra de ódgo assoada a ada símbolo orgnal é onstruída segundo da frente para trás a sequêna de 's e 's que foram sendo atrbuídos ao referdo símbolo e respetvos suessores. Vamos soorrer-nos de um eemplo para pereber melhor o meansmo do algortmo de odfação que aabámos de desrever. Eemplo.3: Na abela.3 estão lstados os símbolos de uma fonte dsreta sem memóra e as respetvas probabldades de oorrêna. m m m 3 m 4 m 5 m 6 m 7 m 8 m abela.3: Estatístas dos símbolos de uma fonte dsreta sem memóra De aordo om o passo. do algortmo os símbolos estão já ordenados por ordem deresente. m. m.5 m 3.3 m 4. m 5. m 6.9 m 7.8 m 8.7 m Fgura.4: Árvore de odfação para o ódgo de Huffman A Fgura.4 permte vsualzar todos os passos do algortmo de Huffman através da respetva árvore de odfação. Note-se que por meo das suessvas assoações o número de símbolos va-se reduzndo até se atngr o estado fnal om dos símbolos ujas probabldades de oorrêna somam, omo não poda dear de ser, =. Os -6

21 resultados da odfação estão resumdos na abela.4. Como se pode ver, o ódgo resultante é um ódgo de prefo. Por outro lado, aos símbolos menos prováves orrespondem as palavras de ódgo mas longas. Pode também verfar-se que a entropa da fonte é H = 3.37 bt símbolo e que o omprmento médo do ódgo é L = 3. bt símbolo 5. m p l m. m.5 3 m m 4. 3 m 5. 3 m m m m abela.4: Resultados da odfação de Huffman Como se vê o omprmento médo do ódgo, embora superor, tem um valor muto prómo da entropa da fonte. al sgnfa que o ódgo obtdo tem muto poua redundâna e, neste aso, onsttu a representação mas efente da fonte orgnal. Neste aso e de aordo om (.43), temos η = =.9797, sto é, muto prómo dos %. Naturalmente, e omo fo vsto anterormente, a efêna da odfação podera ser melhorada se onsderássemos etensões da fonte de ordem superor. Eemplo.4: Consderemos o alfabeto espefado na abela.5. m m m abela.5: Alfabeto fonte m p l m.7 m.5 m 3.5 abela.6: Resultados da odfação m m m Fgura.5: Árvore de odfação 5 Chama-se a atenção para o fato de as undades em que se eprmem a entropa e o omprmento médo terem sgnfados dferentes: no prmero aso bt sgnfa undade bnára de nformação, enquanto que no segundo a mesma desgnação é usada om o sgnfado de símbolo bnáro. -7

22 Na Fgura.5 está representada a árvore de odfação e na abela.6 resumem-se os resultados da odfação. Podemos alular a entropa H =.83, o omprmento médo do ódgo L =.3, e a respetva efêna η =.987. Consderemos agora a etensão de ª ordem do alfabeto orgnal, e determnemos o orrespondente ódgo de Huffman omo se lustra na Fgura.6. Os resultados apareem resumdos na abela.7. m m m m m m m m 3 m 3 m m m s s s 3 s 4 s 5 s 6 m m 3 s 7 m 3 m s 8 m 3 m 3 s Fgura.6: Árvore de odfação da etensão da fonte m p l s.49 s.5 3 s s s s s s s abela.7: Resultados da odfação da etensão da fonte A entropa da fonte estendda é obvamente dupla da entropa da fonte orgnal. O omprmento médo do ódgo anteror vale.395. Portanto, a efêna deste ódgo é η = =.9865, sendo sgnfatvamente maor do que a efêna do ódgo da fonte orgnal. Quando se usa o algortmo de Huffman, deve na fase de reordenação ter-se o udado de oloar o mas ama possível o resultado da assoação de dos símbolos. Consegue-se deste modo reduzr a varâna dos omprmentos das palavras de ódgo e, portanto, garantr que o -8

23 tempo gasto na desodfação das palavras de ódgo é semelhante para todas elas. Reordemos que a varâna do omprmento das palavras do ódgo vale ( l L) σ l = p. (.44) Mas uma vez vamos soorrer-nos de um eemplo para lustrar este fato. Eemplo.5: Consderemos uma fonte dsreta sem memóra ujo alfabeto e respetvas estatístas se mostram na abela.8. m m m 3 m 4 m 5 m 6 m abela.8: Alfabeto e estatístas da fonte A entropa desta fonte vale H =.5464 bt símbolo. A abela.9 apresenta os resultados obtdos quando se apla o algortmo de Huffman tal omo nos Eemplos.3 e.4. Neste aso, o valor médo e a varâna do omprmento das palavras do ódgo valem L =.6 bt símbolo e σ.44. l = m p l m.3 m. m 3. 3 m 4. 3 m 5. 3 m m abela.9: Resultados da odfação Vejamos agora a stuação em que o resultado de uma assoação não é oloado o mas ama possível na tabela de probabldades, omo se mostra na Fgura.7. m m m 3 m 4 m m m.5 7 Fgura.7: Árvore de odfação alternatva -9

24 A abela. resume os resultados obtdos quando o algortmo de Huffman é aplado do modo ama desrto. m p l m.3 m. m 3. m 4. 3 m 5. 4 m m abela.: Resultados da odfação alternatva Verfa-se falmente que neste aso o omprmento médo das palavras de ódgo mantémse, mas a varâna aumenta para σ.4. l =.5 Outras Leturas Reomendadas []- C.E. Shannon, "A Mathematal heory of Communaton," Colleted Papers, eds. N.J.A. Sloane e Aaron D. Wyner, IEEE Press,

25 Snas Aleatóros em empo Contínuo. Parte I: Espaço de Probabldade e Varáves Aleatóras. Na Fgura. está representado um modelo smplfado de um sstema de omunação. No Capítulo justfou-se a opção por um modelo aleatóro para representar uma fonte de nformação. Embora a dsussão se tenha foado no aso de fontes dgtas, as razões apresentadas mantêm-se váldas quando a fonte de nformação gera snas analógos em tempo ontínuo. Assm sendo, utlzaremos um modelo estoásto (ou aleatóro) para representar a lasse de snas passíves de serem gerados por uma fonte de nformação analóga. Em geral, o snal transmtdo resulta de uma ou mas transformações realzadas sobre o snal fonte, aqu representadas de forma ntegrada num úno bloo generamente desgnado por emssor. Embora o snal transmtdo seja em geral dferente do snal fonte, as transformações envolvdas preservam a nformação orgnal, e têm por objetvo adaptar a transmssão ao anal de omunação e ombater o efeto do ruído. snal reebdo estmatva do snal fonte Fonte Emssor Canal Reeptor Destno + snal fonte snal transmtdo Ruído Fgura.: Modelo smplfado de um sstema de omunação Por natureza própra dos fenómenos físos envolvdos o meansmo de geração do ruído é aleatóro, pelo que o modelo mas adequado para o representar é também do tpo estoásto. De aordo om o modelo da Fgura., o snal reebdo à entrada do reeptor é uma versão do snal transmtdo, eventualmente dstorda pelo anal de omunação, e orrompda por uma amostra de ruído adtvo: re tra () t = C t [ tra ( τ C )] + n() t () t = E [ ( τ )] t E (.) onde C t e E t representam as transformações, em geral não nstantâneas, realzadas pelo anal e pelo emssor sobre os respetvos snas de entrada., tra e re são o snal fonte, o snal transmtdo e o snal reebdo, respetvamente, e n é uma amostra do ruído. Note-se que o snal dsponível à entrada do reeptor é desonhedo pos nem o snal fonte nem o ruído são onhedos. Embora o anal, sto é, a transformação C t, possa também ser desonhedo, remos admtr que dspomos de um modelo adequado para o representar. endo em onta a falta de onhemento prévo sobre um onjunto de omponentes mportantes do sstema, torna-se óbvo que é mpossível o reeptor forneer ao destnatáro uma répla eata do snal fonte. O problema onsste então em desenhar o emssor e o reeptor de modo a que este últmo possa, a partr do snal reebdo, gerar a melhor répla possível do snal fonte. Para tal, e também para avalar a qualdade do sstema, sto é, o grau de semelhança entre o snal fonte e a respetva estmatva, torna-se neessáro estudar o modelo de representação da fonte e do ruído. -

26 . Introdução aos Proessos Estoástos O oneto de proesso estoásto onsttu uma etensão da noção de varável aleatóra e permte modelar uma lasse de snas ujo omportamento ao longo do tempo é não determnísto. A nterpretação deste modelo pode fazer-se om base na Fgura. A dea bása é a de que ada snal ou função amostra daquela lasse oorre de aordo om os resultados de um modelo epermental probablísto. Com efeto, um proesso estoásto t t; ξ, desgnados por funções amostra, onde () não é mas do que um onjunto de snas ( ) ξ é um dos resultados elementares de um fenómeno físo ompletamente araterzado pelo onjunto de todos os resultados epermentas dretos. Antes de avançar mas na desrção deste modelo, onvém reordar as noções de espaço de probabldade e de varável aleatóra. ( t; ξ ) ξ ξ ξ 3 ξ 7 ξ j ( t; ξ ) 3 ( t ; ξ ) 3 ( t ; ξ ) ξ = (,Ω,P( ) ) ( t; ξ ) ( t; ξ ) ( t ; ξ ) ( t ; ξ 3) t t Fgura.: Modelação de um Proesso Estoásto.. Espaço de Probabldade Consderemos o onjunto formado pelos elementos ξ, os quas smbolzam os resultados elementares de uma eperêna. Por eemplo, ξ pode representar a oorrêna de uma das faes resultante do lançamento de um dado ou o ntervalo de tempo que deorre entre duas hamadas telefónas onseutvas. é portanto um modelo epermental. Qualquer subonjunto de é um aontemento: a oorrêna de uma fae par orresponde à oorrêna das alternatvas fae, fae 4 ou fae 6. Neste onteto, o onjunto vazo orresponde ao aontemento mpossível e é o aontemento erto. O onjunto de todos os subonjuntos de onsttu o espaço de amostras Ω. Note-se que os elementos de Ω são a unão de aontementos elementares de os quas, por defnção, são mutuamente elusvos. Reorde-se que dos aontementos A e B são mutuamente elusvos sse A B =. Para ompletar este modelo probablísto é neessáro atrbur uma medda de probabldade a todos os aontementos de Ω. A probabldade é uma função dos elementos de Ω que verfa os aomas: () P(A) () P( ) = (.) () P(A B) = P(A) + P(B) se A B = -

27 O trplete (,Ω,P( )) é desgnado por espaço de probabldade. Note-se que o espaço de amostras Ω, sendo o onjunto formado por todos os subonjuntos de, satsfaz as seguntes propredades: () Ω () se A Ω então A C Ω (.3) (), A Ω então A Ω A partr de (.) e (.3) é possível dervar algumas propredades adonas da medda de probabldade P( ), tas omo :. P(A C ) = -P(A) (.4). P( ) = (.5) 3. P(A B) = P(A) + P(B) P(A B) (.6) 4. A B P(A) P(B) (.7)... Probabldade Condonal e Independêna Estatísta Def..: Dado um aontemento M tal que P(M), a probabldade de oorrêna do aontemento A ondonada na erteza da oorrêna de M é defnda por P ( A M) ( A M) P( M) P =. (.8) Suponhamos que A e M são aontementos pertenentes ao espaço de amostras Ω assoado ao espaço de probabldade = (,Ω,P( )). Admtamos anda que em N repetções da eperêna representada pelo modelado epermental os aontementos M e A M oorrem N M e N A M vezes, respetvamente. É sabdo que para um valor de N sufentemente elevado para que N M e N A M tomem também valores muto elevados se verfa sto é, P N NA M, N N M ( M) e P( A M) P ( A M) N P( M) NM A M. Note-se que o aontemento A M oorre sse A e M oorrerem em smultâneo; N A M onta assm o número de vezes que, na sére de oorrênas de M, o aontemento A também oorre. Este raoíno epla, anda que de forma empíra, a defnção de probabldade ondonal epressa em (.8). A probabldade ondonal goza das seguntes propredades:. P(A M) (.9). P( M) = (.) 3. A B = P(A B M) = P(A M) + P(B M) (.) Por ser relatvamente smples, dea-se omo eerío a demonstração destas propredades. -3

28 A propredade (.9) resulta dretamente do fato de A M ser um aontemento em Ω. De fato, tendo em onta que a medda de probabldade é não negatva, P(A M), e a quantdade defnda em (.8) é não negatva. Como M = M, a gualdade (.) é medata. Usando (.8), temos P ( A B M) (( A B) M) P( M) (( A M) ( B M) ) P( M) P P = =. Sendo A e B mutuamente elusvos, o mesmo aontee om A M e B M. Assm, P (( A M) ( B M) ) P( M) e, tendo em onta (.8), obtém-se (.). P = ( A M) P( M) P + ( B M) P( M) Def..: Dos aontementos A e B são estatstamente ndependentes sse ( A B) P( A) P( B) P =. (.) Desta relação e de (.8) onlu-se anda que se dos aontementos A e B são estatstamente ndependentes, então P P ( A B) = P( A) ( B A) = P( B). (.3)... Probabldade otal Consderemos o onjunto de todos os aontementos elementares assoados a um determnado modelo epermental. Suponhamos que, tal omo se mostra na Fgura.3, se A,A, K, de. defne a partção [ ] AM A B A M A Fgura.3: Partção do onjunto Seja B um aontemento qualquer defndo em, sto é, B Ω. Como = A A L A M, então -4

29 B = = B ( A A L AM ) ( B A ) ( B A ) L ( B A ) M Como se vê na Fgura.3, os aontementos A,...,A M são mutuamente elusvos e portanto também om os aontementos (B A ),..., (B A M ) são mutuamente elusvos. Logo ou, atendendo a (.8), P ( B) P( B A ) + P( B A ) + + P( B ) = L, M ( B) = P( B Am ) P( A m ) m= AM P. (.4) Este resultado é onhedo por eorema da Probabldade otal e permte alular a probabldade de um aontemento B se as probabldades ondonas P(B A m ) e a pror P(A m ) forem onhedas....3 eorema de Bayes Suponhamos que os aontementos B e A m, m=,,...,m, verfam o teorema da probabldade total. Então, o eorema de Bayes dz que as probabldades a posteror P(A m B), m=,,...,m, se eprmem em termos das probabldades a pror P(A m ), m=,,...,m, do segunte modo ( A B) m P( B Am ) P( Am ) P( B Am ) P( Am ) = M P. (.5) m= Este resultado derva dretamente da defnção de probabldade ondonal (.8) e do teorema da probabldade total (.4) e, omo veremos mas tarde, desempenha um papel muto mportante em mutos problemas de engenhara, em partular, no desenho de reeptores em sstemas de omunações dgtas... Varáves Aleatóras Uma varável aleatóra é uma função ( ξ) ujo domíno é o onjunto de resultados epermentas elementares ξ, sendo o onjunto dos números reas o respetvo ontradomíno. Formalmente, a espefação de uma varável aleatóra assenta no espaço de probabldade =(,Ω,P( )), sto é, no onjunto de aontementos elementares, no espaço de amostras Ω, e na medda de probabldade P( ) defnda para ada elemento de Ω. Para lustrar a onstrução do modelo de uma varável aleatóra onsderemos a Fgura.4. Como se pode verfar, a ada elemento de faz-se orresponder um e um só número real. No entanto, pode aonteer que a mas de um elemento de orresponda um úno valor de 3. Uma varável aleatóra omplea defne-se por ( ξ) = r ( ξ) + j ( ξ), onde ( ξ) e ( ξ) varáves aleatóras reas e j = é a undade magnára. r são -5

30 A ξ B (ξ ) 3 Fgura.4: Modelação de um Varável Aleatóra Real Note-se que qualquer aontemento em Ω é representado por um ntervalo em 3. Por eemplo, os aontementos A e B são representados pelos ntervalos { } e B = { < } A =, onde, e são números reas. No eemplo da Fgura.4 o ontradomíno da varável aleatóra é onsttuído por um onjunto ontável de números reas. Quando assm é dz-se que a varável aleatóra é dsreta. Uma varável aleatóra é ontínua se o seu ontradomíno for uma unão de ntervalos em 3. Fnalmente, se o ontradomíno for a unão de ntervalos de 3 om um onjunto ontável de números reas, a varável aleatóra é do tpo msto. A espefação de uma varável aleatóra ompleta-se reorrendo à medda de probabldade P( ) assoada ao espaço de probabldade.... Função de Dstrbução Cumulatva Def..3: A função de dstrbução umulatva de uma varável aleatóra é dada por 3 : F ( ) P( ) =. (.6) A função de dstrbução goza das seguntes propredades 4 :. F F ( ) = P( ) = ( + ) = P( ) = (.7). F () é monotóna resente, sto é, se ( ) F ( ) então F <. (.8) 3 A função de dstrbução será sempre representada por F; o subínde em letra maúsula desgna a varável aleatóra a que se refere F. 4 Por ser relatvamente smples, dea-se omo eerío a demonstração destas propredades. -6

31 3. 4. P P ( ) = F ( ) >. (.9) ( ) = F ( ) F ( ) <. (.) A função de dstrbução pode ser ontínua ou desontínua onforme o tpo de varável aleatóra a que se refere. Consderemos uma varável aleatóra do tpo msto ujo ontradomíno é o onjunto C D = ], [ [, [, e admtamos que P( ) = p. A Fgura.5 lustra esta stuação. A dferença p ( ) ( ) + F = F é o salto de desontnudade de F no ponto =. A partr da fgura podemos onlur que + ( ) = F ( ) P, ou seja, ( ) = F ( ). + F F () p F ( + ) F ( - ) Fgura.5: Dstrbução de probabldade de uma varável aleatóra msta Como os aontementos { < } e { } = são mutuamente elusvos, temos sto é, ( ) = P( < ) + P( ) P =, P P ( = ) = F ( ) F ( ) = p ( < ) = F ( ). Partndo desta dsussão podemos nferr que, nos asos das varáves aleatóras dsretas e ontínuas, as respetvas funções de dstrbução são funções em esada no prmero aso e ontínuas no segundo, omo se mostra na Fgura.6. F F p (a) (b) Fgura.6: Funções de dstrbução: (a) varável dsreta, (b) varável ontínua -7

32 ... Função Densdade de Probabldade Para além da função de dstrbução, a função densdade de probabldade pode ser usada para araterzar uma varável aleatóra de forma equvalente. Def..4: Seja uma varável aleatóra ontínua om função de dstrbução F (). A função densdade de probabldade de é defnda por 5 : ( ). df f ( ) = (.) d A função densdade de probabldade goza das seguntes propredades 6 :. Uma vez que F é não deresente, ver (.8), então f. (.). De (.) resulta ( < ) = f ( µ ) P dµ. (.3) ( ) = f ( µ ) F dµ. (.4) - - ( + ) = f ( µ ) = F dµ. (.5) Grafamente, a função densdade de probabldade de uma varável aleatóra ontínua tem o aspeto genéro que se mostra na Fgura.7.Como se vê, a função densdade de probabldade tende para zero quando va para ±, e pode ser multmodal, sto é, apresentar dversos mámos. f Fgura.7: Densdade de probabldade de uma varável aleatóra ontínua 5 A função densdade de probabldade será sempre representada por f; o subínde em letra maúsula desgna a varável aleatóra a que se refere f. 6 Por ser relatvamente smples, dea-se omo eerío a demonstração destas propredades. -8

33 ... Densdade de Probabldade de uma Varável Aleatóra Dsreta No aso de varáves aleatóras dsretas, a função de dstrbução não é ontínua e portanto (.) em Def.. não tem sentdo. Uma varável aleatóra dsreta toma valores om probabldade P(= ) = p = F ( + )-F ( - ), pelo que podemos usar a notação f ( ) p,,, K = (.6) = que espefa a densdade de probabldade pontual. Neste onteto, f não é a dervada de F, sendo defnda pelas ampltudes dos saltos de desontnudade da função de dstrbução. Grafamente, f representa-se omo se lustra na Fgura.8. f p - p - p + p a p + b + Fgura.8: Densdade de probabldade de uma varável aleatóra dsreta Neste onteto, as propredades da função densdade de probabldade pontual equvalentes a (.3), (.4) e (.5) são 7 :. Sejam e j os valores de medatamente superor a a e nferor ou gual a b, respetvamente. Ver eemplo da Fgura.8. Então j ( a < b) = p = f ( ) = j P. (.7) =. Seja j o valor de medatamente nferor ou gual a a. Então j ( a) = f ( ) F. (.8) = 3. ( + ) = = f ( ) = F. (.9) Alternatvamente, podemos estender o espaço onde se defnem as funções densdade de probabldade defndas por (.) de modo a nlur a dstrbução δ () de Dra b a δ ( ) d = se a b aso ontráro. (.3) 7 A propredade (.) mantém-se. -9

34 Deste modo, a densdade de probabldade pontual de uma varável aleatóra dsreta é generalzável de modo a suportar a dednção (.), e esreve-se na forma ( ) = p δ( ) = f. (.3) Usando esta defnção em (.3), (.4) e (.5) e tendo em onta (.3), reuperam-se falmente as epressões (.7), (.8) e (.9), respetvamente....3 Operador Valor Epetável Consdere-se a varável aleatóra araterzada pela densdade de probabldade f e a transformação ( ) Y = g (.3) a partr da qual se defne uma nova varável aleatóra Y. Def..5: O valor epetável da varável aleatóra Y é defndo por E = { Y} g( µ ) f ( µ ) dµ -. (.33) Note-se que se, em partular, a transformação g () for a dentdade, sto é, Y =, então de (.33) resulta { } µ f ( µ ) E = dµ, (.34) ou seja, o valor epetável da varável aleatóra. Pode também mostrar-se, omo veremos mas adante, que o operador valor epetável é lnear, sto é, { Y} = α E{ Y } + E{ Y }. Y = αy + α Y E α (.35)...3. Momentos Def..6: Fazendo em (.3) Y = ordem n da varável aleatóra : n ( n ) n n = E{ } = µ f ( µ ) -, e usando (.33), obtém-se o momento de m dµ. (.36) O momento de prmera ordem, abrevadamente representado por m, é o valor epetável de já ntroduzdo em (.34). O momento de segunda ordem, m = E, é normalmente desgnado por orrelação. ( ) { } -

35 ...3. Momentos Centrados Def..7: Fazendo em (.3) Y ( ) n = m e usando (.33), obtém-se o momento entrado de ordem n da varável aleatóra : µ n n { } = ( ν m ) f ( ν) ( n ) = ( m ) - E dν. (.37) O momento entrado de prmera ordem é nulo. O momento entrado de segunda ( ) ordem é desgnado por varâna: σ =. µ É fál verfar que a varâna verfa a gualdade ( ) σ = m m, (.38) ou seja, é a dferença entre a orrelação e quadrado do valor epetável. Portanto, no aso em que tem valor epetável (méda) nulo, a varâna onde om a orrelação Desgualdade de Chebyshev Na araterzação estatísta de uma varável aleatóra é frequente fazer-se uso de um outro parâmetro, relaonado om a varâna, e desgnado por desvo padrão: ( ) ( σ ) = ( m m ) σ =. (.39) Para se entender que tpo de estatísta é medda pelo desvo padrão onsderemos uma varável aleatóra qualquer Z e um número real arbtráro ε > nfntésmal. Qualquer que seja a >, a { Z } = µ f ( µ ) dµ µ f ( µ ) dµ + µ f ( µ ) E dµ ; Z em qualquer das parelas do termo mas à dreta da relação anteror, o fator µ toma, em qualquer das duas ntegrandas, valores não nferores a a. Portanto, podemos anda esrever E Z a ε a { Z } a f ( µ ) dµ + f ( µ ) dµ a P( Z a) Z Z, ε a ε Z ou anda P E ( ) { Z } Z a. (.4) a Fazendo em (.4) Z = m e a = σ, 9 +, obtém-se a desgualdade de Chebyshev, a qual se pode esrever em qualquer das formas alternatvas seguntes: -

36 P P ( m σ ) ; (.4) ( m < σ ) >. (.4) A desgualdade de Chebyshev permte afrmar que, ndependentemente da função f, a probabldade de tomar valores fora de um ntervalo entrado em torno do respetvo valor epetável e om omprmento gual a desvos padrão é sempre não superor a K. Um valor pequeno do desvo padrão sgnfa um pequeno espalhamento dos valores mas prováves de em torno do valor médo. Por eemplo, para =, qualquer varável aleatóra toma valores entre m -σ e m +σ om probabldade superor a Eemplos de Varáves Aleatóras Neste parágrafo remos dar eemplo de algumas varáves aleatóras de grande nteresse para o desenho e análse de sstemas de teleomunações.. Bernoull Varável aleatóra dsreta ujo ontradomíno é o onjunto {,} de probabldade P ( ) () P = = p p om C D = om dstrbução p. (.43) Esta varável aleatóra é usada para modelar fontes bnáras e a oorrêna de erros de transmssão num sstema de omunações dgtas.. Bnomal Varável aleatóra dsreta ujo ontradomíno é o onjunto C D = 9 + dos nteros não negatvos e que representa, por eemplo, o número de 's que oorrem numa sequêna de n oorrênas de Bernoull. A respetva densdade de probabldade pontual é da forma P ( = ) n = p ( p) n n > n (.44) A dstrbução bnomal serve, por eemplo, para modelar o número total de símbolos reebdos om erro numa sequêna de n símbolos estatstamente ndependentes, sendo p a probabldade de erro por símbolo. 3. Unforme Varável aleatóra ontínua uja função densdade de probabldade é defnda omo a b f ( ) = b a (.45) aso ontráro A dstrbução unforme pode ser usada para representar a fase de uma snusode num ntervalo de omprmento π. -

37 4. Laplae Varável aleatóra ontínua uja densdade de probabldade é defnda por α f ( ) = ep( α ) < < (.46) Neste aso pode ser usada para modelar a ampltude de um snal de voz. 5. Gaussana ou Normal A varável aleatóra gaussana é de grande mportâna na análse do desempenho de sstemas de omunações pos o ruído térmo, uma das fontes de ruído mas típas neste tpo de sstemas, tem uma dstrbução de ampltude gaussana. A respetva densdade de probabldade é dada por ( ) ( ) m = ep < < (.47) πσ σ f onde m e σ são a méda e o desvo padrão de, respetvamente....5 ransformação de Uma Varável Aleatóra Consderemos uma varável aleatóra om densdade de probabldade f e a transformação Y = g, (.3) ( ) onde g é uma função onheda para a qual este a transformação nversa ( y) = g. (.48) Em geral, g pode ser não monotóna pelo que a solução da equação y = g() dada por (.48) não é úna. O problema que remos abordar é o de alular a densdade de probabldade f Y dadas a tranformação (.3) e a densdade f. Para smplfar, omeçaremos por assumr que g é uma função monotóna, sto é, a solução dada por (.48) é úna. Consderemos a lustração deste problema apresentada na Fgura.9. Note-se que ao aontemento ], + d ] defndo sobre o espaço de amostras da varável orresponde o mesmo aontemento ]y, y + dy ], este defndo sobre o espaço de amostras de Y, e determnado pela transformação g. Porque se trata do mesmo aontemento, podemos onlur que ( + d ) = P( y < Y y ) P < + ; dy Admtndo que d e dy são nfntesmas, as probabldades da gualdade anteror, dadas pelas áreas sombreadas na Fgura.9, podem ser apromadas por ou seja, ( ) d f Y ( y ) dy f, -3