Capítulo III Códigos para Compressão sem Perda

Transcrição

1 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Capítulo III Códgos para Compressão sem Perda Vmos no Capítulo II que a saída Quantzador do Codfcador de Fonte de um sstema para Transmssão Dgtal é codfcada em seqüêncas de N log M bts sendo M o número de níves de quantzação. Tal codfcação é denomnada PCM (PCM Pulse Code Modulaton) e a seqüênca de bts resultante é denomnada de seqüênca PCM. Neste capítulo é estudado o processo de codfcação da seqüênca de bts PCM através do qual cada uma das M possíves seqüêncas PCM de N log M bts têm o seu número de bts N reduzdo para um valor menor como decorrênca da ação do códgo para compressão de dados sem que ocorra perda de nformação. Já estudamos no Capítulo II códgos para compressão com base em crtéros psco-acústcos quas sejam os algortmos µ-law e A-Law. Neste capítulo estudaremos dos códgos compressores propramente dtos: O Códgo de Huffman (Codfcação por Entropa) e o Algortmo Lempel-Zv (Codfcação Unversal de Fonte Codfcação por Dconáro).. Entropa Uma Possível Medda de Informação O conceto de nformação é muto amplo para que possa ser capturado completamente por uma smples defnção. No entanto se estvermos tratando de uma varável aleatóra dscreta com espaço de amostras defndo pelo conjunto Ω { m { m m! mm de M eventos m com probabldade de ocorrênca p! M é possível defnr uma quantdade chamada de Entropa a qual apresenta mutas propredades que concordam com noção ntutva do que uma medda de nformação deve expressar. Intutvamente a observação da ocorrênca de um evento do espaço amostral de uma varável aleatóra nos dá nformação. Eventos raros contém mas nformação do que eventos comuns. Por exemplo nós nfermos e aprendemos muto pouco se alguém dsser O sol nasceu hoje pela manhã ou dsser O sol nasceu à leste hoje pela manhã. Mas nfermos e aprendemos consderavelmente mas se alguém dsser ão Paulo fo atngdo por um terremoto hoje pela manhã ou ão Paulo fo atngdo por um furacão hoje pela manhã. Em 98 Hartley propôs uma medda logarítmca de medda de nformação que reflete o racocíno ntutvo do parágrafo anteror. Vamos supor que estamos regstrando o valor das amostras na saída do quantzador do Codfcador de Fonte e que o quantzador apresente M níves de quantzação. Após o regstro de um número sufcente de amostras é feto um estudo estatístco da probabldade de ocorrênca de cada uma das M possíves amostras (ou mensagens de N log M bts sob o ponto de vsta do códgo compressor) conforme dscutdo na eção.. A saída do quantzador pode ser consderada uma varável aleatóra dscreta com espaço de amostras defndo pelo conjunto

2 Ω PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro { m { m m! mm de M mensagens!. egundo Hartley a Auto-Informação ( ) M uma mensagem m com probabldade de ocorrênca ( ) ( ) m com probabldade de ocorrênca p h mplícta na ocorrênca de m p é defnda por h m log p [bts] (.) Analsemos (.): Vsto que p h ( m ) é sempre um número postvo. [bts devdo à função logarítmca em base. Como log () u é uma função monotonamente crescente com u a Auto-Informação h( m ) log ( p ) de uma mensagem rara é maor que a de uma mensagem comum. Anda a dervada d ( log ( p ) é uma medda da sensbldade de h ( m ) dp p ln() à varação da probabldade p de ocorrênca da mensagem m. Observe portanto que a Auto-Informação vara pouco entre mensagens m comuns mas apresenta alta varação h ( m ) é medda em ] entre mensagens raras. Fnalmente observe que as propredades de (.) concordam com noção ntutva de nformação dscutda em parágrafo anterores. Ω A méda da Auto-Informação das M mensagens m do conjunto m m! m é denomnada de Entropa da varável aleatóra ( Entropa do { M Ω de mensagens). Assm a Entropa ( ) conjunto espaço de amostras é o conjunto Ω de M mensagens é dada por M H ( ) E{ h( m ) E{ ( p ) p log ( p ) H da varável aleatóra cujo log [bts] (.) onde o E { é o operador estatístco que retorna o valor esperado do argumento [Carlson]. Note em (.) que se as M mensagens apresentam probabldade de ocorrênca guas (mensagens equprováves) então p M para! M e H M log [bts]. M M ( ) log ( M ) Além da nterpretação da Entropa H ( ) como sendo a nformação méda mplícta no conjunto de mensagens Ω { m m! m conjunto que é o espaço de amostras da varável aleatóra são váldas também as seguntes nterpretações: - A nformação méda obtda como resultado da observação de uma realzação da varável aleatóra (realzação ocorrênca de uma mensagem m na saída do quantzador). Nesta nterpretação ( ) H é melhor quantfcada na undade [ bts realzação] ou no caso da saída do quantzador em [ bts mensagem] ou mas genercamente em [ bts símbolo]. M - A ncerteza méda sobre antes de ocorrer uma observação. - A ncerteza méda sobre removda após ocorrer uma observação.

3 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Exemplo.: eja um sstema para transmssão dgtal que utlze no Codfcador de Fonte um conjunto Ω { m m com M possíves mensagens (ou M níves de quantzação sob o ponto de vsta do quantzador). eja q a probabldade de que a saída do quantzador assuma o valor m sto é q P( m ). Determne o gráfco da entropa de em função de q. olução: e q P( m ) então P( m ) q H ( ) q q ( q) ( q) log A Fgura. mostra o gráfco. De (.) temos log [ bts mensagem] H ( ) q. (.) Fgura.: Entropa de em função de q. Note na Fgura. que H ( ) é máxma quando as mensagens m e m têm a mesma probabldade de ocorrênca.e. q ( q). 5. Na realdade este comportamento acontece não só para um espaço de amostras Ω com apenas M mensagens de probabldades guas mas ocorre também para qualquer quantdade M de mensagens de mesma probabldade. Demonstra-se [Ash] que H log valor que ocorre quando as probabldades de ocorrênca dos M elementos do espaço de amostras Ω são todas guas a M (.e. os M elementos de Ω são equprováves). O valor máxmo da entropa da varável aleatóra é ( ) ( M ). Codfcação por Entropa Vmos o conceto de Entropa como uma medda do conteúdo de nformação assocado a uma varável aleatóra dscreta com espaço de amostras defndo pelo conjunto Ω { x { x x! xm de M eventos x com probabldade de ocorrênca p! M.

4 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Quando é a saída de uma fonte de nformação dscreta (por exemplo a saída do Quantzador do Codfcador de Fonte) a entropa H ( ) da fonte representa a quantdade méda de nformação emtda pela fonte. Podemos consderar um códgo para compressão por entropa como um operador θ Ω Ω x x x! x é o conjunto de M possíves θ { tal que { M mensagens a serem codfcadas e { s { s s! s onde { { M é o conjunto de M possíves palavras-códgo ou símbolos resultantes da codfcação. O operador θ { efetua um mapeamento unívoco entre cada mensagem e respectva palavra-códgo tal que mensagens com maor probabldade de ocorrênca são mapeadas em palavras-códgo de menor tamanho e mensagens com menor probabldade de ocorrênca são mapeadas em palavras-códgo de maor tamanho (no caso de um códgo bnáro tamanho refere-se ao número de bts). O conjunto de caracteres do códgo ou alfabeto do códgo é o conjunto { a a! a Α D composto por D elementos de cuja composção são formadas cada palavra-códgo. As palavras-códgo formadas do alfabeto Α as quas consttuem o conjunto magem do mapeamento θ { são assumdas serem dstntas entre s caso contráro θ { não sera unívoco. Exemplo.: eja o alfabeto { a a a { x x x x Α e o conjunto de mensagens Ω. Um possível códgo θ { sera Mensagem Palavra-códgo s assocada a x a a a a x a x a x a x por s θ{ x No contexto de Codfcação de Fonte em Transmssão Dgtal as mensagens são seqüêncas de bts resultantes de codfcação PCM da saída do Quantzador. Exemplo.: eja o alfabeto { a a a { x x x x { Α e o conjunto de mensagens Ω resultante da codfcação PCM da saída de um Quantzador com 4 níves de quantzação. Um possível códgo θ { sera Mensagem eqüênca PCM Palavra-códgo s assocada a x a a x aaa x a x a x por s θ{ x 4

5 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Anda no contexto de Transmssão Dgtal as palavras-códgo usualmente Α. orgnam-se de um alfabeto bnáro { Exemplo.4: eja o alfabeto { { x x x x { Α e o conjunto de mensagens Ω. Um possível códgo θ { sera Mensagem eqüênca Palavra-códgo s assocada a PCM x x x x x por s θ{ x O tamanho " de uma palavra-códgo ou símbolo s é defndo pelo número de caracteres do alfabeto Α utlzado na sua construção. Exemplo.5: eja o códgo bnáro ( Α { palavra-códgo ou símbolo s é Mensagem eqüênca PCM ímbolo s assocado a x por s ) do Exemplo.4. O tamanho " de cada θ{ x x x x x O objetvo da Codfcação por Entropa é encontrar um códgo θ { que mnmze o tamanho médo L dos símbolos emtdos pela fonte a partr do conjunto de M possíves s s s! s sendo L dado por símbolos { { M M p L " " (.4) onde p é a probabldade de ocorrênca da mensagem x e " é o tamanho do símbolo s assocado à mensagem x através do códgo θ {. A Codfcação por Entropa assume que a fonte é sem memóra. Uma fonte é consderada sem memóra quando as mensagens emtdas pela fonte são estatstcamente ndependentes.e. a ocorrênca de uma determnada mensagem x não afeta a probabldade de ocorrênca da mensagem x com j! M. Esta condção é p a ser mnmzada dada por (.4) dependera do desenrolar temporal da seqüênca de mensagens emtdas pela fonte o que necessára pos caso contráro a função L f ( " ) j 5

6 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro resultara em um códgo θ { varável no tempo. Embora poucas fontes físcas sgam exatamente o modelo de uma fonte sem memóra códgos θ { constantes no tempo (resultantes da suposção de ndependênca estatístca) são amplamente utlzados como códgos compressores mesmo quando a dependênca estatístca da fonte resulta na mpossbldade de mnmzação de L durante a totaldade do tempo de codfcação. Exemplo.6: eja um sstema para transmssão dgtal que utlze no Codfcador de Fonte um conjunto Ω { x x x x { com M 4 possíves mensagens (ou M 4 níves de quantzação sob o ponto de vsta do quantzador). As amostras na saída do quantzador são tas que a ocorrênca de uma não altera a probabldade de ocorrênca da outra (.e. as mensagens são estatstcamente ndependentes). As probabldades são P ( x ) P ( x ) 4 e P ( x ) P( x ) 8 { θ é conforme abaxo Mensagem eqüênca Palavra-códgo s assocada a PCM x x x x Determne a entropa da saída do quantzador ( ) códgo θ {. olução: Mensagem p ímbolo s assocado a x por s θ{ x. O códgo compressor x por s θ{ x H e o comprmento médo L () θ do x x 4 x 8 x 8 " H ( ) log log log log () θ L [ símbolo] [ bts mensagem] (.5) bts (.6) 6

7 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Exemplo.7: eja o códgo códgo compressor θ { é conforme abaxo Mensagem Determne a entropa ( ) olução: p ímbolo s assocado a x por s θ{ x x x x H da fonte e o comprmento médo L () θ do códgo θ {. H ( ) log log log. 58 [ mensagen] () θ L [ símbolo].. Códgos Unvocamente Decodfcáves bts (.7) bts (.8) Um códgo que pretenda ser útl deve pertencer à classe de códgos Unvocamente Decodfcáves caso contráro é mpossível efetuar a decodfcação sem que ocorra ambgüdade. Um códgo é Unvocamente Decodfcável (UD) quando qualquer seqüênca de caracteres do alfabeto Α passível de ser formada a partr da justaposção de um número s s s! s puder ser qualquer de símbolos quasquer pertencentes a { { M assocada ao ser decodfcada a uma únca mensagem em { x { x x! x Ω. M Conceto de justaposção: A justaposção de N símbolos (ou palavras-códgo) s s+! s+ N é a seqüênca α formada pela transmssão do símbolo s segudo da transmssão do símbolo s + e assm sucessvamente até a transmssão do símbolo s +N cuja representação é α s s! s. + + N Exemplo.8: Verfque se o códgo θ { abaxo é UD. Mensagem Palavra-códgo s assocada a x x x x x por s θ{ x olução: A seqüênca podera corresponder a qualquer uma das seguntes seqüêncas de mensagens x x x ou x x. Portanto θ { não é UD. 7

8 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro.. Códgos Instantâneos (Códgos Prefxos) No Exemplo.8 a ambgüdade do códgo θ { talvez pudesse ser resolvda se aguardássemos a recepção de bts adconas mas tal tempo de espera é ndesejável dada a sempre exstente busca por velocdade de decodfcação. Uma manera de assegurar que um códgo seja UD e que nenhum tempo de espera seja necessáro para a correta decodfcação é utlzar códgos denomnados Prefxos ou Instantâneos (a denomnação "Instantâneo" decorre da não necessdade de aguardar a recepção de bts adconas para que se resolva ambgüdades). Nota: Todos os códgos nstantâneos são UD mas nem todos os códgos UD são nstantâneos. Ou seja o conjunto dos códgos nstantâneos é um sub-conjunto do conjunto dos códgos UD. Um códgo nstantâneo ou prefxo pode ser decodfcado sem referênca a palavras-códgo futuras porque o fnal de uma palavra-códgo é medatamente reconhecda no decodfcador. Um códgo é chamado Instantâneo se nenhuma palavra-códgo é prefxo de nenhuma outra palavra palavra-códgo pertencente ao códgo. Conceto de prefxo: ejam as seqüêncas α a respectvamente N + se N a N b e α b e N c palavras-códgo α c formadas pela justaposção de s pertencentes ao códgo θ { sendo a N b N c um número qualquer de palavras-códgo. Dzemos que b α puder ser representada por a α é prefxo de α α para alguma seqüênca b c α c denomnada sufxo. Exemplo.9: Verfque se o códgo θ { abaxo é Instantâneo. Mensagem Palavra-códgo s assocada a x x x x x por s θ{ x olução: Como é prefxo de θ { não é Instantâneo. Não podemos afrmar que não seja UD pelo fato de não ser Instantâneo... Procedmento geral para testar se um códgo é UD eja um códgo θ { com alfabeto { a a! ad { s { s s! s Α e conjunto magem M. Para testar se θ { é UD constró-se a seqüênca de conjuntos! da segunte manera: é o própro conjunto magem { s { s s! s. M α a 8

9 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Para defnr forma-se a partr de o conjunto P de todos os pares s s de j palavras-códgo s s j possíves de serem formados por justaposção de duas palavras-códgo dstntas pertencentes ao conjunto : s s! s M s - s s! s s M s s s -! s s M # # # - # s! - sm sm s sm Tabela.: Formação do conjunto { s s s s! s s M P de M M elementos. M e a palavra-códgo s é prefxo da palavra-códgo s j.e. s j s σ então o sufxo σ é um elemento do conjunto.e. σ. Executa-se a verfcação s j? s σ para todos os elementos de P até que todos os sufxos sejam atrbuídos ao conjunto { α α! onde cada seqüênca α de caracteres de Α é um sufxo orgnado pelo resultado postvo do teste s j? s σ. Para defnr n n > compara-se e n de modo bdreconal: I) e uma palavra-códgo s é prefxo de uma seqüênca α j n tal que α j sσ então o sufxo σ n. II) e uma seqüênca α j n é prefxo de uma palavra-códgo s tal que s α σ j então o sufxo σ n. Defne-se tantos conjuntos n n ou até um valor de n tal que n n. O códgo θ { é UD se e somente se nenhum dos conjuntos da seqüênca de conjuntos! contenha uma palavra-códgo que pertença ao conjunto. Exemplo.: Verfque se o códgo { Mensagem x x x x x x x até um valor de n tal que { Ö θ abaxo com alfabeto { a b c d e Palavra-códgo s assocada a a c ad abb bad deb bbcde Α é UD. x por s θ{ x 9

10 olução: PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Ö c bb cde bcde ad abb bad deb bbcde a d eb de b ad d eb { Vsto que ad 5 e ad logo θ { não é UD. Note que poderíamos ter encerrado o procedmento ao obter 5 quando então já temos elementos sufcentes para decdr que θ { não é UD. Exemplo.: Verfque se o códgos θ I{ θ II{ e θ III{ abaxo são UD e/ou Instantâneos. Mensagem s θ { s θ { s θ { I x II x III x x x x x olução: Verfcando θ I{ : θ I{ não é Instantâneo ( é prefxo de ) mas pode ser UD. Aplcando o procedmento da eção..: Vsto que e θ I{ não é UD. Verfcando θ { : II θ { é Instantâneo (nenhuma palavra-códgo é prefxo de nenhuma outra) então { II UD. θ é II

11 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Apenas a título de lustração vamos verfcar se θ II{ é UD pelo procedmento da eção..: { Ö Como nenhum dos conjuntos da seqüênca de conjuntos! contém uma palavra-códgo que pertença ao conjunto θ II{ é UD. Verfcando θ III{ : θ III{ não é Instantâneo ( é prefxo de por exemplo) mas pode ser UD. Aplcando o procedmento da eção..: Como nenhum dos conjuntos da seqüênca de conjuntos! contém uma palavra-códgo que pertença ao conjunto θ III{ é UD... Teorema da Codfcação de Fonte (Noseless Codng Theorem) Demonstra-se que [Ash][Cover]: eja uma varável aleatóra dscreta com espaço de amostras defndo pelo conjunto Ω { x { x x! xm de M eventos estatstcamente ndependentes x com probabldade de ocorrênca p! M. Então é possível construr um códgo Instantâneo { s s s! s formadas a θ com um conjunto de palavras-códgo { { M partr do alfabeto Α { tal que o conjunto {" {" "! L " M dos tamanhos das palavras-códgo respectvas em satsfaz a desgualdade H ( ) L < H ( ) + (.9) onde H ( ) é a Entropa da fonte e L é o tamanho médo das palavras-códgos dado por M p L ". O Teorema da Codfcação de Fonte (TCF) garante a vabldade teórca de mplementação de códgos nstantâneos bnáros cujo tamanho médo dos símbolos pode ser reduzdo a um valor tão pequeno quanto o valor da Entropa H ( ) da fonte ou se mpossível pelo menos a um valor menor que H ( ) +.

12 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro..4 Efcênca de um Códgo por Entropa por Uma decorrênca natural do TCF é a defnção da Efcênca de Codfcação η dada η H ( ) L (.) Um códgo é Absolutamente Ótmo (matched to the source casado com a fonte) quando n. sto é quando H ( ) L. Um códgo é Quase Absolutamente Ótmo quando H ( ) L < H ( ) +. Por exemplo o códgo do Exemplo.6 é um códgo Absolutamente Ótmo...5 Extensão da Fonte No TCF dado por (.9) exste um descasamento resdual fonte-códgo que pode chegar a quase bt (termo à dreta em (.9)). Este descasamento resdual ocorre devdo ao fato que log p usado no cálculo de H ( ) nem sempre é um número ntero. Podemos reduzr este descasamento por palavra-códgo dlundo-o ao longo de váras palavras-códgo através da operação de Extensão da Fonte: eja um sstema de codfcação no qual ao nvés de assocarmos uma palavra-códgo s a cada mensagem x Ω tomamos uma seqüênca de J observações ndependentes de (uma super mensagem ) e atrbuímos uma super palavra-códgo composta por J palavras-códgo s à seqüênca de J mensagens x. Nesta stuação o TCF pode ser re-escrto como [Cover]: L H ( ) J J < H ( ) + J (.) onde L J J L. Portanto quanto maor o tamanho J das super palavras-códgo gerada por extensão de fonte menor o descasamento resdual J...6 Códgos Ótmos Códgos de Huffman Embora o TCF nos garanta que é possível obter códgos nstantâneos com L tão pequeno quanto a própra Entropa H ( ) da fonte nenhuma nformação é dada sobre como construr tas códgos. M A construção de tas códgos basea-se na mnmzação de L nstantâneo que mmmze L é denomnado de Códgo Ótmo. p ". Um códgo * Exste um teorema que prova que se um códgo ótmo θ { resulta em L * é mpossível exstr um outro códgo nstantâneo θ { com tamanho médo L tal que * L < L [Ash].

13 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Um Códgo Ótmo bnáro cujas palavras-códgo { s { s s! sm formadas a partr do alfabeto Α { satsfaz as seguntes propredades [Cover]: são - Palavras-códgo com maor probabldade possuem menor tamanho. - As duas palavras-códgo menos prováves possuem o mesmo tamanho. - As duas palavras-códgo menos prováves dferem somente no últmo bt. Exemplo.: Verfque se o códgo θ { abaxo é Ótmo. olução: Mensa p Palavra-códgo s assocada a gem x.6 x. x. x.4 x.6 4 x por s θ{ x As propredades e são satsfetas. No entanto a propredade não é satsfeta: x e x4 não dferem somente no últmo bt. Portanto θ { não é ótmo. O método de construção de códgos ótmos é devdo a Huffman [Huffman]. Analsaremos aqu apenas o caso bnáro (Para o caso D-áro ver Codfcação de nas por F.C.C De Castro e M.C.F. De Castro Capítulo III Códgos para Compressão sem Perda dsponível para download em Embora exstam varantes do método que também geram Códgos Ótmos adotaremos o segunte procedmento para mplementação de Códgos de Huffman: eja uma fonte de nformação representada pela varável aleatóra dscreta com Ω x x x! x de M eventos M espaço de amostras defndo pelo conjunto { { estatstcamente ndependentes x com probabldade de ocorrênca p! M. eja { s s s! s formadas a θ o Códgo de Huffman com palavras-códgo { { M partr do alfabeto Α { tal que o conjunto {" {" "! das palavras-códgo respectvas em mnmza efetua-se: eja ncalmente j. L dos tamanhos " M M p L ". Para a construção de θ{ - Organzar as probabldades p de alto a baxo em uma coluna em ordem decrescente de valor denomnada Coluna. - omar as duas menores probabldades na Coluna e transfer-las para a próxma coluna (à dreta) denomnada Coluna + obedecendo a ordem decrescente. As demas probabldades da Coluna são transferdas nalteradas para a Coluna +.

14 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro - Incrementar de e repetr a até restarem somente duas probabldades na Coluna + então denomnada Coluna j. 4- Na Coluna j atrbur a palavra-códgo representada pelo caractere à maor probabldade e atrbur a palavra-códgo representada pelo caractere à menor probabldade 5- Localzar na Coluna j+ medatamente à esquerda da Coluna j quas as duas probabldades geradoras que ao serem somadas resultaram na probabldade gerada na Coluna j. Atrbur às duas probabldades geradoras na coluna Coluna j+ a palavra-códgo já atrbuída à probabldade gerada na Coluna j. Às probabldades não-geradoras na Coluna j+ são atrbuídas as palavras-códgo já atrbuídas às respectvas probabldades não-geradas por soma na Coluna j. 6- Na Coluna j+ às palavras-códgos já atrbuídas em 5 às duas probabldades geradoras justapor a palavra-códgo representada pelo caractere àquela geradora de maor probabldade e justapor a palavra-códgo representada pelo caractere àquela geradora de menor probabldade. 7- Incrementar j de e repetr 5 a 7 até que todas as colunas tenham palavras-códgo assocadas às probabldades nelas contdas. 8- Após a execução de 7 o Códgo de Huffman estará defndo na coluna mas à esquerda. Exemplo.: eja uma fonte de nformação representada pela varável aleatóra dscreta Ω x x x! x de M 6 com espaço de amostras defndo pelo conjunto { { eventos estatstcamente ndependentes! M conforme tabela abaxo. Mensagem p x.4 x. x. x. x.6 4 x.4 5 M x com probabldade de ocorrênca p a) Determne um Códgo Ótmo θ { cujo conjunto de palavras-códgo s s s! s Α (códgo bnáro). { { é formado a partr do alfabeto { M b) Determne a Efcênca de θ {. c) Determne se θ { é Absolutamente Ótmo ou Quase Absolutamente Ótmo. 4

15 olução: PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Fgura.: Procedmento para construção do Códgo de Huffman do Exemplo.. Portanto o códgo θ { resultante é Mensagem p Palavra-códgo (símbolo) s assocada a x.4 x. x. x. x.6 4 x.4 5 x por s θ{ x () M H ( ) p log ( p ) 4 [ mensagem]. bts (.) M L θ p " (.) H ( ). 4 η L. [ bts / mensagem] [ bts / símbolo] 97. % [ bts / símbolo] Vsto que H ( ) L < H ( ) + θ { é Quase Absolutamente Ótmo. (.4) Exemplo.4: eja uma fonte de nformação representada pela varável aleatóra dscreta com espaço de amostras defndo pelo conjunto Ω { x { x x! xm de M eventos estatstcamente ndependentes x com probabldade de ocorrênca p! M conforme tabela abaxo. 5

16 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Mensagem p x.6 x.4 Para reduzr o descasamento resdual o sstema de codfcação de fonte aplca o processo de extensão de fonte de ordem J. a) Determne um Códgo Ótmo θ { cujo conjunto de palavras-códgo s s s! s Α (códgo bnáro). { { é formado a partr do alfabeto { M b) Determne a Efcênca do códgo obtdo em a). olução: A extensão da fonte de ordem J resulta no segunte conjunto de super-mensagens : uper Mensagem x x j p j j! M x x x x x x x x Fgura.: Procedmento para construção do Códgo de Huffman do Exemplo.4. Portanto o códgo θ { bnáro resultante é uper-mensagem x x j p j uper-símbolo s j assocado a s θ x x x.6 x.4 x x.4 x x.6 x j { x j x x por j 6

17 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro M j H ( ) p j log ( p ) 94 [ mensagem] j. bts (.5) M L θ (.6) () p " [ bts símbolo] j j j / H ( ). 94 η L.. O Algortmo Lempel Zv [ bts / mensagem] [ bts / símbolo] 97. % (.7) O Códgo de Huffman resulta em um códgo nstantâneo que caracterza-se por mnmzar L. Para construr um Códgo de Huffman adequado a uma fonte sem memóra é necessáro conhecer as probabldades de ocorrênca de cada mensagem. Em contraste com o Códgo de Huffman o algortmo Lempel Zv é ndependente das estatístcas da fonte. Em função dsto o algortmo Lempel Zv é enquadrado na classe de Algortmos Unversas para Codfcação de Fonte. Neste estudo abordaremos apenas o caso em que a saída da fonte é uma seqüênca de dígtos bnáros. No algortmo Lempel Zv a seqüênca de bts provenente da fonte é decomposta em blocos de tamanho varável denomnados frases as quas fazem o papel das mensagens só que de tamanho não fxo. F f N de N frases f! N toda vez que um bloco de bts provenente da fonte dfere de alguma frase préva já exstente em F no últmo bt. quando então N é ncrementado de. Esta frase préva já exstente em F que dá orgem à nova frase é denomnada de frase orgnadora e é representada por f o F. Assm uma nova frase orgnada da respectva f o F é dêntca à orgnadora exceto por possur um bt adconal. Uma nova frase é ntroduzda no conjunto { f f! As frases assm formadas são lstadas em um dconáro o qual armazena a localzação das frases exstentes. A codfcação das frases em palavras-códgo consste em especfcar no campo de bts ncas da palavra-códgo a localzação (em base bnára) da frase orgnadora e justapor a este campo de bts o últmo bt da nova frase. Por exemplo suponhamos que a fonte de nformação emta a seqüênca bnára x () n. O Algortmo Lempel-Zv decompõe x () n no conjunto F de frases obedecendo a regra que cada nova frase dfere da respectva f F no últmo bt: F { Observe que cada frase obtda de x () n é o resultado da concatenação da respectva f F com um novo bt provenente da fonte. o o. 7

18 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro Para codfcar as frases (sto é para defnr as palavras-códgo) o Algortmo Lempel-Zv constró um dconáro conforme mostrado na Tabela.. Índce da Localzação F Palavra-Códgo Frase no Dconáro Tabela.: Dconáro resultante da seqüênca x () n e formação das palavras-códgo. As frases no dconáro são numeradas em ordem ascendente começando com até o número de frases resultantes da decomposção de x () n no caso 6. As palavras-códgo são determnadas lstando no dconáro em base bnára a localzação da f o F que orgna a nova frase e justapondo a este campo de bts o últmo bt da nova frase. Incalmente a localzação é utlzada para codfcar frases que não apareceram anterormente. O decodfcador no receptor dgtal constró uma tabela dêntca à usada no codfcador do transmssor a partr das palavras-códgo recebdas e recupera x () n lendo a coluna F de alto a baxo. Por exemplo quando o receptor recebe a palavra-códgo o algortmo consulta a localzação e verfca que a frase orgnadora é. Portanto justapondo o últmo bt da palavra-códgo à frase orgnadora obtemos a nova frase:. Obvamente quando o receptor recebe a palavra-códgo a palavra-códgo correspondente à decodfcação da frase já fo recebda prevamente o que vablza a consulta recursva ao dconáro. É mportante observar que a seqüênca x () n provenente da fone possu 44 bts e a codfcação resultante da Tabela. gerou um conjunto de 6 palavras-códgo de 5 bts cada o que mplca em 8 bts envados através do canal de transmssão. Então o volume de bts transmtdo fo AUMENTADO ao nvés de dmnuído! No entanto esta nefcênca é devda ao fato de que x () n tem um tamanho muto pequeno. Este tamanho fo escolhdo para os fns ddátcos de possbltar a compreensão do Algortmo Lempel-Zv. Na prátca 4 em operação real o algortmo necessta em geral da ordem de bts na seqüênca x() n 8

19 PUCR Faculdade de Engenhara Departamento de Engenhara Elétrca Comuncação Dgtal por F.C.C De Castro e M.C.F. De Castro para que este tenha alguma efcênca. Obvamente sera dfícl tornar ddátco um exemplo 4 com bts em x () n! Como o algortmo selecona o número N total de frases a serem armazenadas em F? Em geral não mportando quão grande é o volume de memóra que o sstema dgtal dspõe para armazenar F se nenhuma provdênca adconal for tomada em algum momento do processo de codfcação teremos problemas de overflow de memóra. Para resolver este problema o codfcador e o decodfcador de fonte devem possur um algortmo auxlar que remove de F frases geradoras f o em desuso e as substtu por novas que vão surgndo de acordo com o desenrolar temporal da seqüênca de nformação emtda pela fonte. O Algortmo Lempel-Zv é largamente utlzado em aplcatvos para compressão de arquvos como o Compress do UNI o PZp do DO e o Wnzp do Wndows.. Referêncas Bblográfcas [Cover] T. M. Cover and J.A.Thomas Elements of Informaton Theory John Wley & ons 99. [Ash] R. Ash Informaton Theory Interscence John Wley & ons 967. [Huffman] D.A.Huffman A Method for the Constructon of Mnmum Redundancy Codes Proceedngs of IRE no. 4 pp