FONTES DISCRETAS DE INFORMAÇÃO

Transcrição

1 FONTES DISCRETAS DE INFORMAÇÃO Podeos caracterzar fontes dscretas de nforação por u conjunto fnto x x, K, denonados de alfabeto da fonte. A probabldade de M síbolos, {,, x M } da fonte etr cada síbolo é dada por { p, } p K. Os síbolos das fontes,, p M dscretas não bnáras são e geral representados por palavras bnáras. A caracterzação copleta de ua fonte dscreta de nforação é dada pelo alfabeto da fonte, probabldade de essão de síbolos e a taxa de essão de síbolos. As Fguras, 2 e 3 apresenta alguns exeplos de fontes dscretas. Fonte de Inforação Bnára Rb bts/s (Taxa de Transssão)... No. de Síbolos2 P()Prob. de Etr bt P()Prob. de Etr bt Fgura Fonte dscreta bnára Fonte de Inforação q-ára {,,2,3} No. de Síbolos4 Rs síbolos/s (Taxa de Transssão) P()Prob. de Etr Síbolo P()Prob. de Etr Síbolo P(2)Prob. de Etr Síbolo 2 P(3)Prob. de Etr Síbolo 3 Fgura 2 Fonte dscreta q-ára Fonte de Inforação q-ára {A,B,C,D,E} No. de Síbolos5 Rs síbolos/s (Taxa de Transssão)... AEDDCBBAEDB P(A)Prob. de Etr Síbolo A P(B)Prob. de Etr Síbolo B P(C)Prob. de Etr Síbolo C P(D)Prob. de Etr Síbolo D P(E)Prob. de Etr Síbolo E Fgura 3 Fonte dscreta q-ára

2 Os síbolos das fontes de nforação dscretas não bnáras (q-áras) são e geral apeados (codfcados) para palavras bnáras co o objetvo de arazenage ou transssão dos dados. Este processo é lustrado na Fgura 4. Rs síbolos/s (Taxa de Transssão) Rb bts/s Fonte de Inforação q-ára {A,B,C,D}... DABBCAD Representação Bnára dos Síbolos da Fonte... Tabela de Codfcação A - B - C - D - Fgura 4 Processo de codfcação bnára dos síbolos da fonte A fonte de nforação possu ua taxa de essão de síbolos, R S. Após o apeaento bnáro tereos ua taxa éda e bts/s, R b. Esta é ua taxa éda de bts porque a fonte é u ecanso probablístco. Para calcularos a taxa éda e bts/s deveos calcular qual o taanho édo das palavras bnáras que estaos utlzando para representar cada síbolo da fonte. O taanho édo das palavras bnáras usadas para representar cada síbolo da fonte é dado por: L M l p bts/síbo lo l taanho da palavra bnára que representa o síbolo x p probabldade de ocorrênca do síbolo x A taxa éda de transssão e bts/s após a codfcação bnára é dada por: R L b R s bts/s A taxa éda e bts/s depende de L, ou seja, do tpo de códgo que estaos utlzando para fazer a representação bnára dos síbolos da fonte. Se utlzaros u códgo aproprado, podeos obter ua taxa éda resultante enor, sgnfcando que estaos fazendo copressão (codfcação fonte). QUAL A REPRESENTAÇÃO BINÁRIA DE UMA FONTE DISCRETA QUE MINIMIZA A TAXA MÉDIA DE TRANSMISSÃO EM BITS/S?

3 CODIFICAÇÃO FONTE CODIFICAÇÃO PARA REDUÇÃO DE REDUNDÂNCIA - A codfcação fonte é utlzada para se elnar (reduzr) a redundânca natural presente na fonte de nforação. A codfcação para se reduzr a redundânca da fonte é feta pela seleção efcente de ua representação bnára. FAZER CODIFICAÇÃO FONTE IMPLICA NA SUBSTITUIÇÃO DE UMA REPRESENTAÇÃO BINÁRIA DOS SÍMBOLOS DA FONTE POR OUTRA REPRESENTAÇÃO ALTERNATIVA Exeplo Consdere ua fonte dscreta que ete 4 possíves síbolos a ua taxa de 2 síbolos/s SÍMBOLO DA FONTE PROBABILIDADE DE OCORRÊNCIA REPRESENTAÇÃO BINÁRIA USUAL REPRESENTAÇÃO BINÁRIA ALTERNATIVA A 5% B 25% C 5% D % R b 4 L 2 bts/síbo lo bts/s R b 35 L,75 bts/síbolo bts/s CÓDIGO MAIS EFICIENTE - A substtução é usualente teporára e é feta para se obter ua econoa na arazenage ou transssão dos síbolos da fonte COMO OBTER O CÓDIGO MAIS EFICIENTE PARA UMA DADA FONTE DE INFORMAÇÃO?

4 CODIFICAÇÃO FONTE CODIFICAÇÃO PARA REDUÇÃO DE REDUNDÂNCIA Exeplo Consdere a segunte fonte de nforação dscreta: SÍMBOLO DA FONTE PROBABILIDADE DE OCORRÊNCIA A,73 B,25 C,2 Analse a utlzação dos seguntes códgos para a representação bnára da fonte dscreta: SÍMBOLO DA FONTE CÓDIGO CÓDIGO 2 CÓDIGO 3 CÓDIGO 4 CÓDIGO 5 CÓDIGO 6 A B C Códgos Uncaente Decodfcáves: Os códgos deve ser uncaente decodfcáves para pertr o apeaento nverso para o síbolo orgnal do alfabeto no receptor. Os códgos, 3, e 6 não são uncaente decodfcáves portanto não pode ser utlzados. TENTANDO DECODIFICAR A SEQÜÊNCIA CODIFICADA COM O CÓDIGO 3: OPÇÃO : B A B B B OPÇÃO 2: B A B C OPÇÃO 3: B A C B Códgos Lvres de Prefxo: Ua condção sufcente (as não necessára) para que u códgo seja uncaente decodfcável é que nenhua palavra códgo seja prefxo de outra palavra códgo. O códgo 4 não é u códgo lvre de prefxo e é uncaente decodfcável. Os códgos lvre de prefxo possue decodfcação nstantânea. NA TRANSMISSÃO DO SÍMBOLO B COM A REPRESENTAÇÃO BINÁRIA DO CÓDIGO 4, O RECEPTOR NÃO PODE DETERMINAR SE É A PALAVRA INTEIRA DO SÍMBOLO B OU A PALAVRA PARCIAL DO SÍMBOLO C. É NECESSÁRIO ESPERAR OUTROS BITS PARA FAZER A DECODIFICAÇÃO

5 CODIFICAÇÃO FONTE MEDIDA DE INFORMAÇÃO E ENTROPIA Para cada síbolo da fonte de nforação podeos assocar ua edda de nforação que depende da probabldade de ocorrênca do síbolo. A edda de nforação está assocada ao prncípo da ncerteza (surpresa). Quando a probabldade de u síbolo tende a u, o seu conteúdo de nforação tende a zero. A edda de nforação de cada síbolo é dada por: I log 2 p bts/síbolo, M A edda de nforação representa o núero de bts necessáro para representar o síbolo da fonte. A nforação éda da fonte, denonada de entropa, é dada por H M p I M p log 2 p bts/síbolo A undade da entropa é bts/síbolo e representa o núero édo de bts necessáro para representar cada síbolo da fonte de nforação. Dada a taxa de essão da fonte e síbolos por segundo, podeos calcular a taxa de transssão éda teórca e bts por segundo após a codfcação da fonte: R s T s taxa da fonte e síbolos/s A taxa de transssão éda teórca utlza H ao nvés de L para calcular pressupõe que é possível construr u códgo prátco onde L H. R b, pos R b H T (bts/síb olos) (síbolos/ s) bts/s s

6 EXEMPLO Ua fonte dgtal ete 2 síbolos/s. Os possíves síbolos co a respectva probabldade de ocorrênca são ostrados na tabela abaxo: SÍMBOLO DA FONTE PROBABILIDADE DE OCORRÊNCIA A,2 B,2 C,3 D,3 A edda de nforação de cada síbolo é: I A I B log 2,2 2,32 bts I C I D log 2,3,73 bts A entropa da fonte é: H M p I,97 bts/síbolo Se puderos encontrar u códgo que atnja a entropa da fonte para codfcar os síbolos, a taxa éda e bts por segundo após a codfcação será: R b, bts/s Fonte de Inforação {A,B,C,D} R2 síbolos/s... DABBCAD Codfcação Bnára dos Síbolos da Fonte R394 bts/s (Taxa Méda)

7 CODIFICAÇÃO FONTE EFICIÊNCIA DOS CÓDIGOS Dado u códgo prátco específco, podeos calcular o coprento édo das palavras códgo, L M p l bts/síbo lo onde l é o taanho da palavra bnára usada para codfcar o síbolo x. A efcênca do códgo é dada pela relação da entropa co o coprento édo do códgo utlzado: L H η Se estaos utlzando u códgo co ua dado L, A taxa de transssão éda e bts/s será dada por: R b L T (bts/síb olos) (síbolos/ s) bts/s s PRINCÍPIO DA CODIFICAÇÃO FONTE: PARA SÍMBOLOS QUE OCORREM COM MAIOR PROBABILIDADE DEVEMOS ASSOCIAR PALAVRAS CÓDIGO MAIS CURTAS DO QUE PARA SÍMBOLOS QUE OCORREM COM MENOR PROBABILIDADE

8 EXERCÍCIOS DE CODIFICAÇÃO FONTE Exercíco Ua fonte de nforação ete 2 síbolos/s, seleconados de u alfabeto de M4 possíves síbolos. As probabldades de ocorrênca de cada síbolo são ostradas na tabela abaxo: Síbolo da Fonte Probabldade de Ocorrênca A /2 B /4 C /8 D /8 a) Calcule a entropa da fonte b) Calcule a taxa éda de transssão e bts/s após a codfcação Exercíco 2 Para a fonte de nforação do exercíco anteror, analse a utlzação dos códgos propostos na tabela abaxo. Deterne quas códgos pode ser utlzados (justfque) e sua efcênca, η H L. Síbolo Códgo Códgo 2 Códgo 3 Códgo 4 A B C D Exercíco 3 - U sstea reoto de aqusção e transssão de dados coleta nforação na fora de palavras bnáras de 3 bts (síbolos), a ua taxa de bps (bts por segundo). Após a coleta estes dados são transtdos. Para reduzr a taxa de transssão e utlzar eos de transssão as econôcos, é feta ua codfcação das palavras bnáras de 3 bts utlzando u códgo de prefxo de taanho varável. O conjunto de palavras-códgo é: {,,,,,,, } Através de eddas, obteve-se a freqüênca de ocorrênca das palavras bnáras (síbolos), confore ostra a tabela % 2% 6% 25% 5% 2% 3% % a) Calcule a entropa da fonte, H b) Deterne o códgo ostrando o apeaento entre as palavras bnáras de 3 bts (síbolos de nforação) e as palavras-códgo de fora a consegur a enor taxa de transssão c) Deterne o coprento édo das palavras códgos, L d) Deterne a efcênca deste códgo, η H L

9 e) Co que taxa as nforações são coletadas (síbolos/s) f) Calcule a taxa de transssão resultante na lnha após a codfcação (bts/s) Exercíco 4 E u dado sstea, u processador recebe u dentre quatro coandos (A, B, C e D) a ua taxa de coandos por segundo. Cada coando está codfcado co dos bts. A seqüênca de coandos codfcada é transtda através de u cabo co banda passante de 8,75 khz. a) Deterne a taxa de snalzação, e bts por segundo, na saída do processador. b) Explque, consderando a banda passante do cabo, o fato de haver, na prátca, ua grande ncdênca de erros na execução dos coandos. c) Observando a freqüênca relatva co que os coandos A, B, C e D são apresentados ao processador, percebe-se que tas coandos ocorre, respectvaente, co freqüêncas 5%, 25%, 2,5% e 2,5%. Co o objetvo de reduzr a taxa de bts na transssão dos dados, é epregado o códgo apresentado na tabela a segur. A B C D Deterne o coprento édo do códgo e bts por coando e a nova taxa de snalzação. d) Responda se sera possível, co os resultados obtdos no te c), esperar ua elhora no desepenho do sstea. Justfque. Exercíco 5 U antgo aparelho de fax transte ua éda dára de 2 págnas taanho carta (8,5 polegadas x polegadas), ao custo de R$, por nuto de utlzação. Para se obter ua boa resolução são utlzados eleentos de age e cada lnha horzontal e 294 eleentos de age e cada lnha vertcal, co 8 níves de brlho (ou níves de cnza) para cada eleento. Os eleentos de age tê a esa probabldade de ocorrênca. As págnas são transtdas, va ode, segundo a recoendação V.22-bs da UIT, cuja taxa de snalzação é de 2 baud. O ode utlza a técnca dbt (4 níves, co 2 bts para cada nível). a) Deterne, se consderar outras despesas, a econoa éda dára obtda se o ode fosse substtuído pelo acesso básco à Rede Dgtal de Servços Integrados (RDSI), trabalhando co 28 kbps, ao custo de R$,2 por nuto de utlzação, e se fosse tabé epregado para a dgtalzação u scanner de 3 dp (dots per nch) de resolução, co codfcação de 8 bts por pxel. b) Verfque se a RDSI sera capaz de transtr, e tepo real, agens de TV co resolução de 64 pxels x 35 pxels, co codfcação de 8 bts por pxel. Justfque. Dados / Inforações Técncas Sstea de TV: transte 3 quadros por segundo.

10 CODIFICAÇÃO FONTE ALGORITMO DE HUFFMAN O algorto de Huffan perte a construção de códgos cujo coprento édo atnge ou se aproxa da entropa da fonte. O algorto de Huffan é óto no sentdo que nenhu outro códgo uncaente decodfcável te coprento édo enor das palavras códgo. O procedento para construção de códgos usando o algorto de Huffan é dado a segur: a) lstar os síbolos da fonte e orde decrescente de probabldade b) assocar u bt dstnto co cada ua dos síbolos de enor probabldade c) forar ua nova probabldade dada pela soa das duas enores d) reordenar o conjunto de probabldades, caso necessáro f) repetr o procedento até restare apenas duas probabldades g) obter as palavras códgos fazendo o canho nverso na árvore bnára Síbolo Probabldade Probabldade Probabldade A B C D,5,25,25,25,5,25,25,5,5 SÍMBOLO PROBABILIDADE (PI) PALAVRA CÓDIGO COMPRIMENTO DA PALAVRA CÓDIGO (LI) (PI*LI) A,5,5 B,25 2,5 C,25 3,375 D,25 3,375 COMPRIMENTO MÉDIO DAS PALAVRAS CÓDIGO,75

11 CODIFICAÇÃO FONTE ALGORITMO DE HUFFMAN Ua udança na ordenação das probabldades ou no apeaento bnáro de cada rao gera códgos dferentes, as co o eso coprento édo das palavras códgo. Síbolo Probabldade Probabldade Probabldade A B C D,5,25,25,25,5,25,25,5,5 SÍMBOLO PROBABILIDADE (PI) PALAVRA CÓDIGO COMPRIMENTO DA PALAVRA CÓDIGO (LI) (PI*LI) A,5,5 B,25 2,5 C,25 3,375 D,25 3,375 COMPRIMENTO MÉDIO DAS PALAVRAS CÓDIGO,75 EXEMPLO O exeplo abaxo lustra a aplcação do códgo para copactação de u arquvo. Arquvo Texto: AABCBAABBDCAABCAADAA Codfcação usual: A B C D Arquvo Bnáro: A A B C B A A B B D C A A B C A A D A A 4 bts Utlzando o códgo de coprento varável obtdo co o algorto de Huffan, obteos a segunte codfcação: Arquvo Bnáro: A A B C B A A B B D C A A B C A A D A A 35 bts

12 Exercíco Ua fonte de nforação ete síbolos/s, seleconados de u alfabeto de 5 possíves síbolos. As probabldades de ocorrênca de cada síbolo são ostradas na tabela abaxo: Síbolo da Fonte Probabldade de Ocorrênca A,4 B,2 C,2 D, E, a) Calcule a entropa da fonte b) Construr u códgo fonte usando o algorto de Huffan c) Calcular o coprento édo das palavras códgo, L d) Calcular a efcênca do códgo e) Calcule a taxa éda de transssão e bts/s após a codfcação fonte