Introdução à Teoria da Informação: Codificação de Fonte

Transcrição

1 Introdução à Teoria da Informação: Codificação de Fonte PÓS-GRADUAÇÃO EM ENGENHARIA DE REDES E SISTEMAS DE TELECOMUNICAÇÕES Prof. Rausley Adriano Amaral de Souza rausley@inatel.br Conteúdo A Entroia como uma medida básica de informação. O Teorema da Codificação de Fonte e algoritmos de comactação de dados. Informação Mútua e sua relação com a caacidade do canal de informação ara a transmissão de informação. Teorema da Codificação de Canal como base ara comunicações confiáveis. Teorema da Caacidade de Informação como a base ara a solução de comromisso entre a largura de faixa do canal e a relação sinal-ruído.

2 Information source From other sources Format Source encode Encryt Channel encode Multilex Pulse modulate Bandass modulate Frequency sread Multile Access X M T Digital inut Digital outut Bit stream Synchronization Digital baseband waveform Digital bandass waveform h c (t) Channel imulse resonse C h a n n e l Format Source decode Decryt Channel decode Detect Demultilex Demodulate & Samle Frequency desread Multile Access R C V Information sin To other destinations Otional Essential 3 Bloc diagram of a tyical digital communication system Referências Bibliográficas 4 Este material está baseado nas seguinte referências: Notas de Aulas do rof. Geraldo Gil. Limites Fundamentais na Teoria da Informação. Sistemas de Comunicação. Analógicos e Digitais. Simon Hayin. 4ª Edição. Booman Digital Communications Fundamentals and Alications. Bernard Slar. Second Edition. Prentice Hall. A Universal Algorithm for Sequential Data Comression. Lemel-Ziv Paer: IEEE Transactions on Information Theory, 3(3), , May 977. htt:// _universal_algorithm.df Shannon Paer: htt:// A Mathematical Theory of Communication. C. E. SHANNON: htt://cm.bell-labs.com/cm/ms/what/shannonday/shannon948.df Huffman's original article: D.A. Huffman, "A Method for the Construction of Minimum-Redundancy Codes", Proceedings of the I.R.E., Setember 95, 98 htt://comression.ru/download/articles/huff/huffman_95_minimumredundancy-codes.df Proof of the Kraft-McMillan Inequality: htt://

3 Duas questões fundamentais Qual é a comlexidade irredutível abaixo da qual um sinal não ode ser comrimido? Qual é a máxima taxa de transmissão ara uma comunicação confiável em um canal ruidoso? Resosta: codificação de fonte (comunicação eficiente) e codificação de canal (comunicação confiável). 5 Incerteza, Informação e Entroia Seja um exerimento robabilístico que envolva a observação da saída de uma fonte de eventos discretos em unidades de intervalo de temo (intervalo de sinalização). Estes eventos odem ser modelados como variáveis discretas aleatórias (s ) que fazem arte de um conjunto ou alfabeto (S). S = {s, s,..., s K- } robabilidades P(S = s ) =, ara =,,..., K-. 6 K = =

4 Incerteza, Informação e Entroia Símbolos emitidos ela fonte sejam estatisticamente indeendentes Fonte discreta sem memória (tem o sentido de que o símbolo emitido a qualquer temo é indeendente de uma escolha révia). Um sistema com realimentação não é uma fonte discreta sem memória 7 Incerteza, Informação e Entroia Antes de o evento S = s ocorrer, há incerteza. Quando o evento S = s ocorre, há surresa. Deois da ocorrência do evento S = s, há ganho na quantidade de informação, cuja essência ode ser vista como a resolução da incerteza. Incerteza ou surresa: Se não há surresa não há informação. A quantidade de informação, I(s ), obtida or um 8 evento, s I( s ) = bits log

5 Proriedades da Quantidade de Informação ( s ) ara. I = = Evidentemente, se estivermos absolutamente certos do resultado de um evento, mesmo antes de ele ocorrer, nenhuma informação será ganha. ( s ) ara. I Isto equivale a dizer que a ocorrência de um evento S = s fornece alguma informação ou não fornece qualquer informação, jamais rovoca erda de informação 9 Proriedades da Quantidade de Informação 3. ( s ) > I( sl ) então l I < Ou seja, quanto menos rovável um evento for, mais informação ganharemos quando ele ocorrer. 4. ( s s ) = I( s ) I( s ) I + Se s e s l forem estatisticamente indeendentes. l l

6 Exemlo Admitamos que indique a robabilidade de algum evento. Reresente graficamente a quantidade de informação obtida ela ocorrência deste evento ara. Entroia A média da quantidade de informação I(s ) de uma fonte de alfabeto (S) é dada or H H ( S) = E[ I( s )] K ( ) S = = log H(S) é definida como entroia. A entroia determina a quantidade média de informação or símbolo (evento) da fonte.

7 Proriedades da Entroia ( S) K log H 3 onde K é o número de símbolos do alfabeto da fonte H(S) =, se e somente se a robabilidade = ara um dado valor de e todas as outras robabilidades são iguais a zero. Neste caso não há incerteza. H(S) = log K, se e somente se = /K, ou seja, todos os símbolos são equirováveis. Neste caso a incerteza é máxima. Exemlo Considere uma fonte discreta sem memória que emite os símbolos s = e s =, com robabilidades e, resectivamente. Dica: x log x quando x H ( S ) = ( ) log ( )bits log 4

8 Exemlo Uma fonte emite um de quatro símbolos ossíveis durante cada intervalo de sinalização. Os símbolos ocorrem com robabilidades =.4, =.3, =. e 3 =.. Encontre a quantidade de informação obtida observando-se a emissão desses símbolos ela fonte. 5 Exemlo Uma fonte emite um de quatro símbolos s, s, s e s 3 com robabilidades /3, /6, /4 e /4, resectivamente. Os símbolos sucessivos emitidos ela fonte são estatisticamente indeendentes. Calcule a entroia da fonte. 6

9 Exemlo Calcule a média de informação, em bits/caractere, ara o idioma inglês, assumindo que cada um dos 6 caracteres no alfabeto ocorrem com igual robabilidade. Não considere os esaços e ontuações. Como é sabido, os caracteres no alfabeto não aarecem com igual frequência no idioma inglês (ou em qualquer outro idioma), a resosta anterior reresentará um limitante suerior na quantidade média de informação or caractere. Refaça os cálculos assumindo que os caracteres ocorrem com as seguintes robabilidades: =.: ara as letras a, e, o, t =.7: ara as letras h, i, n, r, s =.: ara as letras c, d, f, l, m,, u, y =.: ara as letras b, g, j,, q, v, w, x,z 7 Teorema da Codificação de Fonte Transmissão eficiente 8 Necessidade de conhecimento da estatística da fonte Código Morse (código de tamanho variável) e reresentada or um q reresentada ela sequência

10 Codificador de fonte Objetivo: retirar redundância Eficiência: De maneira geral, quanto menor o número de dígitos ara a reresentação da mensagem melhor o sistema Classificação dos códigos de fonte Comrimento fixo Comrimento variável Se alguns símbolos são mais rováveis que outros, os códigos de comrimento variável são mais eficientes 9 Código ASCII b,b,b 3,b 4,b 5,b 6,b 7 Souce: Wiiedia: htt://en.wiiedia.org/wii/ascii

11 Comrimento médio L K = = l onde l é o número de bits médio da alavra código corresondente ao símbolo. Admitamos que L min seja o valor mínimo ossível de L. Definimos, então, a eficiência de codificação como η = L min L Exemlo Um arquivo com símbolos é transmitido. Quantos bits, em média, são transmitidos com os códigos I e II. Símbolo Probabilidade Código I Código II S,5 S,5 S,5 S 3,5

12 Primeiro Teorema de Shannon Teorema da Codificação de Fonte: Dada uma fonte discreta sem memória de entroia H(S), o comrimento médio das alavras códigos ara um esquema de codificação livre de distorção é limitado como L H ( S) A entroia H(S) reresenta um limite fundamental ao número médio de bits or símbolo da fonte necessário ara reresentar uma fonte discreta sem memória no sentido de que ele ode ser tão equeno quanto a entroia H(S), mas não menor do que ela. 3 Eficiência de codificação η = H( S) L Uma vez que o Teorema da Codificação de Fonte admite que L = H ( S), então o maior valor ossível ara a eficiência de codificação de fonte é igual a unidade. 4

13 Comactação de Dados 5 Transmissão eficiente: informações redundantes devem ser removidas do sinal que será transmitido. Comactação: não há erda de informação (comressão sem erdas), Comressão: admite-se erda de informação. Na comactação de dados, o rocesso de codificação de fonte é limitado, necessariamente, ela entroia da fonte. A comactação de dados é obtida atribuindo-se descrições breves aos resultados mais frequentes da saída de fonte e descrições mais longas aos menos frequentes. Codificação de Prefixo Um código refixo é aquele que nenhuma alavra código é refixo ara qualquer outra alavra código (singularmente decodificável). Exemlos de códigos de fonte Símbolo Probabilidade Código I Código II Código III S,5 S,5 S,5 S 3,5 6

14 Decodificação de um Código de Prefixo Árvore de decodificação ara o Código II. Decodificação é inequívoca e instantânea. Decodifique 7 Desigualdade de Kraft-McMillan Uma condição necessária, mas não suficiente, ara que um código ossa ser um código refixo K = l Exemlo ara os códigos I, II e III 8

15 Proriedades adicionais Se a robabilidade de um evento é igual ao inverso da base numérica da codificação elevado ao comrimento da alavra código corresondente a este evento, ou seja então L = = Entretanto, isso é uma casualidade uma vez que é necessário que a corresondência estabelecida ocorra ara todas as robabilidades e suas resectivas alavras códigos. Para esta condição articular, diz-se que o código refixo está casado com a fonte. l H ( S) 9 Exemlo Analise os quatro códigos relacionados abaixo. a) Dois desses quatro códigos são códigos-refixo. Identifique-os e construa suas árvores de decisão individuais. b) Alique a desigualdade de Kraft-McMillan aos códigos. Discuta os resultados. Símbolo Código I Código II Código III Código IV S S S S 3 S 4 3

16 Algoritmo de Huffman Exemlo de Código de Prefixo Os símbolos da fonte são listados em ordem decrescente de robabilidade. Aos dois símbolos de menor robabilidade, localizados no é da coluna, são atribuídos os e. Os dois símbolos de menor robabilidade são agruados em um único símbolo, cuja robabilidade é a soma das robabilidades. As robabilidades são novamente listadas em ordem decrescente de robabilidade em uma segunda coluna. Na reordenação dos símbolos or ordem decrescente de robabilidade o novo símbolo, resultado do agruamento, é colocado na osição mais alta ossível, sem violar a ordem decrescente de robabilidade. O rocedimento é reetido até que restem aenas dois símbolos, aos quais são atribuídos novamente os bits e. As alavras códigos binárias são obtidas fazendo o caminho inverso, a artir da última coluna, em direção a rimeira coluna, anotando-se os bits encontrados em cada ercurso, até cada símbolo listado na rimeira coluna 3 Exemlo Suonha uma fonte discreta sem memória S = {s, s, s, s 3, s 4 } com robabilidades P(S = s ) = {,4;,;,;,;,}. Palavras códigos, Comrimento médio das alavras códigos, Entroia, Eficiência, Árvore de decisão 3

17 Algoritmo de Huffman O rocesso de codificação de Huffman não é único No agruamento dos símbolos, o rótulo e ara cada símbolo é arbitrário, oderia ser e. Entretanto, a mesma convenção deve ser mantida do início ao fim. A colocação de símbolos combinados com mesma robabilidade que outro(s), na osição mais alta da coluna, também é arbitrário, oderia ser na osição mais baixa. 33 Exemlo Refaça o exemlo anterior, adotando como adrão a colocação de símbolos combinados com mesma robabilidade que outro(s) na osição mais baixa da coluna. 34

18 Variância do comrimento das alavras códigos σ = K = ( l L) Calcule a variância ara os dois exemlos anteriores. 35 Exemlo Decodifique sequência usando a árvore do exemlo no slide 3. O algoritmo de Huffman roduz um código refixo com comrimento médio róximo da entroia e inequivocamente decodificável. 36

19 Exemlo A Figura exibe uma árvore de Huffman. Qual é a alavra código ara os símbolos A, B, C, D, E, F e G reresentados or ela? Quais são seus tamanhos de alavracódigo individuais? 37 Extensão de uma Fonte Discreta sem Memória Considere S = { s, s s }, P(S = s ) = { ; ; }. com Extensão da fonte S em S. Blocos s s s s s s s s s s s s s s s s s s Símbolos σ σ σ σ 3 σ 4 σ 5 σ 6 σ 7 σ 8 Probabilidades S = { σ, σ, K, σ } 8 H ( S n ) = nh( S ) 38

20 Exemlo Suonha uma fonte discreta sem memória S = {s, s, s } com robabilidades P(S = s ) = {,6;,3;,}. Admita que essa fonte deva ser codificada com um código refixo com eficiência igual ou maior do que,95. a) Codificação da fonte S b) Codificação da fonte S 39 Codificação de Lemel-Ziv O algoritmo de Huffman ressuõe o conhecimento révio da estatística da fonte. Para alicações tais como comactações de textos existem códigos que se adatam à estatística da fonte. O algoritmo de Lemel-Ziv é adatativo e não necessita do conhecimento révio da estatística da fonte. Usa alavras de comrimento fixo ara reresentar um número variável de símbolos da fonte. Basicamente, a codificação no algoritmo de Lemel-Ziv é realizada analisando-se o fluxo de dados da fonte em segmentos que sejam as subsequências mais breves não encontradas anteriormente (no dicionário). 4

21 Exemlo Codificação da sequência... Inicialmente os bits e são reviamente armazenados nas osições numéricas e, conforme aresentado a seguir. Tais osições numéricas comõem o livro de códigos (codeboo). Posição numérica Subsequências Blocos codificados Exemlo Codificação da sequência... Em seguida, a subsequência mais curta, ainda não armazenada em nenhuma osição binária, é armazenada na osição elo codificador. Esta subsequência é. O rocesso de codificação consiste em transmitir a osição de memória onde se encontra a arte da subsequência já armazenada anteriormente, na forma binária, e o que é novidade simlesmente é reetido. Ou seja, da subsequência, o rimeiro se encontra na osição numérica ( em binário) e o segundo simlesmente é reetido. Posição numérica Subsequências Blocos codificados - - 4

22 Exemlo Codificação da sequência... Novamente a róxima subsequência mais curta ainda não armazenada em nenhuma osição binária, que é a subsequência, é armazenada na osição 3. A osição de memória onde se encontra a arte da subsequência já armazenada é a osição ( em binário) e a arte novidade, ou seja, é reetida. Logo, o bloco codificado agora é. Posição numérica Subsequências Blocos codificados Exemlo Codificação da sequência... Este rocedimento é reetido conforme aresentado na sequência a seguir. Posição numérica Subsequências Blocos codificados - - Posição numérica Subsequências Blocos codificados - - Posição numérica Subsequências Blocos codificados

23 Exemlo Codificação da sequência... Posição numérica Subsequências Blocos codificados - - Posição numérica Subsequências Blocos codificados Codificação de Lemel-Ziv O codificador e o decodificador ossuem o mesmo número de memórias no livro de códigos e, ortanto, o decodificador conhece o tamanho do bloco codificado. O decodificador também inicia o rocesso de decodificação com os bits e armazenados nas osições numéricas e. O decodificador comõe o seu rório livro de código usando as memórias na mesma sequência que o codificador. Em comaração com a codificação de Huffman, o algoritmo de Lemel-Ziv usa códigos com tamanho fixo ara reresentar um número variável de símbolos da fonte. 46

24 Codificação de Lemel-Ziv Em uma rimeira análise, odemos chegar à conclusão que este algoritmo não comacta nada, elo contrário. Essa é uma idéia falsa uma vez que a sequência utilizada é muito curta ara o algoritmo reconhecer adrões de reetição. Conforme mencionado no livro texto, na rática, são utilizados blocos com bits, o que resulta em 496 osições no livro código. Além disso, o algoritmo de Lemel-Ziv reconhece redundância entre caracteres, o que não ocorre com o algoritmo de Huffman. Particularmente eficiente ara comactação de textos, o algoritmo de Lemel-Ziv ode atingir uma taxa de comactação de 55% contra 43% do algoritmo de Huffman, ara textos em inglês 47 Exemlo Considere a seguinte sequência binária...use o algoritmo de Lemel-Ziv ara codificar essa sequência. Suonha que os símbolos e já estejam no codeboo. 48

25 49 Canais Discretos sem Memória Discreto: os dois alfabetos ossuem tamanhos finitos e o termo Sem memória: o símbolo corrente resente na saída deende aenas do símbolo corrente resente na entrada e de nenhum outro anterior. (y x j ) reresenta o conjunto das robabilidades de transição ( ) ( ) j j x X y P Y x y = = = 5 Matriz de canal ou matriz de transição Cada linha de P corresonde a um símbolo fixo de entrada e cada coluna a um símbolo fixo de saída. ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = J K J J K K x y x y x y x y x y x y x y x y x y L M M M L L P ( ) = = K y x j ( ) ( ) ( ) j j j x x y y x, = ( ) ( ) ( ) = = J j j j x x y y

26 Canal binário simétrico (BSC) J = K = Alfabeto de entrada: x =, x = Alfabeto de saída: y =, y = = = = P P ( y = x = ) ( y = x = ) = Exemlo 5 Exemlo a) Seja o canal BSC do slide anterior. Considere que os símbolos e têm a mesma robabilidade de ocorrer. Encontre a robabilidade de os símbolos binários e aarecerem na saída do canal. b) Reita o cálculo anterior, suondo que os símbolos binários de entrada e tenham robabilidades ¼ e ¾ de ocorrer, resectivamente. 5

27 Teorema da Codificação de Canal Será que existe um esquema de codificação de canal eficiente o suficiente ara tornar a robabilidade de erro de bit arbitrariamente baixa sem que a quantidade de redundância introduzida seja demasiadamente alta? 53 Terceiro Teorema de Shannon Teorema da Caacidade de Informação ou Teorema da Caacidade de Canal A caacidade de informação de um canal contínuo com largura de faixa de B hertz, erturbado or ruído Gaussiano branco aditivo de densidade esectral N /, é dada or S C = B log + B dada em bits or segundo, onde P é a otência média do sinal transmitido. Se um canal discreto sem memória tem uma caacidade C e uma fonte gera informações a uma taxa menor que C, então existe uma técnica de codificação tal que a saída da fonte ode ser transmitida ao longo do canal com uma robabilidade arbitrariamente baixa de erro de símbolo. 54 Simon Hayin, Michael Moher. Sistemas Modernos de Comunicações Wireless Booman, 8.

28 Terceiro Teorema de Shannon Para um sistema ideal R b = C. Então S = E b /T b = E b R b = E b C. C S E C S = log + = log + b = log + B B B = B E C B b = C B 55 Diagrama de Eficiência de Largura de Banda O limite é reresentado or uma fronteira entre a região em que é ossível uma transmissão livre de erros (R b < C) e a região em que isso não é ossível (R b > C) em um lano da eficiência de largura de faixa em função da relação entre a energia de bit e a densidade esectral de ruído. 56

29 Observações Limite de Shannon ara um canal AWGN (Largura de Banda Infinita): The ratio of energy er data bit E b to one-sided noise ower sectral density in an AWG channel above which errorless transmission is ossible when bandwidth limitations are not laced on the signal and transmission is at channel caacity. lim B E b = lim B C B = log =.693 =.6 db C B Comensações entre E b /, R b /B e a robabilidade de Erro de símbolo P e. 57 Bhargava, V.K. Forward Error Correction Coding Mobile Communications Handboo Ed. Suthan S. Suthersan Boca Raton: CRC Press LLC, 999 Exemlo Um canal de faixa de voz da rede telefônica tem uma largura de banda de 3.4 Hz. a) Calcule a caacidade de informação do canal telefônico corresondente a uma relação sinal-ruído de 3 db. b) Calcule a relação sinal-ruído mínima necessária ara suortar transmissão de informação através do canal telefônico a uma taxa de 96 bs. 58

30 PSK M-ário e FSK M-ário 59 (a) Comarison of M-ary PSK against the ideal system for P e = 5 and increasing M. (b) Comarison of M-ary FSK against the ideal system for P e = 5 and increasing M. Exemlo Considere a necessidade de transmissão a uma taxa de bs em um sistema de voz (com largura de banda de 3 Hz). É ossível a transmissão nesta taxa (livre de erros) com um SNR de db? Justifique sua resosta. Se não for ossível, quais as ossíveis modificações no sistema? 6

31 Exemlo Uma imagem de televisão em reto e branco ode ser vista como uma imagem que consiste em aroximadamente 3 5 elementos, em que cada um tem a mesma robabilidade de ocuar um dos níveis de brilhos distintos. Suonha que () a taxa de transmissão seja de 3 quadros de imagem or segundo e que () a relação sinal-ruído seja de 3 db. Usando o teorema da caacidade de informação, calcule a largura de banda mínima necessária ara suortar a transmissão do sinal de vídeo resultante. 6 Futuro When determining the best area on which to focus future technology enhancements, it is interesting to note that HSDPA, xev-do, and IEEE 8.6e-5 all have highly otimized lins that is, hysical layers. In fact, as shown in Figure 6, the lin layer erformance of these technologies is aroaching the theoretical limits as defined by the Shannon bound. (The Shannon bound is a theoretical limit to the information transfer rate [er unit bandwidth] that can be suorted by any communications lin. The bound is a function of the Signal to Noise Ratio [SNR] of the communications lin.) Figure 6 also shows that HSDPA, xev-do, and IEEE 8.6e-5 are all within to 3 decibels (db) of the Shannon bound, indicating that there is not much room for imrovement from a lin layer ersective. Note that differences do exist in the design of the MAC layer (layer ) and this may result in lower than exected erformance in some cases as described reviously. From: htt:// adband_innovation_rysavy_set_8.df 6

32 63 Exercício Adicional O alfabeto de uma fonte discreta sem memória é comosto or 5 símbolos. Os símbolos emitidos ela fonte devem ser codificados or meio de um código refixo a artir do histograma da frequência de emissão aresentado abaixo. O número total de símbolos do histograma foi emitido em ms. Pede-se: a) A entroia da fonte. b) As alavras códigos de um código refixo ara esta fonte. c) A eficiência de codificação. d) Determine qual é a taxa 5 de bit na saída do codificador 5 de fonte. Número de Símbolos S S S S3 S4 Símbolos

33 Exemlo 65 a) Encontre a caacidade média, em bs, que seria necessária ara transmitir um sinal de TV em reto e branco de alta-resolução à taxa de 3 quadros (imagens) or segundo. Cada imagem é comosta de até 6 elementos e 6 diferentes níveis de brilho. Todos os elementos são indeendentes e tem a mesma robabilidade de ocorrência. b) Para um TV em cores, este sistema adicionalmente fornece 64 diferentes combinações de cores. Quanto será o adicional de caacidade necessária comarada com o sistema em reto e branco? c) Encontre a caacidade necessária se, das combinações cor - níveis de brilho, elementos ocorrem com robabilidade.3, 3 das combinações ocorrem com robabilidade. e 64 das combinações ocorrem com robabilidade.64.