1 LIMITES FUNDAMENTAIS NA TEORIA DA INFORMAÇÃO

Transcrição

1 LIMITES FUNDAMENTAIS NA TEORIA DA INFORMAÇÃO O trabalho de Shannon sobre a teoria da informação, ublicado em 948, estabelece a base teórica ara que sistemas de comunicações seam eficientes e confiáveis. Os rinciais tóicos abordados nessas notas de aulas são: A Entroia como uma medida básica de informação. O Teorema da Codificação de Fonte e algoritmos de comactação de dados. Informação Mútua e sua relação com a caacidade do canal de informação ara a transmissão de informação. Teorema da Codificação de Canal como base ara comunicações confiáveis. Teorema da Caacidade de Informação como a base ara a solução de comromisso entre a largura de faixa do canal e a relação sinal-ruído... INTRODUÇÃO No contexto das comunicações, a teoria da informação fornece uma modelagem matemática que ermite resonder duas questões fundamentais:. Qual é a comlexidade irredutível abaixo da qual um sinal não ode ser comrimido?. Qual é a máxima taxa de transmissão ara uma comunicação confiável em um canal ruidoso? As resostas ara as duas questões acima definem bem as duas rinciais vertentes da teoria da informação: codificação de fonte e codificação de canal... INCERTEZA, INFORMAÇÃO E ENTROPIA Suonha que um exerimento robabilístico envolva a observação da saída de uma fonte de eventos discretos em unidades de intervalo de temo. Estes eventos odem ser modelados como variáveis discretas aleatórias s que fazem arte de um conunto ou alfabeto S. Assim, S {s, s,..., s K- } com robabilidades PS s, ara,,..., K-, que satisfaz a igualdade K. Além disso, admita que os símbolos emitidos ela fonte seam estatisticamente indeendentes. Uma fonte com tais roriedades é definida como fonte discreta sem memória. _TeoInfo_V - Geraldo Gil R. Gomes

2 . Limites Fundamentais da Teoria da Informação O termo sem memória tem o sentido de que o símbolo emitido a qualquer temo é indeendente de uma escolha révia. A quantidade de informação roduzida ela fonte está associada à incerteza ou surresa. Se não há surresa não há informação. A quantidade de informação, Is, obtida or um evento, s, é definida como: I s log. NOTA DO PROFESSOR Conforme mencionado no livro texto, a base do logaritmo é arbitrária. Entretanto, uma vez que os sistemas de comunicações digitais oeram com base binária, a base do logaritmo é. Como consequência, cada símbolo de uma fonte discreta sem memória aresenta, neste caso, uma quantidade de informação em número de bits, que deende exclusivamente da robabilidade de ocorrência de cada símbolo. A quantidade de informação aresenta as seguintes roriedades: I I I I s s s > I sl s s I s + I s l l ara ara então < l A quantidade de informação roduzida or uma fonte durante um intervalo de temo arbitrário deende do conunto de símbolos emitidos ela fonte. A média da quantidade de informação Is de uma fonte de alfabeto S é dada or S E[ I s ] K S.. log S que é definida como entroia. A entroia determina a quantidade média de informação or símbolo evento da fonte. _TeoInfo_V - Geraldo Gil R. Gomes

3 . Limites Fundamentais da Teoria da Informação PROPRIEDADES DA E TROPIA Limitantes: Consequências: K S log.3. S, se e somente se a robabilidade ara um dado valor de e todas as outras robabilidades são iguais a zero. Neste caso não há incerteza.. S log K, se e somente se /K, ou sea, todos os símbolos são equirováveis. Neste caso a incerteza é máxima. Nos canais de comunicação digital, uma fonte de grande interesse é a fonte binária sem memória. Para essa fonte é interessante o entendimento do comortamento da entroia em função da robabilidade de ocorrência dos eventos "" e "". Esse comortamento é mostrado no Exemlo.. EXEMPLO. Considere uma fonte discreta sem memória que emite os símbolos s e s, com robabilidades e, resectivamente. A entroia desta fonte é K S + log log log Mas. + log log S Consequentemente, a entroia da fonte torna-se Onde, é chamada de função entroia e log log.4. Quando, S.. Quando, S. 3. A entroia é máxima quando ½. A figura aresentada a seguir aresenta a função entroia em função de. _TeoInfo_V - Geraldo Gil R. Gomes 3

4 . Limites Fundamentais da Teoria da Informação,5 Probabilidade de símbolo Figura. - Função entroia de uma fonte discreta sem memória..3. TEOREMA DA CODIFICAÇÃO DE FONTE A codificação de fonte é o rocesso elo qual os dados de uma fonte discreta são reresentados de forma a ermitir uma transmissão eficiente. Probabilidades diferentes ara a ocorrência dos símbolos de uma fonte discreta odem ser exloradas ara uma codificação de fonte com um código de comrimento variável. Entretanto, códigos de comrimento variável exigem o conhecimento révio da estatística da fonte. Um exemlo clássico de código de comrimento variável é o Código Morse, que faz uso da estatística da fonte. Na construção do código, Morse observou que na língua inglesa a letra e é a letra que aarece com maior frequência e no Código Morse ela é reresentada or um. Por outro lado, a letra q é a letra que ocorre com menos frequência e é reresentada ela sequência No caso esecífico dos sistemas de comunicações digitais é conveniente que dois requisitos funcionais seam satisfeitos:. As alavras códigos devem estar na forma binária.. As alavras códigos devem ser inequivocamente decodificáveis. O comrimento médio das alavras códigos de uma codificação de fonte é determinado or K L l.5 onde l é o número de bits da alavra código corresondente ao símbolo. _TeoInfo_V - Geraldo Gil R. Gomes 4

5 . Limites Fundamentais da Teoria da Informação PRIMEIRO TEOREMA DE SA O TEOREMA DA CODIFICAÇÃO DE FO TE Dada uma fonte discreta sem memória de entroia S, o comrimento médio das alavras códigos ara um esquema de codificação livre de distorção é limitado como S L..6 De acordo com o Primeiro Teorema de Shannon a entroia reresenta um limite fundamental do número médio de bits or símbolo necessários ara reresentar uma fonte discreta sem memória. Em outras alavras, um esquema de codificação de fonte ode ser feito de modo que o comrimento médio das alavras códigos sea tão equeno quanto à entroia, mas nunca menor do que ela. Assim, eficiência de codificação ode ser definida ela relação S η..7 L Uma vez que o Teorema da Codificação de Fonte admite que L S ossível ara a eficiência de codificação de fonte é igual a unidade., então o maior valor.4. COMPACTAÇÃO DE DADOS Para uma transmissão eficiente as informações redundantes devem ser removidas do sinal que será transmitido. Neste texto os termos comactação e comressão aresentam significados distintos. Aqui, o termo comactação está associado a um rocesso onde não há erda de informação, enquanto o termo comressão é usado nos rocessos em que se admite erda de informação. Em outras alavras, a comactação o mesmo que uma comressão sem erdas. Na comactação de dados, o rocesso de codificação de fonte é limitado, necessariamente, ela entroia da fonte. CÓDIGOS PREFIXOS Um código refixo é um código de fonte que aresenta decodificação inequívoca, ou sea, sua decodificação não resulta em ambiguidade. Um código refixo é aquele que nenhuma alavra código é refixo ara qualquer outra alavra código. DEFINIÇÃO: Um refixo, com i bits, é a arte inicial de qualquer alavra código com n bits, sendo i n. Para ilustrar o conceito, observe a tabela a seguir. _TeoInfo_V - Geraldo Gil R. Gomes 5

6 . Limites Fundamentais da Teoria da Informação Tabela. - Exemlos de códigos de fonte. Símbolo Probabilidade Código I Código II Código III S,5 S,5 S,5 S 3,5 A artir do aresentado na Tabela. verifica-se que:. O Código I não é um código refixo.. O Código II é um código refixo. 3. O Código III não é um código refixo. A decodificação de um código refixo ode ser feita de acordo com uma árvore de decisão. A árvore de decisão ode ser construída de acordo com as seguintes regras:. A artir de um estado inicial criam-se dois ramos. Para um ramo é atribuído o bit "" e ara o outro um bit "".. Se houver uma alavra código com aenas um bit, o ramo corresondente à alavra código deve ser terminado com o símbolo corresondente. 3. Os ramos não terminado em símbolo deve ser bifurcado em novos dois ramos. Para um ramo é atribuído o bit "" e ara o outro um bit "". 4. Se houver uma alavra código com dois bits, o ramo corresondente à alavra código deve ser terminado com o símbolo corresondente. 5. Os ramos não terminado em símbolo deve ser bifurcado em novos dois ramos. Para um ramo é atribuído o bit "" e ara o outro um bit "". 6. Este rocedimento se reete até que todos os ramos terminem em símbolos. Para o Código II, a árvore de decisão está aresentada na Figura.. Note que sua decodificação é inequívoca e instantânea. s Estado inicial s s s 3 Figura. - Árvore de decodificação ara o Código II. _TeoInfo_V - Geraldo Gil R. Gomes 6

7 . Limites Fundamentais da Teoria da Informação A sequência... é inequivocamente decodificável e corresonde corresondente à sequência de símbolos s s 3 s s s. Uma condição necessária, mas não suficiente, ara que um código ossa ser um código refixo é atender a desigualdade de Kraft-McMillan, definida como: Assim verifica-se que: K l.8 Para o Código I: Para o Código II: Para o Código III: Observações: K K K l l l ,5,9375. O Código I viola a desigualdade de Kraft-McMillan.. A desigualdade de Kraft-McMillan foi satisfeita elos Códigos II e III, entretanto, aenas o Código II é um código refixo. 3. O Código III é inequivocamente decodificável aesar de não ser um código refixo, ou sea, um código inequivocamente decodificável não recisa ser, necessariamente um código refixo, entretanto, sua decodificação não é instantânea. ALGORITMO DE UFFMA O rocedimento de uffman ara a criação de um código refixo consiste de um equeno conunto de regras. Essas regras são aresentadas no exemlo aresentado a seguir. EXEMPLO. Suonha uma fonte discreta sem memória S {s, s, s, s 3, s 4 } com robabilidades PS s {,4;,;,;,;,}. Um código refixo ode ser obtido de acordo com o conunto de regras aresentadas a seguir algoritmo de uffman.. Os símbolos da fonte são listados em ordem decrescente de robabilidade. Aos dois símbolos de menor robabilidade, localizados no é da coluna, são atribuídos os e. _TeoInfo_V - Geraldo Gil R. Gomes 7

8 . Limites Fundamentais da Teoria da Informação s,4 s, s, s 3, s 4,. Os dois símbolos de menor robabilidade são agruados em um único símbolo, cua robabilidade é a soma das robabilidades. As robabilidades são novamente listadas em ordem decrescente de robabilidade em uma segunda coluna. Por um motivo que será exlicado osteriormente, na reordenação dos símbolos or ordem decrescente de robabilidade o novo símbolo, resultado do agruamento, foi colocado na osição mais alta ossível, sem violar a ordem decrescente de robabilidade. s,4,4 s,, s,, s 3,, s 4, 3. O rocedimento é reetido até que restem aenas dois símbolos, aos quais são atribuídos novamente os bits e. _TeoInfo_V - Geraldo Gil R. Gomes 8

9 . Limites Fundamentais da Teoria da Informação s,4,4,4,6 s,,,4,4 s,,, s 3,, s 4, 4. As alavras códigos binárias são obtidas fazendo o caminho inverso, a artir da última coluna, em direção a rimeira coluna, anotando-se os bits encontrados em cada ercurso, até cada símbolo listado na rimeira coluna, conforme mostrado nas figuras a seguir. s,4,4,4,6 s,,,4,4 s,,, s s 3,, s 4, _TeoInfo_V - Geraldo Gil R. Gomes 9

10 . Limites Fundamentais da Teoria da Informação s,4,4,4,6 s,,,4,4 s,,, s s 3,, s 4, s,4,4,4,6 s,,,4,4 s,,, s s 3,, s 4, s,4,4,4,6 s,,,4,4 s,,, s 3 s 3,, s 4, _TeoInfo_V - Geraldo Gil R. Gomes

11 . Limites Fundamentais da Teoria da Informação s,4,4,4,6 s,,,4,4 s,,, s 4 s 3,, s 4, O resultado da codificação está aresentado na Tabela.. Tabela. - Palavras códigos obtidas no Exemlo.. s s s s 3 s 4 O comrimento médio é das alavras códigos obtidas neste exemlo é: L L K l, bits/símbolo,4 +, +, +,3 +,3 Sendo a entroia determinada or: S K log,4log S,93 bits/símbolo A eficiência obtida nesta codificação é: +,log,4 +,log +,log,,, +,log, + _TeoInfo_V - Geraldo Gil R. Gomes

12 . Limites Fundamentais da Teoria da Informação S,93 η η,9645 L, A árvore de decisão ara o código do Exemlo. está mostrada na Figura.3. S S S S S Figura.3 - Árvore de decodificação ara o código do Exemlo.. * * * O rocesso de codificação de uffman não é único. Pelo menos duas variações no rocesso de codificação são ossíveis.. No agruamento dos símbolos, o rótulo e ara cada símbolo é arbitrário, oderia ser e. Entretanto, a mesma convenção deve ser mantida do início ao fim.. A colocação de símbolos combinados com mesma robabilidade que outros, na osição mais alta da coluna, também é arbitrário, oderia não ser na osição mais alta. Qualquer que sea a forma arbitrada ara a codificação, o comrimento médio do código semre será o mesmo, entretanto, a colocação de símbolos combinados com mesma robabilidade que outros, na osição mais alta da coluna, resulta em uma menor variância do comrimento das alavras códigos. A variância do comrimento das alavras códigos, σ, é determinada or K l L σ..9 _TeoInfo_V - Geraldo Gil R. Gomes

13 . Limites Fundamentais da Teoria da Informação NOTA DO PROFESSOR Suonha a sequência. Verifica-se através da árvore de decisão aresentada no Exemlo.3 que a sequência é inequivocamente decodificável como sendo S ; S 3 ; S ; S 4 ; S e S. Conclusão: Este exemlo mostra que o algoritmo de uffman roduz um código refixo com comrimento médio róximo da entroia e inequivocamente decodificável. Conforme mostrado elo Primeiro Teorema de Shannon é ossível obter um código cuo comrimento médio das alavras códigos sea igual a entroia, ou sea, S L.. Isso ocorre quando a robabilidade de um evento é igual ao inverso da base numérica da codificação elevado ao comrimento da alavra código corresondente a este evento. Em outras alavras, l.. Entretanto, isso é uma casualidade uma vez que é necessário que a corresondência estabelecida or. ocorra ara todas as robabilidades e suas resectivas alavras códigos. Para esta condição articular, diz-se que o código refixo está casado com a fonte. Note que o Código II é um código que atende esta condição, ou sea, é um código refixo casado com a fonte. Quando um código não é casado com a fonte é ossível obter um comrimento médio das alavras códigos tão róximo da entroia quanto deseado or meio de um código refixo estendido. Para isso é necessário estender a fonte original S ara uma fonte S n, ou sea, o comrimento médio das alavras códigos aroxima-se da entroia na medida em que o valor de n é aumentado na fonte estendida. Como o número de símbolos de uma fonte estendida S n é K n, a diminuição do comrimento médio do código tem como reço um aumento da comlexidade de decodificação. EXTE SÃO DE UMA FO TE DISCRETA SEM MEMÓRIA Considere a fonte discreta sem memória S {s, s,..., s K- } com um número de símbolos K 3 e com robabilidades PS s, ara,,..., K-, logo S { s, s s }, PS s { ; ; }. Considere os blocos formados conforme aresentado na Tabela.3. _TeoInfo_V - Geraldo Gil R. Gomes 3

14 . Limites Fundamentais da Teoria da Informação Tabela.3 - Extensão da fonte S em S. Blocos s s s s s s s s s s s s s s s s s s Símbolos σ σ σ σ 3 σ 4 σ 5 σ 6 σ 7 σ 8 Probabilidades Então, S { σ, σ, K, σ } 8 é chamada de fonte estendida que tem K n símbolos, onde n é o número de símbolos da fonte discreta que, combinados, comõem cada novo símbolo da fonte estendida, ou sea, A entroia da fonte estendida é n K 3 9 símbolos S n n S. EXEMPLO.3 Suonha uma fonte discreta sem memória S {s, s, s } com robabilidades PS s {,6;,3;,}. Admita que essa fonte deva ser codificada com um código refixo com eficiência igual ou maior do que,95. Codificação da fonte S s,6,6 s,3,4 s s s s, L L K l,4 bits/símbolo,6 +,3 +, S K log,6log +,3log +,log,6,3 S,95 bit/símbolo, _TeoInfo_V - Geraldo Gil R. Gomes 4

15 . Limites Fundamentais da Teoria da Informação S,95 η η,95 L,4 A eficiência está abaixo da esecificação. Codificação da fonte S Blocos s s s s s s s s s s s s s s s s s s Símbolos σ σ σ σ 3 σ 4 σ 5 σ 6 σ 7 σ 8 Probabilidades,36,8,6,8,9,3,6,3, σ,36,36,36,36,36,36 σ,8,8,8,8,8,8 σ 3,8,8,8,8,8,8 σ 4 σ σ 6 σ 5 σ 7,9,6,6,3,3,9,6,6,4,3,9,7,6,6,,9,7,6,,64,36,8,36,36 σ 8,,8 σ σ 3 σ 6 σ σ 4 σ 7 σ σ 5 σ 8 L L K l,67 bit/símbolo,36 +,8 +,6 4 +,8 +,9 4 +,3 5 +,6 4 +,3 6 +, 6 _TeoInfo_V - Geraldo Gil R. Gomes 5

16 . Limites Fundamentais da Teoria da Informação S K S,59 bit/símbolo log,36log +,8log,36 +,6log +,3log +,6log,6 +,log,3 +,8log,8 +,3log,6, +,9log,8,3 +,9 Ou, simlesmente, S S,95,59 bit/símbolo S,59 η, 97 η L,67 A eficiência atende à esecificação. * * * CODIFICAÇÃO DE LEMPEL-ZIV Conforme á comentado, a construção de um código refixo, como os códigos obtidos or meio do algoritmo de uffman, ressuõe o conhecimento révio da estatística da fonte. Isso reresenta uma desvantagem em algumas alicações, como or exemlo, na comactação de texto. A estatística da fonte ara um texto ode mudar de acordo com língua utilizada, ou sea, a estatística da fonte ara a língua inglesa é diferente da estatística da fonte da língua ortuguesa. Além disso, dentro de uma mesma língua, a estatística da fonte ode variar de acordo com a natureza do texto. Para alicações tais como comactações de textos existem códigos que se adatam à estatística da fonte. O algoritmo de Lemel-Ziv é adatativo e não necessita do conhecimento révio da estatística da fonte. Para ilustrar este algoritmo considere a seguinte sequência binária:... O mecanismo de codificação ode ser entendido de acordo com a sequência aresentada a seguir.. Inicialmente os bits e são reviamente armazenados nas osições numéricas e, conforme aresentado a seguir. Tais osições numéricas comõem o livro de códigos. Posição numérica Subsequências Blocos codificados - - _TeoInfo_V - Geraldo Gil R. Gomes 6

17 . Limites Fundamentais da Teoria da Informação. Em seguida, a subsequência mais curta, ainda não armazenada em nenhuma osição binária, é armazenada na osição elo codificador. Esta subsequência é. O rocesso de codificação consiste em transmitir a osição de memória onde se encontra a arte da subsequência á armazenada anteriormente, na forma binária, e o que é novidade simlesmente é reetido. Ou sea, da subsequência, o rimeiro se encontra na osição numérica em binário e o segundo simlesmente é reetido. Vea a seguir. Posição numérica Subsequências Blocos codificados Novamente a róxima subsequência mais curta ainda não armazenada em nenhuma osição binária, que é a subsequência, é armazenada na osição 3. A osição de memória onde se encontra a arte da subsequência á armazenada é a osição em binário e a arte novidade é reetida. Logo, o bloco codificado agora é, conforme mostrado a seguir. Posição numérica Subsequências Blocos codificados Este rocedimento é reetido conforme aresentado na sequência a seguir. Posição numérica Subsequências Blocos codificados - - Posição numérica Subsequências Blocos codificados - - Posição numérica Subsequências Blocos codificados - - Posição numérica Subsequências Blocos codificados - - Posição numérica Subsequências - Blocos codificados - - Para a sequência não codificada..., obteve-se a sequência codificada.... _TeoInfo_V - Geraldo Gil R. Gomes 7

18 . Limites Fundamentais da Teoria da Informação O rocesso de decodificação é iniciado a artir de três remissas: O codificador e o decodificador ossuem o mesmo número de memórias no livro de códigos e, ortanto, o decodificador conhece o tamanho do bloco codificado. O decodificador também inicia o rocesso de decodificação com os bits e armazenados nas osições numéricas e. 3 O decodificador comõe o seu rório livro de código usando as memórias na mesma sequência que o codificador. A artir das remissas acima é ossível verificar como o decodificador comõe o seu rório livro de código e como a decodificação é feita observando-se exclusivamente os blocos codificados recebidos. Esta questão está colocada como exercício roosto no final do caítulo. NOTA DO PROFESSOR Em uma rimeira análise, odemos chegar à conclusão que este algoritmo não comacta nada, elo contrário. Essa é uma idéia falsa uma vez que a sequência utilizada é muito curta ara o algoritmo reconhecer adrões de reetição. Conforme mencionado no livro texto, na rática, são utilizados blocos com bits, o que resulta em 496 osições no livro código. Além disso, o algoritmo de Lemel-Ziv reconhece redundância entre caracteres, o que não ocorre com o algoritmo de uffman. Particularmente eficiente ara comactação de textos, o algoritmo de Lemel-Ziv ode atingir uma comactação de 43% contra 55% do algoritmo de uffman, ara textos em inglês..5. CANAIS DISCRETOS SEM MEMÓRIA Um canal discreto sem memória é um modelo estatístico com uma entrada X e uma saída Y, que é uma versão ruidosa de X. Tanto os símbolos que entram em X quanto os que saem de Y são variáveis aleatórias. Em outras alavras, é um canal que, em cada unidade de temo, aceita um símbolo de entrada x, ertencente a um alfabeto X, e em resosta, emite na saída um símbolo y, de um alfabeto Y. O termo discreto significa que os dois alfabetos ossuem tamanhos finitos e o termo sem memória significa que o símbolo corrente resente na saída deende aenas do símbolo corrente resente na entrada e de nenhum outro anterior. Considere a reresentação mostrada na figura a seguir. { x x, } X,..., x J Alfabeto de entrada X y x Y { y y, } Y,..., y K Alfabeto de saída Figura.4 - Modelamento do canal discreto sem memória. Na Figura.4 a designação y x reresenta o conunto das robabilidades de transição _TeoInfo_V - Geraldo Gil R. Gomes 8

19 . Limites Fundamentais da Teoria da Informação y x P Y y X x ara todos e. Note que os alfabetos X e Y não necessariamente têm o mesmo tamanho. Tanto ode ocorrer X Y como X Y. Uma forma conveniente de descrever as várias ossibilidades de transição de um canal discreto sem memória é na forma de uma matriz, conforme aresentado a seguir. y x y x L y K x y x y x L y x K P.3 M M M y x J y x J L y K x J A matriz P, de dimensões J K, é chamada de matriz de canal ou matriz de transição. Note que cada linha de P corresonde a um símbolo fixo de entrada e cada coluna a um símbolo fixo de saída. Note também que uma roriedade fundamental de P é que a soma de todos os elementos de uma linha da matriz é igual a, isto é: K y x ara todos os..4 A distribuição de robabilidade conunta das variáveis aleatórias x e y é dada or: x y y x x,.5 A distribuição de robabilidade marginal da variável aleatória y é obtida fazendo: J y y x x ara,,..., K.6 EXEMPLO.4 Um canal de grande interesse teórico e rático é o canal binário simétrico. Este canal é um caso esecial do canal discreto sem memória quando J K. O alfabeto de entrada do canal ossui dois símbolos x, x e o de saída também dois símbolos y, y. O canal é simétrico orque a robabilidade de se receber quando um é transmitido é a mesma de se receber quando um é transmitido. Esta robabilidade condicional é reresentada or. O diagrama da robabilidade de transição de um canal simétrico binário é mostrado na figura a seguir. _TeoInfo_V - Geraldo Gil R. Gomes 9

20 . Limites Fundamentais da Teoria da Informação x - y x - y Figura.5 - Canal binário simétrico sem memória. Os termos que comõem a matriz de robabilidade são: P P y x y x * * *.6. INFORMAÇÃO MÚTUA Dado que conhecemos a saída do canal obtida de um alfabeto Y que é uma versão ruidosa da entrada do canal obtida de um alfabeto X, e que a entroia X é uma medida da incerteza a riori sobre X, como odemos medir a incerteza sobre X, deois da observação de Y? A resosta é a entroia condicional de X selecionada de um alfabeto X, dado que Y y, reresentada ela notação X Y y. Esecificamente: J X Y y x y log..7 x y Que é uma variável aleatória e assume valores X Y y,..., X Y y K- com robabilidades y,..., y K-, resectivamente. A média da entroia X Y y, sobre o alfabeto de saída Y, reresentada ela notação X Y, é dada or: _TeoInfo_V - Geraldo Gil R. Gomes

21 . Limites Fundamentais da Teoria da Informação _TeoInfo_V - Geraldo Gil R. Gomes log, log J K J K K y x y x y x y y x y y Y X Y X.8 Assim, X Y que é chamada simlesmente de entroia condicional, reresenta a quantidade de incerteza restante sobre a entrada do canal deois da saída do canal ter sido observada. Mas X reresenta a incerteza sobre a entrada do canal antes da observação da saída. Consequentemente, a diferença X - X Y deve reresentar a incerteza sobre a entrada do canal que é resolvida ela observação de sua saída. Essa diferença é chamada de informação mútua do canal, reresentada or IX; Y. Logo, X Y Y X Y X Y X Y X ; I ; I.9 Onde Y é a entroia da saída do canal e Y X é a entroia da saída do canal, dada uma entrada de canal. Fazendo as substituições adequadas e algumas maniulações, obtém-se: log J K y x y y y x ; I ; I X Y Y X. PROPRIEDADES DA I FORMAÇÃO MÚTUA. A informação mútua do canal é simétrica, isto é X Y Y X ; I ; I.. A informação mútua é semre não negativa X ;Y I 3. A informação mútua de um canal está relacionada com a entroia conunta da entrada do canal e da saída do canal, or, X Y Y X Y X ; I +.

22 . Limites Fundamentais da Teoria da Informação.7. CAPACIDADE DE CANAL A Caacidade de canal, de um canal discreto sem memória, é a informação mútua máxima, IX; Y, em qualquer intervalo de sinalização, onde a maximização deve levar em consideração todas as ossíveis distribuições de robabilidade da entrada {x } em X. C max I X ; Y { x }.3 A caacidade de canal C é medida em bits or uso do canal ou bits or transmissão. Note que a caacidade de canal C deende aenas das robabilidades de transições y x, que define o canal. O cálculo de C envolve a maximização da informação mútua IX Y sobre a variável J [i.e., as robabilidades de entrada x,..., x - ]. Em geral, o roblema variacional da determinação da caacidade de canal C é uma tarefa desafiadora. EXEMPLO.5 Considere o canal simétrico binário aresentado no Exemlo.4. A entroia X é maximizada quando os símbolos do alfabeto de entrada são equirováveis, i.e., x x ½, onde x e x. A informação mútua, IX; Y, é similarmente maximizada, ois C I X ; Y Conforme á aresentado, x x ½ y y x x y y x x Logo, I X ; Y I Y; X C y K J x y y log y + log + log x Usando a função entroia definida anteriormente.4, reetida abaixo or conveniência, i.e., log log chega-se finalmente a C..4 _TeoInfo_V - Geraldo Gil R. Gomes

23 . Limites Fundamentais da Teoria da Informação Caacidade de canal C,5 Probabilidade de transição Figura.6 - Caacidade de canal de um canal binário discreto sem memória em função da robabilidade de transição. O resultado aresentado na Figura.6 ermite concluir que:. Quando o canal é livre de ruído, ou sea, a caacidade de canal C assume o seu valor máximo de um bit or uso do canal.. Quando a robabilidade condicional de erro é ½ devido ao ruído, a caacidade de canal assume seu menor valor que é zero, enquanto a entroia assume seu maior valor que é máxima incerteza. Neste caso o canal é dito não utilizável..8. TEOREMA DA CAPACIDADE DE CANAL A resença de ruído nos canais de comunicações digitais é inevitável e ruído rovoca erro. Em canais muito ruidosos a robabilidade de erro ode chegar a - o que significa que em bits transmitidos, 9 são recebidos corretamente. Este nível de confiabilidade é inaceitável ara a maior arte das alicações. A robabilidade de erro aceitável deende da alicação. Entretanto, uma robabilidade de erro de -6 ou menor é, frequentemente, um requisito necessário ara a maioria das alicações. Para a obtenção de altos níveis de desemenho, o uso de códigos corretores de erro, ou codificação de canal é inevitável. O obetivo da codificação de canal é aumentar a robustez de um sistema de comunicação digital na resença de ruído e, basicamente, este rocesso consiste da inserção de redundâncias na sequência binária or um codificador de canal, antes da transmissão, conforme aresentado na Figura.7. Na receção, um decodificador de canal verifica a sequência recebida e com o auxílio da redundância introduzida, detecta ou mesmo corrige automaticamente alguns adrões de erro. _TeoInfo_V - Geraldo Gil R. Gomes 3

24 . Limites Fundamentais da Teoria da Informação Fonte discreta sem memória Codificador de canal Canal discreto sem memória Decodificador de canal Destino Transmissor Recetor Ruído Figura.7 - Diagrama em blocos simlificado de um sistema de comunicação. A fidelidade entre a sequência decodificada no recetor e a sequência originalmente transmitida influencia na robabilidade de erro final e este resultado deende do código utilizado e de algumas características do canal. Como regra geral, quanto maior é a caacidade de correção de erro do código, maior deve ser a quantidade de redundância introduzida e maior é a comlexidade de decodificação. Neste onto uma questão de extrema imortância é ode ser colocada da seguinte forma: Será que existe um esquema de codificação de canal eficiente o suficiente ara de tornar a robabilidade de erro de bit arbitrariamente baixa sem que a quantidade de redundância introduzida sea demasiadamente alta? Segundo Shannon, a resosta é um categórico sim, demonstrado or meio do Teorema da Codificação de Canal. Até aqui a variável temo não foi considerada na discussão sobre a caacidade de canal. Admitindo que uma fonte emita símbolos a cada T s segundos e que a entroia da fonte, S, é a medida de bits or símbolo transmitido, então S/T s têm a dimensão de bits or segundo. Por outro lado, C é a caacidade de canal em bits or uso do canal. Admitindo ainda que o canal ossa ser utilizado durante T c segundos, então a caacidade de canal dividida elo temo de utilização tem a dimensão de bits or segundo, que reresenta a máxima taxa de transferência de informação elo canal. _TeoInfo_V - Geraldo Gil R. Gomes 4

25 . Limites Fundamentais da Teoria da Informação SEGU DO TEOREMA DE SA O TEOREMA DA CODIFICAÇÃO DE CA AL Suonha uma fonte discreta sem memória com alfabeto S e entroia S bits or símbolo de fonte que roduz um símbolo a cada T s segundos. Sea um canal discreto sem memória que tem uma caacidade de C bits or uso do canal e é usado a cada T c segundos. Então se S C T s T c.5 deve existir um esquema de codificação de tal forma que a saída da fonte ode ser transmitida elo canal com uma taxa de erros arbitrariamente baixa. O arâmetro C/T c é chamado de taxa crítica. Quando a igualdade é obtida diz-se que o sistema está transmitindo na taxa crítica. Inversamente, se S C > T s T c não é ossível transmitir informação elo canal com taxa arbitrariamente baixa. O teorema da codificação de canal é considerado o mais imortante resultado da teoria da informação. Ele determina a caacidade de canal C como um limite fundamental sobre a taxa na qual uma transmissão ode ser realizada, livre de erros, em um canal discreto sem memória. Entretanto duas observações são imortantes:. O teorema não mostra como construir bons códigos. Ele deve ser interretado no sentido de uma rova de existência, i. e., desde que a limitação imosta elo teorema sea satisfeita, então a existência do código é ossível.. O teorema não aresenta um resultado reciso ara a robabilidade de erro deois da decodificação de canal. Ele indica que a robabilidade de erro tende ara zero conforme o comrimento do código aumenta, mais uma vez, desde que a limitação imosta elo teorema sea satisfeita. _TeoInfo_V - Geraldo Gil R. Gomes 5

26 . Limites Fundamentais da Teoria da Informação APLICAÇÃO DO TEOREMA DA CODIFICAÇÃO DE CA AL EM CA AIS SIMÉTRICOS BI ÁRIOS Considere uma fonte discreta sem memória que emite símbolos s e s, com robabilidades iguais, a cada T s segundos. Considere também que a entroia da fonte é igual a um bit or símbolo de fonte e, ortanto, a fonte emite informação a uma taxa de /T s bits or segundo. Considere ainda a existência de um codificador de canal cuo código ossui uma taxa de codificação r, sendo r definido como: r, n onde é o número de bits de informação e n é o número de bits da sequência ou do bloco codificado. Admita que o codificador de canal roduza um símbolo a cada T c segundos e, consequentemente, a taxa de transmissão de símbolos é /T c símbolos or segundo. Desta forma, o codificador de canal ocua um canal simétrico binário a cada T c segundos. Portanto, a caacidade do canal or unidade de temo é C/T c bits or segundo. De acordo com o teorema da codificação de canal, se C T.6 s T c a robabilidade de erro ode ser arbitrariamente baixa se usado um esquema de codificação de canal adequado. Como então T r T c s r C. Ou sea, ara r < C, deve existir um código caaz de ermitir uma transmissão com taxa de erro tão baixa quanto se queira. Para que este conceito fique claro, vea o Exemlo. Para que o significado do teorema da codificação de canal, alicada a um canal binário simétrico fique clara, vea o exemlo a seguir. EXEMPLO.6 Sea um canal binário simétrico cua entrada é equirovável e a robabilidade de transição do canal robabilidade de erro é igual a,. Qual deve ser o maior número de bits de informação ara cada bloco de 7 bits de forma ser ossível, teoricamente, a obtenção de uma taxa de erro arbitrariamente baixa? _TeoInfo_V - Geraldo Gil R. Gomes 6

27 . Limites Fundamentais da Teoria da Informação SOLUÇÃO: Do Exemlo.5, tem-se Como, Conforme aresentado Como n 7 C log log log, log,9 C,,9 log log C,53 r C n nc 3 nc 7,53 3,7 * * *.9. ENTROPIA DIFERENCIAL E INFORMAÇÃO MÚTUA PARA CONJUNTOS CONTÍNUOS Até o momento as fontes e os canais considerados foram de conuntos de variáveis que são discretas em amlitude. Alguns dos conceitos aresentados serão estendidos ara conunto contínuos de forma a ermitir estabelecer outro limite fundamental da teoria da informação que é o Terceiro Teorema de Shannon ou Teorema da Caacidade de Informação. Considere uma variável aleatória contínua X com função densidade de robabilidade f X x. Por analogia com a entroia ara variáveis discretas ode-se escrever que h X f x log dx,.7 x f x x onde hx é a entroia diferencial de X. Se n variáveis aleatórias contínuas formam um vetor aleatório contínuo X, então utilizando a mesma analogia, ode-se definir a entroia diferencial de X, como h X f x x log dx,.8 f x x onde f X x é a função densidade de robabilidade conunta de X. _TeoInfo_V - Geraldo Gil R. Gomes 7

28 . Limites Fundamentais da Teoria da Informação Considere agora um ar de variáveis aleatórias contínuas X e Y. Mais uma vez, or analogia ao que foi definida ara variáveis discretas, a informação mútua torna-se I X ; Y f X x y f X, Y x, y log dx dy.9 f x x onde f X,Y x,y é a função densidade de robabilidade conunta de X e Y, e f X x y é a função densidade de robabilidade condicional de X, dado que Y y. Também or analogia, as seguintes roriedades ara a informação mútua são válidas:.. 3. I X ; Y I Y; X I X ; Y I X ; Y h X h X Y h Y h Y X onde hx é a entroia diferencial de X e hx Y é a entroia diferencial condicional de X dado Y, que, ainda or analogia, é definida como h X Y fx, Y x, y log dx dy..3 f x x y O arâmetro hy X é a entroia diferencial condicional de Y dado X e é definido de maneira similar a hx Y... TEOREMA DA CAPACIDADE DE INFORMAÇÃO A formulação do Teorema da Caacidade de Informação ara canais limitados em faixa e otência utiliza a idéia de informação mútua. Para isso, considere um rocesso estacionário Xt com média zero e limitado em uma faixa de B hertz. Sea X,,,..., K variáveis aleatórias contínuas obtidas or amostragem uniforme de Xt à uma taxa de Nyquist de B or segundo. Estas amostras são transmitidas em T segundos em um canal ruidoso, também limitado em faixa de B hertz. Então o número de amostras, K, é dado or K BT, onde X é uma amostra do sinal transmitido em um canal erturbado com ruído Gaussiano branco aditivo AWGN de média zero e densidade esectral de otência /. As amostras do sinal recebido são reresentadas elas variáveis aleatórias contínuas Y,,,..., K, estatisticamente indeendentes, de forma que Y X +,, K K,, onde reresenta a amostras de ruído Gaussiano com média zero e densidade esectral de otência dado or _TeoInfo_V - Geraldo Gil R. Gomes 8

29 . Limites Fundamentais da Teoria da Informação σ B..3 O canal descrito elas duas últimas equações é chamado de canal Gaussiano sem memória, discreto no temo e é modelado conforme mostrado na figura a seguir. X Σ Y Figura.8 - Modelagem do canal gaussiano sem memória discreto no temo. Como a transmissão é, tiicamente, limitada em otência, então a otência média transmitida ode ser definida como P E[ X ],, K, K A caacidade de informação do canal é definida como a máxima informação mútua entre a entrada X que satisfaz a limitação de otência aresentada acima, ou sea, C max{ I X ; Y : E[ X ] P},.3 f X x onde a maximização é feita com relação a f X x. Por conveniência a informação mútua IX ; Y ode ser escrita como I X ; Y h Y h Y X Uma vez que X e são variáveis aleatórias indeendentes e sua soma é igual a Y a entroia diferencial condicional de Y, dado X, é igual a entroia diferencial de, conforme mostrado a seguir. h h Y X Consequentemente, I X ; Y h Y h. A maximização da informação mútua requer a maximização de hy. A variância da amostra Y é P + σ. Logo, Y é também uma variável aleatória gaussiana, consequentemente, sua entroia diferencial máxima é h Y log[π e P + σ ] e a entroia diferencial de é _TeoInfo_V - Geraldo Gil R. Gomes 9

30 . Limites Fundamentais da Teoria da Informação h log πe σ Substituindo as duas entroias diferenciais aresentadas acima na exressão da informação mútua, obtêm-se: log + P C bits or transmissão.33 σ Com o canal sendo usado K vezes ara a transmissão de K amostras em T segundos, então a caacidade de informação or unidade de temo é obtida multilicando-se a equação aresentada acima or K/T. Como K BT e σ B, então a caacidade de canal or unidade de temo torna-se: P C B log + bits or segundo..34 B Assim o terceiro e mais famoso teorema de Shannon ode ser enunciado da forma como aresentado a seguir. TERCEIRO TEOREMA DE SA O TEOREMA DA CAPACIDADE DE I FORMAÇÃO OU TEOREMA DA CAPACIDADE DE CA AL A caacidade de informação de um canal contínuo com largura de faixa de B hertz, erturbado or ruido Gaussiano branco aditivo de densidade esectral /, é dada or P C B log +, B dada em bits or segundo, onde P é a otência média do sinal transmitido. O Teorema da Caacidade de Informação é um dos mais notáveis resultados da Teoria da Informação onde, em uma única exressão, é destacada a interação entre a largura de faixa do canal e a relação sinal/ruído. Note que a caacidade do canal varia linearmente com a largura de faixa e logaritmicamente com a relação sinal ruído. Desta forma, é mais fácil aumentar a caacidade do canal aumentando a sua largura de faixa do que aumentando a relação sinal ruído. O teorema imlica que, ara uma dada relação sinal/ruído, é ossível transmitir a uma taxa de C bits or segundo com robabilidade de erro arbitrariamente baixa emregando um esquema de codificação de canal suficientemente comlexo. Por outro lado, não é ossível transmitir a uma taxa maior do que C bits or segundo com qualquer esquema de codificação sem uma robabilidade de erro definida. Assim, o Teorema da Caacidade de Canal define um limite fundamental ara a taxa de transmissão livre de erros ara um canal gaussiano com uma dada relação sinal/ruído e largura de faixa limitada. Para alcançar este limite, no entanto, o sinal deve ter roriedades estatísticas semelhantes a do ruído gaussiano. _TeoInfo_V - Geraldo Gil R. Gomes 3

31 . Limites Fundamentais da Teoria da Informação Vea o exemlo de alicação aresentado a seguir. EXEMPLO.7 Sea um canal AWGN limitado em faixa B 3,4 z e uma otência de receção saída do canal igual a W. Determine a caacidade do canal, considerando que o mesmo está submetido a uma temeratura equivalente de ruído igual a 9 K. Determine também a relação sinal-ruído em db. SOLUÇÃO: C B log + P B log + B P TB B log + S S P TB 3 3,38 9 3,4 73, log C 3,4 C 54,96 bit/s S db S 48,66 db db ,49 log log 73,49 3 CONCLUSÃO: Deve haver um esquema de codificação de canal, suficientemente comlexo, que ermita a transmissão a uma taxa de 55 bit/s em um canal com 3,4 z de largura de faixa ara uma relação sinal/ruído de 49 db, com uma taxa de erros de bit arbitrariamente baixa. * * *.. IMPLICAÇÕES DO TEOREMA DA CAPACIDADE DE INFORMAÇÃO Para analisar as imlicações do Teorema da Caacidade de informação, admita a existência de um sistema ideal definido como sendo aquele que transmite a uma taxa R b igual à caacidade de canal C. Desta forma, a otência média do sinal ode ser escrita como P E C, onde E b é a energia transmitida or bit. Assim.34 ode ser reescrita como b _TeoInfo_V - Geraldo Gil R. Gomes 3

32 . Limites Fundamentais da Teoria da Informação C B log E + b C B. Equivalentemente, a relação entre a energia or bit e a densidade esectral de ruído E b / em termos de C/B ara o sistema ideal é E C B b. C B Com a exressão acima é ossível traçar a curva que estabelece a relação entre a eficiência de largura de faixa R b /B e a relação E b /, que é chamado de diagrama da eficiência de largura de faixa. A forma genérica deste diagrama é mostrada na Figura.9, onde a curva intitulada "limite da caacidade" corresonde ao sistema ideal no qual R b C. Região ara a qual R b >C Eficiência de BW R b /B Limite da caacidade R b C Região ara a qual Rb<C. 3 E b / em db Figura.9 - Eficiência Largura de Faixa ara R b C. _TeoInfo_V - Geraldo Gil R. Gomes 3

33 . Limites Fundamentais da Teoria da Informação O limite é reresentado or uma fronteira entre a região em que é ossível uma transmissão livre de erros R b < C e a região em que isso não é ossível R b > C em um lano da eficiência de largura de faixa em função da relação entre a energia de bit e a densidade esectral de ruído, conforme aresentado a seguir... TEORIA DA DISTORÇÃO-TAXA Conforme aresentado anteriormente, ara se obter uma codificação de uma fonte discreta sem memória que ermita a transmissão e recueração da informação sem imerfeições, o Teorema da Codificação de Fonte não ode ser violado. Em outras alavras, isso significa que o comrimento médio do código de fonte não ode ser menor do que a entroia da fonte. Entretanto, em muitas alicações ráticas existem restrições que introduzem imerfeições na codificação, o que resulta em inevitáveis distorções. Um exemlo disso são as fontes de sinais contínuos, como or exemlo, o sinal de voz. Neste caso, os sistemas de comunicação geralmente imõem restrições quanto ao comrimento das alavras códigos, acarretando na limitação do número de níveis de quantização do sinal. Assim, a aroximação de um sinal contínuo ara um número reduzido de níveis discretos roduz erros de quantização severos cua consequência é a degradação da qualidade do sinal or meio da introdução, no sinal transmitido, de um ruído de quantização com amlitude significativa. Neste caso, o roblema é definido como codificação de fonte com um critério de fidelidade. A teoria da distorção-taxa encontra alicações em dois tios de situação:. Codificação de fonte onde o alfabeto de codificação ermitido não ode reresentar exatamente a informação da fonte, caso no qual é forçosa uma comressão de dados com erdas.. Transmissão de informação à uma taxa maior do que a caacidade do canal. Se vista de forma adequada, a teoria da distorção-taxa ode ser vista como uma extensão natural dos teoremas de codificação de Shannon. Para maiores detalhes sobre este assunto vea Seção 9.3, Caítulo 9 do livro Communication System, Simon ayin. _TeoInfo_V - Geraldo Gil R. Gomes 33

34 . Limites Fundamentais da Teoria da Informação.3. COMPRESSÃO DE DADOS A teoria da distorção-taxa ermite considerar a idéia da comressão de dados, que envolve uma redução roosital no conteúdo da informação de uma fonte contínua ou discreta. Esecificamente, ode-se imaginar um comressor de dados, ou um comressor de sinais, como um disositivo que alimenta um código que roduz o mínimo de bits necessários ara reresentar a saída da fonte com uma distorção aceitável ou ermissível. Assim, o comressor de dados retém o conteúdo essencial de informação da saída da fonte descartando finos detalhes de maneira controlada. Desta forma, a comressão de dados é uma oeração com erdas no sentido de que a entroia da fonte é reduzida i.e., há erda de informação indeendentemente do tio de fonte considerada. No caso de uma fonte discreta, a razão ara o uso da comressão de dados é codificar a saída da fonte à uma taxa menor do que a entroia da fonte. Consequentemente, a entroia da fonte é violada, o que significa que a rerodução exata do que a fonte roduziu é imossível. No caso de uma fonte contínua, a entroia da fonte é infinita. Entretanto, na rática é necessário que os níveis de quantização seam finitos e, consequentemente, o codificador de fonte roduzirá codificação à uma taxa finita. Assim, não é ossível codificar um sinal contínuo com um número finito de bits sem roduzir distorções..4. EXERCÍCIOS. O alfabeto de uma fonte discreta sem memória é comosto or 5 símbolos. Os símbolos emitidos ela fonte devem ser codificados or meio de um código refixo a artir do histograma da frequência de emissão aresentado abaixo. O número total de símbolos do histograma foi emitido em ms. N o de símbolos S S S S 3 S 4 Símbolos _TeoInfo_V - Geraldo Gil R. Gomes 34

35 . Limites Fundamentais da Teoria da Informação Pede-se: a A entroia da fonte. b As alavras códigos de um código refixo ara esta fonte. c A eficiência de codificação. d Determine qual é a taxa de bit na saída do codificador de fonte.. O alfabeto de uma fonte discreta sem memória S ossui 3 símbolos. As robabilidades de emissão dos símbolos S, S e S são resectivamente,55;,35 e,. Pede-se: a Criar um código refixo ara a fonte S. b Criar um código refixo ara a fonte estendida S. c Comarar as eficiências de codificação ara os dois códigos e comentar o resultado. 3. Considere um codificador de Lemel-Ziv com 8 osições de memória de a 7 que arte com o bit armazenado na osição de memória e o bit na osição de memória. Codifique a sequência mensagem Considere um decodificador de Lemel-Ziv com 8 osições de memória de a 7 que arte com o bit armazenado na osição de memória e o bit na osição de memória. Reconstrua a sequência mensagem a artir dos blocos codificados Uma fonte discreta sem memória emite símbolos que são estatisticamente indeendentes. Admita que esses símbolos seam codificados com um código refixo casado com a fonte, resultando nas seguintes alavras códigos: S ; S ; S ; S 3 ; S 4 ; S 5 ; S 6 ; S 7. Determine a entroia desta fonte. 6. Um terminal remoto deve enviar símbolos alfanuméricos ara um comutador à uma taxa de milhão de símbolos or segundo or meio de um canal cua relação sinal/ruído é igual a db. Admita que o terminal ossua 56 símbolos diferentes e que a transmissão destes símbolos sea equirovável e estatisticamente indeendente. Determine a largura de faixa mínima do canal, à luz do teorema da caacidade de informação, de modo que essa transmissão ossa ser teoricamente realizável. 7. Considere que o alfabeto de uma fonte ossui 64 símbolos com iguais robabilidades de ocorrência. Admita que tais símbolos seam convertidos em alavras binárias ara que seam transmitidos em um canal AWGN cua largura de faixa é igual a 6 z. Determine qual deve ser a menor relação sinal ruído teórica, em db, ara que a transmissão de 6 símbolos or segundo ossa ser realizada com taxa de erro arbitrariamente baixa. * * * _TeoInfo_V - Geraldo Gil R. Gomes 35

36 . Limites Fundamentais da Teoria da Informação.5. REFERÊNCIA BIBLIOGRÁFICA [] AYKIN, S. - Communications Systems. 4 th Ed. John Wiley & Sons.. _TeoInfo_V - Geraldo Gil R. Gomes 36