Teoria da Informação. Codificação de Fonte

Transcrição

1 Codificação de Fonte /62

2 Conteúdo e Referência. Revisão: Probabilidade e Variáveis Aleatórias 2. Fontes de informação amostragem e quantização 3. Princípios da 4. Compactação de Fonte 5. Limitantes para Canais AWGN Livro Texto: Haykin, Simon, Sistemas de Comunicação, 4 Edição, John Wilwy & Sons, /62

3 Revisão de Probabilidade. Noções Básicas de Probabilidade Diagrama de Venn: permite realizar uma representação gráfica dos conjuntos e/ou sua probabilidade de ocorrência. s A AB B 3/62

4 Revisão de Probabilidade 2. Os Axiomas da Probabilidade Para qualquer evento A, P[A]=0. P[S]=, onde S é o espaço amostral. P[AUB]=P[A]+P[B]-P[AB]. Exemplo: Seja o espaço amostral S={0,, 2, 3}. Então: P[S]=P[0]+P[]+P[2]+P[3]=. Logo P[ S] 3 = i = 0 P[ s i ] = A probabilidade é sempre um número entre 0 e 4/62

5 Revisão de Probabilidade Continuando... Seja um evento B={números pares}. Logo B =? Qual é P[B]? P[B]=P[0]+P[2] Seja um evento C={números menores que 2}. Logo C=? Qual é P[C]? P[C]=P[0]+P[] Seja D=BUC. Logo D=? Qual é P[D]? P[D]=P[BUC]=P[B]+P[C]-P[BC]=P[0]+P[2]+P[0]+P[]-P[0] P[D]=P[0]+P[]+P[2] 5/62

6 Revisão de Probabilidade 3. Eventos Mutualmente Exclusivos: são aqueles que nunca acontecem ao mesmo tempo. Exemplo: A={números pares} e B={números ímpares}. Se A e B são mutualmente exclusivos, então P[AB]=0. 4. Probabilidade de eventos conjuntos: considere o diagrama de Venn. B B 2 B 3 B 4 A Qual é a P[A]? P[A]=P[AB ]+P[AB 2 ]+P[AB 3 ]+P[AB 4 ] P[ A] = 4 i = P[ A B i Note que Bi e Bj são mutualmente exclusivos! ] 6/62

7 Revisão de Probabilidade 5. Eventos Independentes: dois eventos são independentes somente se a probabilidade de ocorrência de um evento não alterar a probabilidade de ocorrência do outro evento. P[AB]=P[A]xP[B] somente se A e B forem independentes. 6. Probabilidade Condicional: é a probabilidade de ocorrência de um evento, sabendo-se que outro evento já aconteceu. Exemplo: Qual é a probabilidade de um pneu novo estourar? Qual é a probabilidade de um pneu novo estourar, dado que existem pregos na pista? P[ A B] P[ A / B] = P[ B] Qual é P[A/B], quando A e B são independentes? 7/62

8 Revisão de Probabilidade Exercício: considere um dado honesto e os seguintes eventos: E i ={número sorteado é i} M j ={número sorteado é maior do que j} P={número sorteado é par} a) Qual é a probabilidade de ter-se sorteado um 3, dado que o número sorteado é maior do que, ou seja, P[E 3 /M ]=? b) Qual é a probabilidade condicional de se obter um 6 dado que o número sorteado é maior do que 3? c) P[M 3 /P]=? d) Dado que o número sorteado é maior do que 3, qual é a probabilidade dele ser par? e) P[E E 2 ], P[M 6 P], P[M 3 UP], P[M 3 P] 8/62

9 Revisão de Probabilidade 7. Variáveis aleatórias: são variáveis cujo valor em um dado instante de tempo não pode ser determinado. No entanto é possível determinar a probabilidade do valor desta variável estar dentro de uma faixa de valores. Parâmetros de uma V. A. a) Função densidade de probabilidade (f.d.p.) - f X (x): mostra como os valores que a variável pode assumir estão distribuídos. b) Função distribuição cumulativa (F.D.C.) - F X (x): mostra a probabilidade de uma variável assumir um valor maior do que x. F X ( x) x = P[ X x] = f ( y) dy X Função densidade de probabilidade Função distribuição cumulativa x 9/62

10 Revisão de Probabilidade Continuando... c) Média: é o valor médio da variável aleatória, também conhecido como valor esperado. Eqüivale ao nível DC, se a variável aleatória for um sinal elétrico. i = E [ X ] = x P[ X = ] E[ X ] = x f ( x) dx i x i d) Desvio padrão: é uma medida de quanto a variável aleatória pode se distanciar da média. Pode ser interpretado como sendo a tensão RMS, se a V.A for um sinal elétrico. + X 0/62

11 Revisão de Probabilidade Continuando... e) Variância: é o quadrado do desvio padrão. Pode ser associado à potência AC do sinal. σ 2 = E 2 [ X ] E[ X ] 2 i = 2 i x i 2 E [ X ] = x P[ X = ] 2 2 E[ X ] = x f X ( x) dx /62

12 Revisão de Probabilidade 8. Alguns tipos de variáveis aleatórias. a) Distribuição uniforme f X x) X x 0, x, x 2,..., x N f (x) X { } ( = N X f (x) X f X ( x) Calcule a média e a variância das duas F.D.P s /62 = b a X a X b

13 Revisão de Probabilidade Continuando... b) Gaussiana exp 2 ( x µ ) f X ( x) = 2 2 2σ πσ µ σ = E[ X ] = E[ X ] µ f (x) X X 3/62

14 Fontes de Informação As fontes de informação em um sistema de comunicação digital são os dispositivos que geram os dados que devem ser transmitidos. Toda fonte de informação de um sistema de comunicação digital deve ter um número discreto de símbolos. Algumas fontes são discretas por natureza. Outras possuem um número infinito de símbolos. Essas fontes devem ser discretizadas. Tipos de fontes: binárias, m-árias e analógicas. 4/62

15 Fontes de Informação Fontes binárias: são aquelas que somente geram dois tipos de símbolos. Exemplo: computador. Os dados emitidos por esta fonte não precisam sofrer maiores processamentos para serem transmitidos por um sistema de comunicação digital. Fonte Digital Binária Bits m k Transmissor Digital s ( t ) Canal Ruidoso r(t) Receptor Digital m^ k Destino 5/62

16 Fontes de Informação Fontes discretas ou fontes m-árias; são aquelas que podem emitir até M símbolos diferentes. Exemplo: texto. Os símbolos emitidos por esta fonte devem ser codificados em bits. A quantidade de bits necessária para codificar uma fonte com M símbolos é: m = dlog 2 (M)e Exemplo: qual é a quantidade de bits necessária para representar o nosso alfabeto? 6/62

17 Fontes de Informação O dispositivo responsável em atribuir os bits aos símbolos da fonte é conhecido como codificador. F o n t e Discreta Símbolos A k Codificador Bits m k Transmissor Digital s(t) Canal Ruidoso r(t) Receptor m ^ k D e - Digital codificador ^ A k Destino Exemplo: assuma que a fonte de informação seja um dado. Proponha uma tabela de codificação para que os símbolos gerados por esta fonte possam ser transmitidos por um sistema de comunicação digital. 7/62

18 Fontes de Informação.Fontes Analógicas: são aquelas que geram sinais com uma quantidade infinita de amplitudes. Exemplo: câmera de vídeo ou microfone. As fontes analógica devem ser digitalizadas para que os dados possam ser transmitidos em um sistema de comunicação digital. Esse procedimento consiste de dois passos: a) Amostragem: consiste em discretizar o sinal no domínio do tempo. Esse processo não introduz distorções no sinal. b) Quantização: consiste em limitar a amplitude das amostras em M níveis possíveis. Esse processo introduz uma distorção denominada de ruído de quantização. 8/62

19 Fontes de Informação Transmissão de um sinal analógico através de um sistema de comunicação digital. Fonte Analógica A m o s t r a g e m Quantizador Símbolos A k Codificador Bits m k T r a n s m i s s o r Digital s(t) Canal Ruidoso r(t) Destino Filtro de Recuperação ^ A k Decodificador m ^ k Receptor Digital 9/62

20 Fontes de Informação Amostragem: consiste em pegar o valor da amplitude do sinal a cada T s segundos, que é chamado de período de amostragem. A freqüência de amostragem é f s =/T s..0 Amostragem temporal t = k T s Tempo [s] 20/62

21 Fontes de Informação Teorema da Amostragem ou Teorema de Nyquist: \Um sinal limitado em freqäu^encia, cuja freqäu^encia m axima e dada por f max, pode ser perfeitamente representado por suas amostras, desde que estas sejam tomadas a uma taxa de amostragem maior ou igual a duas vezes f max, ou seja, se f s 2 f max ent~ao e poss ³vel recuperar o sinal original a partir das suas amostras, sem distor»c~ao." 2/62

22 Fontes de Informação Para recuperar o sinal original a partir das suas amostras, basta empregar um filtro passa-baixa. 2 Sinal Original e Sinal Recuperado t = k T s T e m p o [ s ] 22/62

23 Fontes de Informação Outro tipo de amostragem bastante utilizado é a amostragem com retenção, onde o valor da amostra é mantido até o próximo instante de amostragem. t = k T s R e t e n ç ã o Sinal Original e Sinal Amostrado com Retenção Tempo [s] A recuperação da informação original é feita da mesma forma que na amostragem instantânea. 23/62

24 Fontes de Informação Quantização: é processo no qual o valor da amplitude das amostras é discretizado. Um quantizador permite apenas N Q níveis de amplitude em sua saída. O número de bits necessários para representar cada uma das amostras é q = log 2 (N Q ), ou seja, o número total de níveis possíveis com q bits é N Q = 2 q. Quantizador.0.5 Sinal Contínuo e Sinal Quantizado T e m p o [ s ] 24/62

25 Fontes de Informação A quantização insere uma distorção que não pode ser mais removida do sinal. Essa distorção pode ser modelada como um ruído de potência: ¾ 2 Q = 2 2 A taxa de bits mínima para representar essa fonte analógica é limitada pelo Teorema de Nyquist e pelo número de amostras na saída do quantizador. R b 2 log 2 (N Q ) f max 25/62

26 Fontes de Informação Exemplo: qual é a menor taxa para representar um sinal telefônico que foi quantizado com 256 níveis? 26/62

27 O que é? é o modelo matemático que permite tratar, de modo analítico, os diferentes modos de transmitir informação em um canal de comunicação. Questões tratadas na : a) Qual é a menor quantidade de bits necessária para representar uma fonte discreta sem perda de informação? b) Qual é a máxima taxa de transmissão para uma comunicação confiável em um canal ruidoso? Para responder a essas questões, é necessário compreender o que é Informação, Entropia, Canal e Confiável! 27/62

28 Informação: é a quantidade de surpresa que um evento causa ao ocorrer. Seja S ={s 0, s, s 2, s 3,..., s K- } uma fonte discreta com K elementos, onde p k é a probabilidade de ocorrência de s k. A quantidade de informação associada ao símbolo s k é dada por I ( s ) k = log 2 pk Conclusões importantes: - Se há certeza de ocorrência de um evento, não há ganho de informação quanto esse evento ocorre! - A ocorrência de um evento nunca causa perda de informação! - Quanto menor a probabilidade de ocorrência, maior é a informação ganha quando o evento acontece! 28/62

29 Algumas propriedades da informação: ) I(s k ) = 0 quando p(s k ) = 2) I(s k ) > 0 para 0 < p(s k ) < 3) I(s k ) > I(s i ) para p(s k ) < p(s i ) 4) I(s k s i ) = I(s k ) I(s i ) se s k e s i forem independentes. Exemplo: calcule a informação associada a cada um dos símbolos pertencentes S={a, b, c, d}, sendo que p(s k ) = {0.5, 0.3, 0.5, 0.05}. 29/62

30 Entropia: é a quantidade média de informação fornecida por uma fonte discreta. H Propriedades da Entropia: ) 0 = H(S) = log 2 (K) K K = k k k = 0 k = 0 ( S ) p I ( s ) = p bits k log 2 A entropia é nula quando a fonte possui um evento certo. A entropia é máxima quando a fonte é equiprovável. Exercício: calcule a entropia de uma fonte binária onde o símbolo 0 possui probabilidade p 0 e o símbolo possui probabilidade p. p k 30/62

31 Fonte discreta sem memória: é uma fonte que envia símbolos discretos a cada T segundos, onde a ocorrência de um símbolo específico não muda a probabilidade de ocorrência do próximo símbolo. 3/62

32 Extensão de uma fonte discreta sem memória: consiste em criar uma nova fonte cujos elementos são combinações da fonte inicial. A probabilidade de cada novo elemento será o produto das probabilidades individuais dos elementos elementares. Exemplo: Considere uma fonte que representa o resultado de uma jogada de um dado honesto. S={, 2, 3, 4, 5, 6} p k = [/6, /6, /6, /6, /6, /6] Quais serão os elementos da extensão de ordem 2 desta fonte, ou seja, de uma fonte que consiste em duas jogadas sucessivas de um dado? 32/62

33 A entropia de uma fonte estendida de ordem n é n vezes maior do que a entropia da fonte original. Exemplo: Seja uma fonte S = {s 0, s, s 2 } com p k = {¼, ¼, ½}. a) Qual é a entropia desta fonte? b) Encontre a fonte estendida de ordem 2. Qual é a entropia desta fonte? 33/62

34 Codificação de fonte: utilizar a estatística da fonte para minimizar o número de bits necessários para representar seus eventos. As palavras códigos devem ser inequívocas. Exemplo: uma fonte emite os caracteres S={a,b,c,d}. Associe bits a cada evento dessa fonte de modo intuitivo. Sabendo que P[a]=0.8, P[b]=0., P[c]=0.07 e P[d]=0.03, calcule a entropia da fonte e compare com o número médio de bits que você utilizou anteriormente. É possível fazer algo mais eficiente? A resposta para esta questão é fornecida pelo Teorema de Shannon! 34/62

35 Teorema de Shannon: Teorema de Codificação de Fonte. O número médio de bits necessários para representar uma fonte discreta é maior ou igual à Entropia desta fonte. L = K k = 0 p k l k L H (S) H ( S) É possível construir uma representação binária mais eficiente para uma fonte discreta utilizando palavras código de comprimento variável. Exemplo: código Morse. η = L 35/62

36 Compressão: retira a redundância da fonte, reduzindo a entropia de maneira controlada. Exemplos: JPEG, MPEG, Vocoders. Compactação: retira a redundância da fonte, sem alterar sua entropia. Exemplo: compactadores de arquivos. Redundância Entropia Redundância E n t r o p i a E n t r o p i a Redundância Compactação Compressão 36/62

37 Código do Prefixo: compactação de fonte onde a representação binária de um símbolo nunca é o prefixo da representação binária de outro símbolo. O símbolo mais provável é sempre representado pela menor quantidade de bits. Quais destes códigos é um código do prefixo? Códigos do prefixo podem ser codificados ou decodificados utilizando Estado 0 ξ uma árvore. inicial ξ ξ 3 ξ 2 37/62

38 Exemplo: encontre um código do prefixo para representar a seguinte fonte: S ={s 0, s, s 2, s 3 }, onde p 0 =0.7, p =0.2, p 2 =0.5 e p 3 =0.05. Codifique a seguinte seqüência de dados: s s 0 s 0 s 0 s 2 s 0 s 3. Desenhe a árvore deste código. Calcule a eficiência da codificação. 38/62

39 Limites para o comprimento médio do código do prefixo: H(s k ) = L = H(s k )+ O limite inferior é obtido quando p k = 2 -l k. Quando o limite inferior é atingido, então o código está casado com a fonte. Pode-se utilizar o conceito de fonte estendida para casar um código do prefixo com a fonte. Note o que ocorre com os limites do comprimento médio normalizado de uma fonte estendida: H(S n ) ¹L n < H(S n ) + nh(s) ¹L n < nh(s) + H(S) ¹L n n < H(S) + n 39/62

40 Código de Huffman: é a técnica de codificação empregada nos compactadores ZIP. Procedimento para codificação empregando código Huffman: a) Liste os símbolos em ordem decrescente de probabilidade. Atribua os bits e 0 aos últimos dois símbolos da lista. b) Os dois símbolos combinados formam um novo símbolo cuja probabilidade de ocorrência é a soma das probabilidades anteriores. O novo símbolo deve ser reposicionado na lista, que contém um símbolo a menos. c) Repita o processo até que se tenha apenas dois símbolos. O código para cada símbolo é obtido pegando-se os e 0 no sentido reverso que culminou nos últimos dois símbolos. 40/62

41 Exemplo: Seja uma fonte S={? 0,?,? 2,? 3,? 4 }, onde p 0 =0.5, p =0.2, p 2 =0.4, p 3 =0.5 e p 4 =0.. Encontre o código de Huffman para esta fonte. Encontre a árvore de decodificação e calcule a eficiência do código. ξ 2 0,40 0,40 0,40 0,60 0 ξ 0,20 0,25 0,35 0 0,40 ξ 0 0,5 0,20 0 0,25 ξ 3 0,5 0 0,5 ξ 4 0,0 4/62

42 Continuando... Estado inicial 0 0 ξ 2 0 ξ 4 ξ 3 ξ 0 0 ξ 42/62

43 Código Lempel-Ziv: é um código de comprimento fixo que é adaptativo à fonte discreta. Este código utiliza a correlação entre os símbolos enviados pela fonte para aumentar a sua eficiência. Outra vantagem: não requer o conhecimento prévio das estatísticas da fonte para obter um alto desempenho. Para que este código atinja um desempenho adequado é necessário que uma longa seqüência de símbolos seja codificada. O Lempel-ziv utiliza um livro de palavras-código cujo tamanho é definido pelo comprimento da palavra-código. 43/62

44 Exemplo: veja página 32 da apostila. Exercício: utilize o código de Lempel-ziv com n=3 para codificar uma fonte discreta S={s 0, s, s 2 s 3 } cujas estatísticas não são conhecidas. Recupere os símbolos a partir do resultado da codificação. Seqüência de saída da fonte: s 0 s s 2 s 0 s 0 s 0 s 2 s 2 s 0 s s 3 44/62

45 Canais discretos sem memória: é um modelo estatístico do canal de comunicação com J entradas e K saídas. O sinal de entrada é modelado por uma variável aleatória: X={x 0 x x 2... x j- } O sinal de saída, que é uma versão ruidosa do sinal de entrada, é modelado por uma variável aleatória Y: Y={y 0 y y 2... y k- } Para caracterizar o canal é necessário conhecer as probabilidades de transição p(y k /x j ) para todo k e todo j. 45/62

46 46/62 Caracterização de um canal discreto sem memória através da matriz de transição: = ) / ( ) / ( ) / ( ) / ( ) / ( ) / ( ) / ( ) / ( ) / ( j k j j k k x y p x y p x y p x y p x y p x y p x y p x y p x y p P L M O M M L L Dado que um símbolo foi inserido na entrada do canal, haverá um símbolo na saída com uma dada probabilidade. Logo: ) / ( 0 = = K k y k x j p

47 47/62 Utilizando a lei das probabilidades marginais pode-se obter a probabilidade de um dado símbolo Y aparecer na saída do canal. ) ( ) / ( ) ( ), ( ) ( 0 0 j J j j k k J j k j k x p x y p y p y x p y p = = = =

48 Modelo de canal binário discreto sem memória: é uma maneira simples e eficiente de modelar o comportamento de um canal de comunicação binário. x 0 = 0 -p y 0 = 0 p p x = -p A matriz de transição deste canal é dada por: y = P = p p p p 48/62

49 Exemplo: um canal binário discreto sem memória apresenta p=0.. Assumindo que uma fonte com p 0 =0.4 e p =0.6 seja empregada na entrada do canal, qual é a entropia do sinal na saída do canal? Qual é a probabilidade de erro de bit neste canal? Qual será a entropia na entrada e na saída deste canal se a fonte sempre emitir o símbolo? 49/62

50 50/62 Informação Mútua: determina a quantidade de informação obtida sobre uma ponta do canal, dado que foi observada a outra ponta do canal. = = = ) / ( )log, ( ) / ( k j K k J j k j y x p y x p Y X H = = = ) / ( )log, ( ) / ( j k K k J j k j x y p y x p X Y H Entropia condicional: determina a quantidade de incerteza remanescente sobre uma ponta do canal, dado que a outra ponta foi observada ) / ( ) ( ) : ( ) / ( ) ( ) : ( X Y H Y H X Y I Y X H X H Y X I = =

51 Propriedades da Informação Mútua: a) Simetria: I(X:Y) = I(Y:X) b) Polaridade: I(X:Y) = 0 c) Dependência conjunta: I(X:Y)=H(X)+H(Y)-H(X,Y) H K = J ( X, Y ) p( x j, yk )log2 k = 0 j = 0 p( x j, yk ) H ( X; Y ) H ( X Y) I ( X ; Y) H ( Y X ) 5/62 H (X ) H (Y )

52 Exemplo: Qual é a informação mútua do canal do exemplo anterior, para ambas distribuições de probabilidade da fonte de entrada? 52/62

53 Capacidade do canal: é a máxima informação mútua que se pode obter de um canal de comunicação. A informação mútua depende da distribuição da fonte de entrada e da probabilidade de transição do canal. A capacidade do canal somente será atendida se a fonte de entrada apresentar a distribuição adequada. Para um canal binário, a capacidade do canal é atingida apenas quando a fonte de entrada é equiprovável C = + ( p) log 2 ( p) + p log 2 (p) Qual é a Capacidade do Canal quando: p = 0, p = 0.5 e p =? Capacidade do Canal Probabilidade de transição 53/62

54 Qual é a variação da Informação Mútua de um canal binário sem memória em função da distribuição da fonte de entrada e da probabilidade de transição? 54/62

55 Codificação de canal: tem como objetivo inserir bits de redundância de maneira controlada que permitem detectar e corrigir erros causados pelo canal. F o n t e d i s c r e t a s e m m e m ó r i a C o d i f i c a d o r d e c a n a l Canal discreto s e m m e m ó r i a D e c o d i f i c a d o r d e C a n a l Destino Ruído 55/62

56 Transmissão confiável: é aquela em que a probabilidade de erro de bit pode ser tão baixa quanto necessário. O 2 Teorema de Shannon determina qual é a condição para que tenha uma transmissão confiável. Existe um esquema de codificação de canal que permite que a taxa de erro de bit seja tão baixa quanto desejada se a seguinte condição for satisfeita: H ( S) Ts Ts é o tempo de emissão dos símbolos pela fonte e T C é o tempo de bit após a codificação de canal. C Tc 56/62

57 Aplicação do Teorema de Codificação de Canal: a) Taxa de codificação: é a razão entre o número de bits de informação pelo número total de bits inseridos pelo codificador de canal: r = k n = k k + p b) Se a vazão do sistema tiver que se manter constante, então o tempo de sinalização na saída do codificador terá que ser menor do que o tempo de sinalização na entrada. r = T c T s c) Portanto a condição para que a probabilidade de erro possa ser tão baixa quanto necessária pode ser reescrita como r C 57/62

58 Exemplo: Código de Repetição ver página 50 da apostila. 58/62

59 Ruído AWGN (Additive White Gaussian Noise): é o ruído térmico presente em todos os modelos de canais de comunicação. Suas características são: a) Média nula. b) Potência: P ruído =s 2 =B. N 0, onde N 0 é a densidade espectral de potência do ruído e B é a largura de faixa do sinal transmitido. c) Distribuição Gaussiana e independente. S N (f) N 0 /2 f 59/62

60 Teorema da Capacidade do Canal: 3 Teorema de Shannon. Um canal de comunicação limitado em B Hertz de largura de faixa e contaminado por um ruído AWGN com densidade espectral de potência de N 0 /2 permite a comunicação confiável a uma taxa menor ou igual a P C = B log + = B + N B 2 log 2 0 P é a potência do sinal. SNR é a relação sinal-ruído. 60/62 ( SNR )

61 Limitante de Shannon 00 Região para a qual R b >C 0 Eficiência de BW (R b /B) Fronteira onde R b =C Região para a qual Rb<C E b /N 0 em db 6/62

62 Exemplo : qual é a máxima taxa de dados para uma transmissão confiável em um canal telefônico com relação sinal ruído igual à 5dB? Exemplo 2: Qual é a menor largura de faixa possível para se obter uma taxa de transmissão de 5kb/s em um canal com SNR=0dB? Exemplo 3: Qual é a potência necessária para se conseguir 5kb/s em um canal com 5kHz de banda, sabendo-se que a potência do ruído é igual a 2mW? 62/62