Fundamentos de Telecomunicações

Fundamentos de Telecomunicações LEEC_FT 4,5&6: Teoria da Informação Codificação de Fonte Professor Victor Barroso vab@isr.ist.utl.t

Lição 4 Informação e Entroia Introdução Incerteza, robabilidade e informação Modelo de uma fonte discreta sem memória Medida de informação Definição e unidade de medida Proriedades Entroia Definição e unidade de medida Entroia da fonte binária Função de entroia Proriedades LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide

Introdução Acontecimento frequente Grande robabilidade de ocorrência Baixa incerteza quanto à sua ocorrência Acontecimento raro Baixa robabilidade de ocorrência Elevada incerteza quanto à sua ocorrência Ocorrência de um acontecimento raro ganho de informação elevado Ocorrência de um acontecimento frequente ganho de informação reduzido LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 3

Incerteza, Probabilidade & Informação Incerteza Probabilidade Informação LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 4

Fonte Discreta sem Memória Fonte discreta M-ária Alfabeto A de M símbolos A = Distribuição de robabilidade dos símbolos Pr Fonte sem memória { m, m,, } K m M ( m ), k =,, K, M : = k = k k = Símbolos estatisticamente indeendentes k, j =,, K, M : Pr M ( mk m j ) = Pr( mk ) = k Pr( mk, m j ) = k j k LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 5

Informação Definição (ara uma fonte M-ária sem memória) Variável aleatória I : A k K Unidade de medida bit: informação associada à ocorrência de um símbolo binário com robabilidade / Proriedades I 0 > I m < I m, m = I m + [ 0, + [, I ( m ) = log, k =,, M k j ( k ) I ( m j ) ( ) ( ) I ( m ) k j k k, j I A 0 0.5 A LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 6

Entroia de uma Fonte Discreta sem Memória Definição Valor exectável (média) da variável aleatória I Unidade de medida bit/símbolo M ( ) = E { I } = = k log H A k = M k log k k = k LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 7

Entroia de uma Fonte Binária sem Memória Fonte binária A Função de entroia { m m }: =, = =, ( ) = log ( ) ( ) log ( ) H H( ) Proriedades 0 0.5 Mínima e igual a zero quando um dos símolos ocorre com robabilidade Máxima e igual a quando os símbolos são equirováveis LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 8

Lição 5 Proriedades da entroia de uma fonte M-ária sem memória Extenção da Fonte Discreta sem Memória Definição Entroia da extensão de ordem K Códigos de comrimento variável Comrimento médio Exemlos Desigualdade de Kraft LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 9

Entroia Proriedades 0 H (A ) log M H (A ) é mínima (H min = 0) sse algum dos símbolos de A ocorrer com robabilidade (todos os restantes M terão robabilidade de ocorrência 0) H (A ) é máxima (H max = log M ) sse todos os símbolos de A forem equirováveis, i.e., = L = M = /M LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 0

LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide Extensão da Fonte Discreta sem Memória Alfabeto da extensão de ª ordem (fonte original): A = A Alfabeto e distribuição de robabilidade da extensão de ª ordem (roduto cartesiano de A com A): A = A A Exemlo = = 0 0 00 0 4 3 m m m m A A = = = = = = 0 0 00 : 0 : 4 4 3 3 m m q q m q m q m q m A A

Entroia da Extensão da Fonte Discreta sem Memória H (A ): entroia de uma fonte discreta sem memória com alfabeto A. A K : extensão de ordem K do alfabeto A. A K = A A L A K Entroia da extensão de ordem K : H (A K ) = K H (A ) LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide

Extensão da Fonte, Entroia e Comrimento do Código K #A K = M K H (A K ) log M K L L med = L /K 37 5. 5. 6 6 37 0.4 0.4 5.50 3 37 3 5.63 5.63 6 5.33 4 37 4 0.84 0.84 5.5 5 37 5 6.05 6.05 7 5.40 6 37 6 3.6 3.6 3 5.33 7 37 7 36.47 36.47 37 5.9 8 37 8 4.68 4.68 4 5.5 9 37 9 46.89 46.89 47 5. 0 37 0 5.09 5.09 53 5.30 LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 3

Códigos de Comrimento Variável Comrimento Médio Codificação Símbolo fonte m k com robabilidade k código c k com l k bits alavra de Comrimento médio do código L med = l k k Descodificação unívoca c k m k sem ambiguidade Descodificação instantânea M k = LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 4

Exemlos símbolo fonte robabilidade de ocorrência m 0.500 00 0 0 0 m 0.50 0 0 0 m 3 0.5 0 00 0 0 m 4 0.5 0.750 H (A ) código I unívoco.000 instantâneo código II.50 não unívoco código III unívoco.750 instantâneo de refixo código IV.875 unívoco L med LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 5

Desigualdade de Kraft Existe um código binário com alavras de comrimento l k sse M ξ = l k Exemlo k = Dado o código de refixo {0, 0, 0, }, verifica-se a desigualdade de Kraft, ξ = + + 3 = A distribuição de comrimentos {,, 3, 3} verifica a desigualdade de Kraft. Então, existe um código unívoco instantâneo. 0 0 00 0 0 00 LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 6

Lição 6 º Teorema de Shannon Códigos de Huffman Algoritmo de Huffman Codificação de Lemel Ziv Algoritmo de Lemel Ziv Codificação, codebook ( dicionário ) Descodificação LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 7

º Teorema de Shannon Teorema da Codificação de Fonte Seja H (A ) a entroia de uma fonte discreta sem memória e L med o comrimento médio das alavras de um eventual código ara a fonte A. Se, ara qualquer ε > 0, L med = H (A ) + ε, então existe um código unívoco e instantâneo ara a fonte A. Pelo contrário, se L med < H (A ), então não existe qualquer código unívoco e instantâneo ara a fonte A. Eficiência do código η = H (A ) / L med LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 8

Códigos de Huffman (95) Códigos de Redundância Mínima Comrimento das alavras de código Palavras de código Símbolos fonte Distribuição de robabilidade 0 0 00 3 3 0 m m m 3 m 4 m 5 0.5 0.5 0.0 0.5 0.5 0 0.30 0.5 0.5 0.5 0 0.0 0 0.45 0.55 0.30 0.45 0 L med =.30 H (A ) =.9 η = 99.6 % 4 5 3 5 4.00 5 4 3 LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 9

Codificação de Lemel Ziv (978) O conhecimento da distribuição de robabilidade da fonte não é necessário Faz uso da correlação entre símbolos adjacentes Constitui norma ara comressão de ficheiros Imlementação Percorrer a sequência de dados dividindo-a em segmentos constituídos elas subsequências mais curtas ainda não detectadas LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 0

Algoritmo de Lemel Ziv Ilustração com a sequência 0000000000... Os símbolos 0 e estão inicialmente armazenados Subsequências armazenadas: 0, Dados ara analisar: 0000000000... Analisando da esquerda ara a direita, a subsequência mais curta ainda não detectada é 00 Subsequências armazenadas: 0,, 00 Dados ara analisar: 00000000... Reetindo, a subsequência mais curta ainda não detectada é 0 Subsequências armazenadas: 0,, 00, 0 Dados ara analisar: 0000000... LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide

Algoritmo de Lemel Ziv Codificação 3. 0000000000... 4. 00000000... 5. 0000000... 6. 000000... 7. 00000... 8. 000... 9. 0... Posições numéricas 3 4 5 6 7 8 9 subsequências 0 00 0 0 0 00 00 0 Reresentações numéricas 4 4 6 6 Blocos binários codificados 000 00 00 000 000 00 0 LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide

Algoritmo de Lemel Ziv Descodificação Sequência original: 0000000000... Sequência codificada: 000 00 00 000 000 00 0... aontador inovação Descodificando: 0 4 0 4 0 6 0 6... Indo ao code book: Posições numéricas 3 4 5 6 7 8 9 subsequências 0 00 0 0 0 00 00 0 00 0 0 0 00 00 0 LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 3