Fundamentos de Telecomunicações

Transcrição

1 Fundamentos de Telecomunicações LEEC_FT 4,5&6: Teoria da Informação Codificação de Fonte Professor Victor Barroso

2 Lição 4 Informação e Entroia Introdução Incerteza, robabilidade e informação Modelo de uma fonte discreta sem memória Medida de informação Definição e unidade de medida Proriedades Entroia Definição e unidade de medida Entroia da fonte binária Função de entroia Proriedades LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide

3 Introdução Acontecimento frequente Grande robabilidade de ocorrência Baixa incerteza quanto à sua ocorrência Acontecimento raro Baixa robabilidade de ocorrência Elevada incerteza quanto à sua ocorrência Ocorrência de um acontecimento raro ganho de informação elevado Ocorrência de um acontecimento frequente ganho de informação reduzido LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 3

4 Incerteza, Probabilidade & Informação Incerteza Probabilidade Informação LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 4

5 Fonte Discreta sem Memória Fonte discreta M-ária Alfabeto A de M símbolos A = Distribuição de robabilidade dos símbolos Pr Fonte sem memória { m, m,, } K m M ( m ), k =,, K, M : = k = k k = Símbolos estatisticamente indeendentes k, j =,, K, M : Pr M ( mk m j ) = Pr( mk ) = k Pr( mk, m j ) = k j k LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 5

6 Informação Definição (ara uma fonte M-ária sem memória) Variável aleatória I : A k K Unidade de medida bit: informação associada à ocorrência de um símbolo binário com robabilidade / Proriedades I 0 > I m < I m, m = I m + [ 0, + [, I ( m ) = log, k =,, M k j ( k ) I ( m j ) ( ) ( ) I ( m ) k j k k, j I A A LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 6

7 Entroia de uma Fonte Discreta sem Memória Definição Valor exectável (média) da variável aleatória I Unidade de medida bit/símbolo M ( ) = E { I } = = k log H A k = M k log k k = k LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 7

8 Entroia de uma Fonte Binária sem Memória Fonte binária A Função de entroia { m m }: =, = =, ( ) = log ( ) ( ) log ( ) H H( ) Proriedades Mínima e igual a zero quando um dos símolos ocorre com robabilidade Máxima e igual a quando os símbolos são equirováveis LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 8

9 Lição 5 Proriedades da entroia de uma fonte M-ária sem memória Extenção da Fonte Discreta sem Memória Definição Entroia da extensão de ordem K Códigos de comrimento variável Comrimento médio Exemlos Desigualdade de Kraft LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 9

10 Entroia Proriedades 0 H (A ) log M H (A ) é mínima (H min = 0) sse algum dos símbolos de A ocorrer com robabilidade (todos os restantes M terão robabilidade de ocorrência 0) H (A ) é máxima (H max = log M ) sse todos os símbolos de A forem equirováveis, i.e., = L = M = /M LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 0

11 LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide Extensão da Fonte Discreta sem Memória Alfabeto da extensão de ª ordem (fonte original): A = A Alfabeto e distribuição de robabilidade da extensão de ª ordem (roduto cartesiano de A com A): A = A A Exemlo = = m m m m A A = = = = = = : 0 : m m q q m q m q m q m A A

12 Entroia da Extensão da Fonte Discreta sem Memória H (A ): entroia de uma fonte discreta sem memória com alfabeto A. A K : extensão de ordem K do alfabeto A. A K = A A L A K Entroia da extensão de ordem K : H (A K ) = K H (A ) LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide

13 Extensão da Fonte, Entroia e Comrimento do Código K #A K = M K H (A K ) log M K L L med = L /K LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 3

14 Códigos de Comrimento Variável Comrimento Médio Codificação Símbolo fonte m k com robabilidade k código c k com l k bits alavra de Comrimento médio do código L med = l k k Descodificação unívoca c k m k sem ambiguidade Descodificação instantânea M k = LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 4

15 Exemlos símbolo fonte robabilidade de ocorrência m m m m H (A ) código I unívoco.000 instantâneo código II.50 não unívoco código III unívoco.750 instantâneo de refixo código IV.875 unívoco L med LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 5

16 Desigualdade de Kraft Existe um código binário com alavras de comrimento l k sse M ξ = l k Exemlo k = Dado o código de refixo {0, 0, 0, }, verifica-se a desigualdade de Kraft, ξ = = A distribuição de comrimentos {,, 3, 3} verifica a desigualdade de Kraft. Então, existe um código unívoco instantâneo LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 6

17 Lição 6 º Teorema de Shannon Códigos de Huffman Algoritmo de Huffman Codificação de Lemel Ziv Algoritmo de Lemel Ziv Codificação, codebook ( dicionário ) Descodificação LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 7

18 º Teorema de Shannon Teorema da Codificação de Fonte Seja H (A ) a entroia de uma fonte discreta sem memória e L med o comrimento médio das alavras de um eventual código ara a fonte A. Se, ara qualquer ε > 0, L med = H (A ) + ε, então existe um código unívoco e instantâneo ara a fonte A. Pelo contrário, se L med < H (A ), então não existe qualquer código unívoco e instantâneo ara a fonte A. Eficiência do código η = H (A ) / L med LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 8

19 Códigos de Huffman (95) Códigos de Redundância Mínima Comrimento das alavras de código Palavras de código Símbolos fonte Distribuição de robabilidade m m m 3 m 4 m L med =.30 H (A ) =.9 η = 99.6 % LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 9

20 Codificação de Lemel Ziv (978) O conhecimento da distribuição de robabilidade da fonte não é necessário Faz uso da correlação entre símbolos adjacentes Constitui norma ara comressão de ficheiros Imlementação Percorrer a sequência de dados dividindo-a em segmentos constituídos elas subsequências mais curtas ainda não detectadas LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 0

21 Algoritmo de Lemel Ziv Ilustração com a sequência Os símbolos 0 e estão inicialmente armazenados Subsequências armazenadas: 0, Dados ara analisar: Analisando da esquerda ara a direita, a subsequência mais curta ainda não detectada é 00 Subsequências armazenadas: 0,, 00 Dados ara analisar: Reetindo, a subsequência mais curta ainda não detectada é 0 Subsequências armazenadas: 0,, 00, 0 Dados ara analisar: LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide

22 Algoritmo de Lemel Ziv Codificação Posições numéricas subsequências Reresentações numéricas Blocos binários codificados LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide

23 Algoritmo de Lemel Ziv Descodificação Sequência original: Sequência codificada: aontador inovação Descodificando: Indo ao code book: Posições numéricas subsequências LEEC_FT - Lições 4,5&6 Fundamentos de Telecomunicações Slide 3