Tipos de códigos de fonte

Transcrição

1 Tipos de códigos de fonte Luis Henrique Assumpção Lolis 13 de setembro de 2013 Luis Henrique Assumpção Lolis Tipos de códigos de fonte 1

2 Conteúdo 1 Código de prefixo 2 Código de Fano 3 Código de Huffman 4 Lempel-Ziv Luis Henrique Assumpção Lolis Tipos de códigos de fonte 2

3 Códigos de fonte Compressão de dados sem perda : compactação de dados. Relembrando Relembrando : O código deve ser unicamente decodificável Qualquer sequencia de palavras código é ligada à uma única sequência de símbolos da fonte. Luis Henrique Assumpção Lolis Tipos de códigos de fonte 3

4 Sumário 1 Código de prefixo 2 Código de Fano 3 Código de Huffman 4 Lempel-Ziv Luis Henrique Assumpção Lolis Tipos de códigos de fonte 4

5 Código de prefixo Para garantir a condição, as palavras códigos pequenas não podem ser prefixos de outras palavras código maiores. O prefixo é do primeiro ao penúltimo digito da palavra-código. Luis Henrique Assumpção Lolis Tipos de códigos de fonte 5

6 Para calcular um código de prefixo 1 Ordenar os símbolos por ordem decrescente de probabilidade. 2 Alocar 0 para o primeiro símbolo e 1 aos seguintes. 3 Alocar 0 no segundo digito e 1 para os seguintes. 4 Repetir a operação até chegar no último símbolo. Símbolo Probabilidade u1 1/4 u2 1/4 u3 1/8 u4 1/8 u5 1/16 u6 1/16 u7 1/32 u8 1/32 u9 1/32 u10 1/32 Código binário Luis Henrique Assumpção Lolis Tipos de códigos de fonte 6

7 Para calcular um código de prefixo 1 Ordenar os símbolos por ordem decrescente de probabilidade. 2 Alocar 0 para o primeiro símbolo e 1 aos seguintes. 3 Alocar 0 no segundo digito e 1 para os seguintes. 4 Repetir a operação até chegar no último símbolo. Símbolo Probabilidade u1 1/4 u2 1/4 u3 1/8 u4 1/8 u5 1/16 u6 1/16 u7 1/32 u8 1/32 u9 1/32 u10 1/32 Código binário Luis Henrique Assumpção Lolis Tipos de códigos de fonte 6

8 Esse código é conhecido como código de vírgula, pois o zero indica o fim da palavra código e o fato de uma palavra código não ter mais que 9 símbolos. Luis Henrique Assumpção Lolis Tipos de códigos de fonte 7

9 Sumário 1 Código de prefixo 2 Código de Fano 3 Código de Huffman 4 Lempel-Ziv Luis Henrique Assumpção Lolis Tipos de códigos de fonte 8

10 Código de Fano 1 Ordenar os símbolos por ordem decrescente de probabilidade 2 Para o grupo de maior probabilidade atribuir 0 aos dois primeiros e 1 para os demais 3 Para o grupo com 0 atribuído, diferenciar os símbolos por 0 e 1 na segunda linha 4 Na segunda linha a partir do segundo grupo mais provável, atribuir 0 aos dois primeiros e 1 aos demais. 5 Repetir o procedimento aos símbolos seguintes. Luis Henrique Assumpção Lolis Tipos de códigos de fonte 9

11 Ex:Código de Fano Calcular o código binário usando o método de Fano para a seguinte sequência de símbolos e probabilidades: Símbolo Probabilidade u 1 0,3 u 2 0,2 u 3 0,15 u 4 0,1 u 5 0,1 u 6 0,05 u 7 0,05 u 8 0,05 Luis Henrique Assumpção Lolis Tipos de códigos de fonte 10

12 Sumário 1 Código de prefixo 2 Código de Fano 3 Código de Huffman 4 Lempel-Ziv Luis Henrique Assumpção Lolis Tipos de códigos de fonte 11

13 Código de Huffman Criado para se aproximar ao máximo do limite do teorema de Shannon : L (V) Para isso cada palavra código é analisada por vez. O número de bits da palavra código é a mais perto da quantidade de informação do símbolo que ela representa. O código basicamente reagrupa os dois símbolos de menor probabilidade em um só e vai reagrupando até sobrar somente dois grupos. O código é calculado da seguinte maneira: Luis Henrique Assumpção Lolis Tipos de códigos de fonte 12

14 1 Listar os símbolos em ordem decrescente de probabilidade. Os dois símbolos de menor probabilidade são listados com 0 e 1. Essa etapa é chamada de Splitting. 2 Esses dois símbolos são combinados e geram um outro símbolo cuja probabilidade é a soma das probabilidades dos símbolos de origem. Etapa chamada de Combining 3 Repete as operações até sobrar dois símbolos, onde vai se acordar um 0 e um 1 para esses símbolos símbolo p k p k p k p k p k Código r = 2 u1 0,4 u2 0,3 u3 0,1 u4 0,1 u5 0,06 u6 0,04 Luis Henrique Assumpção Lolis Tipos de códigos de fonte 13

15 Luis Henrique Assumpc a o Lolis Tipos de co digos de fonte 14

16 Calcular a eficiência do código Luis Henrique Assumpção Lolis Tipos de códigos de fonte 15

17 Calcular a eficiência do código 1 Primeiro se calcula a entropia do código ( ) 1 0, 4 log 2 0, 4 H(V) = K 1 k=0 ( 1 + 0, 3 log 2 ( 0, 3 1 0, 06 log 2 0, 06 = 2, 1435 p k log 2 ( 1 p k ) = ) ( , 1 log 2 ) 0, 1 ) + 0, 04 log 2 ( 1 0, 04 ) + Luis Henrique Assumpção Lolis Tipos de códigos de fonte 15

18 Calcular a eficiência do código 1 Primeiro se calcula a entropia do código ( ) 1 0, 4 log 2 0, 4 H(V) = K 1 k=0 ( 1 + 0, 3 log 2 ( 0, 3 1 0, 06 log 2 0, 06 = 2, 1435 p k log 2 ( 1 p k ) = ) ( , 1 log 2 ) 0, 1 ) + 0, 04 log 2 ( 1 0, 04 2 Depois se calcula o tamanho médio da palavra código L = K 1 k=0 p k l k = ) + 0, , , , , , 04 = 2, 2 Luis Henrique Assumpção Lolis Tipos de códigos de fonte 15

19 Exercício: 1 Faça o código de Huffman dos seguines símbolos 2 Indique sua eficiência Símbolo Probabilidade Código Binário u1 1/32 u2 1/16 u3 1/4 u4 1/8 u5 1/8 u6 1/4 u7 1/32 u8 1/32 u9 1/32 u10 1/16 Luis Henrique Assumpção Lolis Tipos de códigos de fonte 16

20 Sumário 1 Código de prefixo 2 Código de Fano 3 Código de Huffman 4 Lempel-Ziv Luis Henrique Assumpção Lolis Tipos de códigos de fonte 17

21 Lempel-Ziv Huffman necessita das probabilidades da fonte. Lempel-Ziv é adaptativo e não necessita de conhecer o modelo probabiĺıstico da fonte. Código de tamanho constante. O número de palavras possíveis indica o tamanho do código. O dicionário é enviado juntamente com a informação para decodificação. Eficiente para grandes sequências com alta taxa de repetição. O código separa a fonte em segmentos que são as menores subsequências não encontradas anteriormente. Baseado na noção de dicionário. Se a letra já está no dicionário não é adicionada. No caso de sequência binária, as duas primeiras palavras ( 0 e 1 ) já têm o endereço 0 como indicado. O endereços são contados a partir do 1, que é o endereço da palavra 0 Luis Henrique Assumpção Lolis Tipos de códigos de fonte 18

22 Lempel-Ziv Separar a sequência está no dicionário não está no dicionário, adicionar. 3 0 está. 01 está, 010 não, adicionar. 4 1 está, 11 não, adicionar. 01,010,11,10,00,101,011,1010,0101,110,10101,0110 Luis Henrique Assumpção Lolis Tipos de códigos de fonte 19

23 Lempel-Ziv Indexar os segmentos que foram separados. O 0 já está no endereço 1 e o 1 já está no endereço 2. 01,010,11,10,00,101,011,1010,0101,110,10101,0110 Luis Henrique Assumpção Lolis Tipos de códigos de fonte 20

24 Lempel-Ziv O código é o endereço do prefixo do seguimento e o último dígito. 0,01,1,010,11,10,00,101,011,1010,0101,110,10101, sem prefixo o 0 recebe o prefixo 0000 (pois não tem prefixo de ninguém) e o valor 0. o 1 recebe o prefixo 0000 (pois não tem prefixo de ninguém) e o valor 1. o 01 recebe o prefixo 0001 (pois o prefixo é o 0 de endereço 1 ) e o valor recebe o prefixo 0011 (pois o prefixo é o 01 de endereço 3 ) e o Luis Henrique Assumpção Lolis Tipos valor de 0. códigos de fonte 21