SM - Sistemas Multimédia CODIFICAÇÃO DE FONTE (parte 2) 4.º / 6.º semestre LEIC (verão 2016/2017)

Transcrição

1 SM - Sistemas Multimédia CODIFICAÇÃO DE FONTE (parte 2) 4.º / 6.º semestre LEIC (verão 2016/2017)

2 Tópicos Propriedades dos códigos de fonte Código ótimo e código ideal Singularidade, descodificação única, descodificação instantânea, livre de prefixo Desigualdade de Kraft Definição Propriedades Algoritmos de construção de códigos Huffman, Shannon-Fano, Unário, Golomb 23/03/2017 2

3 Propriedades dos códigos de fonte Um código ótimo verifica as seguintes condições: Se p( xi) p( x j) então As duas palavras maiores têm o mesmo comprimento l( c( xi)) l( c( x j)) diferem apenas no último dígito correspondem aos símbolos menos prováveis O comprimento médio das palavras está contido no intervalo H( X) L H( X) 1 23/03/2017 3

4 Propriedades dos códigos de fonte Um código diz-se ideal, para determinada fonte, quando L H(X) Como consequência, a eficiência do código ideal é 100% H( X) H( X) 1 L H( X) 23/03/2017 4

5 Propriedades dos códigos de fonte Por exemplo, o código {0, 10, 110, 111} é ótimo Para a distribuição de probabilidades dada por {1/2, 1/4, 1/8, 1/8} este código torna-se ideal O código {0,10,110,1110} não é ótimo e nunca poderá ser ideal 23/03/2017 5

6 Propriedades dos códigos de fonte Singularidade Um código diz-se singular se existirem símbolos diferentes codificados com a mesma palavra de código x i x j c( xi) c( x j) Um código diz-se não singular quando a símbolos diferentes correspondem palavras de código diferentes x i x j c( xi) c( x j) 23/03/2017 6

7 Propriedades dos códigos de fonte Singularidade Por exemplo: o código {0, 0, 10, 11} é singular o código {1, 0, 10, 11} é não singular 23/03/2017 7

8 Propriedades dos códigos de fonte Descodificação única Um código tem descodificação única quando a sua extensão para a ordem n é não singular Não existe ambiguidade de descodificação, quando se concatenam palavras do código 23/03/2017 8

9 Propriedades dos códigos de fonte Descodificação única Por exemplo: o código {1, 0, 10, 11} não tem descodificação única A sequência 11 será uma ocorrência do quarto símbolo ou duas ocorrências do primeiro símbolo? A sequência 10 será uma ocorrência do terceiro símbolo ou uma ocorrência do primeiro símbolo seguida de uma ocorrência do segundo símbolo? os códigos {0, 01, 011, 0111} e {0, 10, 110, 1110} têm descodificação única 23/03/2017 9

10 Propriedades dos códigos de fonte Descodificação instantânea Um código tem descodificação instantânea quando se carateriza por ter auto-pontuação Como consequência, conseguimos descodificar imediatamente a sequência de símbolos, através da análise da sequência de códigos 23/03/

11 Propriedades dos códigos de fonte Descodificação instantânea Por exemplo: o código {0, 01, 011, 0111} tem descodificação única, mas não instantânea o código {0, 10, 110, 1110} tem descodificação única e instantânea o código {0, 10, 110, 111} tem descodificação única e instantânea o código {00, 10, 01, 11} tem descodificação única e instantânea 23/03/

12 Propriedades dos códigos de fonte Livre de prefixo Um código diz-se livre de prefixo, quando as palavras de menor dimensão não são prefixo das palavras de maior dimensão Tem sempre descodificação instantânea 23/03/

13 Propriedades dos códigos de fonte Livre de prefixo Por exemplo: o código {0, 01, 011, 011} não é livre de prefixo o código {0, 10, 110, 1110} é livre de prefixo o código {0, 10, 110, 111} é livre de prefixo 23/03/

14 É definida por Desigualdade de Kraft Se determinado conjunto de M palavras de código com comprimento l i respeitar a desigualdade de Kraft, então existe um código instantâneo formado por Um conjunto com esse número de palavras, M As palavras têm comprimento l i 23/03/

15 Desigualdade de Kraft Considerando o código {0, 1, 11}, temos e como tal não respeita a desigualdade de Kraft Considerando o código {0, 10, 11}, temos respeitando a desigualdade de Kraft, com igualdade Para o código {0, 10, 110}, temos 23/03/

16 Desigualdade de Kraft Considerações sobre o valor de D: Com D > 1, não é possível estabelecer um código instantâneo com M palavras com os comprimentos indicados Com D 1, é possível estabelecer um código instantâneo com M palavras com os comprimentos indicados Com D=1, o código é completo (tem aproveitamento máximo) Com D < 1, o código tem redundância 23/03/

17 Código de Huffman Ordenar os símbolos por probabilidade decrescente e considerá-los como nós duma árvore Enquanto houver mais do que um nó: Agrupar os dois nós de menor probabilidade e formar um novo nó com probabilidade igual à soma dos dois nós que se agruparam; Arbitrariamente atribuir os códigos 0 e 1 a cada ramo dos nós que se juntaram O código de cada símbolo obtém-se pela leitura sequencial da raiz até ao nó final (folha) a que pertence o símbolo em causa 23/03/

18 Código de Huffman Exemplo de construção de árvore a 3/8 1 a 1 b 1/4 1 b 01 c 1/ /8 c 001 d 1/8 0 3/8 d 000 Entropia da fonte H(X) = Eficiência = H(X) / L Comprimento médio das palavras do código L = 2 = 0, /03/2017 = 95,28 % 18

19 Código de Huffman Cálculo em MATLAB do código de Huffman Fonte com 8 símbolos % Lista de símbolos. symbols = {'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'}; % Probabilidades dos símbolos. p = [0.25, 0.2, 0.2, 0.18, 0.09, 0.05, 0.02, 0.01]; % Obter o código. dict = huffmandict(symbols,p) 23/03/

20 Código de Huffman Cálculo em MATLAB do código de Huffman Fonte com 8 símbolos a --> 01 prob=0.25 b --> 11 prob=0.20 c --> 10 prob=0.20 d --> 000 prob=0.18 e --> 0010 prob=0.09 f --> prob=0.05 g --> prob=0.02 h --> prob=0.01 H(X)=2,5821 e L=2,63; eficiência = 98,18 % 23/03/

21 Código de Huffman Histogramas da eficiência e da redundância, para 1000 codificações de fontes de M=16 símbolos 23/03/

22 Código de Shannon-Fano Ordenar os símbolos por probabilidade decrescente Considerar todos os símbolos para a alocação inicial de bits De forma recursiva, dividir os símbolos em duas partes, approximadamente com o mesmo peso (probabilidade) Atribuir bit 1 a uma parte Atribuir bit 0 à outra parte Proceder assim, até todas as partes conterem apenas um símbolo 23/03/

23 Código de Shannon-Fano Exemplo Fonte com M=6 símbolos e probabilidades {0,36; 0,18; 0,18; 0,12; 0,09; 0,07} 23/03/

24 Código de Shannon-Fano Fonte com M=5 símbolos e probabilidades {0,35; 0,17; 0,17; 0,16; 0,15} Simbolo Probabilidade #1 #2 #3 A 0, B 0, C 0, D 0, E 0, /03/

25 Algumas considerações Código de Huffman realiza abordagem bottom-up Código de Shannon-Fano constrói o código de forma top-down O código de Huffman é, regra geral, mais eficiente Por exemplo, para a distribuição de probabilidades {0,35; 0,17; 0,17; 0,16; 0,15} (com H(X)= 2,23) o código de Huffman obtém palavras com comprimento {1, 3, 3, 3, 3}, com L=2,30; eficiência de 97,08% o código de Shannon-Fano obtém palavras com comprimentos {2, 2, 2, 3, 3}, com L=2,31; eficiência de 96,66% 23/03/

26 Código unário Ordenar os símbolos por probabilidade decrescente Realizar a atribuição das configurações binárias /03/

27 Código de Golomb Ordenar os símbolos (números inteiros não negativos) por probabilidade decrescente Representa os números n através do resultado da sua divisão inteira pelo parâmetro m, obtendo-se o quociente q e o resto r o quociente q é representado através de código unário o resto é r é representado por código binário natural modificado 23/03/

28 n q r Código de Golomb Análise da evolução de q e r para m=3 e m=5 m=3 n q r m=5 23/03/

29 Código de Golomb Codificação do quociente em código unário q Código /03/

30 Código de Golomb Codificação do resto em código binário modificado Para m=3, temos: O primeiro valor do resto é codificado com 1 bit Os restantes valores são codificados como r+1, usando 2 bits Para m=5, temos: Os primeiros três valores do resto é codificado com 2 bits Os restantes valores são codificados como r+3, usando 3 bits 23/03/

31 Código de Golomb Palavras de código para m=3 n q r Código /03/

32 Código de Golomb Palavras de código para m=5 n q r Código /03/

33 Algumas considerações Os algoritmos de Huffman e Shannon-Fano constroem a lista de palavras de código, de forma fechada Lista de símbolos Função massa de probabilidade para os símbolos O código unário e o código de Golomb estabelecem regras de construção gerais e não necessitam de receber listas fechadas de símbolos e probabilidades 23/03/