Módulo 6 Compressão de Imagem e Som

Transcrição

1 Módulo 6 Compressão de Imagem e Som Sistema Multimédia Ana Tomé José Vieira Departamento de Electrónica, Telecomunicações e Informática Universidade de Aveiro 1

2 Sumário Codificação sem Perdas (continuação) RLE- Run length encoder Codificadores com dicionário (Lempel-Ziv-Welch) Codificação com Perdas para Imagem Estrutura geral do codificador Exemplo do JPEG em imagem Codificação com Perdas para Som Redundância e Irrelevância DPCM MPEG áudio 2

3 Codificadores sem perdas Codificadores de símbolos Probabilísticos Exemplo: codificador de Huffman Codificadores de sequências de símbolos RLE- Run- length encoding Com dicionários : códigos associados a sequências de símbolos de comprimento variável Exemplos: LZ77 e Lempel-Ziv-Welch (LZW). 3

4 Run-Length Encoding Contar o número de ocorrências de um símbolo Codificar: símbolo e número de ocorrências do símbolo Ex1: AAAAAAAAAAAAABBBBAAAAA Sequência Codificada: A13 B4 A5 Aplicações: em imagens binárias/bitonais (ex: digitalização de um fax) 4

5 RLE- Run-length Encoding RLE Digitalização de uma imagem preto-branco (um fax, por exemplo ) 5

6 LZ77 Em 1977, Lempel e Ziv criaram uma técnica de compressão de texto baseada na observação empírica de que num texto ocorrem com frequência repetições. Utiliza uma janela deslizante com 2k caracteres e uma janela de observação de M carateres. Algoritmo Procura na janela de observação uma sequência contígua de carateres que exista na janela deslizante; Caso encontre, transmite o índice na janela deslizante e o número de carateres; Caso não encontre transmite o primeiro carater da janela de observação 6

7 LZ77 Exemplo Texto a codificar: abxyndooyndkasa Janela Deslizante 8 4 abxyndoo yndk +4 Janela de Observação Saída do codificador: abxyndoo(4,3)kasa Problemas: Se as repetições ocorrerem muito afastadas o algoritmo não as codifica; Aumentar o tamanho da janela deslizante faz aumentar o número de bits necessário para representar os ponteiros. 7

8 Codificadores Baseados em Dicionário Supondo a existência de um dicionário adequado ao ficheiro a codificar. Algoritmo Procurar no ficheiro ocorrências no dicionário Transmitir o índice da ocorrência no dicionário Problema Como criar o dicionário? Como transmitir o dicionário? 8

9 Codificador de LZW Lempel-Ziv-Welch Algoritmo Construção do dicionário em simultâneo com a codificação (dicionário inicial rudimentar); Procura sequências de símbolos no dicionário; Devolve o índice K da sequência no dicionário; Insere nova palavra no dicionário: concatenação da sequência com o símbolo seguinte da mensagem; Problemas O dicionário não pode ter um tamanho exagerado; O dicionário pode esgotar-se antes incluir todas as sequências e limitar a compressão. 9

10 LZW exemplo Algoritmo de codificação do LZW Dicionário inicial: a, aa, ab, aba, abaa, abaab, abaaa, Mensagem a codificar:...abaababbb... Qual é a sequência mais longa no dicionário?... abaaba No dicionário com indíce K=6. Saída do codificador.6. E acrescentar dicionário com abaaba. Dicionário: a, aa, ab, aba, abaa,abaab,abaaa, abaaba Qual é a sequência mais longa no dicionário?... abbb K=3.. Saída codificador:..63. Etc. Demonstração com apllet Java 10

11 Exemplos de Codificadores sem Perdas para Imagem JBIG: compressão de imagem binária sem perdas (aplicações de fax): RLE+Huffman. Norma de compressão de imagem sem perdas; JPEG-LS: Utiliza predição linear entre pixéis adjacentes e codificação de Huffman sobre o erro; GIF: Utiliza o algoritmo LZW para conseguir a compressão. Palete de cores restringida a um máximo de 256; PNG: Utiliza predição linear e o algoritmo DEFLATE para comprimir o erro. O algoritmo DEFLATE é inspirado no LZ77 e no LZW e é de utilização livre. Admite true color. 11

12 Codificação com Perdas para Imagem Estrutura geral do codificador Exemplo do JPEG em imagem 12

13 Compressão com Perdas Transformação quantificação Codificação entropia Disco Canal Transm. Transformação inversa Reversão da quantificação Descodificação entropia Transformação: domínio da frequência Quantificação: alocação de número bits diferentes por bandas de frequência (áudio, por exemplo) Códigos entropia: Huffman ou aritmético. 13

14 Exemplo: Imagem Codificador JPEG Transformada : blocos 8 8 DCT Quantização : aplicação de tabelas de valores de acordo com sensibilidade do sistema visual humano Passos de valor baixo mais bits Passos de valor elevado menos bits. Tabela: passos de quantificação

15 Exemplo em Matlab: para um Bloco Espaço Frequência Bloco após subtrair blkf=round(dct2(bloco1));! 15

16 Exemplo: um Bloco Frequência Versão(na frequência) aproximada do original xq=round(blkf./tabela)! Codificador entropia xq.*tabela! Descodificador entropia 16

17 Codificador de Entropia Codificador Huffman aplicado ao bloco com varrimento em zig-zag Sequência a codificar [ EOB ] 17

18 JPEG em Imagens a Cores Um codificador para cada plano de cor RGB não é eficiente Transformação para outro espaço de cor YC b C r (recomendação da norma) Uma imagem para a luminância (Y) e 2 imagens para a crominância (C b C r ). Sub-amostragem nas imagens de cor Exemplo: Para uma imagem Y com , C b com e C r com Dados entrelaçados ou separados 18

19 Imagens a cores 19

20 Conversão de Espaço de Cor Red Green Blue Y C b C r Em Matlab: Iycbcr= rgb2ycbcr(irgb)! 20

21 Sub-Amostragem da Crominância A visão humana possui uma menor resolução para as cores. Por este motivo, a informação de cor é normalmente representada com uma menor amostragem espacial; Para representar a forma como a amostragem da Crominância se relaciona com a amostragem da Luminância é utilizada a seguinte norma definida em conjuntos de 8 pixéis com o seguinte arranjo. J:a:b Pixel Y,Cr,Cb Pixel Cr,Cb Pixel Y J: Número de pixéis na horizontal. Em geral 4; a: Número de pixéis de crominância na primeira linha; b: Número de pixéis de crominância adicionais na segunda linha. 21

22 Sub-Amostragem da Crominância 4:4:4 4:1:1 4:2:2 4:2:0 Para informação mais detalhada sobre a sub-amostragem da informação de crominância, pode consultar o seguinte documento. 22

23 JPEG Exemplo 23

24 JPEG Exemplo 24

25 JPEG Exemplo 25

26 JPEG Exemplo 26

27 JPEG Joint Photographic Experts Group Este é o formato mais utilizado para armazenar imagens do tipo fotografias Realiza uma codificação com perdas ou sem perdas O factor de qualidade permite reduzir o espaço necessário para o armazenamento sacrificando a qualidade Modos de operação Baseline (sequencial): blocos codificados em sequência e armazenados em sequência Progressiva Hierárquica 27

28 Modos de operação Sequencial Progressivo Hierárquico 28

29 Outros Formatos com Perdas para Imagem TIFF (tagged image file format): vários tipos de imagem, com perdas e sem perdas; JPEG (Joint Photographic Experts Group): Compressão com perdas; JPEG2000: compressão com perdas e sem perdas. 29

30 Codificação com Perdas para Som Redundância e Irrelevância DPCM MPEG áudio 30

31 Redundância e Irrelevância Fonte Codifica dor Canal Descodi ficador Receptor Possibilidades de compressão: Diminuição da redundância do sinal gerado pela fonte (implica conhecimento sobre o sinal da fonte). Diminuição da irrelevância do sinal para o receptor (implica conhecimento sobre o receptor). 31

32 Redundância Sinal de Voz Limitado em banda Harmónico: nas partes vocalizadas pode ser modelizado como uma soma de sinusóides. Existem codificadores que tiram partido deste conhecimento para reduzir a redundância existente no sinal de voz. 32

33 Irrelevância O sistema de audição humana possui algumas limitações que podem ser exploradas Limitação em frequência 20Hz Hz. Limiar de audição. Mascaramento na frequência. Mascaramento temporal. Percepção harmónica. Os sistemas de compressão de sinais de música mais eficientes como por exemplo o MPEG tiram partido deste conhecimento sobre as limitações do sistema auditivo. 33

34 Codificadores de Voz O sinal de voz possui uma grande redundância pelo que é possível tirar partido deste conhecimento prévio Duas técnicas são usadas na compressão de voz Redução da redundância usando predição Redução da irrelevância usando quantização Os codificadores de voz dividem-se em duas categorias Diferencias (bitrates até 32kbps) Vocoders (bitrates até 2kbps) 34

35 Codificação por Predição Linear A codificação por predição linear significa que é possível prever (com um erro pequeno) cada amostra de um sinal usando uma combinação linear das anteriores; Exemplo de preditor linear de ordem zero; ˆx(n) = x(n 1) e(n) = x(n) ˆx(n) A predição da amostra atual é obtida supondo que é igual à amostra anterior do sinal. O erro é calculado como a diferença entre a prevista e a real. Para muitos sinais (voz, música, imagem,etc) o sinal de erro apresenta um histograma mais concentrado em torno de zero tornando assim possível usar um codificador de entropia como o código de Huffman. 35

36 Codificação por Predição Linear x(n) e(n) + Preditor + ˆ nx )( - e(n) x(n) Em geral a saída do preditor linear é obtida como uma combinação linear das N anteriores amostras do sinal x(n). + ˆ nx )( Preditor N ˆx(n) = α k x(n k) k=1 36

37 DPCM- Differencial Pulse Code Modulation Neste tipo de codificadores para além do preditor linear que reduz a redundância do sinal introduz-se um quantizador do sinal de erro. Esta técnica permite reduzir alguma da irrelevância no sinal uma vez que o ouvinte tolera algum ruído de quantização sem grande impacto perceptual. Apenas o erro quantizado é transmitido e a codificação é realizada de modo a que o descodificador consiga obter o sinal de saída apenas a partir do sinal de erro quantizado. 37

38 DPCM- Differencial Pulse Code Modulation x(n) + - e(n) Quantizador e q (n) Codificador de Entropia ˆ nx )( Preditor x q (n) Descodificador de Entropia e q (n) + + ˆ nx )( Preditor x q (n) 38

39 Preditor Linear de 1ª Ordem Aplicação em Som Preditor linear de 1ª ordem aplicado a um sinal de voz. 39

40 Preditor Linear de 1ª Ordem Aplicação em Imagem 40

41 Vocoders Codificadores específicos para sinais de Voz; Não podem ser usados para codificar outros tipos de sinais; São baseados num modelo matemático do trato vocal Vídeo das cordas vocais a vibrar 41

42 Modelo Matemático para a Produção de Voz Parâmetros Pitch Geração de impulsos Gerador de ruído Vozeada Não-vozeada Filtro do Trato Vocal Voz Os telemóveis GSM utilizam a Regular-Pulse Excitation Long-Term Predictor; A norma G.728 utiliza Low Delay Code Excited Linear Prediction 42

43 Codificadores de Voz Norma LB (Hz) Compressão IMA- ADPCM Freq. de Amostragem (khz) Resolução (bits) Taxa de transmissão (kbps) Qualidade ADPCM Telefone, CD G µ-law PCM Telefone G DPCM Rádio AM G low-delay CELP Telefone G ADPCM ou 6.3 H.323 GSM RPE 8? 13 Telefone Nos codificadores ADPCM (Adaptive DPCM), os coeficientes do preditor linear e o número de bits do quantizador, são adaptados ao longo do tempo às características do sinal de entrada. 43

44 Codificadores de Áudio Os codificadores para comprimir música com alta qualidade apenas tiram partido da irrelevância presente no sinal. Ou seja, removem do sinal as componentes tempo/frequência que o ouvinte não conseguirá notar; Existentes três características / limitações do sistema auditivo humano que os codificadores como o MP3 tiram partido apra conseguir os ganhos de compressão: Limiar auditivo; Mascaramento na frequência Mascaramento no tempo. Devido à necessidade de realizar uma análise tempo/frequência do sinal estes codificadores realizam sempre uma variante do espectrograma. 44

45 st property to exploit is the ATH (Absolute Threshold of Hearing). We sim s which are too weak. The ATH varies a lot with the frequency of the test so n in Fig. 2. The curve is approximated from experiments on a number of s Limiar de Audição Não é necessário codificar esta componente 45 2: The absolute threshold of hearing. The numbers indicate the age of the test su

46 Mascaramento na Frequência Não é necessário codificar esta componente 46

47 Mascaramento no Tempo 47

48 Codificadores de Áudio Norma LB (Hz) Compressão Freq. de Amostragem (khz) Taxa de transmissão (kbps) Qualidade Audio CD Linear PCM (stereo) CD MPEG-1 Layer I MPEG-1 Layer III MPEG-2/4 AAC sub-band coding sub-band coding sub-band coding near CD CD 8 96 arbitrary CD Em geral, o codificador AAC a 128kbps oferece a mesma qualidade perceptual que o codificador MP3 a 192kbps (estéreo). 48

49 MPEG-I: áudio Três camadas (Layers) para compressão com níveis de complexidade diferente e taxas/rácios diferentes Layer 1: Modelo psico-acústico com mascaramento na frequência 30 kbit/s (mono) a 448 kbit/s (stereo) Qualidade semelhante com CD para kbit/s Philips DCC (Digital Compact Cassette) 192kbit/s 49

50 MPEG-I: áudio Layer 2: Modelo psico-acústico acrescenta o mascaramento no tempo 64 kbit/s a 256 kbit/s(stereo) DVD DAB (Digital áudio broadcast) Qualidade semelhante ao CD para192 a 256 kbit/s Layer 3: Camada mais complexa. Maiores taxas de compressão 64 kbit/s (mono) Qualidade semelhante ao CD para 128 a 192 kbit/s Codificador com o maior atraso 50

51 "23!4'56%&!78/9!8/1!,:;0<)80)=:6'0!>)1%5!!!! "!#$%&$'%(!)*!+,-!./0)1%&!! Codificador MP3 $%&'(# )*+,-+.# /011# 2*,3-1# 45# &6# +7# 89:#;7'&)1-#+%&7,#<*=>#+#?-*16# '! 51!

52 Comparação entre MPEG Layer Target Bitrate Ratio Quality at 64 kbit/s Quality at 128 kbit/s Theoretic Min. Delay Layer kbit/s 4: ms Layer kbit/s 6: ms Layer 3 64 kbit/s 12: ms Qualidade : 5- perfeito; 4- ligeira diferenças; 3- ligeiro incómodo; 2- desagradável; 1- horrível. 52

53 Testes de Audição Sinal de teste "castanets.wav" MP3 64kbps MP3 32kbps MP3 8kbps MP kbps 53

54 Bibliografia Kristo Lehtonen, "GSM Codec". pdf Karlheinz Brandenburg, "MP3 and AAC Explained", AES 17 th International Conference on High Quality Audio Coding, pdf Ze-Nian Li and Mark S. Drew, "Fundamentals of Multimedia", PEarson Education, Capítulos 13 e