SMU UDESC. Capítulo 3 Compressão de dados. Multimídia. Prof. Claudinei Dias

Transcrição

1 UDESC SMU Capítulo 3 Compressão de dados Prof. Claudinei Dias Multimídia

2 Necessidade de compressão; Princípios da compressão; Classificação da técnicas de compressão; Medição do desempenho de compressão; Técnicas de compressão de áudio, vídeo e imagens; Padrões de compressão multimídia. 2/112

3 Técnicas de compressão são essenciais para as aplicações multimídia, as razões são: Grande requisito de armazenamento e dados multimídia; Velocidade lenta dos dispositivos de armazenamento; Largura de banda de rede limitada; 3/112

4 Requisitos de armazenamento Caso nenhuma técnica de compressão fosse utilizada; Em uma aplicação multimídia típica o armazenamento em disco seria: 30 min. de vídeo - 50 GB; 2000 imagens - 15 GB; 40 min. de áudio de som estéreo - 0,4 GB. 4/112

5 Largura de banda Transmissão de som de qualidade CD não compactado; Em redes de media e longa distância esta taxa torna-se inviável; Transmissão de vídeo de qualidade TV é incompatível com a maioria das redes; 5/112

6 Transferência de dados entre dispositivos Taxa de bits insuficientes dos dispositivos de armazenamento; Um dispositivo de armazenamento deveria ter uma taxa de bit de 30MB/s para apresentar um vídeo 620x560, 24bits por pixel a 30fps; Tecnologia de CD-ROM de hoje fornece uma taxa de transferência de até 7,8MB/s (52x) 6/112

7 Portanto, é necessário compactação para armazenar, apresentar e transmitir dados multimídia Técnicas de compressão modernas reduzem: os requisitos de armazenamento; os requisito de largura de banda da rede; e a velocidade de transferência entre dispositivos. 7/112

8 Fatores explorados pelas técnicas de compressão de dados multimídia: Redundância de dados; Amostras vizinhas não são inteiramente diferentes; Remoção da redundância não altera o significado do dado; Propriedades da percepção humana; Os sentidos humanos podem ser considerados na compressão dos dados Sensibilidade audível Sensibilidade visual 8/112

9 Redundância de áudio digital Amostragens adjacentes são similares; Técnica de compressão - Codificação preditiva: Próximo valor pode ser previsto baseado no valor atual. 9/112

10 Redundância de áudio digital - Voz Nós falamos todo o tempo; Técnica de compressão Remoção do silêncio: Entre uma rajada e outra há instantes de silêncio. 10/112

11 Redundância em imagem digital Amostras vizinhas são similares; Técnica de compressão Redundância espacial: Redundância pode ser removida usando codificação preditiva ou outras técnicas. 11/112

12 Redundância em vídeo Vídeo é uma sequência de imagens; Imagens tem redundância espacial. Imagens vizinhas são normalmente similares; Redundância temporal. Pode ser removida utilizando codificação preditiva ou outra técnica. 12/112

13 Propriedade das percepção humana Humanos podem tolerar alguns erros de informações ou perdas sem afetar a efetividade da informação; Versão compactada não necessita representar exatamente a informação original. exceção dados alfanuméricos; Algumas informações são mais importantes para a percepção humana que outras; Técnicas de compressão podem remover informações desnecessárias. 13/112

14 Sem perdas; Com perdas; Codificações híbridas. 14/112

15 Compressão Sem perdas - Codificação por entropia Dados podem ser reconstruído exatamente como o original; utilizados para comprimir programas e documentos legais ou médicos; Técnica genérica trata cadeias de bits sem levar em conta seu significado; Técnicas de compressão sem perda exploram apenas estatística de dados (redundância de dados). baixa taxa de compressão; ex. run-length, Huffman e Lempel Ziv. 15/112

16 Compressão Com perdas Utilizado em dados multimídias onde erros e perdas são toleráveis; Leva em consideração a semântica dos dados; remove os dados irrelevantes e compacta o dado original; Utiliza propriedades da percepção humana; alta taxa de compressão; 16/112

17 Codificações híbridas Combinam técnicas com perdas e sem perdas; Várias técnicas são agrupadas para formar uma nova técnica de codificação; Taxa de compressão mais alta; 17/112

18 Taxa de compressão Tamanho do dado original/tamanho do dado após compressão; Técnica sem perda: quanto maior a taxa melhor é a técnica; Técnica com perda: quanto maior a taxa pior é a técnica; Qualidade da mídia reconstituída (para técnicas com perda); Medida em SNR (razão sinal/ruídos); Maior a SNR melhor é a qualidade. 18/112

19 Complexidade de implementação e velocidade de compressão Importante para aplicações tempo-real (videoconferência); compressão e descompressão deve ser realizada em temporeal; Em aplicações onde captura e apresentação das informações não são simultâneas: Velocidade de compressão não é muito importante; Velocidade de descompressão é importante. 19/112

20 Compressão sem perda: Codificação RLE Codificação por Entropia ou Run-length; Esse método é aplicado em formatos padrões como PCX, BMP (RLE) e Photoshop; Parte dos dados de imagens, áudios e vídeos podem ser compactados através da supressão de sequências de símbolos iguais; Exemplo: UHHHHHHIMMG1223 Sequências idênticas são substituídas por um símbolo especial, número de ocorrências e o símbolo repetidos. Exemplo: U!6HIMMG /112

21 Compressão sem perda: Codificação RLE Fator de compressão depende do dado de entrada; Técnica não é utilizada para sequências menores que 4 Exemplo: U!6HIMMG1223 (é o máximo de compactação) Se o símbolo! especial ocorrer no dado de entrada, ele deve ser substituído por dois simbolos; Entrada: U!HIIIIID Saída: U!!H!5ID 21/112

22 Compressão sem perda: Codificação RLE O algoritmo pode ser facilmente otimizado, substituindo sequências maiores que um byte; Requer que o tamanho da sequência seja codificado ou pode utilizar um caractere especial de fim; Entrada: UFYUGDUFHUFHUFHUFHUFHBFD Saída: UFYUGD!5UFH$BFD 22/112

23 Compressão sem perda: Codificação RLE É vantajoso aplicar a codificação RLE quando houver grandes agrupamentos de símbolos iguais; As principais aplicações são em imagens bitmap Em imagens com grandes espaços envolvendo só uma cor; Em imagens geradas por computador, por estar agrupadas de forma bem definida geograficamente. 23/112

24 Compressão sem perda: Codificação RLE Exercício Compacte a sequencia de bits apresentada onde cada número corresponde a cores associadas 1) !734!758764!5278!77! ) !6432$!78!567$!42!528$ 5!6432$!78!567$!52!482$8 24/112

25 Compressão sem perda: Codificação de Huffman Codificação estatística; Atribuir menos bits a símbolos que aparecem mais frequentemente e mais bits a símbolos que aparecem menos; Suponha um arquivo de caracteres: e, t, x, z Probabilidades: e=0.8; t=0.16; x=00.2; z=00.2 É necessário 2 bits para representar cada um dos 4 símbolos e=00; t=01; x=10; z=11 o arquivo terá o tamanho de 2*1.000 = 2.000bits 25/112

26 Compressão sem perda: Codificação de Huffman Usando a Codificação de Huffman pode-se usar quantidades de bits diferentes para representar estes símbolos de acordo com a probabilidade; e=1; t=01; x=001; z= (1*0.8+2*0.16+3*0.02+3*0.02) = 1.240bits Apesar de x e z terem sido representados por mais bits, o número será menor pois eles ocorrem menos vezes. 26/112

27 Compressão sem perda: Codificação de Huffman Geração do código de Huffman: 1- Coloque os símbolos ao longo de uma linha de probabilidade acumulada (probabilidade aumenta de baixo para cima) símbolos de mesma probabilidade colocar em qualquer ordem; 2- Junta-se os dois símbolos de menor probabilidade a um nó para formar dois ramos na árvore; 3- Nova árvore formada é tratada como um símbolo único com a probabilidade igual a soma dos símbolos ramos; 4- Repita os passos 2 e 3 até que todos os símbolos sejam inseridos na árvore (último nó é chamado raiz); 27/112

28 Compressão sem perda: Codificação de Huffman Geração do código de Huffman: 5- Partindo do nó raiz, atribua bit 1 para o ramo de maior prioridade e bit 0 para o de menor; 6- O código para cada símbolo é obtido montando códigos ao longo do caminho entre nó raiz e símbolo; 28/112

29 Compressão sem perda: Codificação de Huffman Operação computacional mais custosa Adição de floats (probabilidades); Ocorre do lado do codificador. No decodificador Realiza uma simples verificação na tabela de Huffman; Tabela de Huffman é parte do fluxo de dados ou é conhecida pelo decodificador. 29/112

30 Compressão sem perda: Codificação de Huffman Aplicações em áudio e vídeo Tabelas padrão de Huffman são utilizadas e conhecidas pelo codificador e decodificador; Codificação e decodificação são mais rápidos. Desvantagem Tabelas padrão obtém fator de compressão menores; Elas não são ótimas para mídias individuais. Usadas para vídeo em tempo-real 30/112

31 Compressão sem perda: Codificação de Huffman Normalmente nem todos os símbolos tem uma representação codificada na tabela de Huffman Apenas os caracteres com alta probabilidade de ocorrências; Demais são codificados diretamente e marcados com flag especial. Técnica útil quando um número de caracteres diferentes é muito grande mas apenas alguns deles tem uma alta probabilidade de ocorrência 31/112

32 Compressão sem perda: Codificação de Huffman Exercício 1) Suponha um arquivo de caracteres: a, b, c, d Probabilidades: a=0.7; b=0.20; c=0.07; d=0.03 Demonstre a árvore de distribuição das probabilidades Monte a tabela codebook Indique o tamanho do arquivo sem compressão e após ser comprimido 32/112

33 Compressão sem perda: Lempel-Ziv (LZ) Algoritmo de compressão baseada em dicionário Final dos anos 70, Jacob Ziv e Abraham Lempel Tem muitas variantes com o objetivo de solucionar limitações das versões originais 33/112

34 Compressão sem perda: Lempel-Ziv (LZ) Explora redundância de dados Repetição de conjunto de símbolos no arquivo É baseado na construção de um dicionário de símbolos a partir do fluxo de entrada Idéia geral, aplicada em arquivo de texto Quando uma nova palavra é encontrada: Ela é adicionada ao dicionário; Um token que identifica a posição da palavra no dicionário substitui a palavra na frase. Se a palavra já foi registrada: Ela é substituída pelo token de posição do dicionário 34/112

35 Compressão sem perda: Lempel-Ziv (LZ) Exemplo: Suponha que temos um arquivo de caracteres Se representarmos o arquivo usando 8 bits por caráter, o arquivo requer bits Assumindo que o arquivo contém palavras ou frases das quais 500 são diferentes Necessitamos 9 bits como token para identificar cada palavra ou frase Precisamos 9*2000 bits para codificar o arquivo Obtemos uma taxa de compressão de 4,4 Na pratica o dicionário deve ser armazenado também Baixando a taxa de compressão obtida 35/112

36 Compressão sem perda: Lempel-Ziv (LZ) Aplicações que usam LZ ou variantes Unix Compression O algoritmo LZC é utilizado pelo utilitário compress do UNIX GIF (Graphics Interchange Format) Muito similar ao compress do UNIX também usa LZC Protocolo V42bis Usa uma varieante do LZW (LZT) Zip e gzip usam uma variante do LZ77 combinada com Huffman estático ARJ usa a codificação de Huffman e o algoritmo LZSS Winrar usa o LZ77 e o Hufman Winzip entre outros algoritimo usa o LZW 36/112

37 Compressão sem perda: Lempel-Ziv (LZ) GIF utiliza a técnica LZW GIF é um dos formatos de armazenamento de imagens sem perdas que oferece a melhor taxa de compressão (em geral 4:1) GIF apenas admite o tratamento de imagens com uma profundidade de cor de até 8bits/pixel Com no máximo 256 cores Ao converte uma imagem true color (24bits/pixel) para o formato GIF perdese grande parte da informação de cor Extensão GIF89a permite Definir uma cor transparente Entrelaçamento Animação 37/112

38 Compressão sem perda: Lempel-Ziv (LZ) Algoritmo LZW é propriedade da Unisys Era de domínio público Unisys resolveu passar a cobrar uma taxa pela sua utilização Alternativas ao formato GIF Formato PNG (Portable Netword Graphics) Suporta múltiplos níveis de transparências Correção gama para ajuste da exibição da imagem às características do monitor Entrelaçamento mais avançado Suporta 48bits true color ou 16bits tons de cinza Não suporta animação Usa algoritmo LZ77 e de Huffman Formato MNG (Multiple-Image Network Graphics) Extensão PNG que suporta animação 38/112

39 Compressão sem perda: Lempel-Ziv (LZW) Exemplo de funcionamento através da cadeia de caracteres ABACABA O primeiro passo consiste em inicializar uma tabela de códigos com todos os caracteres existentes na string que pretendemos comprimir: Tabela de Códigos #0 = A #1 = B #2 = C 39/112

40 Exemplo de funcionamento através da cadeia de caracteres ABACABA Em seguida, começamos a analisar a string e verificamos que o primeiro caracter é o A, que já existe na tabela. Nesta situação, atribuímos um prefixo ao A e vamos analisar o caracter seguinte, que é o B. Juntando o prefixo com o novo caracter, obtemos a sub-string AB que não se encontra na tabela. Neste caso, enviamos o código #0, correspondente ao A e adicionamos a nova sub-string à tabela, fazendo #4 = AB. Tabela de Códigos #0 = A #1 = B #2 = C #3 = AB Código LZW ABACABA #0 40/112

41 Exemplo de funcionamento através da cadeia de caracteres ABACABA Como próximo passo, tomamos para prefixo o caracter B e indo buscar o próximo caracter da string obtemos a sub-string BA, a qual também não se encontra na tabela. Repetindo o procedimento anterior, enviamos o código #1 e adicionamos a sub-string à tabela, fazendo #5 = BA. Tabela de Códigos #0 = A #1 = B #2 = C #3 = AB #4 = BA Código LZW ABACABA #0 #1 41/112

42 Exemplo de funcionamento através da cadeia de caracteres ABACABA O novo prefixo é o A, o qual concatenado com o próximo caracter da string forma a sub-string AC que também não está na tabela. Assim, enviamos o código #0 e fazemos #6 = AC. Tabela de Códigos #0 = A #1 = B #2 = C #3 = AB #4 = BA #5 = AC Código LZW ABACABA #0#1#0 42/112

43 Exemplo de funcionamento através da cadeia de caracteres ABACABA O novo prefixo é o C, o qual concatenado com o próximo caracter da string forma a sub-string CA que também não se encontra na tabela. Enviamos o código #2, correspondente ao prefixo e fazemos #7 = CA. Tabela de Códigos #0 = A #1 = B #2 = C #3 = AB #4 = BA #5 = AC #6 = CA Código LZW ABACABA #0#1#0 #2 43/112

44 Exemplo de funcionamento através da cadeia de caracteres ABACABA O novo prefixo é o A, o qual concatenado com o próximo caracter da string forma a sub-string AB, a qual já se encontra codificada na tabela. Desta forma, não enviamos nenhum código e tomamos para novo prefixo AB. Este prefixo concatenado com o próximo caracter da string forma a sub-string ABA que não se encontra na tabela. Enviamos o código #4, correspondente a AB, e fazemos #8 = ABA. Tabela de Códigos #0 = A #1 = B #2 = C #3 = AB #4 = BA #5 = AC #6 = CA #7 = ABA Código LZW ABACABA #0#1#0#2 #3 44/112

45 Exemplo de funcionamento através da cadeia de caracteres ABACABA O novo prefixo passa a ser A e como a string não tem mais caracteres, enviamos o código correspondente a este caracter, ou seja, o código #0. Tabela de Códigos #0 = A #1 = B #2 = C #3 = AB #4 = BA #5 = AC #6 = CA #7 = ABA Código LZW ABACABA #0#1#0#2#3#0 Obtemos a seguinte seqüência codificada: #0#1#0#2#3#0 45/112

46 Compressão sem perda: Lempel-Ziv (LZ) Exercício Compactação LZW Codificar a cadeia: ABACBAAAABABABAAAAAC Originalmente cada caractere precisa de 8 bits Qual o tamanho original em bits? Qual o tamanho compactado em bits? Qual a taxa de compactação? E se a compactação fosse feita usando as codificações RLE e Huffman 46/112

47 Compressão de áudio: Codificação preditiva Em vez de transmitir as amostras, diferença entre uma previsão do valor da amostra e do valor real (erro de predição) é transmitida Modulação por pulso codificado diferencial (DPCM) Erro de predição é quantificado e codificado com base nas amostras anteriores Na decodificação o erro é adicionado ao valor previsto da amostra Reduz a representação da informação Valores de amostras vizinhas são correlacionados Erro de previsão será menor que o valor original da amostra 47/112

48 Compressão de áudio: Codificação preditiva DPCM Adaptativo (ADPCM) pode ser utilizado para aumentar o desempenho Tamanho do passo de quantificação aumenta com o aumento da variação do sinal Menos bits são usados para diferenças menores Técnicas usadas em CD-I (Compact Disc Interative) 48/112

49 Recomendação ITU-TS para codificação de voz 49/112

50 Recomendação ITU-TS para codificação de voz - G.711: Usa companded PCM (escala semilogarítmica) Serve para aumentar a resolução de sinais de baixa amplitude (importante para os seres humanos) Opera de forma análoga do ouvido humano Dois tipos de escala: A-law (Europa) M-law (USA) Usados em rede ISDN e na maioria dos backbones telefônicos digitais Fluxo de bit de 64 kbps, 8 bits por amostras, amostras por segundo (uma amostra a cada 125μs) Supressão de silêncio é opcional reduz a taxa de bit gerada 50/112

51 Recomendação ITU-TS para codificação de voz - G.711: Quando utilizado em aplicações de voz sobre IP Amostras são agrupadas em blocos para envio na forma de pacotes IP Pacotes de voz são enviados em intervalos constantes Valor típico do payload no G.711 é de 160 amostras Constituindo um tempo de voz de 20ms Tamanho do payload em bytes pode ser calculado por Payload = (taxa*duração)/8 51/112

52 Recomendação ITU-TS para codificação de voz - G.711: Em rede de comunicação por pacotes, o tamanho do payload influencia na decisão do protocolo a se utilizado Quanto menor o payload maior a largura de banda do canal devido o aumento de sobrecarga dos vários protocolos envolvidos na comunicação Quanto maior o payload maior o atraso na aplicação devido ao tempo de amostragem do payload 52/112

53 Supressão do silêncio e remoção de sons repetitivos Compressão da voz via remoção dos períodos de silêncio e de informações redundantes encontradas na fala humana Existem informações na fala humana que não são necessárias para que a comunicação efetiva exista através de uma rede Sons repetitivos, inerentes à voz, são causados pela vibração das cordas vocais Transmissão destes sons idênticos não é necessária para efetivação da comunicação e a sua remoção resulta em um aumento de eficiência na utilização da banda de rede 53/112

54 Supressão do silêncio e remoção de sons repetitivos Composição da fala: 22% do que se fala são componentes essenciais da comunicação (devem ser transmitido para o entendimento do diálogo) 22% são padrões repetitivos 56% representa as pausas entre falas Remoção do silêncio é executada através da função Voice Active Detection (VAD) VAD é um modo eficiente de liberar dinamicamente a largura de banda, proporcionando uma economia de até 50% da banda Permitindo que seja alocada para outras aplicações 54/112

55 Supressão do silêncio e remoção de sons repetitivos Quando a fala é muito frequente, continua, os ganhos com a supressão do silêncio não são alcançados Os algoritmos de compressão avançados já possuem funções de VAD integradas Como a detecção da presença de voz na transmissão não é imediata Pode ocorrer o corte das primeiras silabas da locução Fenômeno é denominado de clipping Quando o ruído de fundo é muito alto É difícil distinguir entre o ruído da fala O ruído pode ser empacotado e enviado 55/112

56 MPEG Áudio Padrão de compressão de áudio genérico (até 20kHz) Não apenas para voz (3.4kHz a 7kHz) Explora a percepção humana e não as características da fonte do áudio Princípio de compressão Faixa de frequência audível humana Filtra sons fora da faixa de 20 a Hz Limiar de audição na faixa de frequência audível Explora a curva de percepção da humana dentro da faixa de frequencia audíveis (limiar da audição) 56/112

57 MPEG Áudio Princípio de compressão Limiar de audição na faixa de frequência audível Sensibilidade para sons dentro desta faixa não é uniforme (depende da frequência) Então descartam-se as amostras que se encontram abaixo deste limiar Mascaramento: um som pode tornar o outro impossível de ser ouvido, ou pode tornar o outro sem peso Tipos de mascaramento: total ou parcial Sons mascarados podem ser descartados (não são audíveis) Mascaramento em frequência: frequências próximas Mascaramento no tempo: frequências parecidas porém intensidades diferentes Pré mascaramento: som baixo precede som forte (duração 20ms) Pós mascaramento: som baixo sucede som forte (duração 200ms) 57/112

58 MPEG Áudio: Características Sequência de bits compactada pode suportar um ou dois canais Um canal único Dois canais independentes Um sinal estéreo Três taxas de amostragens 32, 44.1 e 48 khz MPEG-2.5 (não oficial) 8, , 12, 16, e 24kHz Fluxos compactados usa uma das várias taxas de bits fixas e predefinidas Varia de 32 a 320 kbps MPEG-2.5 (não oficial) 8, 16, 24 e 144kbps Taxa de compressão 2.7 a 24:1 (depende da taxa de amostragem) 58/112

59 MPEG Áudio: Esquema de um Codificador Bloco mapeamento tempo-frequência Divide a entrada em sub-bandas de frequências múltiplas Bloco modelo psico-acústico Cria um conjunto de dados para controlar a operação do bloco quantificador e codificador Bloco quantificador e codificador Cria um conjunto de símbolos de código Sub-bandas menos importantes e áudios inaudíveis são removidos Bloco empacotamento de dados Monta e formata os símbolos de códigos e adiciona outra informações Forma um fluxo de áudio codificado 59/112

60 MPEG Áudio MPEG áudio especifica uma família de 3 esquemas de codificação de áudio Chamada de Layer-1, Layer-2 e Layer-3 A complexidade e desempenho (a qualidade do som e taxa de bits) aumenta conforme o número de camadas aumentam MP3 = MPEG-1 Layer-3 Os três compactadores são compatíveis no modo hierárquico Decodificador Layer-N é capaz de decodificar um fluxo de bits codificado com Layer-N + todos < N Padrão especifica o formato do fluxo de bits e o decodificador para cada esquema de codificação 60/112

61 Vídeo e imagens Vídeo e imagens digitais puros são codificados em PCM Vetores bi-dimensionais de píxeis Técnicas de compressão são baseadas na alta redundância das imagens e vídeos 61/112

62 Vídeo e imagens Certas áreas das figuras são uniformemente coloridas ou altamente correlatas (podendo formar padrões) Redundância espacial ou correlação espacial Removida tanto quanto possível para uma certa qualidade de apresentação Não existem tantas diferenças entre quadros de um vídeo Redundância temporal ou correlação temporal Alta taxa de compressão 62/112

63 Vídeo e imagens: Técnica de Truncagem Consiste em truncar dados arbitrariamente baixando o número de bits por pixel Eliminação de bits menos significativos de cada pixel Exemplo: imagens coloridas true-color (24bits/pixel) podem ser reduzidas para high-color (16bits/pixel) Técnica é atrativa pois ela é simples e fácil de implementar 63/112

64 Vídeo e imagens: Codificação Preditiva DPCM (PCM diferencial) Técnica mais simples de codificação preditiva Compacta pixel adjacentes e apenas as diferenças são usadas O valor da diferença tem alta probabilidade de ser menor que o valor do pixel Na descompressão Informações da diferença é usado para modificar o pixel anterior ADPCM (DPCM adaptativo) Implementação mais comum é variar o tamanho do passo representado pelo bits diferenças Exemplo: se um passo preto-para-branco for detectado, pode-se aumentar o passo de quantificação antes desse passo chegar 64/112

65 Vídeo e imagens: Preenchimento Condicional Explora redundância temporal em vídeos Animações de imagens implica que píxeis na imagem anterior estão em diferentes posições que na imagem atual Imagem é segmentada em áreas estacionarias e com movimentos São transmitido apenas os dados de áreas com movimentos Detector de movimento localiza diferenças interquadros significantes 65/112

66 Vídeo e imagens: Estimativa e Compensação de Movimento Imagens é dividida em blocos de tamanho fixos Procura uma relação para cada bloco na imagem anterior Deslocamento entre estes dois blocos é chamado de vetor de movimento A diferença entre blocos é obtida calculando diferenças pixel a pixel Vetor de movimento e a diferença de bloco são codificados e transmitido 66/112

67 Várias técnicas e produtos para compressão estão disponíveis Padrões promovem a compatibilidade entre diferentes equipamentos/aplicações (interopeabilidade) Exemplos de formatos de imagens PCX: usado para aplicativos gráficos mais antigos (256 cores) GIF: usado para distribuição comercial de imagens sem perda (256 cores) BMP: padrão fundamental do windows TGA: usado pelos adaptadores gráficos Targa e por programas de animação e processamento de vídeo 67/112

68 Formato de vídeo RealVideo; Microsoft RLE; MicrosoftVideo 1; Microsoft MPEG 4; Cinepak; Indeo; DivX; VDOWave/VDOLive; ClearVideo. Formato de áudio WAV padrão do windows Voxware Midi 68/112

69 Exemplos de padrões TIFF: padrão independente de fabricante para imagens PNG: padrão de imagem alternativo ao GIF ISO JPEG: para compressão de imagens ISO JBIG: para compressão sem perda de imagens bi-níveis (1bit/pixel) para transmissão de fac-simile ITU-TS H.261: para videofonia e aplicações de teleconferências na taxa de bit múltiplos de 64kbps ITU-TS H.263: para aplicações de videofonia com taxa abaixo de 64kbps ISO MPEG: para compressão de vídeo e áudio associados 69/112

70 JPEG JPEG Colaboração entre ISO/IEC e ITU-TS (1992) Uma das melhores tecnologias de compressão de imagens Implementado em software e hardware Codificação/decodificação JPEG tempo-real tem sido implementada para vídeo (Motion JPEG ou MJPEG) Compressão parametrizável JPEG cobre grandes faixas de qualidades de imagens e permite especificar o comportamento do codificador a partir de parâmetros Quatro modos de operação Codificação sequencial (baseline) Codificação progressiva Codificação sem perda Codificação hierarquica 70/112

71 Modos de operação do JPEG Codificação sequêncial (baseline) Suportado por toda implementação JPEG Modo com perdas baseado em DCT (Discret Cosine Transform) Componentes de imagens são codificados em uma única varredura da esquerda para direita de cima para baixo Codificação progressiva Com perdas baseado em DCT expandido Fornece avanços ao modo baseline Varreduras sucessivas Imagem é codificadas em varreduras múltiplas para produzir uma imagem de maneira rápida e rústica quando a largura de banda é baixa 71/112

72 Modos de operação do JPEG Codificação sem perda Reprodução é exata Necessárias em aplicações que não toleram perdas (médicas e legais) Codificação hierárquica Oferece uma codificação progressiva que aumenta de resolução espacial entre estágios progressivos Versões podem ser acessadas sem a necessidade de descompactar a imagem na resolução completa Taxa de compressão é mais baixa que ter uma resolução única 72/112

73 Algoritmo de compressão JPEG Decomposição da imagem em blocos 8x8 píxeis Transformação discreta de cosseno (DCT) dos blocos Blocos 8x8 são transformados no domínio da frequência usando a transformada DCT Separação das componentes de baixa e de alta frequências presentes numa imagem Seleção dos componentes de alta frequência de acordo com a qualidade pretendida para imagem comprimida Quanto maior a taxa de compressão escolhida mais componentes de alta frequências são desprezados Leva ao aparecimento do efeito de bloco, ou seja, perda da definição nos contornos da imagem 73/112

74 Algoritmo JPEG: Coeficientes DCT Sinal discreto de 64 pontos (um para cada bloco) transformado é uma função de duas dimensões espaciais Componentes X e Y: Frequências espaciais ou coeficientes DCT Maior parte dos coeficientes DCT são zero ou muito próximo do zero Não necessitam ser codificados 74/112

75 Algoritmo JPEG: Coeficientes DCT São ordenados em uma sequência zig-zag para obter uma sequência unidimensional de dados para ser usado na codificação por entropia Objetivo da sequência zig-zag: Ordenar os coeficiente em ordem decrescente de frequência espectral Coeficientes de alta frequências (no canto direito inferior) tem valores mais próximos de zero, levando a uma maior eficiência da codificação por entropia 75/112

76 Algoritmo JPEG: Codificação por Entropia JPEG define dois métodos de codificação por entropia Codificação de Huffman Única especificada no modo baseline Codificação aritmética Normalmente 10% mais eficiente que a Codificação de Huffman 76/112

77 Taxa de compressão do JPEG Quanto maior for a taxa maior será o número de componente de alta frequência desprezados Levando o aparecimento do efeito de bloco (perda de definição nos contornos das imagens) Valores médios Taxa de compressão 10:1 a 20:1 Alta qualidade de imagem Taxa de compressão 30:1 a 50:1 Média qualidade de imagem Taxa de compressão 60:1 a 100:1 Baixa qualidade de imagem 77/112

78 Padrão de compressão do JPEG JPEG é para imagens fotográficas Apresenta ótimas taxas de compressão para imagens fotográficas naturais com vários tons de cinza Qualidade diminui consideravelmente quando aplicado a: Imagens gráficas com contornos e áreas bem definidas de cor Imagens com textos, logotipos Para imagens gráficas e/ou textos JPEG introduz ruídos nas zonas de imagens compostas por cores sólidas, distorcendo o aspecto geral da imagem Imagem PNG ou GIF compactam mais eficazmente que JPEG e apresenta uma melhor definição dos contornos do texto 78/112

79 Padrão ISO/IEC MPEG Motion Picture Expert Group Grupo de padrões de representação codificada de vídeos, áudios e suas combinações Vídeo e áudio armazenados e recuperados em Digital Storage Media CD-ROMs, drives de fita, HDs, drives ópticos e canais de telecomunicações (rede de longa distância, locais, etc) 79/112

80 MPEG: Características MPEG usa a compressão interquadros Obtém taxas de compressão de até 200:1 através do armazenamento apenas das diferenças entre quadros sucessivos Define mais que a compressão de vídeo Compressão de áudio associado e sincronização áudio-visual não podem ser independentes da compressão de vídeo Especificações MPEG também incluem um algoritmo para compressão de áudio Taxas de 5:1 a 10:1 80/112

81 ISO/IEC MPEG MPEG-1 (1993) Vídeo com qualidade VHS 360x280 píxeis com 30 quadros por seg. na taxa de 1.5Mbps Conhecido como padrão MPEG MPEG-2 (1994) Vídeo com qualidade de televisão digital CCIR x240 píxeis com 30 quadros por seg. na taxa entre 2 a 10Mbps MPEG-3 vídeo com qualidade HDTV na taxa de 40Mbps Interrompido no final de 1992 MPEG-4 (1998) Codificação para audiovisual com muito baixa taxa de transmissão variando de 4,8 a 64Kbps MPEG-7 (2001) Interface de descrição de conteúdo multimídia: um padrão de descrição de dados multimídia (informações áudio-visuais) Permite busca e filtragem 81/112

82 ISO/IEC MPEG: Partes MPEG-Vídeo Compressão de sinais de vídeo MPEG-Áudio Compressão de sinal de áudio digital MPEG-Sistemas Sincronização e multiplexação de fluxos de áudio e vídeo compactados Conformidade Especifica procedimento para determinar as características dos fluxos codificados e para testar a conformância com os requisitos identificados no áudio, vídeo e sistemas 82/112

83 Hierarquia do fluxo de dados MPEG-1 83/112

84 Fluxo de vídeo MPEG-1 84/112

85 Fluxo de vídeo MPEG-1 Imagem é a unidade elementar para a codificação de vídeo Imagem MPEG Grupo de três matrizes retangulares que representam a luminância Y e a crominância Cr e Cb Cada elemento da matriz representa 1 pixel Representação YCrCb é equivalente a RGB É preferível YCrCb pois o olho é mais sensível a luminosidade que a crominância. Menos informação nas matrizes Cr e Cb que em Y Na codificação 4:2:2, as matrizes Cr e Cb são de dimensão duas vezes menor que a matriz Y 85/112

86 Fluxo de vídeo MPEG-1 Imagens são divididas em pedaços (slices) Cada pedaço consiste de um número de macroblocos (16x16 pixels) Importante para o controle de erro Se existe um erro no fluxo de dados, o decodificador pode salvar um pedaço Quanto maior o número de pedaços, melhor é o tratamento de erro Bloco de imagem Matriz 8x8 de valores de pixels tratados como unidade de entrada para o DCT 86/112

87 Compactação MPEG-1 Vídeo Em vídeo existem dois tipos de redundância: espacial e temporal MPEG-1 explora estas duas redundância Redundância espacial Pode ser explorada pela simples codificação em separado de cada quadro com o JPEG Estratégia utiliza quando há a necessidade de se acessar aleatoriamente cada quadro como na edições de produção de vídeo Redundância temporal Compactação adicional pode ser obtida explorando o fato de que dois quadros consecutivos são, com frequência, quase idêntico MPEG faz compensação de movimento Calcula o vetor de movimento dos macroblocos e a diferença entre macroblocos 87/112

88 Compactação MPEG-1: Tipos de quadros Quadro I (Intracoded) Imagens estáticas, independentes e codificadas com o JPEG Quadro P (Predictive) Diferença bloco a bloco com o último quadro Quadro B (Birectional) Diferença com o último quadro e com o quadro seguinte Quadro D (DC-coded) Médias de bloco usadas para o avanço rápido (fast forward) 88/112

89 Compactação MPEG-1: Quadros I Imagens estáticas, independente e codificadas com o JPEG É necessário que quadros I apareçam periodicamente no fluxo de saída No caso de transmissão multicast Receptores podem entrar no grupo em tempos distintos, requerendo um Quadro I para começar a decodificação MPEG-1 Se o for recebido com erro, a decodificação não será mais possível Quadros I são inseridos na saída uma ou duas vezes por segundo 89/112

90 Compactação MPEG-1: Quadros P Codificam as diferenças entre os quadros 50% de um quadro I Se baseiam na idéia dos macroblocos Cada macrobloco cobre 16x16 pixels Para codificar o macrobloco, tenta-se localizá-lo (ou algo parecido com ele) no quadro anterior Decodificar quadros P requer que o codificador armazene o quadro I ou P anterior em um buffer O novo quadro é construído a partir deste quadro Baseado em macroblocos completamente codificados Baseado em macroblocos contendo diferenças com o quadro anterior Envia-se somente o vetor de movimento 90/112

91 Compactação MPEG-1: Quadros P 91/112

92 Compactação MPEG-1: Quadros P Estimativa e compensação de movimento 92/112

93 Compactação MPEG-1: Quadros P Estimativa e compensação de movimento 93/112

94 Compactação MPEG-1: Quadros B Codificam as diferenças com o último quadro I ou P e com o quadro seguinte 15% do tamanho do quadro I Permitem que o macrobloco de referência esteja tanto no quadro anterior quanto no quadro seguinte Acarreta uma melhoria na compensação do movimento Para decodificar quadros B Decodificador precisa manter 3 quadros decodificados na memória ao mesmo tempo quadros anterior, atual e próximo 94/112

95 Compactação MPEG-1: Quadros B Estimativa e compensação de Movimentos Quadros D só são usados para possibilitar a apresentação de uma imagem de baixa resolução quando um avanço rápido ou um retrocesso 95/112

96 Compactação MPEG-1: Resumo 96/112

97 Codificação MPEG-2 É fundamentalmente semelhante á MPEG-1 Com quadros I, P e B Quadros D não são aceitos Transformação discreta de cosseno é de 10x10 em vez de 8x8 Para proporcionar mais 50% de coeficientes melhorando qualidade 97/112

98 MPEG-1 Sistemas Define uma estrutura para combinar fluxos elementares, incluindo áudio, vídeo e outros fluxos de dados Chamado de fluxo MPEG Até 32 fluxos de áudio MPEG e 16 fluxos de vídeo MPEG podem ser multiplexados juntamente com 2 fluxos de dados de diferentes tipos Especifica o modo de representar as informações temporais necessárias para reprodução de sequências sincronizadas em tempo real Sincronização de fluxos elementares Gerenciamento de buffers nos decodificadores Acesso aleatório Identificação do tempo absoluto do programa codificado 98/112

99 MPEG-4 Começou a ser concebido em julho de 1993, tendo sido aprovado como padrão internacional em 2000 Uso Vários vídeos transmitidos pela internet, assim como telefones celulares que utilizam imagens Também é utilizado em diversos padrões de transmissão de TV digital especialmente os de alta definição HDTV 99/112

100 MPEG-4 Absorve características MPEG-1 e MPEG-2 e outros padrões relacionados adicionando novas características Suporte VRML (Virtual Reality Metadata Language) para apresentações 3D, atual X3D (extensible 3D) Arquivos compostos orientados a objetos (incluindo objetos de áudio, vídeo e X3D) Suporte para gerenciamento de direitos autorais externamente especificados Vários tipos de interatividade MPEG-4 define 23 partes Parte 1 descreve a sincronização de áudio e vídeo Parte 2 é uma tecnologia de compressão de vídeo Parte 3 o processo de compressão de áudio Parte 10 do padrão foi incluída quando uma versão mais otimizada da parte 2 foi desenvolvida 100/112

101 MPEG-4: Parte 2 Tecnologia de compressão de vídeo desenvolvida pela MPEG Um padrão de compressão DCT similar aos padrões MPEG-1 e MPEG-2 21 perfis (profiles) Agrupam características de perfis e níveis Para permitir seu uso em várias aplicações, variando de câmeras de segurança de baixa qualidade, baixa resolução a HDTV e DVDs Pefil Simple Profile (SP): usado em situações onde a baixa taxa de bits e baixa resolução são mandatórios devido a largura de banda da rede, tamanho do dispositivo, etc. Telefones celulares, sistemas de segurança, etc Perfil Advanced Simple Profile (ASP): muito similar H.263, incluindo suporte para quantificação do estilo MPEG, suporte a vídeo entrelaçado, suporte a quadros B, compensação de movimento Qpel (Quarter Pixel) e Global (GMC) 101/112

102 MPEG-4: Parte 10 Conhecido como H.264 ou AVC (Advanced Vídeo Coding) Um padrão de codec de vídeo digital que tem a característica de alta taxa de compressão O padrão define 7 perfis, voltadas a classes de aplicações específicas. Por exemplo: Baseline Profile (BP) é voltado para aplicações de custo mais baixo com limitado recursos computacionais, usado em aplicações de videoconferência e móveis Extended Profile (XP) é voltado para streaming de vídeo, com alta taxa de compressão e robustez para perdas de dados High Profile (HiP) é o principal perfil para aplicações de armazenamento em disco e broadcast, particularmente para aplicações de HDTV e adotado pelos discos HD-DVD e Blue-ray 102/112

103 Padrão H.261 Origem Necessidade de fornecer serviço de vídeo onipresentes na Rede Digital de Serviços Integrados (ISDN) Um dos padrões da família H.320 para videofonia e teleconferências na taxa de 64Kbps a 2Mbps 103/112

104 Padrão H.261: Características Para aplicações de videofonia e teleconferência H.261 obtém taxas de compressão ente 100:1 a 2000:1 Algoritmo de compressão de vídeo opera em tempo real com atraso mínimo Combina codificação interquadro e intraquadro para fornecer um rápido processamento para compressão/descompressão tempo real de vídeo Fornece uma resolução cerca de oito vezes mais baixa que a qualidade TV PAL/SECAM Focados em aplicações usualmente sem movimentos intensos Algoritmo usa uma estratégia limitada de busca e estimação de movimento para obter taxas de compressão mais altas 104/112

105 Padrão H.261: Características Padrão de compressão de vídeo para transmissão em taxas de p*64kbps Cobre as capacidades do canal ISDN p*64kbps (p=1 a 30) p =1 ou 2 é apropriado para comunicação visual face-a-face e baixo movimento (videofonia) p > 5 melhor qualidade (videoconferência) Máxima taxa de bits disponível é 1,92Mbps (p=30) Suficiente para obter imagens de qualidade VHS 105/112

106 Padrão H.261: Formatos de imagens H.261 opera com dois formatos de imagens CIF (Cammon Intermediate Format) 320x288 Permite usar um formato único dentro e entre regiões usando padrões de TV 625 e 525 linhas QCIF (Quarter-CIF) 160x14 Mais útil em taxas de bit menores (p<6) 106/112

107 Padrão H.261: Algoritmo de compressão Algoritmo de compressão é hibrido Predição interquadro: Remove redundância temporal DCT: Remove redundância espacial (similar ao JPEG) Compensação de movimento Codificação por entropia (codificação de Huffman) 107/112

108 Padrão H.263 Padrão de vídeo com baixa taxa de bit para aplicações de teleconferência que opera a taxas abaixo de 64Kbps Algoritmo de codificação É uma extensão do H.261 e descreve um método de codificação DPCM/DCT H.263 introduz o quadro PB Consiste de duas imagens codificadas em uma unidade Nome PB é derivado da terminologia MPEG dos quadros P e B Quadro PB consiste em Um quadro P que é produzido a partir do último quadro P decodificado Um quadro B que é produzido a partir do último quadro P decodificado e do quadro P sendo decodificado 108/112

109 Padrão H.263: Formato de imagens H.263 suporta cinco resoluções QCIF e CIF Também suportada pelo H.261 SQCIF É a metade da resolução de QCIF 4CIF e 16CIF 4 e 16 vezes a resolução de CIF Codec poderia competir com outras codificações de mais altas taxas de bits como os padrões MPEG 109/112

110 Padrão H.263 x H.261 Testes atuais mostram que H.263 tem um desempenho 1 a 2,5 melhor que o H.261 Taxa de bit do H.261 é aproximadamente 2,4 vezes a gerada pelo H.263 (dada uma qualidade de imagem) 110/112

111 Bibliografia WILLRICH, R. Sistemas Multimídia Distribuídos. Apostila do curso de Especialização em Redes de Computadores, UFSC, agosto, KERLOW, I. V. Art of 3D computer animation and effects, The - 4th ed / c2009 VELHO, L. Anais do SIBGRPI 96 : IX Simpósio Brasileiro de Computação Gráfica e Processamento de Imagens - 1 ed. / 1996 AGNEW, P. W.; KELLERMAN, A. S. Distributed Multimedia: Technologies, Applications, and Opportunities in the Digital Information Industry. A Guide for Users and Providers. Addison Wesley, ENGLAND, E.; FINNEY, A.; FINNEY, A. Managing Multimedia. Addison Wesley, GIBSON, J. D.; BERGER, T.; LINDBERGH, D. Digital Compression for Multimedia: Principles and Standards. Morgan Koufman, FLUCKIGER, F. Understanding Networked Multimedia: applications and technology. Prentice Hall, STEINMETZ, R, NAHRSTEDT, R. Multimedia: computing, communications & applications. Prentice Hall, /112

112 UDESC SMU Capítulo 3 Compressão de dados Prof. Claudinei Dias Multimídia