MPEG-4 & H.264. Dissertação, entendimento e comparativo entre e com o MPEG-2

Transcrição

1 MPEG-4 & H.264 Dissertação, entendimento e comparativo entre e com o MPEG-2 UFF Departamento de Engenharia de Telecomunicações 2005/1 Mestrado em Eng. de Telecomunicações Professora Debora Christina Muchaluat Saade Eduardo Fleming de Azevedo Costa

2 Roteiro Introdução Técnicas Básicas MPEG-4 parte 2 MPEG-4 parte 10 (H.264) Exemplos Conclusão

3 MPEG Padrões MPEG-1, o padrão para armazenamento e recuperação de vídeo e áudio em mídia magnética (Nov 1992); MPEG-2, o padrão para TV digital (Nov 1994); MPEG-4, o padrão para aplicações multimídia. Versão 1, (Out 1998) Versão 2, (Dec 1999) Versão 3,4,5 (nas últimas fases de desenvolvimento)

4 MPEG Padrões MPEG-1 MPEG-2 MPEG-4 MPEG-7 MPEG-21 Armazenamento de vídeo digital Padrão de TV digital Artigo atual Padrão para vídeo natural, video gerado, fontes e video hibrido (natural e gerado) Diversidade De áreas do conhecimento De usos De fabricantes Representação de imagens para busca Framework para vídeo Necessidade De padronização De intercâmbio

5 Partes do padrão vídeo

6 Perfis de vídeo

7 Modelo de codificador Entrada de vídeo Modelo e codificador temporal residual Modelo e codificador espacial coeficientes Quadros armazenados vetores Codificador de entropia Saida codificada

8 Modelos temporais (básico)

9 Modelos temporais (básico)

10 Estimativa de Movimento Minimizar a energia da imagem Reduzir o número de bits a serem codificados Enviar informações menores sobre a imagem

11 Alguns preceitos Blocos menores (4 a 8 pixels por direção) são melhores para serem localizados e geram uma imagem mais suave, com menos distorções. Pequenos blocos reduzem a aderência dos algoritmos de busca e comparação pois pode haver poucas diferenças com outros blocos similares. Os algoritmos são mais rápidos com blocos de tamanho maior. Empiricamente foi determinado um macrobloco de 16x16 pixels. As coordenadas (-p,+p) de busca são dependentes da mídia e da aplicação, assim, um vídeo de reportagem teria bons resultados com p = 15 e um vídeo esportivo com p = 63

12

13 Compensação de Movimento Custo Computacional Função de Custo Computacional MAE 1 M. N M 1 N 1 ( i, j) = C( x + k, y + l) R( x + i + k. y + j + l) k = 0 l= 0 Onde i e j são definidos no intervalo p a p, C é a especificação do bloco atual e R é a especificação do bloco de referência. Define-se então que o bloco de maior semelhança, o bloco C na qual a função MAE tenha valor mínimo Busca Completa I J. F M. N. 2 ( 2 p + 1) M. N 3 para uma imagem de I x J pixels por quadro e uma taxa F de quadros por segundo

14 Estratégias e Técnicas Subamostragem Menor resolução DCT DCT rápido Busca Logarítmica ( 8 + 1) 3 I. J. F k Busca PHODS I. J. F 2k 3

15 Estratégias e Técnicas

16 Modelos Espaciais Transformadas Os dados no domínio da transformada devem ser descorrelacionados, ou terem um mínimo de correlação entre seus componentes e deve conter um mínimo de informação (a maior quantidade de informação, ou energia, deve ser concentrada em poucos valores). A transformada deve ser reversível A transformada deve ser factível de ser implementada computacionalmente por software ou por hardware (com requisitos de pouca quantidade de memória, precisão aritmética limitada e poucas operações para obtê-la). Karhunem-Loeve, DWT, DCT

17 Quantização Escalar e Não Linear

18 MPEG-4 Visual

19 Coeficientes por freqüência

20 O perfil Core e Main oferecem o suporte para: VOP de forma arbitrária Maior resolução de cor Detecção e correção de erros de transmissão Maior compressão em casos específicos As técnicas que suportam este perfil são exclusivas do MPEG-4 Visual, não tendo correlatos com quaisquer outros padrões

21

22 H.264 Codificador

23 H.264 Decodificador

24 Perfis H.264 O perfil básico (baseline) que suporta codificação intra e interbloco com o uso de fatias I e P e o codificador de entropia de código variável adaptativo ao contexto (context-adaptative variable-length codes CALVC) com utilização mais indicada para videofonia, videoconferência e comunicações sem fio; O perfil principal (main) inclui suporte para vídeo entrelaçado e suporte ao interbloco da fatia B, predição ponderada de movimento (codificação interbloco) e codificador de entropia através da técnica de codificação aritmética adaptativa ao contexto (context-adaptative arithmetic coding - CABAC) com o uso mais direcionado para a distribuição de TV e armazenamento de vídeo; O perfil estendido (extended) que não suporte vídeo entrelaçado ou codificação aritmética, mas implementa técnicas eficientes com comutação das fatias codificadas SP e SI além de ter recursos para recuperação de erros (partição dos dados) sendo este último perfil adequado para aplicações de transmissão corrente de vídeo (streaming video )

25 Um dos principais custos computacionais e onde obtém a maior relação de ganhos com o padrão H.264, é a predição intramodo de movimento entre outras técnicas permite para pequenos blocos de 8 x 8 uma minimização da energia.

26 Técnicas utilizadas Redundant coded picture Arbitrary Slice Order Inter Prediction Tree structured motion compensation Motion Vector Motion Vector Prediction Intra Prediction 4x4 Luma Prediction 16x16 Luma Prediction 8x8 Chroma Prediction Signalling Intra Prediction Mode Deblocking Filter Bi-Prediction Direct Prediction Weighted Prediction 4x4 Residual Transform e Quantisation 4x4 Luma DC coefficient and Quantisation 2x2 Chroma DC Coefficient Transform and Quantisation Reordering Exp-Golomb Entropy Coding Context-Based Adaptive VLC Context-Based Binary Arithmetic Coding

27 Transformada e Quantização Outro custo computacional de peso é a transformada e quantização, pois no H.264 a transformada é escalada e comparada com as amostras originais Isto significa que praticamente o codificador tem o trabalho de codificar e decodificar a seqüência.

28 H.264 e MPEG-4 parte 2

29

30

31

32 Conclusão H.264 é um padrão que busca maiores ganhos através de técnicas de refinamento: alteração do tamanho do bloco (macrobloco) busca de ótimos globais otimização (qualidade) dos vetores de movimento quantização (mais de uma técnica) MPEG-4 visual é um padrão com características mais variadas e codificações diversidficadas (por exemplo o VOP de forma aleatória) As técnicas comuns são marcadas por limitações de custo de processamento