a evolução dos padrões MPEG no contexto da compressão dos sinais de vídeo

Transcrição

1 1 a evolução dos padrões MPEG no contexto da compressão dos sinais de vídeo padrão desenvolvido pelo Moving Picture Expert Group, MPEG l, foi direcionado especificamente para a compressão de sinais de áudio e vídeo destinados a serem armazenados em mídias como o CD ROM o objetivo consistiu em possibilitar uma taxa de bit de 1,4 Mbps com qualidade (de imagem) semelhante à das fitas VHS a padronização MPEG l está baseada em três partes: a) sistema b) vídeo comprimido c) áudio comprimido no que se refere ao sistema, tem se também a questão da multiplexação dos sinais codificados de vídeo e de áudio o sinal de vídeo a ser injetado em um codificador MPEG l baseia se no formato 4:2:0 (Y:Cr:Cb), concomitantemente a uma resolução espacial de 352 x 288 ou 352 x 240 pixeis o quadro é tratado sob a concepção de macroblocos, cada qual formado por 16 x 16 pixeis no que concerne ao macrobloco, essa região contém 16 x 16 amostras de luminância (Y), 8 x 8 amostras de Cr e 8 x 8 amostras de Cb Cr e Cb caracterizam se por portar a metade da resolução da componente pode se dizer que um macrobloco contém seis blocos 8 x 8: quatro correspondentes às informações de luminância, um referente à informação Cr e outro à Cb cada quadro é então processado de modo a produzir uma imagem codificada, que pode ser do tipo I, P ou B as imagens I são intra codificadas, sem nenhuma aplicação de predição de movimento são empregadas como referenciais para as imagens preditas (tipos P e B) tais referenciais são utilizados no processamento conhecido como "compensação de movimentos" as imagens P são inter codificadas com a utilização de predição de movimento baseada em uma imagem de referência (pode ser do tipo P ou I) uma imagem P é então predita através de forward prediction ou predição para a frente uma imagem P pode ser adotada como referencial para predições futuras, estabelecendo outras imagens P ou B em se tratando das imagens B, portanto, estas também são formadas a partir de inter codificação com a adoção da predição de movimento, desta feita com base em dois

2 2 referenciais, consistindo em imagens P e I ou mesmo P e P, precedendo e sucedendo a imagem B em análise consequentemente são gerados dois vetores de movimento para cada macrobloco de uma imagem do tipo B o primeiro dirigido para a região correspondente ao posicionamento (suposto) original do macrobloco no referencial anterior (forward prediction) e o segundo, direcionado para o referencial posterior, ou seja, para o posicionamento (suposto) futuro do macrobloco (backward prediction) ou predição para trás resumo: a predição de movimento em um macrobloco pode ocorrer por meio de três procedimentos diferentes: a) predição para a frente, com a utilização do vetor forward b) predição para trás, baseada no vetor backward c) predição bidirecional, utilizando a média entre os deslocamentos associados aos vetores forward e backward a adoção de uma das três técnicas é deixada a cargo do codificador MPEG e baseia se na avaliação da energia presente nas operações diferença entre macroblocos a técnica eleita será aquela associada ao menor nível energético observa se na figura 9.3 um grupo de imagens I, P e B para a codificação de uma imagem B são necessárias duas imagens sequenciais do tipo I ou P já armazenadas como exemplo, considera se que as imagens I 1 e P4 tenham, após o processamento, servido como base para a geração da imagem B2, assim como da imagem B3

3 3 as imagens I1, P4 e P7 devem ser processadas e armazenadas antes de serem criadas as imagens B caracterizadas por B2, B3, B5 e B6 as imagens B8 e B9 somente serão processadas após a armazenagem de I10 com o objetivo de se gerenciar os atrasos no decodificador MPEG, as imagens codificadas sofrem um processo de reordenação antes da etapa de transmissão Assim, as imagens necessárias para a decodificação de um quadro B são dispostas antes dessa imagem B observa se na figura 9.4, a mesma série de imagens anteriormente considerada após ter sido submetida à reordenação citada o quadro P4 é decodificado sequencialmente a I 1 com ambos sendo armazenados no decodificador MPEG (receptor) as imagens B2 e B3 estão, portanto, em condições de serem tratadas esses procedimentos implicam, necessariamente, em atrasos entre as imagens exibidas e aquelas processadas, armazenadas e reordenadas portanto, quando do processo de compressão de imagens, quadros I possuem uma menor eficiência de compressão, os quadros P ficam associados a melhores taxas de compactação e as imagens B são aquelas que, dentre todas, apresentam a maior taxa de compressão quanto à sintaxe do MPEG l, uma sequência de vídeo codificada apresenta distribuição conceitual semelhante àquela mostrada na figura 9.5

4 4 uma sequência pode ser formada por um programa de vídeo completo e totalmente codificado a sequência se inicia através de um sequence header que contém informações referentes à sequência a ser tratada, tais como: resolução taxa de renovação de quadros etc uma sequência é formada por grupos de imagens (groups of pictures, GOP) um GOP se inicia, necessariamente, por um quadro I logo após podem estar alocadas imagens P e/ou B várias disposições para os grupos de imagens podem ser estabelecidas, tais como aquelas consideradas na figura 9.6 no exemplo tratado, tem se um grupo de imagens formado por nove frames (ou quadros, aqui tomado como sinônimo de imagem, embora formalmente não o seja, como será visto logo mais), um do tipo I, dois do tipo P e seis do tipo B no entanto, é possível encontrar GOPs formados por: a) apenas frames do tipo I b) frames dos tipos I e P c) com poucos frames do tipo I, os chamados GOPs extensos d) com muitos frames do tipo I, conhecidos como GOPs curtos no caso (a) tem se ausência de predição de movimento na situação (b), não está presente a predição bidirecional, o que implica na redução da eficiência do mecanismo de compressão, compensada pelo menor grau de complexidade, considerando se a ausência de frames do tipo B, que são elaborados às custas de maior refinamento técnico em (c) a eficiência de compressão é elevada, mas há prejuízo no estabelecimento de pontos de sincronização e dificuldades no que tange ao acesso aleatório e à resiliência (capacidade do sistema potencialmente exposto à intempéries de adaptar se de modo a alcançar e manter um nível aceitável de funcionalidade estrutural) finalmente, sob a hipótese (d) a eficiência de compressão é baixa, mas há grande quantidade de pontos de sincronização (em contraposição ao caso (c)) em geral os GOPs têm seus pontos de início e término delimitados a partir de alterações bruscas na cena tratada, cortes ou outras transições que justifiquem o estabelecimento de novos grupos uma imagem (picture) é caracterizada a partir de um frame codificado na informação codificada tem se um header contendo a identidade dessa imagem

5 5 codificada (se do tipo I, P ou B), bem como referenciais com o objetivo de localizá la na escala de tempo, quando da apresentação, relativamente às outras imagens presentes na sequência considerada uma imagem é composta por uma certa quantidade de fatias (slices), cada qual formada por macroblocos não há nenhuma restrição (ao menos no MPEG l) quanto à extensão ou disposição das fatias em uma imagem no entanto, é absolutamente necessário que se disponham segundo a ordem de varredura, como sugere o exemplo indicado na figura 9.7, que mostra um encadeamento formado por oito fatias o início de cada fatia é caracterizado por um cabeçalho (header) indicativo de sua localização cabe ressaltar que cada fatia pode ser decodificada de forma independente: não está vinculada (para efeito de decodificação) a outras fatias presentes na imagem a imunidade à ocorrência de erros, com base nessa característica é, portanto, maior ocorrendo um erro em uma dada fatia, o decodificador pode reiniciar o processo de decodificação a partir da fatia seguinte uma fatia é constituída a partir de uma quantidade inteira de macroblocos cada macrobloco é formado por seis blocos, conforme a figura 9.8

6 6 na caracterização de um macrobloco tem se: um cabeçalho (header) que identifica o tipo de macrobloco em questão os vetores de movimento associados outras informações relevantes para o seu processamento já o bloco em si contém informações representativas da operação de transformação DCT em um bloco 8 x 8 cada coeficiente DC é codificado de modo diferencial relativamente ao coeficiente DC do bloco anterior, aproveitando que blocos vizinhos tendem a apresentar níveis contínuos semelhantes os coeficientes AC são codificados a partir de seus valores efetivos no bloco o padrão MPEG 2 o MPEG l foi originalmente concebido como um procedimento voltado ao tratamento de vídeo com varredura progressiva padrão MPEG 2 foi estabelecido com base na televisão com varredura entrelaçada e na necessidade de processamento digital de quadros compostos por 720 x 576 ou 720 x 480 pixeis constitui se de três seções básicas: 1. vídeo 2. áudio 3. sistema quanto ao 'áudio', a base está fundamentada nas especificações do MPEG l o 'sistema' é mais detalhado que aquele associado ao MPEG l, caracterizando se o processo de multiplexação e a transmissão das informações codificadas de áudio e vídeo em se tratando da secção vídeo pode se, a princípio, descrever o MPEG 2,, como uma ampliação dos princípios adotados no MPEG l, abrangendo o sequências de vídeo geradas segundo o padrão MPEG l também podem ser decodificadas por um receptor MPEG 2 as melhorias associadas ao MPEG 2 relativamente ao MPEG l: a) codificação de sinais de televisão b) possibilidade de codificar vídeo entrelaçado c) escalabilidade (espacial, temporal, de relação sinal/ruído e particionamento de dados) d) perfis e níveis em (a) tem se a principal aplicação do MPEG 2: a transmissão de sinais de TV digital em sua formatação mais comum, é possível o estabelecimento de uma taxa de bit entre 3 e 5 Mbps, quando do trânsito de informações dessa natureza em se tratando do item (b), o MPEG 2 apresenta grande flexibilidade no tratamento de vídeo entrelaçado com efeito, os campos que constituem um quadro entrelaçado podem ser codificados como se fossem imagens distintas (um campo, uma imagem), cada qual estabelecida como uma imagem I, P ou B no caso das versões P e B, elas seriam preditas a partir de um campo associado a outro quadro ou mesmo a partir do outro campo no mesmo quadro uma outra possibilidade de tratamento se apresenta com a consideração de dois campos tratados como uma única imagem (portanto, um quadro), tendo se as amostras de luminância em cada macrobloco de um quadro dispostas segundo duas alternativas, (1) e (2) na primeira (1), analogamente ao que é feito no MPEG l, cada um entre os quatro blocos de luminância contém informações associadas às linhas alternadas (pares e

7 7 ímpares) provenientes de ambos os campos numa outra situação (2), os dois blocos superiores contêm informações originadas a partir de amostras tomadas nas linhas ímpares (campo ímpar), enquanto os dois blocos inferiores apresentariam informações relacionadas às amostras vinculadas ao campo par (linhas pares), conforme sugerido na figura 9.9 neste caso, as informações amostradas associadas aos dois blocos superiores (16 x 8), bem como aquelas correspondentes aos dois blocos inferiores (16 x 8), em se tratando de um macrobloco, podem ser submetidas ao processo de compensação de movimento de modo independente, ou seja, cada região estará vinculada a um dado vetor (para imagens P) ou a dois vetores (caso das imagens B) estabelece se a necessidade de envio de mais dados, considerando se que mais vetores devem ser transmitidos tal processo denomina se "compensação de movimento 16 x 8" ao operar nesse modo tem se, em geral, um melhor desempenho, considerando a possibilidade de tratamento das diferenças de movimento que se desenvolvem entre dois campos sucessivos há também um mecanismo de compensação de movimento complementar (aplicável a ambas as alternativas), o assim denominado dual prime motion compensation mode a ideia consiste em prever o campo corrente, a partir de dois campos presentes no quadro de referência, com a utilização de um único vetor associado a um fator de correção, que altera o vetor de movimento de modo a levar em conta os pequenos deslocamentos entre os dois campos sucessivos no quadro de referência a escalabilidade, item (c), é um princípio no qual uma sequência de bits codificados (coded bit stream) é formada a partir de uma certa quantidade de camadas (layers), quais sejam, uma camada base (base layer) acompanhada de uma (ou mais) camada de refinamento (enhancement layers) os princípios da escalabilidade são fundamentados na possibilidade de se ter a camada base decodificada de tal modo que seja possível obter uma sequência de vídeo com, eventualmente, baixa qualidade sequências com qualidade superior podem ser obtidas pela decodificação não apenas das

8 8 informações da camada base, como também daquelas pertencentes às camadas de refinamento ao incorporar mais e mais conjuntos de informações correspondentes às novas camadas de refinamento, a qualidade da sequência de vídeo decodificada é melhorada cada vez mais no MPEG 2 (em se tratando de vídeo) há quatro modos de escalonamento, designados como: 1) escalabilidade espacial 2) escalabilidade temporal 3) escalabilidade SNR 4) particionamento de dados quanto à escalabilidade espacial, a camada base é codificada com uma resolução espacial reduzida e a cada camada de refinamento agregada tem se a melhoria da resolução espacial na escalabilidade temporal, a camada base é codificada a partir de uma baixa resolução temporal (entenda se a taxa de quadros), ao passo que a cada camada de refinamento associada têm se taxas maiores para a renovação dos quadros a figura 9.10 ilustra o princípio em que essa escalabilidade se fundamenta quanto à escalabilidade SNR (relação sinal/ruído), a camada base é codificada de modo a ter se uma qualidade visual rudimentar da imagem (ou seja, com alta compressão) com o acréscimo das informações correspondentes às camadas de refinamento, a qualidade do vídeo tratado é aprimorada a divisão de dados implica na "quebra" da sequência codificada em duas camadas a camada base contém as informações mais relevantes da sequência codificada (conteúdo do cabeçalho e vetares de movimento, por exemplo) a camada de refinamento abrange o restante dos dados codificados (os que não são absolutamente necessários para que se estabeleça a decodificação) o ideia contida na utilização de escalabilidade parte do princípio de que um decodificador simples pode tratar um programa empregando apenas e tão somente a camada base, ao passo que um de "alta definição" pode operar não só a partir da camada base, como também com uma ou mais camadas de refinamento com o objetivo de melhorar as resoluções temporal, espacial, SNR ou combinações entre elas tem se assim o tratamento da informação codificada por meio de decodificadores de "alta" ou "baixa" definição

9 9 as informações da camada base, conforme anteriormente citado, consistem na parte absolutamente necessária para possibilitar a visualização razoável de uma imagem decodificada ocorrendo erros de transmissão na camada base, o(s) efeito(s) na qualidade da imagem pode(m) ser desastroso(s) se tais erros de transmissão tiverem lugar nas camadas de refinamento, a influência dos problemas por eles estabelecidos na imagem como um todo será menor daí a importância de se criar mecanismos de proteção das informações associadas à camada base (pelo uso de canais de transmissão específicos, com baixa taxa de erro ou por meio da incorporação de códigos corretores de erros) finalmente, no item (d) tem se a caracterização de perfis e níveis no MPEG 2 considerando se a vasta gama de possibilidades operacionais, bem como a potencialidade do padrão MPEG 2, foram estabelecidos os conceitos de 'níveis' e 'perfis' um dado perfil caracteriza um conjunto de funcionalidades, entre as quais se destacam: perfil simples: amostragem 4:2:0, geração de imagens I e P (não opera com B) o grau de complexidade é reduzido e isso é conseguido às custas de baixo desempenho em se tratando da compressão perfil principal: amostragem 4:2:0, geração de imagens I, P e B suporte para vídeo entrelaçado perfil 4:2:2: amostragem 4:2:2, o que corresponde à utilização de oito blocos, sendo quatro de luminância, dois para a componente Cr e dois para a componente Cb perfil SNR: apresenta as mesmas características do perfil principal com o acréscimo de uma camada de refinamento com o objetivo de proporcionar melhor qualidade da imagem tratada perfil espacial: apresenta as mesmas características do perfil SNR, mas com a escalabilidade espacial utilizada com o objetivo de proporcionar camadas de refinamento com maior qualidade no âmbito da resolução espacial perfil elevado: apresenta as mesmas características do perfil espacial, mas podendo suportar a amostragem 4:2:2 quanto aos níveis, quatro deles podem ser descritos; cada nível está associado a uma dada resolução espacial e temporal: baixo: utilizado para resoluções de quadro não superiores a 352 x 288 pixeis e até 30 quadros por segundo principal: utilizado para resoluções de quadro não superiores a 720 x 576 pixeis e até 30 quadros por segundo alto 1440: utilizado para resoluções de quadro não superiores a 1440 x 1152 pixeis e até 60 quadros por segundo Alto: utilizado para resoluções de quadro não superiores a 1920 x 1152 pixeis e até 60

10 10 quadros por segundo na padronização MPEG 2 são recomendadas certas combinações de níveis e perfis exemplo: o perfil principal associado ao nível baixo, empregando apenas codificação de quadro, corresponde ao MPEG 1 já o perfil principal vinculado ao nível principal é a combinação que se destina à transmissão de televisão digital (a mais empregada) o perfil principal ligado ao nível alto é destinado à transmissão de TV de alta definição a figura 9.11 ilustra, por meio de uma tabela, a distribuição dos perfis e níveis para o padrão MPEG 2 em essência, as características que diferenciam o MPEG 2 do MPEG 1 são aquelas anteriormente consideradas detalhe para sere tratado posteriormente: as fatias (slices) em uma imagem MPEG 2 possuem restrições relativamente às propriedades por elas apresentadas no MPEG 1: no MPEG 2 não é possível ocupar mais de uma fileira de macroblocos, ao contrário do MPEG 1

11 11 o MPEG 4 no tratamento de imagens relativamente ao MPEG l e ao MPEG 2, o MPEG 4 agrega um novo conjunto de ferramentas exemplo: nos padrões anteriores a compensação de movimentos baseia se no deslocamento de áreas regulares e fixas da imagem (os macroblocos) para uma certa ordem de grandeza, em se tratando da taxa de bit esse procedimento mostra se como adequado, apesar de haver a possibilidade do estabelecimento de problemas quando as partes em movimento não estiverem totalmente contidas em um macrobloco nestes casos há a necessidade de se aumentar a taxa de bit, devido à maior quantidade de informações que devem ser enviadas no MPEG 4 há a possibilidade de se codificar objetos em movimento como se fossem formas arbitrárias surge o conceito da codificação de objetos, em que parte da cena tratada pode ser operada de modo independente e modificada conforme a necessidade assim, uma cena de fundo (em princípio estática) pode ser codificada de forma separada relativamente aos objetos situados em outros planos diante desta cena de fundo a movimentação desses objetos passa a ser parcialmente descrita por vetores e também por meio de outros dados compostos por informações binárias de pequena extensão tais objetos podem ser considerados bidimensionais, tridimensionais, opacos ou translúcidos a codificação de imagens no padrão MPEG 4 é denominada codificação de textura, muito mais aprimorada que as codificações empregadas no MPEG 2 a predição utiliza técnicas que implicam em menos perdas comparativamente a seu antecessor conforme mostra a figura 9.12, informações geradas a partir de técnicas de computação gráfica devem ser transformadas em imagens antes do processo de codificação, em se tratando do MPEG l e do MPEG 2 no MPEG 4 as informações gráficas não precisam sofrer essa conversão prévia, sendo codificadas e passadas ao fluxo de bits (bitstream) o MPEG 4 transfere o processo de interpretação de imagens codificadas (rendering) ao bloco decodificador, rendering: processo que envolve o cálculo de detalhes da imagem e seu desenho na

12 12 tela; técnica que permite computar, pixel a pixel, uma ou mais imagens 2D a partir de dados 3D, sob o ponto de vista de uma câmera simulada esta transferência do processo de rendering, apesar de permitir a redução da taxa de bits (bitrate) necessária, aumenta o grau de complexidade do decodificador (decoder) parte dos dados transmitidos para o decodificador é constituída por instruções de interpretação das informações gráficas, o que corresponde a muito menos dados comparativamente àqueles que seriam necessários caso a informação gráfica viesse a ser transformada em uma imagem real ainda no codificador decorrem um alto fator de compressão e uma baixa taxa de bits (bitrate) junto com o processo de compensação de movimento, o MPEG 4 pode caracterizar o deslocamento de um objeto combinado com diferentes ângulos de visão deste, à medida que ocorre o movimento, através da codificação mesh (mesh coding) um determinado objeto pode ser descrito por meio de um grupo de polígonos convenientemente agregados, como mostram os exemplos da figura 9.13 a técnica consiste em se alterar convenientemente o posicionamento e a forma desses polígonos outras técnicas, assim como o warping (dobradura) e a utilização de codificações para imagens estáticas empregando DCT (discrete cosine transform transformada discreta do cosseno) e onduletas (wavelets), também fazem parte do repertório do MPEG 4 foi visto que o MPEG 2 permite a operação segundo princípios de escalabilidade: no MPEG 4 essa concepção é expandida conceito de escalabilidade temporal: uma corrente de dados associada a uma certa taxa de quadros (frame rate) que pode ser ampliada quando se agrega uma parcela adicional de informações semelhante à escalabilidade temporal já estudada para o MPEG 2 determinando se uma saída decodificada formada por imagens com taxa de renovação de quadros mais elevada aqui os princípios da escalabilidade temporal excedem aqueles apresentados quando da abordagem do MPEG 2, por serem aplicados aos VOPs VOPs, em resumo, utilizam a ideia de objetos de vídeo (VO, video objects), em que

13 13 diferentes objetos em uma cena podem ser codificados de forma independente, reutilizados e combinados uma cena de vídeo (VS, video scene) é criada a partir de um conjunto de VOs que podem ser submetidos a transformações ao longo do tempo por exemplo, um VO ao fundo e outros em planos diante desse, os últimos modificando se durante os diferentes momentos em que as VSs se sucedem um VOP (video object plane) consiste em uma notação no âmbito do MPEG 4 que seria o equivalente a uma imagem na terminologia convencional oriunda dos padrões MPEG 1 e MPEG 2, caso toda a cena viesse a ser tratada como um VOP único um VO tomado em um determinado instante é, então, ainda segundo a analogia apresentada, um VOP (algo tal como um quadro, nesse contexto) em consequência dessas considerações, um VOP que contém uma informação associada ao fundo da cena, pode ser codificado sem escalabilidade, enquanto um outro VOP que corresponde a um plano diante desse fundo, pode ser tratado (codificado) por meio de várias camadas de escalabilidade temporal com isso, estabelece se a viabilidade da decodificação dos objetos diante daquele fundo presente, segundo uma taxa de renovação de quadros superior os objetos com menos movimentação, ou mesmo estáticos, seriam tratados com base em taxas mais reduzidas sob uma outra faceta, tendo em conta que os sistemas televisivos analógicos tradicionais operam com taxas de renovação de quadros (frame rate) que tendem a valores limite (em função de razões históricas e limitações tecnológicas da época, pois seria muito mais conveniente operar com mais que 25 ou 30 Hz, objetivando a melhor qualidade de imagem), com base nos procedimentos anteriormente descritos, viabiliza se a possibilidade de que, com a nova tecnologia, sejam tratados sinais com valores mais elevados em termos de frame rate, além de haver a compatibilidade com as técnicas tradicionais utilizando se o MPEG 4, pelos aspectos citados, amplia se aplicação do conceito de escalabilidade, dispondo se de maior flexibilidade na caracterização da melhor imagem possível a ser transmitida a partir de uma taxa de bits (bitrate) predeterminada uma das propriedades adicionais do MPEG 4 é a possibilidade de se estabelecer animações faciais e de corpo com a utilização de representações vetoriais específicas torna se possível, a partir de uma imagem estática de uma face, por exemplo, criar se animações e gerar se expressões com o objetivo de acompanhar o movimento durante uma fala, empregando se bitrates extremamente reduzidos na prática, o grande ferramental disponível no padrão MPEG 4 não é utilizado em sua plenitude à semelhança do que foi estabelecido para o MPEG 2 (perfis e níveis para aplicações específicas), também neste caso podem ser organizadas famílias de ferramentais aplicáveis a situações de menor a maior graus de complexidade, definidas por perfis as figuras 9.14 e 9.15 mostram a descrição de ferramentas computacionais associadas ao tratamento de imagens presentes em duas versões do MPEG 4 (versões 1 e 2, a segunda sendo extensão da primeira), bem como a ideia associada ao relacionamento entre perfis e as ferramentas a eles correspondentes aos instrumentos computacionais aqui considerados dá se o nome de object types no caso, considera se no momento apenas o aspecto visual do MPEG 4, por isso a designação, mais completa, de visual object types para tais instrumentos

14 14 como exemplo de utilização dos objetos, um giro de um trecho da imagem, com características tridimensionais determina grandes alterações entre as imagens sucessivas um codificado r MPEG 2 teria certa dificuldade no processo de compressão ao considerar se esse trecho como um objeto a ser recomposto no decodificador, o efeito rotatório pode ser transmitido através de apenas alguns vetores no MPEG 4 os objetos consistem em partes da imagem que podem ser operadas de forma independente, estando presentes ao longo de um intervalo de tempo os planos de objetos (object planes) são amostras temporais referentes aos objetos em consideração quando da intersecção de um objeto com um plano de objeto, define se o momento em que deve ocorrer a codificação, que pode ser efetuada segundo os princípios do intra coding, predição para a frente e predição bidirecional a figura 9.16 mostra um exemplo no qual se tem um objeto de vídeo interceptando vários planos de objetos de vídeo (Video Object Planes VOPs) em cada plano é preciso caracterizar se a forma e a textura do objeto através de combinações adequadas de codificações I, P e B podem ser estabelecidos diferentes tipos de VOPs: I VOP, P VOP e B VOP um grupamento de planos de objetos de vídeo é denominado GOV (Group Of VOPs) a figura 9.17 indica os quatro tipos de objetos disponíveis no MPEG 4 um objeto de vídeo (video object) consiste em uma forma com características planares que descreve a textura de parte da imagem uma textura estática ou fixa (sprite) é um objeto de vídeo planar no qual não ocorrem variações temporais um objeto mesh corresponde a uma forma bi ou tridimensional, descrita por meio de pontos em uma rede de polígonos que podem alterar se com o tempo por meio de técnicas de computação gráfica torna se possível associar texturas aos diferentes elementos mesh, estabelecendo as dobras (warping)

15 15

16 16 com o uso de dobras bidimensionais um objeto estático com certa textura pode movimentar se através da mudança de vetores, podendo haver até mesmo a criação de vistas em perspectiva sob qualquer ângulo, tudo com uma taxa de bit (bitrate) extremamente reduzida apesar da compressão espacial no MPEG 4 ser baseada na DCT (o mesmo ocorre no MPEG 2), a codificação por onduletas (wavelets) também é empregada quando do tratamento de objetos estáticos a grande vantagem da utilização de onduletas está na escalabilidade: possibilidade de se decompor a imagem considerada em diferentes resoluções graças, basicamente, às características desse processo ao criar um objeto de vídeo qualquer, define se um retângulo delimitador (bounding rectangle) dentro do qual o objeto se encontra esse retângulo consiste em um conjunto de macroblocos que pode alterar se a cada VOP: para cada VOP o bitstream se caracteriza por conter referenciais horizontais e verticais correspondentes ao posicionamento do canto superior esquerdo do referido retângulo, junto com sua largura e altura na figura 9.18 podem ser observados três tipos distintos de macroblocos associados ao retângulo delimitador considerado: aqueles que estão dentro das fronteiras do objeto aqueles que estão situados externamente ao objeto, mas ainda dentro do retângulo aqueles que interceptam a fronteira entre o objeto e encontram se parcialmente fora deste, mas sempre no interior do retângulo

17 17 os macroblocos que se situam externamente ao objeto são os transparentes, sem dados referentes à textura os macroblocos opacos estão no objeto, caracterizando se por conter dados de textura. os macroblocos de fronteira contêm informações referentes aos limites do objeto, estando neles incluídos dados associados à forma e, parcialmente, à textura como é sabido, seja no MPEG 1, seja no MPEG 2, a representação de imagens é baseada em pixeis no MPEG 4 há várias formas (ferramentas) para descrição das imagens: como a representação por pixeis também está no MPEG 4 (tratada como uma das ferramentas), ela recebe a denominação de codificação de textura (texture coding) por ser posterior ao MPEG 1 e ao MPEG 2, pôde se agregar a essa ferramenta certo grau de complexidade, de modo a permitir a busca por melhores desempenhos o processo de decodificação de textura no MPEG 4 também é significativamente mais elaborado comparativamente àquele presente no MPEG 2 é importante observar que tais aprimoramentos não implicam em degradações, alcançando uma redução no bitrate sem nenhuma perda de qualidade de imagem

18 18 os sprites são imagens ou partes de imagens que não sofrem alteração de suas características com o tempo: os dados referentes a tais cenas necessitam ser enviados apenas uma vez o sprite transmitido é o que, de fato, não se altera no entanto, o decodificador pode operar o sprite de diferentes modos em cada imagem, fornecendo a sensação de movimento exemplo: a figura 9.19, na qual se encontra um sprite de grandes dimensões que consiste em uma cena de fundo, excedendo as dimensões da tela as informações a ele referentes podem ser enviadas como um I VOP (Intra coded Video Object Plane) a textura do sprite permanece armazenada no decoder (decodificador) e vetores podem ser recebidos de modo a ordenar a movimentação ou dobra da imagem diferentes partes do sprite podem ser exibidas em cada imagem para efeitos práticos, corresponde à movimentação da cena de fundo objetos de vídeo podem, então, ser superpostos a esse referencial Compressão com o Uso de Onduletas (Wavelets) com o MPEG 4 tornou se possível incorporar, além da DCT, as onduletas como meio de compressão de imagens estáticas assim como no caso da aplicação da DCT, também com o uso das onduletas não se tem uma compressão efetiva o que ocorre, na realidade, é a possibilidade da fácil identificação das características redundantes da imagem analisada ao atentar para a figura 9.20, constata se a presença de três dentre os muitos estágios associados à transformação por onduletas

19 19 cada um dos estágios considerados representa mais detalhes (refinamentos) presentes na imagem original (supondo, evidentemente, que tais detalhes estejam presentes) à semelhança das DCTs, também nesse processo as frequências espaciais mais elevadas tendem, em muitas imagens (ou partes de imagens), a ser pequenas, muito pequenas ou nulas assim, quando da quantização, os coeficientes associados às onduletas podem ser representados por palavras de menor comprimento, devido à possibilidade de uso de quantizações mais grosseiras além disso, também uma varredura adequada permite priorizar os coeficientes que, estatisticamente, são mais relevantes nota se, então, a presença intrínseca do conceito de escalabilidade no processo de transformação por onduletas quando da quantização dos coeficientes das onduletas correspondentes às frequências mais elevadas, a utilização de palavras mais curtas corresponde a quantizações com maior erro incorporado, o que implica em perdas na regeneração da imagem no entanto, no estabelecimento de níveis superiores em se tratando da formação das onduletas, pode se transmitir o detalhamento da imagem assim, a transformação através de onduletas proporciona uma decomposição da imagem que se mostra conveniente para a aplicação de técnicas de compressão ao examinar a figura 9.21, nota se que para cada coeficiente de uma onduleta, associado a um nível, originam se quatro no nível seguinte (que contém refinamentos), dezesseis no próximo e assim sucessivamente imagens (ou partes) sem detalhamentos significativos podem gerar níveis com coeficientes nulos, o que facilita a compressão

20 20 Escalabilidade Temporal em se tratando da escalabilidade temporal, novos VOPs são estabelecidos entre os VOPs associados à imagem básica com o objetivo de ampliar a taxa de renovação de quadros na figura 9.22, os I VOPs (intra coded) correspondentes às informações adicionais (que caracterizam o princípio da escalabilidade, no caso temporal e denominado I refinado ) são decodificados sem que haja dependência com os VOPs vinculados ao nível básico no entanto, os P VOPs e os B VOPs associados às informações adicionais (designados, respectivamente, como Prefinado e Brefinado) são preditos a partir de qualquer dos VOPs, sejam aqueles originados pelas informações adicionais, sejam os provenientes da imagem básica

21 21 os B VOPs pertencentes à imagem básica não são empregados como referenciais para os VOPs das informações adicionais no entanto, os B VOPs das informações adicionais podem ser usados como referências para outros VOPs dessas mesmas informações Considerações Referentes ao MPEG 4 Visual (Parte 2) e ao MPEG 4 Parte 10 o foco original do padrão MPEG 4 era proporcionar a atualização necessária para o MPEG l e o MPEG 2 em 1994, o grupo MPEG mudou seu enfoque, buscando a codificação baseada em objeto, bem como a melho ria da funcionalidade dos padrões, o que deu origem ao MPEG 4 Visual quando ele foi finalizado, o grupo ITU T (International Telecommunication Union) iniciou as pesquisas de um padrão designado como H.26L (o L corresponde ao termo long term longo prazo) a partir do amadurecimento do H.26L, adotou se esta linha de padronização como base para o MPEG 4 parte 10, assim como da Recomendação H.264 o MPEG 4 Visual foi estabelecido (formalmente) em 1999 pelo Moving Picture Experts Group (MPEG), um grupo de trabalho associado ao International Organization for Standardization (ISO) o MPEG 4 parte 10 foi publicado em 2003 no ISO/IEC o MPEG 4 Visual (também conhecido como parte 2 do grupo de padrão MPEG 4) e o MPEG 4 parte 10 continuam a ser padrões voltados à representação codificada da informação visual ambos são formados por documentos que caracterizam a sintaxe que descreve as informações de vídeo sob uma representação comprimida e o método de decodificação dessa sintaxe com o objetivo de reconstituir a imagem (analógica) assim como no caso do MPEG 2, o codificador não é caracterizado, e sim as saídas que esse bloco deve gerar

22 22 no MPEG 4 Visual busca se a flexibilidade, ao passo que no MPEG 4 parte 10 procura se alcançar eficiência e confiabilidade no MPEG 4 Visual tem se um ferramental de técnicas de codificação que podem operar em uma ampla gama de informações de natureza visual (quadros de imagens em movimento, objetos de vídeo e imagens estáticas, além de cenas híbridas e sintetizadas) ainda no MPEG 4 Visual, a concepção de funcionalidade é obtida pela organização dessas ferramentas em perfis (que variam com a aplicação considerada) nesses perfis incluem se o simples (simple profile), os baseados em objetos (object based profiles) e escalabilidade (scalable profiles), entre outros em se tratando do MPEG 4 parte 10, tem se o enfoque inteiramente voltado para a compressão dos quadros das imagens a eficiência de compressão proporcionada por esse padrão supera todos os anteriores além disso, na transmissão, incorporam se ao MPEG 4 parte 10 procedimentos que garantem a robustez e a confiabilidade de operação em vários tipos de canais de comunicação no MPEG 4 parte 10 há apenas três perfis de atuação (no caso do MPEG 4 Visual têm se aproximadamente 20) o perfil básico (baseline) é voltado à videoconferência o perfil estendido (extended) possui ferramentas adicionais que permitem o video streaming em redes, ao passo que o perfil principal (main profile) é voltado à transmissão e armazenagem de sinais de vídeo (incluindo o conceito de televisão) o MPEG 4 parte 10 pode ser estudado em detalhes em capítulo específico, dada sua relevância para as técnicas de televisão digital (mormente no que concerne ao padrão brasileiro) Aspectos Relacionados à Codificação de Vídeo Segundo os Padrões MPEG a figura 9.23 apresenta um esquema válido para os codificadores MPEG de um modo geral a regra básica é que a capacidade preditiva do decodificador seja reproduzida no codificador a imagem atual deve ser predita com a melhor precisão possível e o erro é "trabalhado" no bloco codificador, sendo então transmitido como o decodificador executa a mesma predição, o resíduo (erro), se for transmitido sem falhas, será agregado à predição do decodificador e a saída desejada pode ser recuperada, teoricamente sem perdas em se tratando das ferramentas do MPEG que não apresentam perdas, destacam se a compensação de movimentos, a varredura ziguezague, a codificação RLC (run length code, associada ao MPEG l e ao MPEG 2), bem como as codificações preditivas vinculadas ao MPEG 4 pode se afirmar também que há uma relação inversa entre a complexidade da predição efetuada e a quantidade de bits necessários para o envio da informação de erro (resíduo)

23 23 é fato, no entanto, que no MPEG como um todo, o bitrate efetivo não é determinado unicamente pelas características do sistema anteriormente descrito os codificadores MPEG possuem em suas saídas um buffer e, se o bitrate a ele associado não for adequado, ou seja, se esse reservatório tender a ser ocupado, digamos, ao máximo, o codificador deve obrigatoriamente ter o seu bitrate diminuído não se pode reduzir a quantidade de dados codificados associados à predição das imagens sem que haja prejuízo nesse processo e aumento na quantidade de dados correspondentes às informações residuais ao diminuir a precisão dos vetores de movimento, também haveria consequências semelhantes logo, a única forma de atuar no controle do fluxo de dados no buffer seria alterar o bitrate da informação de erro na prática, tal ação é tomada quando da quantização dos coeficientes DCT a necessidade de redução do bitrate também pode ter lugar na transmissão dos dados através de meios em que ocorram restrições tendo em vista essas considerações, pode se dizer que as imagens visualizadas no receptor não necessariamente corresponderão àquelas originalmente codificadas, e a diferença entre elas também pode ser caracterizada como um (outro) tipo de ruído Questões Propostas 1. O que se entende por vetor de movimento? 2. Descreva o conceito conhecido como predição de movimento. 3. Por que é necessário aplicar uma reordenação das imagens codificadas antes da etapa de transmissão? 4. Como a sequência, o grupo de imagens, a imagem, o slice, o macrobloco e o bloco se relacionam no processo hierárquico do MPEG l? 5. Quais são as secções básicas que caracterizam o padrão MPEG 2? 6. Quais são, em essência, as melhorias introduzidas no padrão MPEG 2 relativamente ao MPEG l? 7. O que pode ser dito a respeito dos modos de escalonamento disponíveis no padrão MPEG 2? 8. Quais são, em essência, as vantagens proporcionadas pelo padrão MPEG 4 relativamente aos padrões antecessores? 9. Como o MPEG 4 Visual e o MPEG 4 parte 10 se relacionam? 10. Como se define rendering no contexto do padrão MPEG 4?