Facilidades adicionais na representação do vídeo. Hugo Gonçalves ee Dinis Afonso ee Mpeg 4

Transcrição

1 Mpeg 4 Facilidades adicionais na representação do vídeo Dinis Afonso ee01148 Hugo Gonçalves ee01171

2 Mpeg-4 O MPEG-4 é o padrão global de multimédia, transmitindo áudio e vídeo de qualidade profissional por vários tipos de largura banda, de telefones celulares a banda larga e muito mais. O áudio e vídeo são o centro das especificações desta norma, mas também suporta objectos 3D, sprites, texto e outros tipos de média.

3 As cenas em mpeg-4 são compostas por vários objectos de media Estes podem ser: - Imagens estáticas (como o fundo da imagem). - Objectos em movimento (pessoa a andar e/ou falar mas sem o fundo). - Objectos de áudio (voz associada a uma pessoa, música de fundo). - Texto e gráficos; - Cabeças animadas (sintéticas) falantes e texto associado sintetiza a fala e anima a cabeça; corpos animados acompanham os rostos;

4 Objectos numa cena Este exemplo mostra vários objectos numa cena Mpeg-4: -Fundo 2D -Objectos 3D (mesa, globo) -Sprite (objecto da mulher) -Voz da mulher A cena audiovisual final é o resultado montagem de todos os objectos, com as coordenadas correctas e respectivas características definidas pela linguagem BIFS: Binary Format for Scenes.

5 Binary Format for Scenes Esta linguagem fornece informação das coordenadas dos objectos e das suas características na cena. Também permite interacção do utilizador com os objectos da cena, adição e remoção dos objectos em cena e modificação de alguns parâmetros do objecto (ex: vectores de movimento, e posicionamento na imagem) sem a descodificação prévia dos objectos primitivos de media. Cada nó é um objecto e podem ser adicionados, removidos ou substituídos.

6 Composição da cena 1) Descodificação dos objectos primitivos 2) Descrição da cena 3) Imagem final, composta pelos objectos e ordenada pelas informações de composição. Imagem pronta para interactividade.

7 Exemplo de composição de uma cena de vídeo Se se verificar que o fundo é estático, este fica armazenado num buffer e nas seguintes transmissões apenas é feita a transmissão do outro objecto, neste caso do jogador. - menos informação a transmitir.

8 Tipos de Frames I-frame intra-frame, previsão de movimento não é aplicado a este tipo de imagens, no entanto, estas podem ser descodificadas sem referência prévia para qualquer outra imagem. O seu grau de compressão não é tão bom como os outros tipos de imagens. P-frame predictive-frame, é feita previsão de movimento usando a imagem anterior do tipo I ou P. B-frame bidirectional-frame, é aplicada previsão de movimento usando a imagem anterior dos tipos I ou P e a imagem futura também dos tipos I ou P.

9 Perfis Visuais Mpeg-4 tem várias ferramentas para a codificação de imagens. Os perfis são sub-conjuntos (do conjunto total de ferramentas) com caracterizas e objectivos específicos. Cada perfil existe um ou mais níveis, que representam a complexidade computacional do perfil a ser usado. Exemplos de perfis: The Simple Visual Profile fornece codificação eficiente de erro em objectos rectangulares de vídeo, conveniente para aplicações de redes móveis, tal como PCS e IMT2000. The Main Visual Profile fornece suporte para codificação de objectos semitransparentes, entrelaçados, e sprites (imagens 2D com movimento) ao Core Visual Profile. É útil para transmissão com interacção e transmissão de entretenimento de qualidade e aplicações de DVD. The Simple Studio Profile Define um objecto baseado apenas em quadros do tipo I visando qualidade e taxa de transmissão de bits elevadas. As taxas de transmissão são superiores a quase 2 Gbit/s. é utilizado em aplicações de edição de alta qualidade em estúdios. The Core Studio Profile adiciona quadros P ao tipo anterior, tornando-o mais eficiente, mas também mais complexo.

10 The Fine Granularity Scalability Profile (FGS) permite obter uma parte do bitstream da camada de realce, a partir de qualquer posição dos bits, de modo a que a qualidade de entrega possa ser facilmente adaptada ás circunstâncias da transmissão e descodificação. Pode ser usado com o tipo Simple ou AdvancedSimple como a camada base. Como funciona? Agora será necessário codificar duas camas: Base Layer tem que ser sempre recebida pelo receptor Enhancement Layer não tem necessariamente que ser recebida pelo receptor

11 Devido às diferenças de largura de banda das redes e dos receptores dos clientes há a necessidade de fazer com que todos recebam o filme, uns com pior, outros com melhor qualidade, dependendo dos recursos disponíveis. Se não houver capacidade de processamento por parte do receptor ou largura de banda da rede, só é recebida a camada base, ficando assim a imagem final com fraca qualidade. Para o caso de grande largura de banda ou receptores com capacidade de processamento, pode ser recebida a camada de melhoramento (que pode ser truncada para melhor controlo das taxas de transmissão).

12 Neste exemplo podemos ver as duas camadas a transmitir. Enquanto a camada base tem sempre que ser recebida por inteiro, a camada de melhoramento vai sendo ajustada em tempo real de forma que o utilizador receba sempre o maior número de informação possível para melhor qualidade final, tendo em conta o congestionamento da rede e a quantidade de tarefas a serem processadas pelo receptor (limitações de recepção)

13 Multi-Path Outra vantagem da codificação ser feita por camadas, reside no facto da transmissão poder ser feita por vários caminhos possíveis tendo o mesmo ponto final pretendido, redes Multi-Path. Deste modo a camada base é entregue por um percurso e as camadas de melhoria por outro, tornando assim os pacotes menos sujeitos a congestionamentos por parte da rede. Também se pode transmitir camadas base e de melhoramento em duplicado, para a probabilidade de erro diminuir e consequentemente qualidade final aumentar.

14 Imunidade a erro Fine Grain Scalability- O erro não se propaga, pois os frames da camada melhoramento apenas dependem da camada base. Single Layer Scalability - Frames da camada de melhoramento dependem de frames anteriores e posteriores, erro vai se propagar ate próxima frame de tipo-i.

15 Ao ser detectado um erro em FGS na camada de melhoramento, a restante informação vai ser descartada, o que significa em pouca perda de informação Em SLS ao acontecer um erro, este vai ser propagado afectando uma grande cadeia de frames até a próxima frame de tipo I, que são frames que não dependem das anteriores. Qualidade de FGS muito maior que SLS.

16 Fine Grain Scalability Conclusão Permite a visualização do mesmo conteúdo em diferentes dispositivos, e com diferentes qualidades Reduz a quantidade de ficheiros nos distribuidores de rede, diminuindo assim congestionamentos. Permite a sua distribuição em redes de baixa qualidade, fazendo apenas a transmissão da camada base. Adapta-se a alterações da largura de banda, ajustando em tempo-real a camada de melhoramento a transmitir.