FUNDAMENTOS DE SISTEMAS MULTIMÍDIA INTEGRAÇÃO DE OBJETOS MPEG-4

Transcrição

1 FUNDAMENTOS DE SISTEMAS MULTIMÍDIA INTEGRAÇÃO DE OBJETOS MPEG-4 UFF UNIVERSIDADE FEDERAL FLUMINENSE FERNANDO DE MATTOS MACIEL MATR.: Fevereiro de 2004

2 APRESENTAÇÃO: Introdução; Objetivos do Projeto; Arquitetura do Terminal; Ferramentas MPEG-4: Sistemas, Visuais, Áudio, dentre outros; MPEG-4 e Outros Padrões Multimídia Interoperabilidade; Aplicações MPEG-4; BIFS: Descrição de Cenas, Princípios, Exemplos; Expensible MPEG-4 Textual Format (XMT);

3 INTRODUÇÃO Sucesso dos padrões MPEG-1 e 2; MPEG-4: interatividade; Representação baseada à objeto; Objetos naturais e sintéticos; Usuários: criar, reusar, acessar e consumir conteúdo audiovisual; Baixa Taxa de Bits Alta Eficiência de Compressão; Aproximação não linear e interativa; Nome do projeto MPEG-4 mudado para Codificação de Objetos Audiovisuais [N998].

4 OBJETIVOS DO PROJETO: Representar conteúdo multimídia para uma larga escala de serviços; Estender a interatividade encontrada em textos e imagens; Acesso Universal ; Integrar diferentes tipos de mídias em uma simples estrutura; Oferecer uma rica interatividade para autores e usuários;

5 MPEG-4: Cena composta de objetos. Esse conceito permite: 1) Integração com elementos individuais; 2) Adaptação do esquema de codificação; 3) Fácil reuso e consumo;

6 OBJETO/DESCRIÇÃO DA CENA Somente áudio, somente vídeo, dentre outros; Naturais / Sintéticos; 2D / 3D; Descrição das cenas: é dinâmica e envolve relacionamentos temporais e espaciais.

7 CONTEÚDO: Criação e formato do conteúdo; CRIAÇÃO: Autoria e Publicação; FORMATO: XMT / MP4; A escolha depende do grau de liberdade.

8 ACESSO UNIVERSAL: Abstrações na camada de entrega de conteúdos; Interface DAI (DMIF Application Interface); DMIF (Delivery Multimedia Integration Framework);

9 TRANSPORTE: Mecanismos de transporte de conteúdos MPEG-4: Armazenamento de conteúdo MPEG-4 em arquivos MP4 [MPEG4-1]; Transporte de conteúdo MPEG-4 na Internet [MPEG4-8, GENT01]; Transporte de conteúdo MPEG-4 em fluxos de transporte MPEG-2 [MEPG2-1];

10 ARQUITETURA DO TERMINAL Meio de Armazenamento ou Transmissão; Camada de Entrega; Camada de Sincronismo; Camada de Compressão; Composição e Montagem.

11 ARQUITETURA DO TERMINAL IP MP in MP EG W 3C DRM works hop 22/23 J a n 2001 DB: Decoding Buffer / CB: Composition Buffer / OD: Object Descriptor BIFS: Binary Format for Scenes / ES: Elementary Stream / Ds: Descriptors

12 CAMADA DE ENTREGA: Fluxos de transporte: MEPG-2, RTP/UDP sobre IP, MP4, ATM, dentre outros; Fornecer fluxos multiplexados (FlexMux) para a Camada de Sincronismo.

13 CAMADA DE SINCRONISMO: Sincronismo; Fragmentação; Continuidade da informação; Fornecer fluxos elementares (ES Elementary Streams) para os respectivos decodificadores.

14 CAMADA DE COMPRESSÃO: Descritores de Objetos (OD s Object Descriptors); Informação da descrição de cena (BIFS); Dados audiovisuais.

15 DESCRIÇÃO DA CENA: O compositor do sistema utiliza a informação da descrição de cena para agregar os vários objetos audiovisuais naturais e sintéticos e formar a cena final que será apresentada para o usuário; A ferramenta para descrição de cena fornece mecanismos para capturar eventos usuários ou de sistemas; Permite o uso de JavaScript certificando a descrição da cena.

16 COMPOSIÇÃO DA CENA:

17 FERRAMENTAS MPEG-4: Sistema; Visual; Áudio; DMIF.

18 SISTEMAS: Estrutura do Descritor de Objeto; Decodificador modelo dos sistemas; Formato Binário para Cenas (BIFS); MPEG-J; XMT; Ferramentas de transporte; IPMP.

19 VISUAL: Ferramentas de Compressão de Vídeo; Escalabilidade de Granularidade Fina (FGS); Compressões em 2D; Compressões em 3D; Animação; Dentre outros.

20 ÁUDIO: Linguagem de Codificação; Codificação Geral de Áudio; Codificação de Áudio Sintetizado; Linguagem de Codificação Sintetizada.

21 MPEG-4 E OUTROS PADRÕES: Interatividade: Diferentes produtos; Diferentes fornecedores; Diferentes espaços de aplicação; Diferentes indústrias. Alternativas de partes do MPEG-4: SMIL, SVG e DVB-MHP.

22 INTEROPERABILIDADE:

23 SMIL: Baseada em XML; Apresentação em 2D; Comportamento temporal; Comportamento espacial (layout); Utilização com outras linguagens baseadas em XML.

24 SVG: Descrição de gráficos 2D; Baseada em XML; 3 tipos de objetos: vetores gráficos, imagens e texto; Objetos gráficos podem ser agrupados e transformados.

25 DVB-MHP: Interface genérica entre aplicações interativas digitais e terminais.

26 APLICAÇÕES MPEG-4: Fluxo multimídia sobre Internet/Intranet; Comunicações móveis; Transmissão digital multimídia interativa; Distribuição interativa; Comunicações em tempo real; Encontros virtuais; Shopping 3D; Comunidades e Conferências multimídia; Outras aplicações.

27 BIFS: DESCRIÇÃO DE CENAS Binary Format for Scenes; Desenvolvido pelo subgrupo do Sistema MPEG [MPEG4-1]; Complementa a estrutura do OD; Define como os objetos são combinados juntos para a apresentação; Semente é a linguagem VRML (ferramenta principal).

28 PRINCÍPIOS DO BIFS: Cenas e Nós; Campos e Routes; Tipos de Nós; Subcenas e Hyperlinks; Mudanças nas Cenas; Codificação Binária; Quantização.

29 CENAS E NÓS: Estrutura hierárquica ou estrutura de árvore Objetos visíveis e audíveis: Folhas; Agrupamento por semântica; Acúmulo das propriedades; Nós: nomes ou ID s ou sem denominação.

30 CAMPOS E ROUTES: Campos: primitivas dos nós; Características: valor, tipo de valor, tipo de comportamento e nome; Alguns são ativos e emitem eventos: TimeSensor; Routes: conectam um campo ao outro de mesmo tipo.

31 TIPOS DE NÓS: Shape: resume a geometria ou a forma. Possui campos: geommetry, form e appearance. ImageTexture; MovieTexture; Sound; Sound2D; Script ou Conditional : possibilidade de interatividade.

32 SUBCENAS E HYPERLINKS: Divisão da cena: A cena completa é muito grande para ser gerenciada facilmente; Partes da cena necessitam ser modificadas mais freqüentemente do que outras; Diferentes autores desenvolvem as várias subcenas; A subcena tem a necessidade de ser protegida de modificações na cena principal, ou vice-versa. Utiliza-se o nó Inline com o campo InlineURL; Outro tipo: hyperlinks

33 MUDANÇAS DA CENAS: Mecanismos de mudanças: BIFS_Commands; BIFS-Anim; Esses mecanismos não devem ser confundidos com animações da cena (TimeSensor e interpoladores); Somente tipos de campos numéricos podem ser animados.

34 CODIFICAÇÃO BINÁRIA: Principais melhorias do BIFS sobre VRML: cenas MPEG-4 podem ser codificadas na forma binária; SFBool: 1bit; Integer: 32 bits; Float: 32 bits; Tempo: 64 bits; Valores dos campos BIFS podem ser quantizados para aumentar a relação de compressão.

35 QUANTIZAÇÃO: Para cada campo numérica de cada tipo de nó, um tipo de quantização é especificado de acordo com a maneira que o valor é utilizado; A quantização é linear entre mínimo e máximo. O número de bits (valor mínimo e máximo por categoria) representado pelo nó QP (QuantizationParameter).

36 EXEMPLO: 1 <Replace> <Scene> <Layer2D> <children> <Sound2D> <source> <AudioSource url= od:3 starttime= 0.0 stoptime= -1.0 /> </source> </Sound2D> <Shape> 7 <geometry> <Bitmap/> </geometry> 9 <appearance> 10 <Appearance> <texture> 11 <MovieTexture url= od:4 loop= false 12 starttime= 0.0 stoptime= -1.0 /> </texture> </Appearance> 14 </appearance> 15 </Shape> 16 </children> </Layer2D> 17 </Scene> </Replace>

37 XMT: extensible MPEG-4 Textual Format (XMT): Representação de conteúdos e associação de fluxos mídia; Sintaxe textual; Abstrações de alto nível: troca de conteúdos; Baseada em XML; Interoperabilidade com X3D e SMIL.

38 CARACTERíSTICAS: XMT pode ser codificado e armazenado (mp4); Codificado diretamente em fluxos; 2 níveis de apresentação: XMT-Ω / XMT-A.

39 XMT-Ω: Baseada em SMIL; SMIL: diversas áreas funcionais divididas em módulos; Temporização, sincronismo, transições e mídia; XMT-Ω integra alguns módulos em sua linguagem.

40 XMT-A Representação textual baseada em XML Espelha a representação binária; Interoperável com X3D; Características únicas: estrutura de OD, descritores e eventos OCI e IPMP; Também permite fluxos MPEG-J.

41 XMT-A versus X3D: XMT-A: <Header> <meta> </meta> <InitialObjectDescriptor /> </Header> <Body> <Replace> <Scene> <!--Conteúdos da cena --> </Scene> </Replace> </Body> X3D: <Header> <meta> </meta> </Header> <Scene> <!--Conteúdosdacena--> </Scene>

42 XMT-C: Utiliza ambos os formatos : XMT-Ω e XMT-A; Associa elementos comuns: descrições MPEG-7, autoria de elementos, dentre outros.