Departamento de Ciência da Computação - UFF Profa. Débora Christina Muchaluat Saade debora@midiacom.uff.br debora@ic.uff.br ü Objetivo: Dar uma visão geral sobre codificação digital de dados multimídia, sistemas multimídia e hipermídia e requisitos de aplicações multimídia com relação à infraestrutura de telecomunicações. 1 2 Ementa ü 1a. Parte: Introdução Mídias Discretas e Contínuas Técnicas de Compactação e Compressão Texto, Imagem, Áudio, Vídeo ü 2a. Parte: e Hipermídia Linguagens de Autoria Multimídia ü 3a. Parte Protocolos de Streaming Infraestrutura de Comunicação em Redes Multimídia Introdução ü Definição de mídia ü Definição de multimídia ü Tipos de mídia ü Sistemas multimídia ü Aplicações multimídia ü Desafios da Multimídia 3 4 Mídias Discretas e Contínuas ü Classes básicas de tráfego CBR, rajada, VBR ü Mídias Discretas Texto Gráficos e Imagens Estáticas ü Mídias Contínuas Digitalização de Sinais Áudio Vídeo Técnicas de Compactação e Compressão ü Compactação X Compressão ü Técnicas de Compactação Codificação por carreira Codificação por Shannon-Fano Codificação de Huffman Codificação de Lempel-Ziv-Welch (LZW) Codificação aritmética 5 6 1
Técnicas de Compactação e Compressão Imagem Estática ü Técnicas de Compressão Redução do domínio Redução do espaço de quantização Codificação preditiva Codificação por sub-bandas Codificação por transformadas Quantização vetorial ü Mídia Texto ü BMP ü GIF ü TIFF ü PNG ü JPEG ü JPEG-2000 ü Imagem Gráfica - SVG 7 8 Áudio Áudio ü Sinal de Voz PCM e variações ITU-T G.711, G.721, G.722, G.726 LPC (Linear Predictive Coding) CELP (Code-excited LPC) ITU-T G.728, G.729, G.729(A), G.723.1 ü Codificação Perceptual Modelo Psicoacústico Mascaramento de frequências Mascaramento temporal ü MPEG Layer 1, Layer 2, Layer 3 (MP3) ü Dolby Digital AC-3 ü DTS (Digital Theater Systems) ü MPEG-2 AAC ü MPEG-4 HE-AAC 9 10 Vídeo e Hipermídia ü Princípios da Compressão de Vídeo Redundância inter-quadro Estimativa de Movimento ü H.261 ü H.263 ü MPEG-1 ü MPEG-2 ü MPEG-4 ü H.264 ü Multimídia x Hipermídia ü Documentos Hipermídia Objetos de Mídia Relações ü Modelos Hipermídia ü Entidades Hipermídia Nós Âncoras Elos Composições ü Modelos para Sincronização Temporal ü Autoria e Formatação Hipermídia 11 12 2
Linguagens de Autoria Multimídia Protocolos de Streaming ü Linguagem HTML ü Linguagem SMIL ü Linguagem NCL ü Protocolos de Streaming RTP, RTCP, RTSP ü Streaming Adaptativo MPEG-DASH 13 14 Infraestrutura de Comunicação em Redes Multimídia ü Comunicação Multicast ü Provisão de Qualidade de Serviço QoS QoS na Internet: IntServ e DiffServ 15 Bibliografia ü Multimedia Communications: Applications, Networks, Protocols, and Standards F. Halsall Addison-Wesley Publishing, 2000. ü Multimedia Fundamentals, Volume I: Media Coding and Content Processing (2nd Edition) Ralf Steinmetz, Klara Nahrstedt Prentice Hall, 2002. ü Handbook of Data Compression (5 th edition), David Salomon, D.; Giovanni Motta, Springer, 2010 ü Redes de Computadores e a Internet: Uma Nova Abordagem James Kurose, Keith Ross, Tradução Pearson Education, 2003. ü Programando em NCL 3.0 Luiz Fernando Gomes Soares, Simone Barbosa. Editora Campus-Elsevier, 2009. 16 Material Departamento de Ciência da Computação - UFF ü www.midiacom.uff.br/debora ü Avaliações: ü P1 27 de setembro ü P2 29 de novembro ü VS 6 de dezembro (somente graduação) ü Trabalho Introdução Profa. Débora Christina Muchaluat Saade debora@midiacom.uff.br 17 18 3
Introdução O que é mídia? ü Definição de mídia ü Definição de multimídia ü Tipos de mídia ü Sistemas multimídia ü Aplicações multimídia ü Desafios da Multimídia ü termo em inglês media ü plural da palavra medium em latim Substantivo que significa meio, centro Meio de distribuir e representar informação ü Mídia de Percepção ü Mídia de Representação ü Mídia de Apresentação ü Mídia de Armazenamento ü Mídia de Transmissão 19 20 Mídia Mídia ü Mídia de Percepção Como os humanos percebem informação? visão, audição, olfato, paladar, tato ü Mídia de Representação Como a informação é codificada em um computador? texto, imagem gráfica (vetorial), imagem estática (matricial), áudio, vídeo ü Mídia de Apresentação Qual meio é utilizado como dispositivo de saída ou entrada de informações em um computador? Sistemas de entrada e saída Saída: monitores, caixas de som, papel Entrada: teclados, câmeras e microfones ü Mídia de Armazenamento Onde a informação é armazenada? Discos magnéticos, discos óticos, fitas magnéticas, papel 21 22 Mídia ü Mídia de Transmissão Qual meio é utilizado para transmitir dados? Meios físicos (cabos metálicos, fibras óticas, ondas de rádio) ü Foco do curso: Mídia de representação Como a informação é codificada em um computador? texto, imagem gráfica (vetorial), imagem estática (matricial), áudio, vídeo O que é Multimídia? ü Etimologia Multi + Mídia Multus => Numerosos, Muitos, Múltiplos. Medium => Meio, Centro ü Uma definição Área interessada na integração controlada por computador de textos, gráficos, imagens, vídeos, animações, sons, e qualquer outro meio onde todo tipo de informação pode ser representado, armazenado, transmitido e processado digitalmente ü Multimídia é interesse das indústrias de: informática, telecomunicações, publicidade, consumidores de dispositivos de áudio e vídeo, indústria de televisão e cinema 23 24 4
Classificação dos tipos de mídia ü Mídias discretas versos contínuas Mídias discretas (estáticas ou em bloco) Compostas por itens de informação independentes do tempo mídia com dimensões unicamente espaciais textos, imagens, gráficos tempo não faz parte da semântica da informação Download é a operação de recuperação de uma mídia discreta. Tráfego em rajada Classificação dos tipos de mídia ü Mídias discretas versos contínuas Mídias contínuas (dinâmicas ou dependentes do tempo) O tempo ou a dependência temporal entre os itens de informação fazem parte da própria informação mídia com dimensões temporais áudios, vídeos e animações tempo faz parte da semântica da informação Se a dependência temporal não for respeitada, o significado pode ser alterado Streaming é um termo usado para indicar que uma mídia contínua está sendo enviada e apresentada diretamente no destino à medida que é recebida (em tempo real) Tráfego CBR ou VBR 27 28 Classificação dos tipos de mídia ü Mídias capturadas versos sintetizadas Informações capturadas do mundo real imagens, vídeos e sons Informações sintetizadas pelo computador texto, gráficos e animações Sistema Multimídia ü Trata mídias discretas e contínuas No mínimo, uma discreta e uma contínua ü Mídias devem ser independentes ü Processamento controlado por computador ü Integração das mídias de forma sincronizada Sistema multimídia é um sistema capaz de manipular ao menos um tipo de mídia discreta e um tipo de mídia contínua na forma digital de maneira sincronizada 29 30 Aplicações Multimídia Aplicações Multimídia ü Aplicações Multimídia Áudio, vídeo e imagens são meios naturais de comunicação Sistemas multimídia têm aplicações em todas as áreas em que essas mídias necessitam ser utilizadas, comunicadas e compartilhadas educação/treinamento, entretenimento, medicina, saúde, mídia sob demanda, comércio eletrônico, governo eletrônico, etc. ü Em geral, podem ser classificadas em três categorias (visão do Halsall): Comunicação interpessoal Aplicações interativas na Internet Aplicações de entretenimento 33 34 5
Comunicação Interpessoal Voz Somente: Telefonia, Voice-mail, Teleconferência ü Voz somente Telefonia, Voice-mail, Teleconferência Telefonia IP ü Imagem somente Facsimile (fax) ü Texto somente Correio eletrônico 35 36 Voz Somente: Telefonia IP Texto Somente: Correio Eletrônico 37 39 Comunicação Interpessoal CSCW (computer-supported cooperative work) ü Texto e imagens CSCW (computer-supported cooperative work) Compartilhamento de um whiteboard ü Voz e vídeo Videotelefonia Videoconferência ü Multimídia Correio eletrônico multimídia 40 41 6
Videoconferência Correio Multimídia 42 43 Aplicações Interativas na Internet World-Wide Web (WWW) ü World-Wide Web (WWW) ü Comércio eletrônico Homeshopping ü Homebanking ü Comércio eletrônico Homeshopping ü Homebanking 44 45 Aplicações de Entretenimento Vídeo Sob Demanda ü VoD (Video On Demand) vídeo sob demanda MOD movie-on-demand ü TV Interativa Jogos homeshopping 46 47 7
VoD TV Interativa 48 49 Taxonomia Recomendada pela ITU-T ü Define 4 classes básicas de serviços: Serviços Conversacionais Serviços de Mensagem Serviços de Recuperação Serviços de Distribuição Taxonomia Recomendada pela ITU-T ü Serviços Conversacionais Interatividade em tempo real da comunicação entre os usuários implica interação entre um humano e outro humano ou um sistema inclui serviços pessoa-a-pessoa (videofonia, videoconferência) e também algumas aplicações pessoa-a-sistema (tele-compras, etc.) ü Serviços de Mensagem troca assíncrona de imagens, sons ou documentos multimídia Correio eletrônico Não são em tempo real 50 51 Taxonomia Recomendada pela ITU-T ü Serviços de Recuperação Recuperação de informação armazenada remotamente cobrem todos os tipos de acesso a servidores de informação (p.e. vídeo sob-demanda, livrarias eletrônicas) ü Serviços de Distribuição Sem interatividade Cobrem serviços onde a informação é distribuída por iniciativa do sistema servidor P.e. programas de TV, distribuição de jornais eletrônicos, distribuição de cotação de bolsa de valores Desafios da Multimídia ü Dados Multimídia x Dados Alfanuméricos Dados multimídia têm características e requisitos diferentes dos dados alfanuméricos sistemas computacionais convencionais não suportam eficientemente aplicações multimídia 52 53 8
Desafios da Multimídia Desafios da Multimídia ü Requisitos das Aplicações Multimídia: Exigem codificação, armazenamento e manipulação de objetos não convencionais Manipulam objetos longos Exigem transferência contínua de dados e altas taxas Exigem acesso sincronizado aos dados ü Principais características e requisitos: Dados multimídia têm dimensão temporal devem ser transmitidos, processados e apresentados em taxas fixas processamento e comunicação devem satisfazer requisitos de tempo-real Aplicações multimídia usam múltiplos tipos de mídia relações temporais e espaciais entre mídias devem ser mantidas 54 55 Desafios da Multimídia ü Principais características e requisitos: Dados multimídia têm volume grande devem ser compactados redes de alta velocidade e computadores potentes são necessários Dados multimídia não têm sintaxe e semântica óbvia bancos de dados convencionais não suportam efetivamente dados multimídia técnicas de indexação, recuperação e reconhecimento de informações multimídia são necessárias ü Redes Multimídia Desafios da Multimídia Transmissão em banda larga Baixo retardo e baixa variação do retardo (jitter) Transmissão multicast nativa Garantia da Qualidade de Serviço (QoS) fim-a-fim 56 57 9