Multimídia para Web e Intranet Prof. M. Sc. Carlos de Salles Curso de Especialização em Redes de Computadores Departamento de Informática Universidade Federal do Maranhão www.deinf.ufma.br/~csalles/disciplinas.htm Ementa Diferentes tópicos referentes a difusão de conteúdos multimídia através da rede (Internet e Intranet); Reflexão sobre as diferentes formas de transmissão de imagens, áudio e vídeo, bem como sobre a interação com conteúdos multimídia, em redes de computadores; Apresentação dos padrões correntemente usados na Web e sobre QoS (Quality of Service) em difusão de conteúdo multimídia. São Luís, novembro de 2004 Slide 1 Slide 2 Ementa detalhada Comunicação multimídia Conceitos básicos Requisitos multimídia: do usuário; da rede; Integração áudio-visual Bimodalidade do falar humano Leitura labial Sincronização labial Ementa detalhada (continuação) Processamento multimídia em comunicação (sinais) Mídia digital Desafios do processamento de sinais Marcas d água Processadores multimídia Sistemas distribuídos multimídia Principais características Padrões de comunicação multimídia MPEG-2, MPEG-4 etc Slide 3 Slide 4
Slide 5 Comunicação Multimídia Slide 6 Conceitos básicos Comunicação multimídia refere-se à Representação Armazenamento Captura Disseminação... de informação processada expressa em múltiplas mídias, tais como: Texto Imagem Gráficos Voz Áudio Vídeo Animação Escrita à mão Arquivos de dados Popularidade de sistemas multimídia Vários fatores contribuíram para o crescimento do número de sistemas multimídia, o que inclui o advento de: Dispositivos de alta capacidade de armazenamento; Computadores poderosos e baratos; ISDN (Integrated Services Digital Networks) de alta velocidade. Enfim, o acesso em banda larga cada vez mais comum e barato e a existência de estações cada vez mais robustas e econômicas trouxeram popularidade aos sistemas multimídia Comunicação de dados, texto e imagem (transferência de dados, fax...) Sistemas multimídia Comunicação de áudio (telefonia, difusão de som...) Comunicação Multimídia Comunicação de vídeo (videofone, TV/HDTV...) Slide 7 Slide 8
Medicina Educação Turismo Bancos Bens imóveis Seguros Administração Imprensa Áreas de aplicação Todas essas áreas são caracterizadas pela existência de documentos multimídia grandes com necessidade de pequeno retardo Aplicações multimídia Ensino à distância O instrutor e os alunos podem ficar separados a quilômetros de distância O quadro branco pode ser armazenado como um documento multimídia Acesso virtual a bibliotecas Levado ao extremo, todo conhecimento do mundo poderia ser modelado como um único e enorme documento multimídia Livros vivos Complemento a leitura escrita, o livro pode possuir também animações e hiperlinks com informações suplementares Slide 9 Slide 10 Slide 11 Aplicações multimídia (continuação) TV digital / interativa Caracterizada por um canal servidor-usuário com alta taxa de transmissão e um canal de retorno de menor banda mas fundamental para possibilitar as interações Talking heads Ferramentas de animação facial com sincronização entre face e fala Exemplo: Eva Byte, a apresentadora virtual do programa fantástico Slide 12 Sistemas multimída Phillip Robinson Se um computador está exibindo um gráfico, ou formatando uma página, ou tocando uma música, ou mesmo exibindo um modelo tridimensional, isto não é multimídia. Se um computador estiver exibindo um gráfico em uma janela, fazendo a rotação de um modelo tridimensional em outra, enquanto exibe uma voz, você está na fronteira de um sistema multimídia. Se o computador, no entanto, estiver exibindo uma voz enquanto anima um gráfico e superpondo o resultado em uma imagem de vídeo pré-armazenada, isto sim é multimídia. Diferenciar multimídia de múltiplas mídias!
Modelo de comunicação multimídia Formado por 5 componentes: 1. Particionamento de objetos de informação complexos em tipos de informação distintos O objetivo é facilitar a comunicação, armazenamento e processamento levando em conta a integração entre os diferentes tipos de informação 2. Padronização de componentes de serviço por tipo de informação, possivelmente com vários níveis de qualidade Modelo de comunicação multimídia 3. Criação de plataformas em dois níveis: Plataforma de serviços de rede (abstraindo a rede de transporte do ponto de vista do usuário e do projetista) Plataforma de comunicação multimídia (provê suporte à comunicação na base da estrutura de informações e na troca de dados) 4. Definição de aplicações genéricas para múltiplos usos em vários ambientes multimídia e diferentes ramos atendendo a necessidades comuns 5. Aplicações específicas: compras eletrônicas; treinamento à distância; manutenção remota etc Slide 13 Slide 14 Elementos de Sistemas Multimídia Requisitos do usuário Comunicações pessoa-pessoa (interações entre usuários) Interface do Usuário Processamento, armazenamento e captura Transporte Transporte Interface do Usuário Comunicações pessoa-máquina (busca e exibição de conteúdo multimídia armazenado) Interface do Usuário O usuário requer certas propriedades básicas de um sistema de comunicação multimídia: preparação e apresentação rápida da informação de interesse, levando em conta os diferentes tipos de informação e as capacidades dos terminais; possibilidade do controle dinâmico de aplicações; suporte inteligente ao usuário levando em conta suas capacidades individuais e seu contexto; provisão de uma interface natural; padronização. Slide 15 Slide 16
Novos requisitos-chave do usuário Requisitos das redes de comunicação Disponibilidade instantânea Alta velocidade e taxas de transmissão variáveis Transferência de informação em tempo real Serviços sempre online Acesso a seus serviços de qualquer terminal (pontos móveis de entrega) Diversas conexões virtuais usando o mesmo acesso Sincronização de diferentes tipos de informação Serviços padronizados e suplementares visando o suporte a aplicações multimídia Slide 17 Slide 18 Tipos básicos de requisitos Qualidade de Serviço (QoS) Requisitos de tráfego São satisfeitos pelo uso de mecanismos de reserva de recursos Exemplos: Retardo de transmissão Disponibilidade Requisitos funcionais Exemplos: Transmissão multicast Habilidade de definir conjuntos coordenados de fluxos unidirecionais As diversas mídias possuem requisitos próprios de processamento e comunicação; Garantias diversas de Qualidade de Serviço (QoS) são necessárias para manter as características temporais, de sincronização, de confiabilidade etc das diversas mídias; Oferecer garantias de QoS é um problema fima-fim que envolve: Compartilhamento eficiente de recursos; Políticas para manutenção do nível contratado do serviço. Slide 19 Slide 20
Provisão de QoS fim-a-fim Problema recursivo Produtor dispositivos E/S buffers E/S processos pilha de protocolos rede rede pilhade protocolos processos buffers E/S dispositivos E/S Consumidor provedor de serviços Componente Usuário componentes usuários X A Componente do Serviço Requisitos de QoS fim-a-fim Compartilhamento e orquestração de recursos MediaPipe Z Y Slide 21 Slide 22 Serviço Componente Usuário Serviço Provedor de Acesso B Provisão de QoS Fases: Negociação de QoS Admissão de novos fluxos estabelecendo um contrato de serviço Torre de meta serviços Serviço Principal Sintonização de QoS Manutenção do nível de QoS do serviço durante seu fornecimento Monitoração do contrato de serviço em busca de violações Negociação de QoS Sintonização de QoS Roteamento Slide 23 Slide 24
Negociação de QoS Negociação de QoS Controlador de Admissão Quando é primitivo, a admissão de novos fluxos é feita diretamente sobre uma estrutura associada, chamada árvore de recursos virtuais; Quando não é primitivo, sua função é de fachada entre os subsistemas, recebendo requisições para admissão de novos fluxos e as repassando ao negociador de QoS associado. Negociador de QoS Responsável pela divisão da responsabilidade sobre a provisão de QoS entre os subsistemas internos. Mapeador de QoS Traduz os parâmetros de QoS para os níveis de visão de QoS dos subsistemas internos. Slide 25 Slide 26 Negociação de QoS Negociação de QoS Admissão de Fluxo Admissão de Fluxo Slide 27 Slide 28
Negociação de QoS Negociação de QoS Admissão de Fluxo Admissão de Fluxo Slide 29 Slide 30 Negociação de QoS Sintonização de QoS Admissão de Fluxo Controlador de Ajuste Quando é primitivo, realoca recursos com base em informações coletadas em uma árvore de recursos virtuais associada; Quando não é primitivo, atua como uma fachada, repassando requisições para orquestração de recursos; Media Pipe Monitor Realiza cálculos estatísticos sobre o fluxo em busca de violações no contrato de serviço negociado. Sintonizador de QoS Detecta violações e toma ações para manter o nível desejado de QoS. Slide 31 Slide 32
Admissão de Fluxo Sintonização de QoS Media Pipe SCM Um modelo para provisão de QoS Histórico de trabalhos relacionados no Telemídia Um Framework para Provisão de QoS em Ambientes Genéricos de Processamento e Comunicação [Gomes, 1999] Modelagem em UML de frameworks OO envolvendo: Parametrização de serviços; Compartilhamento de recursos; Orquestração de recursos. Os hot-spots regulam a adaptação e detalhes específicos do ambiente; Extensões e especializações dos frameworks genéricos: Uma Arquitetura Adaptável para Provisão de QoS na Internet [Mota, 2001] Um Framework para Provisão de QoS em Sistemas Operacionais [Moreno, 2002] Um Framework para Provisão de QoS em Redes Móveis sem Fio [Lima, 2002] Inter and Intra Media-Object QoS Provisioning in Adaptative Formatters [Rodrigues & Soares, 2003] Slide 33 Slide 34 Integração áudio-visual Refere-se à integração entre essas duas mídias, especialmente importante quando a comunicação multimídia envolver a fala humana Integração áudio-visual O objetivo dessa seção é demonstrar como multimídia é muito mais que colocar junto texto, áudio, imagem e vídeo Por vários motivos diferentes, a interação entre áudio e vídeo é a mais interessante Slide 35 Slide 36
Pontos interessantes a explorar Leitura labial Sincronização labial Rastreamento labial Mapeamento áudio-visual Reconhecimento de voz Texto para voz Interação entre as mídias Áudio Multimídia Sincronização labial Animação facial Codificação integrada A/V Verificação pessoal bimodal Texto Leitura labial Reconhecimento de escrita Imagem / Vídeo Slide 37 Slide 38 Aplicações do reconhecimento de voz Tipo de aplicação Tamanho do Taxa de erro vocabulário de palavras Falando dígitos concatenados 10 0,30% Informação de viagem aérea 2500 2% Wall Street Journal 64000 8% Comerciais de Rádio 64000 27% Ligação comercial 10000 38% Ligação residencial 10000 50% Bimodalidade do falar humano McGurk e MacDonald demonstraram que a natureza do falar humano é bimodal, ou seja, depende tanto do que ouvimos quanto do que vemos A idéia de fonema nos é conhecida e representa a unidade mínima da voz Além do fonema, o entendimento da fala também leva em conta o visema, que é o movimento dos lábios ao reproduzir um som Há uma relação um-para-vários entre visemas e fonemas Slide 39 Slide 40
Grupos de visemas no inglês Imagens dos visemas Número 1 2 3 4 5 6 7 8 9 Grupo de visema f,v th, dh s, z sh, zh p, b, m w r g, k, n, t, d, y l 2003 Laboratório TeleMídia, PUC-Rio Slide 41 Slide 42 Sistemas talking head Exemplo de talking heads: Eureka São sistemas de animação facial que realizam o sincronismo entre fala e lábios São utilizados como tutores em sistemas de informação, aproveitando-se do fato que a similaridade com a face humana traz mais produtividade na aprendizagem O problema principal é prover o sincronismo entre visemas e fonemas! Slide 43 Slide 44
Expressive talking heads (ETHs) 2003 Laboratório TeleMídia, PUC-Rio Slide 45