Multimédia O Essencial em 100 Minutos

Transcrição

1 Multimédia O Essencial em 100 Minutos Nuno M. Correia nmc@di.fct.unl.pt Resumo Introdução Informação Multimédia Áudio Imagem Vídeo Armazenamento Estruturação de informação Hipermédia Authoring Futuro da Computação Multimédia

2 Computação Multimédia Introdução Multimédia Multimédia: diversos meios ou media (plural de medium) Computação Multimédia: utilização de tipos de dados multimédia em aplicações e sistemas computacionais Tempo Multimedia: An application requiring more than two trips to the car to operate., IMA

3 Hipertexto, Hipermédia, Multimédia: Integração de media (estruturação, sincronização) Hipertexto: Texto não linear, com hiperligações ou hyperlinks. Hipermédia: Multimédia + Hiper Hipermédia Ligação e estruturação de informação heterogénea Text + Hyper = Hypertext +Multimedia = Hypermedia Conceitos fundamentais: Nó Ligação (links) Caminho História

4 Informação Estática e Dinâmica Informação multimédia pode ser: Estática: não se altera com o tempo (texto, gráficos) Dinâmica: depende do tempo (animação) Contínua: sequência de amostras com posições no tempo (vídeo, áudio). É dinâmica mas coloca problemas mais complexos de armazenamento, transmissão e sincronização. Tipos e formatos.txt.ps.tex.doc.htm(l).jpg.gif.tiff.pbm.ppm.bmp.au.wav.mid.mp3.mpg.m2v.dat.ifo.vob.snd.mov.avi.ra.dcr.pcd.xls.rle.pdf.aiff.cdr.fli.tbk.voc.qt.wad.asf.dcr.enc.png

5 Ferramentas Básicas Editores e processadores de texto Software de reconhecimento óptico de caracteres Ferramentas de desenho Modelação 3D e animação Editores de imagem Editores de som Criação de animação, vídeo e cinema digital Acessórios Computação Multimédia Informação Multimédia

6 Áudio (Psicoacústica) Áudio, é uma perturbação na pressão do ar que atinge o ouvido humano Esta perturbação é caracterizada por diversas grandezas e, dentro de certo parâmetros, é captada. Frequência: 20 Hz Hz, medida física Pitch: percepção, relação próxima com freq. Amplitude: medida física Loudness: percepção Interacções entre frequência e amplitude Áudio Digital Quantization Sampling

7 Áudio Digital Um sinal digital é definido apenas em alguns instantes e pode tomar um número finito de valores Amostrar um sinal significa examiná-lo em alguns pontos, normalmente com intervalos constantes, a uma taxa designada por frequência de amostragem Teorema da Amostragem: se um sinal contém componentes com frequência f, a frequência de amostragem deve ser pelo menos 2f de modo a que o sinal possa ser reconstítuido. Áudio Digital

8 Áudio Digital Quantizar um sinal significa atribuir-lhe um valor com um determinado grau de precisão A diferença entre uma representação e o sinal original desiga-se por ruído de quantização Com mais bits para um sinal PCM (Pulse Coded Modulation) o sinal torna-se mais limpo. OS CDs de áudio usam 16bits (as pessoas podem ouvir mais, correspondente a aprox. 20bits) DACs e ADCs convertem entre digital e analógico Compressão Armazenamento: 8bits e 8KHZ consomem 8Kb/s stereo, 16 bits PCM, 44.1 KHz (CD) consomem 176Kb/s ou 10Mb/minuto 48KHz (profissional) consome 200Kb/s Usa-se compressão perceptual, por exemplo MP3 (MPEG Layer 3) ou MPEG-2 AAC (Advanced Audio Coding) Explora as características do ouvido humano Reduz até 12 vezes sem baixar a qualidade

9 Compressão Armazenamento: stereo, 16 bits PCM, 44.1 KHz (CD) consomem 176Kb/s ou 10Mb/minuto Usa-se compressão perceptual, por exemplo MP3 (MPEG Layer 3) ou MPEG-2 AAC (Advanced Audio Coding) Explora as características do ouvido humano Reduz até 12 vezes o tamanho sem baixar a qualidade Compressão Técnicas de codificação perceptual: Nível mínimo de audição: Não é necessário representar sons abaixo deste limiar. Efeito de máscara: Os sons mais fortes mascaram os sons mais fracos. Reservatório de bytes: Algumas passagens exigem mais bytes e outras menos. É possível compensar. Joint Stereo: Abaixo de certas frequências a localização espacial não é detectada. Codificação de Huffman: Codificação final depois de aplicadas as técnicas anteriores.

10 Imagem Digital Vectorial e.g. RECT 0,0,300,300, BLUE, GREEN Bitmap ou Raster Imagem (Raster) Projecção de uma cena 3D num plano 2D Pode ser definida como uma função de duas variáveis, I(x,y). Para cada posição (x,y), I(x,y) define a intensidade da luz nesse ponto Imagem em tons de cinzento I(x,y) definido no intervalo [a,b] Imagens binárias I(x,y) definido no intervalo {0,1} Imagens a cores I R I G I B

11 Amostragem e quantização Passos no processo de digitalização (tal como no áudio ) Amostragem: Quantas amostras? Ou seja com quantos pixels a imagem vai representar o mundo real Quantização: Quantos níveis pode representar cada amostra? Directamente relacionado com o número de bits necessário para representar cada amostra. Exemplo: 8 bits, 256 níveis. Processamento de Imagem Técnicas usadas para alterar características da imagem, eliminar ruído, reconhecer objectos, etc. Histogramas Operações sobre histogramas Filtros (remover ruído, contornos) Segmentação...

12 Compressão Parâmetros mais importantes Grau de compressão: Qualidade da imagem Compressão com perdas (lossy) e sem perdas (lossless) Velocidade da compressão/descompressão As aplicações determinam o mais importante Normalmente em imagens a descompressão deve ser mais rápida Na captura de vídeo a compressão tem que ser rápida Redundância e Visibilidade Redundância: ocorre quando a mesma informação é transmitida mais do que uma vez: Vários pixels adjacentes têm a mesma cor Linhas adjacentes sobrepostas Imagens paradas ou com pouco movimento (vídeo) Visibilidade: não é necessário transmitir (guardar) mais do que o visível O olho humano não distingue bem algumas cores A informação de cor pode ter menos resolução que a luminância (usado em televisão)

13 Técnicas de Compressão Truncagem: Redução da quantidade de informação através da redução do nº de bits por pixel Exemplos: RGB 5:5:5, YUV 6:5:5 Tabela de cores: Pixels representam um indíce na tabela que contém muito bits por pixel. Número de cores limitado (8bits => 256 cores) Codificação run-length: Blocos de pixels repetidos são substítuidos por um valor e pelo número de repetições Bom para imagens com grandes áreas da mesma cor (imagens sintéticas, cartoons, etc.) Armazenamento de Dados Disquetes Discos Rígidos Zip, Jaz, SyQuest, etc. Dispositivos Ópticos CD-ROM e CD Videodisc DVD

14 DVD Digital Video Disc, Digital Versatile Disc, Nada Próxima geração de tecnologia de armazenamento óptico. É essencialmente um CD maior e mais rápido. DVD-Video inclui programas vídeo e pode ser usado num leitor ligado a uma televisão. Existem diversas versões, com diferentes tamanhos e características e nem sempre compatíveis... CD e DVD

15 DVD Authoring Texto, Imagem e Vídeo Critério Texto Imagens Vídeo Informação Pobre Rico Muito rico Dimensão Estático e não espacial Estático e espacial Temporal e espacial Organização Organizado Não estruturado Não estruturado Volume Baixo Médio Alto Relações Simples e bem definido Complexo e mal definido Complexo e mal definido

16 Computação Multimédia Hipermédia e Autoria Hipertexto A B C D E F

17 Origens Memex (1945) Vannevar Bush Xanadu (1960) Ted Nelson NLS/Augment (1962) Douglas Englebart Augment

18 Augment Componentes do hipertexto Modelo fundamental: nós e ligações. Nó é a unidade de informação Ligações ou links: referências a nós Navegação, browsing : actividade exercida pelo leitor do hipertexto

19 Internet e WWW O sistema hipermédia de grande escala e em crescimento exponencial Arquitectura distribuída aberta e multi-protocolo baseada na infraestrutura Internet Formato para informação hipertextual normalizado (HTML) e independente dos sistemas de visualização Pouca estrutura Evolução no sentido de hiper-aplicações a partir de hiperdocumentos (e.g. JavaScript, Java) A World Wide Web Início em 1989-European Particle Physics Laboratory (CERN) Sistema de Informação hipermédia distribuído e colaborativo Protocolo para ligação de vários documentos localizados em diferentes computadores algures na Internet (http) Regras para transacções simples entre dois computadores HTML (Hypertext Markup Language): Texto estruturado, imagens e hiperligações

20 Ferramentas para a WWW Servidores: Fornecem documentos a clientes que fazem pedidos Browsers: É a aplicação de leitura/consulta (cliente). Exemplos: Netscape e Internet Explorer. Pesquisa Acesso Visualização Editores de páginas Criação de sites Plug-ins Desenvolvimento de páginas e criação de sites HTML Ficheiros ASCII com tags e referências para os vários tipos de informatação Sem formatação Podem ser criados num editor de texto básico Processadores de texto com extensões Dificuldades com tabelas, forms, frames e outros mecanismos do HTML Editores WYSIWYG (Netscape, Frontpage, etc.)

21 Hipervídeo Hipermédia em que o tipo de informação dominante é vídeo Questões relevantes: Natureza dinâmica e processo narrativo do vídeo Aspectos estéticos e retóricos da integração com outros media Modelação do tempo (hiperligações) Sistemas relevantes: AHM (Amsterdam Hypermedia Model) KontikiMuseum HyperCafe Exemplo

22 HyperCafe Café virtual, que integra um conjunto de situações/cenas nas quais é possível navegar [Sawhney96] ACM Hypertext HyperCafe Temporal Hypertext Intruding on a Scene Temporal Opportunity as a Video-based Preview Spatio-Temporal Opportunities in a Scene

23 MediaLoom Sistemas de Autoria Programas para o desenvolvimento de títulos multimédia interactivos São essencialmente ferramentas de integração de diferentes materiais (texto, imagem, áudio, vídeo) Combinam conceitos das linguagens tradicionais com ambientes visuais de programação Prototipagem rápida

24 Processo de Desenvolvimento Director, ToolBook, Authorware,... CD-ROM, DVD, Web,... Metáforas/Paradigmas Define os elementos e a metodologia usados na construção dos títulos. Alguns exemplos: Linguagens de script Slide Show (PowerPoint) Ícones/Controlo de fluxo Cartões/Scripting/Livro Pauta/Teatro/Cinema...combinações dos anteriores

25 IconAuthor Authorware

26 Director Macromedia Director, é um programa que permite desenvolver aplicações multimédia. As aplicações podem ser utilizadas: Como programas autónomos, passíveis de serem executados em PCs ou quiosques multimédia. Como aplicações interactivas, acessíveis por download através de internet. Como elementos gráficos interactivos de Web Sites Director Cast Stage Score

27 Stage (Director) Uma cena de Romeu e Julieta Computação Multimédia Futuro

28 We are all interested in the future because that is where we will spend the rest of our lives. The Amazing Criswell: Plan Nine from Outer Space Convergência dos Media A televisão e o computador vão coexistir com muitos outros dispositivos Mil canais? Mobilidade assume um papel essencial Múltiplas formas de acesso, múltiplos estímulos sensoriais Multimodal -> Intermodal Desafios tecnológicos e novos modelos narrativos

29 Telecomunicações Mudança de paradigma: evolução das comunicações/evolução do computador pessoal Flexibilidade na gestão e configuração das redes (móveis) Redefinição da função do terminal (Java?) Redes ad-hoc, estabelecidas de acordo com necessidades temporárias Partilha de recursos incluindo processamento e comunicação Comunicação viral, peer to peer (modelo Napster) Inteligência nos Objectos Redes de comunicação e processamento distribuídas pelos objectos Rede de sensores (RF tags, IR,...) Modelos de computação massivamente distribuídos Computadores como tinta Interfaces tangíveis: o mundo como interface

30 Interfaces Tangíveis Tangible Media, MIT Media Lab Cinema Interactivo Margi Szperling, Uncompressed

31 Wearable Computer Cada pessoa veste o seu computador (e comunicador) pessoal Rede pessoal comunica com sensores, objectos, computadores (exemplo, Jini) Realidade aumentada, fornece informação adicional sobre o mundo que nos rodeia Wearable Computer (Hoje)

32 Wearable Computer Wearable Computer

33 Realidade Aumentada Composição, em tempo real, de imagens sintéticas com imagens reais Acesso a informação adicional Permite que o utilizador tenha uma melhor percepção sobre o mundo real Dispositivos

34 Exemplo Outdoor Tracking com Marcas Fiduciais

35 Tracking com Sensores Inerciais e Magnéticos W N S E Sensores 3D Model Server Composer Interface Servidor 3D

36 Exemplo Outdoor Cenário

37 Hipermédia e Realidade Mista Hipermédia e Realidade Mista Info Author Help Nighthawks,Edward Hopper

38 Interface Realidade Mista (1) Sobreposição da planta Posição utilizador Interface utilizador Acesso à ajuda Outras opções Interface Realidade Mista (2) Sobreposições Modelo 3D da pintura Informação sobre pintura Interacções Entrar no mundo virtual Outras opções

39 Estrutura da Interface Mundo 3D InStory Projecto financiado pela FCT/MCES centrado na Quinta da Regaleira Histórias personalizadas Localização do utilizador Interesses Histórias para grupos de utilizadores Dispositivos móveis para acesso (PDA ipaq) Arquitectura cliente-servidor, redes ad-hoc Vários cenários: personagens virtuais, jogos, caça ao tesouro, percursos Colaboração MIT Media Lab

40 InStory