SMU UDESC. Capítulo 2 - Dados Multimídia. Prof. Claudinei Dias

Transcrição

1 UDESC SMU Capítulo 2 - Dados Multimídia Prof. Claudinei Dias

2 Representação analógica e digital de áudios; Digitalização de áudio; Representação analógica e digital de imagens e vídeos; Captura e reprodução de imagens e vídeos; Principais características e requisitos das informações multimídia. 2/55

3 As informações multimídia devem estar na forma digital para serem processadas por sistemas computacionais. As mídias de apresentação são capturadas do mundo real a partir de sinais analógicos e estes sinais são transformados numa forma digital. Este capítulo discute as características e requisitos de sistemas de áudio, vídeo e imagens digitais. 3/55

4 O som é causado pelo distúrbio da pressão de ar formando ondas mecânicas que alteram no tempo e espaço; São percebidos quando estas ondas alcançam o tímpano; A frequência audível por seres humanos está na faixa de 20 a Hz; 4/55

5 A oscilação é denominada forma de onda, pode ser medido por: Período tempo de um ciclo; Frequência número de períodos por segundo; Amplitude define a magnitude do som; 5/55

6 Captura, onda sonora é convertida em sinal analógico (elétrico). Realizado por microfone; Sensor de som varia a voltagem do sinal de saída; 6/55

7 Transformação dos sinais analógicos em digitais; Digitalização do áudio ocorre em três etapas: Amostragem (sampling); Quantização (quantization); Codificação (coding). 7/55

8 Conversão AD Amostragem: Conjunto discretos de valores é amostrado em intervalos temporais de periodicidade constante; 8/55

9 Conversão AD Amostragem: Teorema de Nyquist (frequência de Nyquist) Se um sinal analógico possui frequência até fhz, a taxa de amostragem deve ser ao menos 2fHz; Se a frequência do sinal analógico é maior que a taxa de amostragem ocorre aliasing (distorção); Para corrigir deve aplicar um filtro passa baixa eliminando as frequências maiores que a de Nyquist, exemplos: Sinal original Sinal alias Sons: maiores que 44.1kHz; Voz: maiores que 8kHz; 9/55

10 Sistema Telefônico: Projetado para transmitir freqüências da voz humana (15 Hz à 14 KHz) Por razões econômicas os sistema trabalham com freqüências entre 300 e 3400 Hz (largura de banda 3,1 Khz) Garante 85% de inteligibilidade (palavras compreendidas) e 60% de energia da voz humana Largura de banda definida em 4 KHz Evitar interferência entre sinais vizinhos Extremidades Hz e 3,4 4 KHz são usadas como banda de guarda Freqüência de amostragem mais comum é 8 KHz 10/55

11 Conversão AD Quantização: As amostras contínuas é convertido em valores discretos; Dividir o domínio o sinal em um número fixo de intervalos; Exemplo de passo de quantificação - PCM (Pulse Colded Modulation); Nº de níveis determina nº de bits necessários para representar a amostra; b = log 2 Q Q = 2 b b = bits; Q = níveis de quantização; 11/55

12 Conversão AD Quantização: SNR = 20log 10 (S/N) N = q S = 2 b q SNR = 20log 10 (2)=6b S = amplitude máxima do sinal; N = ruído; SNR = signal-to-noise ratio; q = quantization step; 12/55

13 Conversão AD Codificação: Conjunto de bits (code-word) é associado a cada valor quantificado; Taxa de bit produto entre a taxa de amostragem e o número de bits; Supondo uma taxa de amostragem de 8KHz e 8 bits de amostra, qual a taxa de bits? 13/55

14 Humanos reagem a estímulos sensoriais físicos; A conversão do sinal digital para o analógico é necessária; Exemplos de qualidade de áudio: 14/55

15 Problemas na representação digital: Distorção na codificação; Sinal gerado após a conversão AD não é idêntico ao original; Para resolver tem que aumentar a taxa de amostragem e o número de bits usados na codificação; Capacidade de armazenamento limitada. Algoritmo de Compressão de dados; 15/55

16 Padrão MIDI Qualquer som pode ser representado como um sinal de som digitalizado; Uma característica é que não preserva a semântica do som; Computador não consegue diferenciar uma amostra é parte de uma música ou de uma fala. Algumas representações de som preservam a semântica da informação; Pode ser codificada atributos como voz masculina ou feminina, sotaque e taxa de palavras. A música também pode ser descrita de uma maneira simbólica; notas musicais e partituras 16/55

17 Padrão MIDI Musical Instrumental Digital Interface proposto pelos maiores fabricantes de instrumentos musicais; É um padrão de conector e um protocolo de comunicação entre instrumentos musicais; Permite que dispositivos interajam e trabalhem em sincronia com outros dispositivos compatíveis com MIDI; O padrão MIDI define: sequência de notas, condições temporais e 127 instrumentos diferentes; Possibilidade de criar músicas no computador em software que permite edição de notas e partituras; 17/55

18 Padrão MIDI Músicas editadas podem ser ouvidas em sequenciadores MIDI; Arquivo áudio MIDI são mais compactados que os de amostragens digitalizadas Desvantagens: Processamento extra de informações; Imprecisão do som, que varia conforme o dispositivo usado para a apresentação; 18/55

19 Exemplos de aplicações para edição e composição de áudio Anvil Studio Sound Forge Vídeo 1 A Origem, Oscar 2011 de melhor edição de som e mixagem de som 19/55

20 20/55

21 Imagens Binárias Dois níveis de cor (ex. preto e branco); Muito utilizado em dispositivos de impressão; Um pixel de uma imagem binária tem apenas 1 bit; 21/55

22 Imagens Monocromáticas Tons de cinza Descrita pela intensidade da luz que é função de duas ou três coordenadas espaciais; Câmeras de luminância captam a imagem em tons de cinza e gera o sinal da intensidade luminosa da imagem; Imagem com resolução de cores de 8 bits pode representar 256 tons de cinzas; Padrões mais usados são de 16 e 256 tons de cinza (4 e 8 bits/pixel); 22/55

23 Captura Monocromáticas A lente foca imagens de uma cena em uma superfície fotossensível, apenas a luminância é capturada; Sensores CCD (charge coupled device) monocromático captam o tom de cinza que incide em cada célula; Brilho de cada ponto é convertido em uma carga elétrica; Superfície fotossensível é rastreada por um feixe de elétrons; Imagem ou cena é convertida em sinais elétricos contínuo; Câmeras de luminância são usadas em aplicações de visão computacional; 23/55

24 Imagens Coloridas Descrita através de formas de ondas; Objetos refletem diferentes formas de ondas; 24/55

25 Sistema de Cores Luz visível; Radiação eletromecânica que tem comprimento de onda entre 400nm e 780nm; Propriedade: Luminância (brilho), nuança (cor), saturação; 25/55

26 Sistema de Cores RGB Teoria Tristimulus; A cor é representada pela intensidade de vermelho (red), verde (green), azul (blue); Valores varia de 0 a 255; 26/55

27 Tipos de Câmeras Coloridas Modos de geração de sinais analógicos: Sinais RGB sinal é separado pelas cores básicas; utilizado em câmeras e gravadores profissionais, imagens geradas por computador, etc; Sinal de vídeo composto sinais das cores codificados em um único sinal; padrões (NTSC, PAL-M, etc); Sinal de luminância e crominância (S-vídeo) imagem de melhor qualidade; utilizados em vídeos DVD; 27/55

28 Tipos de Câmeras Coloridas Câmera de crominância (1 passo 1 CCD) Capta imagem em cores e gera sinal de vídeo composto colorido, em apenas uma passagem; Imagem não é profissional utiliza um único CCD com filtros RGB; Câmera doméstica de baixo custo; 28/55

29 Tipos de Câmeras Coloridas Câmera de crominância (1 passo 3 CCD) Capta imagem em cores e gera sinal de vídeo composto colorido, em apenas uma passagem (S-vídeo ou RGB); São usados 3 CCDs com filtros separados; É utilizada em aplicações profissionais onde é necessário uma imagem de boa qualidade; 29/55

30 Tipos de Câmeras Coloridas Câmera de crominância (3 passo 1 CCD) Capta imagem em cores e gera sinal de vídeo composto colorido, em um processo de 3 passos; É utilizado um único CCD e um filtro externo para cada componente RGB; É utilizada na aquisição de imagens espaciais; A imagem tem que estar estática; 30/55

31 Captura de imagens digitais Câmera fotográfica digital Funcionamento semelhante as câmeras fotográficas tradicionais; A imagem é digitalizada através de um CCD; É armazenada digitalmente em uma memória; Pode ser compactada ou não; A qualidade depende da resolução do CCD e da compressão utilizada; 31/55

32 Captura de imagens digitais Scanner Digitalizar imagens a partir de imagens no papel; A imagem colocado sobre uma superfície transparente; Sensor (digitalizador) se move em direção ortogonal ao documento; Fonte de luz e sensor que mede a luz refletida linha por linha está em sincronismo com o deslocamento do papel; Resolução é definido em dpi (pixel por polegas); 32/55

33 Imagens digitais No computador são representadas por bitmaps; Bitmap é uma matriz espacial bidimensional de elementos de imagens chamados de pixel; Pixel é o menor elemento da resolução de uma imagem; 33/55

34 Três tipos de representação: Cores por componente (True Color); Cores indexadas; Cores fixas; 34/55

35 True Color Cada pixel é representado por um vetor de 3 componentes cores; Cada componente é representado por um número de bits; Geralmente o número de bits para cada componente é igual (9 bits/pixel = 3-3-3); Podem ser utilizadas diferentes resoluções para cada componente (8 bits/pixel = 3-3-2) o azul é menos sensível a percepção humana; Número bits/pixel fornece a quantidade de níveis para cada componente de cor; Quantidade de níveis = 2 n (n é a resolução por componente de cor); 35/55

36 Cores Indexadas Cada pixel é representado por um índice que aponta para a tabela de cores (paleta); Paleta contém informações sobre as cores; 24 bits para cada cor (RGB); Pode representar n cores de um total de 16 milhões; 36/55

37 Cores Fixas Cada pixel é representado por um índice que aponta para a tabela de cores fixas; Usado em dispositivos que não permitem representação de muitas cores; Número de bits para representar um pixel depende do número de cores fixas; ex. 16 cores = 4 bits/pixel; 37/55

38 Qual o tamanho das imagens? 1024 x 768 True Color; Cores indexadas (paleta com cores); Cores fixas (256 cores); 38/55

39 Sistema de Cores CMY Usado em dispositivo de impressão; Usam as cores secundárias; Ciano (turquesa); Magenta (púrpura); Yellow (amarelo). 39/55

40 Sistema de Cores HLS Usa propriedades mais relevantes à percepção humana; Luminância amplitude da vibração luminosa (energia); intensidade (nula = preto, máxima = branco); Matriz frequência dominante da vibração luminosa; quantidade que distingue o azul do verde, do vermelho, etc; Saturação grau de pureza em relação a contaminação por outras cores; mistura perfeita é o branco (saturação zero); Tons muito saturado são brilhantes; Tons menos saturado são pastel; 40/55

41 Sistema de Cores CIE 1931 XYZ Cor independente do dispositivo de apresentação; Uma cor é definida por três valores XYZ; Y define a luminância e XZ a cor; A luminância é uma característica mais importante que a cor para a percepção humana; A identificação da luminância é importante para a compactação; 41/55

42 Imagens animada, Gráficos animados ou Vídeos Híbridos Sensação de movimento; Quadro (frame) é uma imagem individual de uma animação; Frequência de quadros é o número de frames apresentados por segundo (fps); 42/55

43 Requisitos de armazenamento e taxa de bits Áudio Armazenamento = A*B*duração/8 Taxa de bits = A*B (A = amostras/s e B = bits/amostras) 43/55

44 Requisitos de armazenamento e taxa de bits Áudio Quais os requisitos de armazenamento e taxa de bits para 30 s de som com qualidade de telefone digital? (Freq=8 KHz, Code Word=8 bits) Armazenamento = 234,38 Kb Taxa de transmissão = 62,5 Kbps 44/55

45 Requisitos de armazenamento e taxa de bits Imagens Armazenamento = H*V*P/8 (H=pixel em cada linha, V=nº de linhas na imagem, P=nº de bit por pixel) Largura de banda = H*V*P/t. (t=tempo de transmissão) 45/55

46 Requisitos de armazenamento e taxa de bits Imagens Quais os requisitos de armazenamento e taxa de bits para transmitir uma imagem de 2304 x 1728, true color em 30 s? Armazenamento = 11,39 MB Taxa de transmissão = 3,04 Mbps 46/55

47 Requisitos de armazenamento e taxa de bits Vídeos Armazenamento = (H*V*P/8)*fps*duração (H=pixel em cada linha, V=nº de linhas na imagem, P=nº de bit por pixel) Largura de banda = H*V*P*fps (fps=quadros por segundo) 47/55

48 Requisitos de armazenamento e taxa de bits Vídeos Quais os requisitos de armazenamento e taxa de bits para um vídeo de 1 min, 30 quadros/s, com resolução 720x480, true color? Armazenamento = 1,74 GB Taxa de transmissão = 237 Mbps 48/55

49 Tipos de Sincronização Sincronização intramídia Amostras de áudio e quadros de um vídeo devem ser apresentados em intervalos fixos 49/55

50 Tipos de Sincronização Sincronização intermídia Relacionamento temporais entre os componentes multimídia de uma aplicação 50/55

51 Requisitos de Atraso (Latência) e Variação de Atraso (Jitter) Atraso fim-a-fim Soma de todos os atrasos em todos os componentes de um sistema multimídia Acesso ao disco, conversão A/D, processamento no servidor, acesso a rede, transmissão, buffering, decodificação, conversão D/A Atraso aceitável é subjetivo Conversão ao vivo necessita manter a natureza interativa (150 a 400 ms) Recuperação da informação em alguns segundos 51/55

52 Requisitos de Atraso (Latência) e Variação de Atraso (Jitter) Nas mídias contínuas a variação de atraso deve ser pequena! Garantia da sincronização Pode ser eliminada com o uso de buffers Armazenar uma quantidade de pacotes que chegam da rede permitindo ao player retirar, processar e apresentá-los a uma taxa fixa 52/55

53 Requisitos de Tolerância a Erros e Perda de Dados Erros ou perda de dados de áudio, vídeo e imagens são tolerados Depende da aplicação alvo!!!! Percepção humana tolera a perda de informação sem perda semântica Técnicas de recobrimento de erros Aumenta a qualidade de áudio e vídeo em caso de perda de dados 53/55

54 Bibliografia WILLRICH, R. Sistemas Multimídia Distribuídos. Apostila do curso de Especialização em Redes de Computadores, UFSC, agosto, KERLOW, I. V. Art of 3D computer animation and effects, The - 4th ed / c2009 VELHO, L. Anais do SIBGRPI 96 : IX Simpósio Brasileiro de Computação Gráfica e Processamento de Imagens - 1 ed. / 1996 AGNEW, P. W.; KELLERMAN, A. S. Distributed Multimedia: Technologies, Applications, and Opportunities in the Digital Information Industry. A Guide for Users and Providers. Addison Wesley, ENGLAND, E.; FINNEY, A.; FINNEY, A. Managing Multimedia. Addison Wesley, GIBSON, J. D.; BERGER, T.; LINDBERGH, D. Digital Compression for Multimedia: Principles and Standards. Morgan Koufman, FLUCKIGER, F. Understanding Networked Multimedia: applications and technology. Prentice Hall, STEINMETZ, R, NAHRSTEDT, R. Multimedia: computing, communications & applications. Prentice Hall, /55

55 UDESC SMU Capítulo 2 - Dados Multimídia Prof. Claudinei Dias