2 Q Prof. Roberto Jacobe

Transcrição

1 INF-207 Sistemas Computacionais para Processamento Multimídia Introdução Parte 2 2 Q Prof. Roberto Jacobe (roberto.jacobe@gmail.com) Prof. Marcelo Z. do Nascimento (marcelo.ufabc@gmail.com) 1

2 Sumário Introdução; Sistema Multimídia; Arquivos; Codificação; Compressão; Comunicação multimídia; Outras Informações; Leituras Sugeridas. 2

3 Introdução Multimídia é muito mais que apenas reproduzir um filme de um DVD: DVD x CD = subtrato de policarbonato de 120 mm; Densidades mais alta de gravação > capacidade de armazenamento; Tranferência de videoclipes pela Internet: ADSL e TV a cabo. Jogos de computadores também aplicam esses recursos em algum tipo de ação durante sua execução. Vídeo sob demanda (video on demand): Capacidade de um usuário em casa selecionar um filme usando o controle remoto do televisor 3

4 Introdução Vídeo sob demanda (video on demand): Taxa de dados extremamente altas; Infraestrutura (Servidor, rede e caixa digital); Reprodução em tempo real (temporal). ADSL TV a cabo 4

5 Introdução Multimedia é qualquer combinação de texto, aúdio animação e vídeo manipulados de forma digital; Ambos, mídia discreta ou contínua pode ser utilizado; Significantes níveis de independência entre mídia pode ser aplicado; O software e hardware dão limites do que pode ser explorados em uma plataforma multimídia ou ambiente; Multimídia pode ser interativo quando o usuário final pode controlar o que e quanto os elementos são direcionados. 5

6 Sistema Multimídia 6

7 Sistema Multimídia Taxa de Dados de algumas fontes digitais multimídia Requer compressão e memória; Exemplo: Filme HDTV -> 2 horas sem compressão e com alta definição requer 570 GB. 7

8 Arquivos Arquivos Multimídia Arquivos tradicionais são formados por uma sequência de bytes sem qualquer estrutura que o SO possa reconhecer; Multimídia: Vídeo e áudio são completamente diferentes: São capturados por dispositivos diferentes e reproduzidos também por equipamentos não equivalente; Opção de selecionar o idioma: vários arquivos de áudio; Vários arquivos textos com legendas para um idioma. 8

9 Arquivos Arquivos Multimídia 9

10 Arquivos Multimídia Arquivos Sistema precisa manter controle sobre multiplos subarquivos por arquivo; Necessidade de uma nova estrutura de dados que relacione todos os subarquivos de um arquivo multimídia; Também é possível criar um i-node bidimensional em que cada coluna relaiona os blocos de cada subarquivo; Além disso, é importante manté-los de forma sincronizada para que a reprodução áudio e vídeo garanta os dados alinhados. 10

11 Áudio Codificação Uma onda sonora -> onda acústica (de pressão) unidimencional; Ondas acústicas atingem o microfone-> gera um sinal elétrico que representa a amplitude do som como uma função do tempo; O intervalo do alcance de frequência vai de 20 a 20 mil Hz -> percepção é registrada numa escala definida por db (decibeis); As ondas são convertidas em digital por um CAD (analog digital converter). 11

12 Codificação Erro Amostra o sinal em cada N segundos; O erro introduzido pelo número finito de bits por amostra é chamado de quantização. 12

13 Vídeo O olho humano: Codificação Ao atingir a retina -> uma imagem é retirada por alguns milissegundos antes de desaparecer; Se mais de 50 imagens por segundo atingem a retina; O olho não consegue perceber que está sendo exibido imagens discretas. Sistema de Vídeo => TV PxB Imagem 2D-> função unidimensional da voltagem em relação ao tempo; Câmera percorre um feixe de elétrons rapidamente de um lado para outro lentamente de cima para baixo e registra a intensidade luminosa -> quadro. 13

14 Sistema de Vídeo => TV PxB Ao final, o feixe volta a origem (retrace): Codificação 14

15 Codificação Codificação Movimentos suaveis ->pessoas podem perceber a imagem tremula: Necessidade de mais quadros/seg -> maior largura de banda. Sistema de Vídeo => TV PxB O NTSC (National Television System Committee) fornece 525 linhas e 29,97 quadros/ seg. O sistema PAL (Phase Alternating Line) e SECAM (Séquentiel Couleur à Mémoir) tem 625 linhas -> 25 quadros/seg. Solução: adotou-se mostrar primeiro as linhas de varredura impares e depois as linhas pares->cada um desses meio quadro=> campo => técnica de entrelaçamento!= Progressivo. 15

16 Codificação Sistema de Vídeo => Colorido Codificação Emprega 3 faixas movendo-se em uníssono (harmonizar); Usa-se o RGB (RED, GREEN e BLUE) -> transmissão ocorre a combinação em um único composto; Sinal a cores -> receptor em P x B: 1 luminância (brilho) e 2 crominância (cor). Vídeo Digital -> sequência de quadros Cada quadro contém uma grade retangular de elementos-> pixels. Emprega normalmente 25 quadros para produzir os movimentos suáveis; Alerta: parâmetros aplicados -> dependem da largura de banda. Exemplo: 1600 x 1200 (VXGA)=> 24 bits -> 25 quadros/seg ~= 1,2 Gbps 16

17 Compressão Sistema de compressão precisa de 2 algoritmos: Algoritmo de Codificação Algoritmo de Decodificação Diferenças em aplicações. Filme será codificado somente uma vez; Será decodificado milhares de vezes => algoritmo lento; VideoConferência=> não é possivel codificação lenta. Fatores ponderantes: Mídia não há necessidade de reverter em 100 % devido a codificação/decodificação; Sistema de compressão utilizado pode apresentar perdas. Há perdas para oferecer uma compressão muito melhor. 17

18 JPEG (joint photographic experts group) Padrão multimídia utilizado para imagens em movimento; Usados com vídeo RGB de 24 bits Exemplo: JPEG de 640 x 480 com 24 bits/pixel Passos da Codificação: 1- preparação do bloco; Compressão Uso da luminância e cromonância oferece melhor compreensão São calculados os sinais Y (brilho), I (cromonância), Q a partir dos valores RGB. Matrizes são construidas, separadas, cada uma com elementos de 0 a

19 JPEG (joint photographic experts group) 1- preparação do bloco; Compressão Calcula a média de todos os blocos quadrados de 4 pixels nas matrizes I e Q, reduzindo para 320 x 240 pixels Não influenciam muito o olho, pois é mais sensível a luminância e não a crominância. Cada elemento de todas as matrizes é subtraído de 128 para que o 0 fique na metade do intervalo; Cada matriz é dividida em blocos de 8 x 8 pixels Matriz Y tem 4800 blocos e as outras tem 1200 blocos 19

20 JPEG (joint photographic experts group) 1- preparação do bloco; Uso da luminância e cromonância oferece melhor compreensão são calculados os sinais Y, I e Q. Compressão 20

21 JPEG (joint photographic experts group) Compressão 2- Aplica a Transformada Discreta de Cosseno (TDC); Aplica-se TDC em cada bloco => matriz 8 x 8 de coeficiente DCT => o elemento DCT (0,0) é o valor médio do bloco; Outros indiciam a quantidade potência espectral presente em cada frequência espacial. 3 Quantização Coeficientes menos importantes são eliminados => usa uma tabela -> divide cada elemento DCT por um peso; 4 - Reduz O valor (0,0) de cada bloco é substituido pelo tanto que ele difere do elemento correspondente no bloco anterior; 21

22 JPEG (joint photographic experts group) Compressão Matriz Y Coeficientes DCT Elementos decaem 22

23 JPEG (joint photographic experts group) Compressão Cada aplicação fornece sua tabela de quantização Matriz inicial, Coeficientes quantizados Tabela Coeficientes com maior frequência 23

24 JPEG (joint photographic experts group) 5- Linearização: Compressão A matriz resultante quantizada => a simples utilização das linhas da matriz em sequência gera um vetor com distribuição de zeros e não zeros em todo o vetor; 24

25 JPEG (joint photographic experts group) 5- Linearização: Compressão Uma linearização em zig-zag é utilizada (64 elementos). 25

26 JPEG (joint photographic experts group) Compressão Com a lista dos números que representam a imagem no espaço de transformação, codifica a imagem usando o código de Huffman: Método que utiliza a probabilidade de ocorrência de símbolos no conjunto de dados a ser comprimido para determinar códigos de tamanho variável para cada símbolo. 26

27 Padrão MPEG (Motion Picture Experts Group) Compressão MPEG 1-> gera saída de qualidade para gravação de video usando uma taxa de 1,2 Mbps; MPEG 2-> foi projetado para comprimir vídeo com qualidade de transmissão em taxas de 4 a 6 Mbps; Esse padrão tira vantagens em 2 tipos de redundância que existem em imagem em movimento para compressão das informações; A redundância espacial -> codificar cada quadro separado com JPEG Pode haver quadros consecutivos quase identicos (temporal). 27

28 Padrão MPEG (Motion Picture Experts Group) Compressão A redundância espacial -> codificar cada quadro separado com JPEG Pode haver quadros consecutivos quase identicos (temporal)

29 Compressão Padrão MPEG (Motion Picture Experts Group) A redundância temporal: quadros sucessivos; Ao invés de transmitir os quadros como uma sequência de imagens, somente algumas imagens são enviadas; As demais somente a diferença entre o quadro e o quadro predito são enviadas

30 Padrão MPEG (Motion Picture Experts Group) Compressão Vídeo Digital ->usa somente o esquema tipo JPEG para aplicações em tempo real. Para cenas em que a camera e fundo são estacionário => subtrai cada quadro do anterior e executa o JPEG para compressão; A saída MPEG-2 consiste em 3 tipos diferentes de quadros que são processados pelo programa de visualização: I intracodificados: imagens estáticas autocontidas codificadas com JPEG; P preditivos: diferença bloco por bloco com o último quadro B bidirecionais: diferença entre o último e o próximo quadro 30

31 3 Tipos de Quadros: I, P, B Tipos de Quadros I : Todas as informações para apresentar o quadro P: Codificação preditiva a partir do I ou P. B: Codificação preditiva a partir do I ou anteriores e dos próximos I ou P. I B B P B B P B B P B B I 31

32 Compressão Quadros I Taxa de compressão similar ao JPEG => ordem de 10:1 a 20:1. Tempo de processamento para compressão é baixo. Quadros P Depende muito do método de busca de blocos na estimação de movimento, chegando a compressão da ordem de 20:1 a 30:1. Tempo de processamento para compressão é intermediário. Quadros B Depende muito do método de busca de blocos na estimação de movimento, chegando a compressão da ordem de 30:1 a 50:1. Tempo de processamento para compressão é relativamente alto. 32

33 Compressão Compressão MPEG é usada em: Televisão digital; Decodificador HDTV; DVD players; Vídeoconferência; Vídeo na Internet.. 33

34 Comunicação Multimídia Compreende um conjunto de técnicas necessárias para distribuir os sistemas multimídia; Relacionado a tranferência, protocolos, serviços e mecanismos de mídia discreta ou contínua sobre redes de comunicação; Exemplo: protocolo projetado para reservar capacidade para dados de mídia contínua em conjunto com mídia discreta em uma rede ATM. Em aplicações de redes multimídias, vários mecanismos são aplicados para fornecer QoS para propriedades da mídia em questão. 34

35 Comunicação Multimídia Nesse contexto podemos definir 4 camadas de QoS: QoS de usuário: informações necessárias para percepção dos dados da mídia na interface do usuário; QoS de aplicação: define os requisitos necessário para que os serviços da aplicação especifique a qualidade da mídia (delay) e relação da mídia (sincronização); QoS de sistema: parâmetros que descrevem requeridos no serviço de comunicação resultante do QoS de aplicação; QoS de rede: descreve requisito de serviços de rede; 35

36 Comunicação Multimídia Exemplos de parâmetros multimídia e QoS: QoS para serviço de áudio: Taxa de amostragem 8000 amostra/second Resolução 8 bits por amostra QoS para redes de computadores: Throughput 100 Mbps Tempo de configuração da conexão 50 ms 36

37 Comunicação Multimídia 37

38 Comunicação Multimídia Para fornecer QoS usando reserva de recurso e escalonamento, essas etapas devem ocorrer: Especificação de QoS: a carga de trabalho e o QoS esperado deve ser especificado para habilitar o sistema para determinada onde e quando o QoS deve ser fornecido; Teste de capacidade e cálculo de QoS: quando uma aplicação emite sua requisição de QoS, o controle do sistema deve checar onde essa demanda pode se satisfeita, solicitando a reserva existente; Reserva de capacidade de recurso: de acordo com a garantia de QoS =>s recursos devem ser reservados; Comprimento de garantia de QoS: a garantia deve ser comprida por um escalonamento de acesso ao recurso; 38

39 Leituras Sugeridas Computer Networking, A Top-Down Featuring the Internet by James F.Kurose & Keith W.Ross. Fundamentals of Multimedia, Ze-Nian Li & Mark S. Drew, Pearson Education. Lars C. Wolf, Carsten Griwodz, and Ralf Steinmetz, "Multimedia Communication," Proceedings of the IEEE, Vol. 85, No. 12, pp , December

40 Mais Informações Outras informações sobre essa disciplina podem ser obtidas: 40