Processamento de sinais. Processamento de sinais. Mídia digital. Imagem digital. Envolve um conjunto de conceitos básicos: Pontos a serem abordados:

Transcrição

1 Processamento de sinais Processamento de sinais Envolve um conjunto de conceitos básicos: Análise espectral; Teoria de sampling; Equações diferenciais parciais. Pontos a serem abordados: Imagem digital Vídeo digital Som digital Slide 46 Slide 47 Mídia digital Imagem digital Pontos superiores em relação à mídia analógica Robustez A qualidade não cai à medida que cópias são feitas Integração suave Envolve a integração de diferentes mídias Independência dos dispositivos de captura Reusabilidade e veiculação Com a ajuda de padrões, há maior reuso e facilidade na troca Maior potencial de distribuição Milhares de cópias podem ser distribuídas por um único comando Podem ser capturadas diretamente por uma câmera digital ou indiretamente por um scanner É composta por uma coleção de pixels que são arranjados como uma matriz 2D Cada pixel consiste de três componentes: R(red vermelho) G(green verde) B(blue azul) O fósforo do monitor brilha com a excitação provocada por um canhão eletrônico na intensidade de seus componentes Slide 48 Slide 49

2 Qualidade da imagem digital O número de linhas e colunas de uma imagem digital constitui sua resolução Exemplo: uma imagem 1024x768 tem 1024 linhas e 768 colunas, ou seja, requer o armazenamento de pixels! O número de bits usados para representar um pixel é chamado de profundidade da cor Exemplo: uma imagem com 16 bits de cor permite cores diferentes por pixels! A combinação entre a resolução de uma imagem e da profundidade da cor é que determina sua qualidade e seu tamanho para armazenamento Reduzindo o tamanho de uma imagem Três abordagens possíveis: Índice de cor Subsampling de cor Redução espacial Slide 50 Slide 51 Índice de cor Subsampling de cor Utiliza uma palheta de cor com um número limitado de bits para representar as cores mais usadas Aproveita se também do fato que o olho humano percebe uma cor diferente quando duas cores diferentes estão lado a lado O ser humano percebe uma cor como uma combinação entre brilho, matiz e saturação e não como uma combinação RGB A visão humana é mais sensitiva a variações na luminância (ou brilho) do que na crominância (ou diferença de cor) A técnica é se aproveitar disso representando a imagem diminuindo os bits para exibir a crominância enquanto se mantém a luminância inalterada Slide 52 Slide 53

3 Redução espacial Também conhecida como compressão de dados, reduz o tamanho pela remoção de redundâncias espaciais dentro das imagens Vídeo Digital É composto de uma seqüência de quadros (imagens) que dão a noção de movimento O sistema visual humano (HVS human visual system) capta qualquer coisa acima de 20 quadros por segundo como movimento suave Movimentos mais rápidos exigem mais quadros por segundo (como Fórmula 1) Movimentos mais lentos exigem menos quadros mantendo a qualidade (como videoconferência) Slide 54 Slide 55 Áudio digital Ondas de som geram oscilações de pressão no ar que estimulam o o sistema auditório humano A faixa de freqüência captada pelo ouvido humano varia de 20Hz a 20KHz A taxa de exibição de um áudio com qualidade de Compact Disk (CD) é de 44,1 KHz. Dessa forma, ele pode acomodar a mais alta freqüência do ouvido humano (20 KHz). O som de telefone adota uma taxa de amostragem de 8KHz. Isto pode acomodar a mais sensível freqüência do ouvido humano Elementos do processamento de sinais Mapeamento analógico não-linear (vídeo e áudio) Quantização do sinal analógico Caracterização estatística Estimativa de movimento Combinação com as limitações do sistema visual humano Representação e modelo de movimento Representação 3D Procesamento de cor Slide 56 Slide 57

4 Desafios do processamento de sinais Pré e pós-processamento Exemplo de pré: estimativa de movimento Exemplo de pós: redução das perdas por compressão; sincronização labial Processamento de voz, áudio e acústico para multimídia Compressão do sinal de voz e áudio Síntese de voz Processamento acústico e controle de eco Cancelamento do eco de rede Desafios do processamento de sinais Processamento do sinal de vídeo Principais vantagens sobre o vídeo analógico: Compressão de banda Robustez contra ruídos no canal provocados pela interatividade Facilidade de manipulação Muito ainda tem que ser trabalhado! Busca em conteúdo baseado em imagem Métodos baseados em textura Métodos baseados na forma Métodos baseados na cor Slide 58 Slide 59 Marcas d água Técnicas de marca d água Busca proteger os direitos autorais evitando a cópia não-autorizada através da aplicação de técnicas baseadas em criptografia Algoritmos rápidos de criptografia e descriptografia são fortemente recomendados No caso da manipulação dos dados, seja de forma legal ou ilegal, o produto modificado não é autêntico em relação ao original São divididas em duas estratégias básicas: Esquema cego requer a imagem original Esquema não-cego Requer a imagem original como entrada Detectores dessa forma têm a vantagem de poder detectar a presença da marca d água mesmo depois da imagem ser modificada de diversas formas Slide 60 Slide 61

5 Principais características Principais características (continuação) Invisibilidade perceptiva podem degradar a percepção visual da imagem Detecção confiável A detecção da marca d água deve ser feita de forma confiável evitando ataques por tentativa e erro Múltiplas marcas d água Deve ser possível incluir um número significativo de marcas d água em uma mesma imagem Robustez Deve ser robusta a modificações na imagem até um certo grau Chave associada Devem ser associadas a um número de identificação Slide 62 Slide 63 Tipos de ataques a marcas d água Tipos de ataques (continuação) AT1 Ataques básicos Compressão com perda; Descarte de quadro; Reescalonamento temporal (mudanças na ordem dos quadros) AT2 Ataques simples Adição de ruído, mudança de formas AT3 Ataques normais Mudança de escala AT4 Ataques aperfeiçoados Perturbações geométricas aleatórias, como permutações locais de pixels AT5 Ataques avançados Deleção/inserção de marcas d água Estimativa estatísticas de marcas d água Slide 64 Slide 65

6 Ataques a marcas d água Fluxos de voz e áudio Domínios de aplicação Meta-dados Proteção de cópia Garantia de propriedade Ataques nãointencionais AT1 AT2 AT3 Talvez Ataques intencionais AT4 AT5 Todo Decodificador Há quatro elementos básicos: O conteúdo de informação comprimido (codificado) O conteúdo, que é armazenado em um servidor O servidor, que é conectado à Internet e/ou possivelmente outras redes (ATM, POTS ou frame relay) Os clientes Autenticação e verificação Alguns Monitoramento broadcast Comunicação secreta Talvez Talvez Slide 66 Slide 67 Fluxos de vídeo Técnicas práticas para aperfeiçoamento do desempenho em fluxos de vídeo podem ser divididas em quatro áreas: Gerenciamento do buffer do lado do cliente Técnicas de diminuição na taxa de erro de transmissão Técnicas de codificação que minimizem erros Mecanismos de controle da mídia Sistemas multimídia distribuídos Slide 68 Slide 69

7 Sistemas multimídia distribuídos SMD (Sistemas Multimídia Distribuídos) São sistemas integrados de comunicação, computação e informação Subsistema de comunicação Televisão interativa (...) que permitem o processamento, gerenciamento, entrega e apresentação Subsistema de computação Subsistema de informação SMD Telecooperação Hipermídia de informação multimídia sincronizada que a qualidade do serviço garante Slide 70 Slide 71 Principais características de um SMD Integração tecnológica Integra os subsistemas de informação, comunicação e computação para formar um ambiente de processamento digital unificado Integração multimídia Dados contínuos e discretos no mesmo ambiente Desempenho real-time Grande volume de armazenamento Altas taxas de transmissão na rede Grande exigência de CPU Principais características (continuação) Suporte fim-a-fim de QoS Interatividade Requer comunicação duplex Suporte a sincronização multimídia Suporte à padronização Slide 72 Slide 73

8 Gerenciamento de recursos em um SMD As garantias de QoS oferecidas por um SMD têm as seguintes características: Gerenciamento de recursos global e testes de controle de admissão para garantir o nível desejado de QoS Especificação quantitativa (probabilidade de perda de pacotes e variação estatística do retardo) ao invés de descrição qualitativa. Isso permite abrigar uma gama maior de serviços Gerenciamento dinâmico, o que significa que a QoS é dinamicamente ajustada ao invés de ser estatisticamente mantida durante o tempo de vida da conexão O subsistema de comunicação A rede transmite tráfego multimídia para satisfazer garantias de QoS de forma fim-a-fim O meio de transmissão pode ser cabeado (cabo coaxial, par trançado, fibra ótica) ou sem fio (infravermelho, canais de rádio ou satélite) RTP (Real-Time Transport Protocol) RVSP (Resource Reservation Protocol) Slide 74 Slide 75 IP Multicast Resource Reservation Protocol (RSVP) Controle de policiamento Controle de admissão Roteador aplicação Bloco RSVP Roteador Classificador de pacotes Escalonador de pacotes Slide 76 Slide 77

9 RSVP Oferece garantias de QoS em sistemas heterogêneos através da Internet com comunicação multiponto-multiponto Iniciado pelo receptor Dois tipos de mensagem são utilizadas: PATH para determinar o caminho e com uma especificação de fluxo para o endereço de destino multicast RESV para reservar recursos a partir do receptor Arquitetura integrada de gerenciamento Uma das maiores dificuldades no oferecimento de garantias de QoS na Internet é a de integrar o gerenciamento de recursos em sistemas tão heterogêneos Várias questões são levantadas: Gerenciamento de falhas Gerenciamento de configuração Gerenciamento de segurança Gerenciamento de conta e cobrança Slide 78 Slide 79 Introdução a ATM ATM é orientado a conexão A tecnologia ATM (Modo de Transferência Assíncrono) realiza as seguintes funções principais: Multiplexação assíncrona de pequenos pacotes chamados de células seguindo um fluxo maior Faz o switching de células durante o transporte se necessário Permite que células cheguem ao destino saindo desse fluxo maior Estabelece uma seqüência de comutações da origem para o destino chamada de Conexão de Circuito Virtual (VCC) O VCC pode ser estabelecido para comunicação simplex, duplex, multicast ou broadcast Uma conexão virtual (VC) é uma conexão entre dois nós comutadores, de forma que um VCC é composto por vários VCs Slide 80 Slide 81

10 Tipos de VCs VC permanente (PVC) Criado pelo administrador da rede e com tempo de vida geralmente maior VC comutado (SVC) Para conexões estabelecidas dinamicamente Para simplificar o gerenciamento dos VCs, alguns deles são agrupados com o mesmo código inicial e final e são chamados de VPs (Virtual Paths) VPI/VCI Identificador de VP e de VC Parâmetros de QoS no ATM Taxa sustentável Taxa no pico Tamanho da rajada máxima Taxa de perda de células Retardo máximo fim-a-fim Variação máxima do retardo Slide 82 Slide 83 Sistemas operacionais multimídia Aplicações multimídia distribuídas Sistemas operacionais multimídia possuem várias novas restrições com relação a SOs convencionais em várias áreas: Gerenciamento de CPU Escalonamento em tempo real: Earliest Deadline First (EDF) Gerenciamento de memória Focaliza em evitar o swap Gerenciamento de entrada/saída Continuidade do fluxo requer eficiência de I/O Gerenciamento do sistema de arquivos Novos requisitos para tempo real TV interativa Requer altas taxas de transmissão e requisitos de QoS pontuais Difícil de prover na Internet atual Vídeo sobre demanda Telecooperação Telemedicina Hipermídia A Web (Internet) Slide 84 Slide 85

11 TV interativa Principais componentes: Set-Top Box ou terminal Rede de acesso Servidor baseado na rede Interface com o usuário poderosa TV Interativa - VoD Vídeo sobre demanda (VoD) é uma importante aplicação da TV interativa Servidor de vídeo Rede de banda larga Set-top boxes Set-Top Box Interface Rede de acesso Servidor Fluxo do sinal Fluxo de dados Gateway de serviço Slide 86 Slide 87 TV Interativa Gateway de serviços Principais funções: Serviço de diretório para prover navegação de menu e escalonamento de programas Mapeamento do serviço de identificação para a correspondente localização e provisão de programas Controle, coordenação e sinalização para o estabelecimento, manutenção e desconexão de sessão multimídia Gerenciamento de sistema, incluindo o gerenciamento de operação, de falha, configuração, de recursos e de performance Manutenção e conta do perfil de assinante Comunicação segura para prevenir acesso não- autorizado, incluindo autenticação, criptografia e embaralhamento Telecooperação Também conhecida como CSCW (Computer- Suported Cooperative Work) Classificada em: Síncrona centralizada Síncrona distribuída Assíncrona centralizada Assíncrona distribuída Três principais tipos de aplicações: multimídia Autoria colaborativa Conferência multimídia Slide 88 Slide 89

12 Modelo de Rede de Telecooperação Agente de colaboração de grupo Telecooperação multimídia SMTP (ple Mail Transfer Protocol) - concentrado apenas no envio de informação ASCII Rede multicast, multiponto e multiserviço Agente de colaboração de grupo Agente de colaboração de grupo MIME (Multipurpose Internet Mail Extensions) especifica um conjunto de regras de codificação e definições de cabeçalho que descrevem novos tipos de conteúdo (imagem, vídeo ou áudio) e a estrutura de mensagens para embutir informação multimídia Slide 90 Slide 91 Telecooperação - Autoria colaborativa Atividade de edição e composição colaborativa de um documento multimídia por um grupo de pessoas Pode ser síncrona ou assíncrona Telecooperação - Conferência multimídia Suporta participantes com colaboração síncrona trocarem informações entre si Há duas abordagens para a implementação de sistemas de cooperação com suporte a computador: Colaboração transparente Colaboração ciente Cada indivíduo trabalha numa parte. O produto final é a soma do esforço dos participantes Slide 92 Slide 93

13 Slide 94 Hipermídia São serviços de obtenção de informação que requerem serviços comutados ponto-a-ponto e multiponto-a-ponto HT, HTTP, CGI,... Características básicas: Nós de informação Links Grafo de nós e links distribuídos Navegação de documentos Ferramentas de autoria Sistema de banco de dados para manter a informação multimídia compartilhada Slide 95 Demonstração do HyperProp 2003 TeleMídia Lab, PUC-Rio Estrutura básica do Hyperprop User Interface Converters Player Loader Document Handler Pre-fetching Scheduler Players Formatter-Player Hypermedia System SOE Presentation Scheduler Object Loader NCM Document Base Communication System 2003, TeleMídia Lab, PUC-Rio SMIL Document Base Server Estrutura completa do Hyperprop ElasticTime Adapters PIC Context Management Adapters Presentation CompileTime Builder Presentation RuntimeBuilder QoSAdmission PIC InterObject QoSNegotiator IntraObject QoSNegotiator User Interface Presentation Scheduler QoS Requester Client Admission PreFetching Scheduler Players Provider Admission PreFetching Builder Communication Provider Player Loader Server Admission Converters Hypermedia System SOE Formatter-QoS Provider Document Handler Object Loader Formatter-QoS Manager NCM Document Base Communication System PreFetching Monitor IntraObject QoSTuner PreLoading Monitor PIC Client Tuning SMIL Document Base PreFetching Tuner QoS Requester Communication Provider Provider Tuning Server QoSTuning Server Tuning InterObject QoSTuner Slide 96 Slide 97

14 Padrões Padrões Padronizar é importante para balancear o que é teoricamente possível do que é tecnologicamente aceitável Padrões só podem ser aceitos no mercado se o custo/desempenho for bem balanceado Isso é especialmente importante no campo áudio/visual onde uma gama enorme de algoritmos existe mas apenas alguns são passíveis de implementação Slide 98 Slide 99 Exemplos de padrões Mais exemplos de padrões MPEG-1 Taxa de bits na ordem de 1.5 Mbps MPEG-2 Codificação de alta qualidade para transmissão mídia digital a taxas de dados de 2 a 50 Mbps Pode ser usado em TV Interativa, em aplicações científicas ou de negócios MPEG-4 Provê ferramentas e algoritmos para codificar tanto aúdio e vídeo natural quanto sintético e capacidade de representar a informação áudio-visual no terminal do usuário de uma forma tremendamente flexível MPEG-4 VTC Extensão do MPEG-4 JPEG2000 Provê taxa de distorção e desempenho superiores na qualidade subjetiva de imagem Funcionalidades não previstas nos padrões atuais ou previstas ineficientemente MPEG-7 Seu objetivo é facilitar a navegação e busca de conteúdo multimídia MPEG-21 Contém informação de apresentação áudio-visual Padrões ITU-T e da Internet Codificação de voz e vídeo e internet (IP, RTP etc) Slide 100 Slide 101