Prof. Daniel Hasse. Multimídia e Hipermídia

Transcrição

1 Prof. Daniel Hasse Multimídia e Hipermídia

2 AULA 02 Agenda: Algoritmos de Codificação/Decodificação; Codec de Áudio. Atividade complementar.

3 Algoritmos de Codificação/Decodificação - Comunicação tempo real, transmissão e recepção de informações de mídia codificadas; - Áudio e vídeo (analógicos), envolvem captura, digitalização, codificação seguindo determinado padrão e envio; - Na recepção dos pacotes, ocorre decodificação e reprodução. Captura Hardware especializado (ex: microfone acoplado a uma placa de entrada de áudio, recebendo informações analógicas do meio externo; Dados analógicos não são representados por um computador (digital).

4 Digitalização e Codificação Digitalização é a representação digital das informações analógicas das mídias; Codificação está relacionada ao ganho de qualidade global da comunicação com o mínimo de consumo de recursos da rede, utilizando para tanto formas complexas de representação das mídias; Para essa tarefa de codificação/decodificação de mídias, que se tornam então dados isócronos*, algoritmos especiais são utilizados; * Dados isócronos possuem significado e importância diretamente ligada ao tempo. Assim, se as informações forem recebias muito tempo depois de terem sido produzidas, elas podem não ser mais importantes. As mídias de áudio e vídeo nas comunicações multimídia em tempo real são isócronas.

5 Digitalização e Codificação (continuação) Os algoritmos definem o formato em que as informações de áudio e vídeo serão codificadas e, opcionalmente, comprimidas para a transmissão na rede; Além disso, definem também os padrões para codificação das informações recebidas; Tais algoritmos são chamados de codecs (encoder DECoder), uma vez que eles estão ligados as funções de codificação e decodificação das mídias envolvidas na comunicação. Transmissão A banda consumida por uma comunicação, bem como a qualidade final da mídia reproduzida no destino, são diretamente relacionadas aos codec empregados;

6 Transmissão (continuação) Codecs podem ser abertos ou proprietários, esse último podendo ser pago ou gratuito para a utilização. A escolha de codecs adequados para o tipo de comunicação pretendida é fundamental; Numa comunicação, os hosts participantes devem utilizar o mesmo codec para cada mídia utilizada, como se fossem protocolos de rede; Negociação de capacidades: procedimento que garante que os hosts utilizem o mesmo codec; Comunicações em tempo real na Internet necessitam de atrasos reduzidos (em média inferiores a 150ms para a comunicação tenha boa qualidade, e entre 150ms e 400ms para que a qualidade seja aceitável); A variação em atraso (jitter), deve ser em média inferior a 50ms para não prejudicar consideravelmente a comunicação;

7 Transmissão (continuação) Para o cálculo desses valores, além do atraso de transmissão dos pacotes deve-se considerar o atraso de processamento dos codecs, característica única de cada algoritmo e que deve ser levado em consideração na escolha do mais apropriado; Resumindo, cada codec possui uma taxa de transmissão característica, geralmente em Kbps, atraso de processamento e tamanho médio de pacotes, além de sensibilidade a perdas, atrasos e jitter; A sensibilidade está relacionada a quanto a qualidade é prejudicada quando uma variável é alterada, podendo a variável ser perda, atraso e/ou jitter. Por exemplo, embora alguns codecs possuam um atraso de processamento alto, eles podem ter uma baixa sensibilidade a atrasos, o que pode justificar sua utilização.

8 Codecs de Áudio Propriedades físicas do som; Representação digital do som; Processamento digital de som.

9 Propriedades físicas do som As vibrações sonoras: propagam-se como ondas de pressão atmosférica; convertidas em sinais elétricos por transdutores; transdutores de elétrico para acústico - alto-falantes; transdutores de acústico para elétrico - microfones.

10 Propriedades físicas do som As vibrações sonoras: potência proporcional ao quadrado da amplitude das vibrações; forma mais simples - onda senoidal; formas complexas - podem sempre ser analisadas como combinação de ondas senoidais.

11 Propriedades físicas do som A representação analógica do som: propagada como sinais elétricos; armazenada como sinais magnéticos; sujeita à contaminação por ruído em todas as transformações.

12 Propriedades físicas do som Parâmetros perceptuais do som. Intensidade: percepção da amplitude e energia. Altura: percepção da freqüência fundamental. Fase: normalmente imperceptível. Timbre: percepção da complexidade.

13 Propriedades físicas do som Diferentes amplitudes:

14 Propriedades físicas do som Potência de sons típicos: Exemplo de som Nível (db) Limiar da audibilidade 0 Estúdio acústico 20 Sala de estar 40 Conversação normal, a 1m 60 Rua de cidade 80 Grito a 1,5m 100 Decolagem de jato 120

15 Propriedades físicas do som Diferentes freqüências:

16 Propriedades físicas do som Diferentes fases:

17 Onda composta: Propriedades físicas do som

18 Onda composta: Propriedades físicas do som

19 Propriedades físicas do som Conceitos do processamento no domínio da freqüência: espectros; componentes; harmônicos; ruídos.

20 Trecho de som senoidal Propriedades físicas do som

21 Propriedades físicas do som Espectro de som senoidal:

22 Propriedades físicas do som Espectro de som de clarineta:

23 Propriedades físicas do som Espectro de som de harpa:

24 Ruído branco: Propriedades físicas do som

25 Propriedades físicas do som Espectro de ruído branco:

26 Propriedades físicas do som Espectro de som percussivo:

27 Tipos de filtro: Propriedades físicas do som passa-baixa - cortam freqüências acima de um certo valor; passa-alta - cortam freqüências abaixo de um certo valor; passa-faixa - aceitam freqüências situadas entre certos limites; rejeita-faixa - rejeitam freqüências situadas entre certos limites.

28 Propriedades físicas do som Aplicação de filtro rejeita-faixa:

29 Sinal ruidoso Propriedades físicas do som

30 Propriedades físicas do som Espectro de sinal ruidoso:

31 Sinal filtrado: Propriedades físicas do som

32 Propriedades físicas do som Espectro de sinal filtrado:

33 Espectro tridimensional: Propriedades físicas do som

34 Sonograma: Propriedades físicas do som

35 Representação digital do som Representação digital do som: amostras de som - unidades mínimas; arquivos de áudio - seqüências de amostras de som; sistemas digitais de som - computador, telefonia digital, CD, DAT.

36 Representação digital do som Digitalização do som:

37 Representação digital do som O processo de digitalização do som

38 Representação digital do som Amostragem: 1,500 1,000 0,500 0,000-0, ,000-1,500 Tempo

39 Representação digital do som Quantização: 9,000 8,000 7,000 6,000 5,000 4,000 3,000 2,000 1,000 0, Tempo Amostrado Quantizado

40 Representação digital do som Aspectos quantitativos dos arquivos de áudio: um segundo de voz = bytes um segundo de música estereofônica de qualidade CD = 2 x x 2 = bytes

41 Processamento digital do som Tipos de operações de processamento digital de som. Processamento no domínio do tempo: operações feitas sobre as amostras separadas. Processamento no domínio da freqüência: requerem a análise de seqüências de amostras de som.

42 Processamento digital do som Processamento no domínio do tempo: armazenar e recuperar arquivos de som; cortar, copiar e colar segmentos de arquivos de som; realçar, atenuar e mixar segmentos de arquivos de som.

43 Processamento digital do som Aplicações do processamento no domínio da freqüência: filtragem digital e recuperação de gravações; ajustes de duração e altura de amostras de som; várias técnicas de síntese musical; identificação e reconhecimento de voz.

44 Processamento digital do som Espectro de sinal de voz:

45 Processamento digital do som Equalizador gráfico:

46 Processamento digital do som Realce das freqüências médias:

47 Processamento digital do som Deslocamento para baixo da altura:

48 Processamento digital do som Codecs de áudio:

49 Processamento digital do som Formas de codificação de áudio: PCM: áudio não comprimido; ADPCM: codificação diferencial adaptativa; MP3: MPEG camada 3.