Prof. Daniel Hasse Multimídia e Hipermídia
AULA 02 Agenda: Algoritmos de Codificação/Decodificação; Codec de Áudio. Atividade complementar.
Algoritmos de Codificação/Decodificação - Comunicação tempo real, transmissão e recepção de informações de mídia codificadas; - Áudio e vídeo (analógicos), envolvem captura, digitalização, codificação seguindo determinado padrão e envio; - Na recepção dos pacotes, ocorre decodificação e reprodução. Captura Hardware especializado (ex: microfone acoplado a uma placa de entrada de áudio, recebendo informações analógicas do meio externo; Dados analógicos não são representados por um computador (digital).
Digitalização e Codificação Digitalização é a representação digital das informações analógicas das mídias; Codificação está relacionada ao ganho de qualidade global da comunicação com o mínimo de consumo de recursos da rede, utilizando para tanto formas complexas de representação das mídias; Para essa tarefa de codificação/decodificação de mídias, que se tornam então dados isócronos*, algoritmos especiais são utilizados; * Dados isócronos possuem significado e importância diretamente ligada ao tempo. Assim, se as informações forem recebias muito tempo depois de terem sido produzidas, elas podem não ser mais importantes. As mídias de áudio e vídeo nas comunicações multimídia em tempo real são isócronas.
Digitalização e Codificação (continuação) Os algoritmos definem o formato em que as informações de áudio e vídeo serão codificadas e, opcionalmente, comprimidas para a transmissão na rede; Além disso, definem também os padrões para codificação das informações recebidas; Tais algoritmos são chamados de codecs (encoder DECoder), uma vez que eles estão ligados as funções de codificação e decodificação das mídias envolvidas na comunicação. Transmissão A banda consumida por uma comunicação, bem como a qualidade final da mídia reproduzida no destino, são diretamente relacionadas aos codec empregados;
Transmissão (continuação) Codecs podem ser abertos ou proprietários, esse último podendo ser pago ou gratuito para a utilização. A escolha de codecs adequados para o tipo de comunicação pretendida é fundamental; Numa comunicação, os hosts participantes devem utilizar o mesmo codec para cada mídia utilizada, como se fossem protocolos de rede; Negociação de capacidades: procedimento que garante que os hosts utilizem o mesmo codec; Comunicações em tempo real na Internet necessitam de atrasos reduzidos (em média inferiores a 150ms para a comunicação tenha boa qualidade, e entre 150ms e 400ms para que a qualidade seja aceitável); A variação em atraso (jitter), deve ser em média inferior a 50ms para não prejudicar consideravelmente a comunicação;
Transmissão (continuação) Para o cálculo desses valores, além do atraso de transmissão dos pacotes deve-se considerar o atraso de processamento dos codecs, característica única de cada algoritmo e que deve ser levado em consideração na escolha do mais apropriado; Resumindo, cada codec possui uma taxa de transmissão característica, geralmente em Kbps, atraso de processamento e tamanho médio de pacotes, além de sensibilidade a perdas, atrasos e jitter; A sensibilidade está relacionada a quanto a qualidade é prejudicada quando uma variável é alterada, podendo a variável ser perda, atraso e/ou jitter. Por exemplo, embora alguns codecs possuam um atraso de processamento alto, eles podem ter uma baixa sensibilidade a atrasos, o que pode justificar sua utilização.
Codecs de Áudio Propriedades físicas do som; Representação digital do som; Processamento digital de som.
Propriedades físicas do som As vibrações sonoras: propagam-se como ondas de pressão atmosférica; convertidas em sinais elétricos por transdutores; transdutores de elétrico para acústico - alto-falantes; transdutores de acústico para elétrico - microfones.
Propriedades físicas do som As vibrações sonoras: potência proporcional ao quadrado da amplitude das vibrações; forma mais simples - onda senoidal; formas complexas - podem sempre ser analisadas como combinação de ondas senoidais.
Propriedades físicas do som A representação analógica do som: propagada como sinais elétricos; armazenada como sinais magnéticos; sujeita à contaminação por ruído em todas as transformações.
Propriedades físicas do som Parâmetros perceptuais do som. Intensidade: percepção da amplitude e energia. Altura: percepção da freqüência fundamental. Fase: normalmente imperceptível. Timbre: percepção da complexidade.
Propriedades físicas do som Diferentes amplitudes:
Propriedades físicas do som Potência de sons típicos: Exemplo de som Nível (db) Limiar da audibilidade 0 Estúdio acústico 20 Sala de estar 40 Conversação normal, a 1m 60 Rua de cidade 80 Grito a 1,5m 100 Decolagem de jato 120
Propriedades físicas do som Diferentes freqüências:
Propriedades físicas do som Diferentes fases:
Onda composta: Propriedades físicas do som
Onda composta: Propriedades físicas do som
Propriedades físicas do som Conceitos do processamento no domínio da freqüência: espectros; componentes; harmônicos; ruídos.
Trecho de som senoidal Propriedades físicas do som
Propriedades físicas do som Espectro de som senoidal:
Propriedades físicas do som Espectro de som de clarineta:
Propriedades físicas do som Espectro de som de harpa:
Ruído branco: Propriedades físicas do som
Propriedades físicas do som Espectro de ruído branco:
Propriedades físicas do som Espectro de som percussivo:
Tipos de filtro: Propriedades físicas do som passa-baixa - cortam freqüências acima de um certo valor; passa-alta - cortam freqüências abaixo de um certo valor; passa-faixa - aceitam freqüências situadas entre certos limites; rejeita-faixa - rejeitam freqüências situadas entre certos limites.
Propriedades físicas do som Aplicação de filtro rejeita-faixa:
Sinal ruidoso Propriedades físicas do som
Propriedades físicas do som Espectro de sinal ruidoso:
Sinal filtrado: Propriedades físicas do som
Propriedades físicas do som Espectro de sinal filtrado:
Espectro tridimensional: Propriedades físicas do som
Sonograma: Propriedades físicas do som
Representação digital do som Representação digital do som: amostras de som - unidades mínimas; arquivos de áudio - seqüências de amostras de som; sistemas digitais de som - computador, telefonia digital, CD, DAT.
Representação digital do som Digitalização do som:
Representação digital do som O processo de digitalização do som
Representação digital do som Amostragem: 1,500 1,000 0,500 0,000-0,500 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31-1,000-1,500 Tempo
Representação digital do som Quantização: 9,000 8,000 7,000 6,000 5,000 4,000 3,000 2,000 1,000 0,000 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 Tempo Amostrado Quantizado
Representação digital do som Aspectos quantitativos dos arquivos de áudio: um segundo de voz = 8.000 bytes um segundo de música estereofônica de qualidade CD = 2 x 44.100 x 2 = 176.400 bytes
Processamento digital do som Tipos de operações de processamento digital de som. Processamento no domínio do tempo: operações feitas sobre as amostras separadas. Processamento no domínio da freqüência: requerem a análise de seqüências de amostras de som.
Processamento digital do som Processamento no domínio do tempo: armazenar e recuperar arquivos de som; cortar, copiar e colar segmentos de arquivos de som; realçar, atenuar e mixar segmentos de arquivos de som.
Processamento digital do som Aplicações do processamento no domínio da freqüência: filtragem digital e recuperação de gravações; ajustes de duração e altura de amostras de som; várias técnicas de síntese musical; identificação e reconhecimento de voz.
Processamento digital do som Espectro de sinal de voz:
Processamento digital do som Equalizador gráfico:
Processamento digital do som Realce das freqüências médias:
Processamento digital do som Deslocamento para baixo da altura:
Processamento digital do som Codecs de áudio:
Processamento digital do som Formas de codificação de áudio: PCM: áudio não comprimido; ADPCM: codificação diferencial adaptativa; MP3: MPEG camada 3.