Protocolos Multimídia na Internet

Transcrição

1 Parte 1 - Conceitos Redes de Computadores II Tópicos em Sistemas de Computação Prof. Dr. Adriano Mauro Cansian adriano@acmesecurity.org Multimídia na Internet (1) Objetivos: q Entender os requisitos de serviço para redes com multimídia Atraso. Taxa de transmissão. Perda. q Aprender sobre aproveitamento máximo do serviço de melhor esforço da Internet. 2 Prof. Dr. Adriano Mauro Cansian 1

2 Multimídia na Internet (2) Veremos: q Aplicações de rede com multimídia. q Áudio e vídeo de tempo contínuo armazenados RTSP. q Aplicações interativas de tempo-real Telefonia na Internet. q RTP q H.323 e SIP 3 Características Fundamentais: 1. Sensíveis ao atraso. 2. Tolerante a perdas. Perdas ocasionais podem passar desapercebidas. Multimídia é antítese dos dados binários: Programas, arquivos binários, informações bancárias, bancos de dados, e outros: não toleram falhas, mas aceitam atrasos. mídia de tempo contínuo. q Existem diferentes tipos de mídias. Veremos 3 classes gerais a seguir. 4 Prof. Dr. Adriano Mauro Cansian 2

3 Características de Multimídia em Redes (1) Classificação de aplicações multimídia: 1. Mídia armazenada Áudio e vídeo de tempo contínuo, armazenados. 2. Fluxo contínuo Áudio e vídeo de tempo contínuo, ao vivo. 3. Tempo real interativo Vídeo e/ou áudio interativo em tempo real. Veremos as características de cada uma, a seguir 5 1. Mídia armazenada on demand (1) q Clientes solicitam arquivos de áudio e vídeo. Armazenados em servidores específicos ou em cloud. q Características: Interação ou comando: O usuário pode controlar a operação do player: pause, resume, fast forward, rewind, etc... Atraso de início aceitável: Desde a requisição do cliente até o início da apresentação pode ser de 1 a 10 segundos. 6 Prof. Dr. Adriano Mauro Cansian 3

4 2. Fluxo contínuo tempo real q Em tempo real, unidirecional (broadcast). Similar à TV convencional. Não interativo: apenas para ouvir e ver. q Atrasos de até 10 segundos para começar a reprodução são bem aceitos. q Exemplos: Rádios (RoIP) e TVs (IPTV) via Internet. Vários canais disponíveis em todo o mundo Tempo real interativo - Videoconf q Fluxo bidirecional de áudio ou de vídeo. Conferência entre duas ou mais pessoas. q Mais exigente nos requisitos de atraso devido à necessidade de interatividade em tempo real. q Vídeo: Atraso < 150 ms é aceitável q Áudio: Atraso < 150 ms é bom. Atraso entre 150 e 400 ms é aceitável. q Exemplos: Skype, Gizmo, Viber, Facetime, diversos aplicativos em redes sociais, dentre vários outros. Sistemas de VoIP / VC de uma forma geral. 8 Prof. Dr. Adriano Mauro Cansian 4

5 Obstáculos e desafios 9 Obstáculos e desafios para multimídia em redes (1) q Arquitetura IP não garante nada: É melhor esforço (best effort). Sem garantias sobre o atraso ou variação de atraso. Por outro lado: aplicações Interativas em tempo real têm requisitos rígidos para atraso de pacotes e jitter. Jitter é a variação do atraso de pacotes, dentro de um mesmo fluxo de pacotes. q Aplicações de tempo contínuo com atrasos iniciais de 5 a 10 seg são comuns. Mas o desempenho deteriora se os enlaces estão congestionados ou muito distantes. 10 Prof. Dr. Adriano Mauro Cansian 5

6 Obstáculos e desafios para multimídia em redes (2) q O projeto de aplicações multimídia seria mais simples se houvesse várias classes de serviço. Mas, na Internet pública, todos os pacotes recebem igual tratamento. Pacotes contendo áudio e vídeo interativo de tempo real permanecem nas filas, assim como todos os demais. q Esforços estão sendo desenvolvidos para prover serviços diferenciados. IPv6 é uma boa opção, mas ainda não necessariamente disseminado. 11 Aproveitando ao máximo o melhor esforço q Para reduzir o impacto do serviço de melhor esforço da Internet, é possível: Usar UDP e evitar o TCP com sua fase de partida lenta. Armazenar o conteúdo (todo ou em parte) no cliente, e controlar a apresentação para atenuar o jitter. Acrescentar marcas de tempo nos pacotes, para que o receptor saiba quando reproduzi-los. Adaptar a compressão à banda de transmissão disponível. Transmitir pacotes redundantes para atenuar os efeitos das perdas de pacotes. Usar todos estes truques associados a Cloud. Vamos discutir todos esses recursos mais adiante. 12 Prof. Dr. Adriano Mauro Cansian 6

7 Como a Internet deveria evoluir para suportar melhor as aplicações multimídia? Serviços Integrados & Serviços Diferenciados 13 Filosofia de serviços Integrados: q Mudar os protocolos da Internet, de forma que as aplicações possam reservar uma banda de transmissão fim-a-fim: Necessita de um novo protocolo de rede (IPv6?) Modificar as regras de escalonamento nos roteadores. Aplicação deveria fornecer à rede uma descrição do seu tráfego. q Exige softwares novos e complexos nos hosts e nos routers. 14 Prof. Dr. Adriano Mauro Cansian 7

8 Filosofia de serviços Diferenciados: Exige mudanças menores na Internet. Datagramas podem ser marcados. Definir serviços de primeira e de segunda classe. Serviços Platinun e Gold q Usuários à poderiam pagar mais para enviar e receber datagramas de primeira classe. q ISPs à poderiam pagar mais aos provedores de backbone para enviar e receber pacotes de primeira classe. Novas oportunidades de negócios. q Problema: lembrar de neutralidade da rede. Marco civil da Internet (2014) (Voltaremos a serviços diferenciados e integrados mais adiante neste tópico) 15 Codificação e Compressão de áudio e vídeo (Iniciaremos com estudo de áudio) 16 Prof. Dr. Adriano Mauro Cansian 8

9 Codificação e exigências de banda q Áudio e vídeo, pela internet, exige muito mais recursos comparado com a transmissão de textos e imagens estáticas. Para ser transmitido com qualidade de cinema, sem compressão, um vídeo exigiria 160 Mbps de banda. Um áudio com qualidade de CD, sem compressão, exigiria cerca de 2,8 Mbps. 17 Codificação e exigências de banda q No estágio tecnológico atual, usuários de banda larga trabalham na maioria de 2 a 10 Mbps no usuário final. q Ou seja, no caso de vídeo, 15 vezes mais lentos do que seria necessário para uma perfeita transmissão Portanto, outra solução deve ser adotada. Obviamente, não se transmite na Internet sem compressão. 18 Prof. Dr. Adriano Mauro Cansian 9

10 Codificação e CODECs q Transmissões de vídeo, pela internet, só são possíveis graças a dispositivos denominados codecs. Coder-decoder à codificador-decodificador. São módulos que comprimem arquivos de áudio e vídeo. Permite usar velocidades lentas da rede no usuário final. q Imagens usam vários tipos de codecs. Cada um dos quais otimizado para dado tipo de mídia. q Todos têm perdas. 19 CODECs e a qualidade de áudio q A maior parte dos codecs de áudio para a internet: Têm as taxas de compressão baseadas na frequência de amostragem, e no número de canais. A qualidade é afetada pela frequência de amostragem. Veremos adiante sobre frequência de amostragem. q Placas áudio à maioria captura a 44,1 KHz, Ou seja, com qualidade de CD. Qualidade ótima, mas muito elevada para a internet. Por isso, é normal baixar a frequência para 22,05 KHz. Se o objetivo for apenas transmitir voz, pode-se abaixar a frequência para até 8 KHz ou 6 KHz. 20 Prof. Dr. Adriano Mauro Cansian 10

11 Vejamos como transformar áudio analógico em sinal digital Codificação PCM e evolução 21 Codificação PCM (1) q Transformando áudio analógico em digital: Pulse Code Modulation (PCM) 1º - O sinal analógico de áudio é amostrado a alguma taxa fixa. Por exemplo: amostras / segundo. Valor de cada amostra é um número real arbitrário. 22 Prof. Dr. Adriano Mauro Cansian 11

12 Codificação PCM (2) Pulse Code Modulation Transformando áudio analógico em digital 2º - Cada uma das amostras é então arredondada para um valor qualquer dentre um número finito de valores. Essa operação é chamada de quantização. Tipicamente é uma potência de 2. Por exemplo: usa-se 256 valores de quantização. (Na figura a seguir o processo fica mais claro) 23 Esta figura, e dos slides em seguida, extraídas de (05/01/15) 24 Prof. Dr. Adriano Mauro Cansian 12

13 Figura extraída de Figura extraída de O eixo vertical (Y) da figura é graduado no valor das amostras quantizadas com 8 bits : 0 a 255. O eixo 0 Volts, é deslocado (off-set) para 128 : para representar valores negativos de -1 até -128, com 127 até 0 respectivamente, sem necessidade de sinal (+/-). A forma de onda quantizada acima, no formato decimal é : 118, 135, 130, 138, 151, 165, 179, 179, 182, 195, 179, 144, 109, 78, 51, 37, 39, 62, 97, 123. O que representa os seguintes valores quantizados de tensão (em V), supondo deltavmax=255 V. -10,+7,+2,+10,+23,+37,+51,+51,+54,+67,+51,+16,-19,-50,-77,-91,-89,-66,-31, Prof. Dr. Adriano Mauro Cansian 13

14 Codificação PCM (3) 3º. Cada um dos valores de quantização é representado por um número fixo de bits. Por exemplo, se houver 256 valores de quantização, então cada valor (cada amostra) será representado por 1 byte. Valor Quantização Representação. Binária Figura: (05/01/15) Codificação PCM (4) q Cada amostra é convertida para sua representação por bits. q Em seguida: as representações por bits de todas as amostras formam a representação digital do sinal. 28 Prof. Dr. Adriano Mauro Cansian 14

15 Figura extraída de (05/01/15) 29 Exemplo de PCM (1) q Assim, se um sinal de áudio for amostrado a uma taxa de amostras / seg. Se cada amostra representada por 8 bits: O sinal digital resultante terá uma taxa digital de: amostra/seg x 8 bits = bits / seg. q Depois é reconvertido (decodificado) em um sinal analógico, para gerar áudio novamente. 30 Prof. Dr. Adriano Mauro Cansian 15

16 Exemplo de PCM (2) q Uma codificação de voz usando PCM, com taxa de amostras por segundo e 8 bits de amostra: resulta numa taxa digital de 64 Kbps. q CD de áudio também usa PCM. q Arquivos wave de CDs são codificados por PCM. q Mas usam taxa de amostragem de amostras por segundo (44,1 KHz) e 16 bits por amostra: 705,6 Kbps para mono. 1,4 Mbps para estéreo muito alto! Por esta razão, voz e música codificadas em PCM raramente são usadas na Internet. 31 Compressão de áudio (1) q Na Internet: ao invés de PCM, utiliza-se técnicas de compressão para reduzir a taxa de bits. GSM à usa 13 Kbps. G.729 à usa 8 Kbps. G à 6,4 e 5,3 Kbps. Além de um grande número de técnicas proprietárias. 32 Prof. Dr. Adriano Mauro Cansian 16

17 Compressão de áudio (2) q Música estéreo com qualidade próxima de CD: usar compressão MPEG de camada 3. Popularmente chamada de MP3. Taxa de bits comprimida para 128 ou 96 Kbps. Baixa degradação de áudio. q Princípio de funcionamento do MP3: Achar e eliminar todos os sinais redundantes e irrelevantes, que não sejam audíveis. Geralmente aplicado sobre uma codificação PCM. q MP3 é um padrão MUITO complexo. 33 MP3 q Algoritmo de compactação do MP3 elimina frequências muito altas, acima dos 20kHz. Que não são audíveis pelo ouvido humano, e que estão presentes numa codificação PCM. Economiza-se muitos bytes. q A técnica usada pelo MP3 é denominada perceptual noise shaping. 34 Prof. Dr. Adriano Mauro Cansian 17

18 MP3 e Perceptual Noise Shaping q Conjunto de filtros extrai pequenas amostras do sinal. E, através do algoritmo de compactação, gera um novo sinal diferente deste original. Novo sinal é menor em termos de amostras, mas que soa aos nossos ouvidos como muito semelhante ao original. q Na música, se duas frequências muito próximas soam ao mesmo tempo, o ouvido somente ouvirá a mais forte. q Ou seja, o mp3 simplesmente diminui o número de bits desse sinal mais fraco e mantém os bits do sinal mais forte. q Diminuindo assim o tamanho final do arquivo PCM na proporção 12:1, mantendo uma qualidade semelhante ao CD, eliminando as redundâncias. 35 Aprofundamento de MP3 q q q Todos os links verificados em February 1, Prof. Dr. Adriano Mauro Cansian 18

19 Vídeos na Internet 37 Vídeos na Internet (1) q O olho humano é sensível a imagens de frequência inferior a 16 fps. Ou seja: se for mais devagar do que 16 fps, o olho percebe a passagem de um frame para outro. Cinema = 24 fps. 38 Prof. Dr. Adriano Mauro Cansian 19

20 Vídeos na Internet (2) q Vídeos para internet podem ser transmitidos numa fração da sua frequência original. Por exemplo: vídeos capturados a 30 fps podem ser transmitidos a 30, 15, 10, 7.5, 6 e 5 fps. Se inferior a 16 fps percebe-se transição (saltos) nos frames. Padrão cinema, as frequências serão de 24 fps, e pode-se utilizar 24, 12, 8, 6 e 4 fps, na transmissão. 39 Compressão de vídeo q Os padrões de compressão MPEG são os mais populares. Derivados da compressão de imagens JPEG. q MPEG1: para vídeos com qualidade média. Necessidade de banda: 1,5 Mbps q MPEG2: para vídeos DVD de alta qualidade. Necessidade de banda: 3 a 6 Mbps q MPEG4: compressão de vídeo orientada a objeto. q Há diversos outros padrões proprietários. 40 Prof. Dr. Adriano Mauro Cansian 20

21 Fluxo contínuo de áudio e vídeo armazenados 41 Transdutor ou player q Conceito de Player ou Transdutor de Mídia : q Software com funções específicas: Remove jitter. Descomprime. Faz correção de erros. Tem interface gráfica de usuário para interatividade. q Plug-ins podem ser usados para embutir o transdutor de mídia num browser. Ou podem funcionar independentemente. (Vejamos as abordagens possíveis em seguida...) 42 Prof. Dr. Adriano Mauro Cansian 21

22 Vídeo on-demand em servidores Web (1) q Armazenamento em servidores Web: abordagem ingênua. Browser pede o arquivo com uma mensagem http-request. Servidor Web envia o arquivo na mensagem http-response. O cabeçalho content-type do http indica uma codificação apropriada para áudio e vídeo. Browser chama o transdutor de mídia, e entrega o arquivo para ele. Transdutor de mídia apresenta o arquivo. Mas há Problemas 43 Vídeo on-demand em servidores Web (2) Maior problema: o transdutor de mídia interage com o servidor WEB através do browser, que atua como intermediário. Vários fatores indesejáveis causados pelo http e TCP. Alternativa possível: estabelecer conexão entre o servidor e o transdutor. 44 Prof. Dr. Adriano Mauro Cansian 22

23 Vídeo on-demand em servidores Web (3) Abordagem intermediária: Conexão direta entre o servidor e o transdutor. q O browser solicita objeto, e recebe um meta arquivo Um arquivo descrevendo o objeto, ao invés de receber o próprio arquivo. q O cabeçalho Content-type específica aplicação de áudio e vídeo. q Browser dispara o transdutor de mídia, e entrega o meta-arquivo para ele. q Transdutor estabelece uma conexão TCP com o servidor, e envia a ele a mensagem HTTP do tipo http-request. (2) meta arquivo transdutor de mídia (1) pedido/resposta HTTP por um meta arquivo (3) arquivo solicitado é enviado usando o HTTP Problema: q O transdutor de mídia se comunica usando HTTP, que não foi projetado para suportar comandos de controle de apresentação. 45 Vídeo on-demand em servidores Web (4) q Melhor abordagem: transdutor solicita direto ao servidor (ou cloud) de vídeo. q Esta arquitetura permite o uso de outros protocolos (além do HTTP/TCP) entre o servidor e o transdutor de mídia. q Pode usar UDP ao invés do TCP. 46 Prof. Dr. Adriano Mauro Cansian 23

24 Protocolos de aplicação para Mídia: RTSP Real Time Streaming Protocol (Aqui começa a sopa de letras...) 47 Real Time Streaming Protocol: RTSP (1) HTTP: q Projetistas do HTTP tinham em mente mídias estáticas: HTML, imagens, applets, etc HTTP não foi projetado para tratar mídia contínua armazenada (áudio, vídeo, apresentações, etc ). Alternativa: RTSP (RFC 2326): q Protocolo de aplicação, tipo cliente-servidor. q Protocolo para CONTROLE DE MÍDIA: Permite ao usuário controlar apresentações de mídia contínua: voltar ao início, avançar, pausar, continuar, seleção de faixa, etc 48 Prof. Dr. Adriano Mauro Cansian 24

25 Real Time Streaming Protocol: RTSP (2) IMPORTANTE : O que ele não faz: q Não define como o áudio e o vídeo é encapsulado. q Não é um protocolo de transporte de mídia Não define como o fluxo de mídia contínua é transportado. q Não especifica se/como receptor deve armazenar a mídia. Exemplos: q Helix DNA Server (RealNetworks) e Realplayer q Quick Time Streaming Server e Quick Time Player. q Plex Media server e Plexa Player Servidor e transdutor usam RTSP para informações de. q Lista em 49 RTSP: controle fora da banda (1) Recordando: FTP usa um canal de controle fora-da-banda. q O arquivo é transferido sobre um canal. q Informações de controle são enviadas sobre outro canal. Operações de mudanças de diretório, remoção de arquivos, trocas de nomes, dentre outras. q Os canais dentro-da-banda e fora-dabanda usam números de portas diferentes. 50 Prof. Dr. Adriano Mauro Cansian 25

26 RTSP: controle fora da banda (2) q Mensagens RTSP são enviadas fora-da-banda. q As mensagens de controle RTSP usam números de portas diferentes das portas do fluxo de dados de mídia contínua. q O fluxo de dados de mídia contínua é enviado em separado, considerada dentro-da-banda. Estrutura de pacotes do fluxo de dados não é definida pelo RTSP, 51 Iniciação do RTSP e controles de entrega Web browser HTTP GET descr. presentation apresent. desc. SETUP Web server q q Cliente obtém uma descrição do conteúdo multimídia, que pode consistir de vários fluxos de dados. O browser chama o transdutor de mídia com base no tipo de conteúdo descrito. Transdutor media de player mídia cliente PLAY fluxo media de stream mídia PAUSE TEARDOWN Servidor media de server mídia servidor server q q q A descrição da apresentação inclui referências aos fluxos de mídia usando o método rtsp:// Transdutor envia o comando RTSP SETUP e servidor envia a resposta RTSP SETUP. Transdutor envia o comando RTSP PLAY; servidor envia a resposta RTSP PLAY. q O servidor de mídia descarrega o fluxo de mídia. q Transdutor envia o comando RTSP PAUSE; o servidor envia a resposta RTSP PAUSE. q Transdutor envia o comando RTSP TEARDOWN; servidor envia a resposta RTSP TEARDOWN. 52 Prof. Dr. Adriano Mauro Cansian 26

27 Exemplo de Meta-arquivo: <title>twister</title> <session> <group language=en lipsync> <switch> <track type=audio e="pcmu/8000/1" src = "rtsp://audio.example.com/twister/audio.en/lofi"> <track type=audio e="dvi4/16000/2" pt="90 DVI4/8000/1" src="rtsp://audio.example.com/twister/audio.en/hifi"> </switch> <track type="video/jpeg" src="rtsp://video.example.com/twister/video"> </group> </session> 53 Sessão RTSP q Cada sessão RTSP tem um identificador de sessão (escolhido pelo servidor). Cliente inicia a sessão com o comando SETUP, e o servidor responde ao comando com um identificador. q Cliente repete o identificador em cada comando, Até que o cliente encerrar a sessão com o comando. q O número de porta do RTSP é TCP/554. q RTSP é encapsulado em TCP para transporte. Cada mensagem RTSP pode ser enviada numa conexão TCP separada. 54 Prof. Dr. Adriano Mauro Cansian 27

28 RTSP: exemplo de mensagens CLIENT: SETUP rtsp://audio.example.com/twister/audio RTSP/1.0 Transport: rtp/udp; compression; port=3056; mode=play SERVER: Comandos RTSP/ OK Session 4231 RTP: veremos mais adiante CLIENT: PLAY rtsp://audio.example.com/twister/audio.en/lofi RTSP/1.0 Session: 4231 Range: npt=0- Session ID CLIENT: PAUSE rtsp://audio.example.com/twister/audio.en/lofi RTSP/1.0 Session: 4231 Range: npt=37 CLIENT: TEARDOWN rtsp://audio.example.com/twister/audio.en/lofi RTSP/1.0 Session: 4231 SERVER: OK 55 Aplicações interativas em tempo-real Fazendo o (im)possível com o melhor esforço 56 Prof. Dr. Adriano Mauro Cansian 28

29 Aplicações interativas em tempo-real q Telefone IP - Telefone IP (Hardware VoIP-2-VoIP). q Device a device (Softfone VoIP-2-VoIP). q VoIP para telefone convencional (PSTN). Skype Gizmo Viber Facetime Net2phone Muitos outros... q Videoconferência. q Live Webcams. Como exemplo, vamos agora examinar um produto de telefone da Internet em detalhes 57 Telefonia Internet sobre melhor-esforço (1) Usando melhor esforço: q Temos problemas de: Atraso Perdas Jitter q Usando um exemplo de telefonia IP, vamos examinar como estes problemas são tratados. 58 Prof. Dr. Adriano Mauro Cansian 29

30 Telefonia Internet sobre melhor-esforço (2) q As aplicações de telefonia na Internet geram pacotes SOMENTE durante momentos de atividade da voz. q Considere uma taxa de bits PCM de 64 kbps ou 8 kbytes / seg durante atividade. Ou seja, 8 kbytes / seg por rajada. (na verdade é uma taxa muito alta - na prática as taxas serão menores e deve-se usar compressão). q Como a aplicação funciona: Junta as partes de atividade, e gera uma porção de dados a cada 20 ms (por padrão). q Continuando Telefonia Internet sobre melhor-esforço (3) q Junta tudo, e gera uma porção de dados a cada 20 ms. Ou seja: durante períodos de atividade, a aplicação produz um bloco de 160 bytes. 8 kb/seg x 20 ms = 160 bytes q Além disso: um cabeçalho é acrescentado ao bloco. Bloco + cabeçalho são encapsulados num pacote UDP, e enviados. q Alguns pacotes podem ser perdidos à o atraso irá variar. Receptor deve determinar quando reproduzir um bloco, e determinar o que fazer com um bloco faltante. q Veremos como os problemas são tratados Prof. Dr. Adriano Mauro Cansian 30

31 Tratando problemas em rede best-effort (1) 1. Perda de pacotes: q Segmento UDP à encapsulado num datagrama IP. q Datagrama pode ser descartado num roteador. q Uso de TCP poderia eliminar perdas. Mas tem efeitos colaterais: Retransmissões aumentam o atraso. Sliding window do TCP limita a taxa de transmissão. q Pacotes redundantes podem ajudar (veremos mais adiante) 2. Atraso fim-a-fim: q Causa: acúmulo da soma dos atrasos transmissão, propagação, processamento, e de filas. q Se há mais que 400 ms de atraso fim-a-fim: compromete a interatividade. q Quanto menor o atraso, melhor. 61 Tratando problemas em rede best-effort (2) 1. Perda de pacotes: q Segmento UDP à encapsulado num datagrama IP. q Datagrama pode ser descartado num roteador. q Uso de TCP poderia eliminar perdas. Mas tem efeitos colaterais: Retransmissões aumentam o atraso. Sliding window do TCP limita a taxa de transmissão. q Pacotes redundantes podem ajudar (veremos mais adiante) 2. Atraso fim-a-fim: q Causa: acúmulo da soma dos atrasos Atrasos: transmissão, propagação, processamento, e de filas. q Se há mais que 400 ms de atraso fim-a-fim: Conforme já visto: compromete a interatividade. q Quanto menor o atraso, melhor a experiência do cliente. 62 Prof. Dr. Adriano Mauro Cansian 31

32 Tratando problemas em rede best-effort (3) 3. Jitter ou Variação de atraso: q Considere dois pacotes consecutivos num intervalo de atividade. Espaçamento inicial é de 20 ms. Mas o espaçamento no receptor pode ser maior ou menor que 20 ms à devido ao JITTER. Para remover o jitter, utiliza-se, ao mesmo tempo: 1. Marcas de tempo. 2. Atrasos na reprodução. 3. Números de sequência Uso de marcas de tempo (timestamp) q Emissor coloca uma marca de tempo t no bloco. q Receptor tenta reproduzir cada bloco exatamente q ms depois que o bloco é gerado. Se o bloco tem marca de tempo t, receptor usa o bloco no instante (t+q). Se o bloco chega após o instante (t+q), receptor o descarta. q Números de sequência não são necessários aqui. q Esta estratégia permite perder pacotes. 64 Prof. Dr. Adriano Mauro Cansian 32

33 1. Uso de marcas de tempo (timestamp) q A escolha do valor de q é importante: q grande: perda de pacotes MENOR. q pequeno: melhor controle da interatividade Atraso de reprodução (fixo) q Transmissor gera pacotes a cada 20 ms durante os intervalos de atividade. q Atrasa o início por um fator fixo. q Primeiro pacote é recebido no instante r. q Primeira programação de reprodução: começa em p. q Uma segunda programação de reprodução poderia começar em p. q Deve-se escolher p ou p adequadamente. packets packets generated packets received loss playout schedule p - r playout schedule p' - r tempo time r Adriano p Mauro p' Cansian 66 Prof. Dr. Adriano Mauro Cansian 33

34 2. Atraso de reprodução (adaptativo) (1) Estima o atraso da rede, e ajusta o atraso de reprodução no início de cada intervalo de atividade. Intervalos de silêncio são aumentados e diminuídos de forma dinâmica à com base na média estatística dos atrasos. Blocos ainda são gerados a cada 20 ms nos intervalos de atividade. t = marca de tempo do i ésimo pacote i r = instante no qual o pacote i é recebido pelo receptor i p = instante no qual o pacote i é reproduzido no receptor r t = atraso da rede para o i - ésimo pacote i i d = estimativa do atraso na rede após receber o i - ésimo pacote i i Estimativa dinâmica do atraso médio no receptor: d 1 u) d + u( r t ) i = ( i 1 i i onde u é uma constante fixa (ex: u = 0,01). 67 É também usual estimar a variância média do atraso, v i : 2. Atraso de reprodução (adaptativo) (2) v i = ( 1 u) vi 1 + u ri ti di As estimativas de d i e v i são calculadas para cada pacote recebido, embora elas sejam usadas apenas no início de um intervalo de atividade. Para o primeiro pacote de um intervalo de atividade, o instante de reprodução é: p = t + d + Kv i i i onde K é uma constante positiva. Para este mesmo pacote, o atraso de reprodução é: q = p t i i Para o pacote j no mesmo intervalo de atividade, o pacote deve ser reproduzido em: p = t + q j j i i i 68 Prof. Dr. Adriano Mauro Cansian 34

35 3. Números de sequência (1) q Como saber se um pacote é o primeiro após um silêncio? Intervalo de atividade. q Se nunca houvesse perdas o receptor poderia simplesmente olhar nas marcas de tempo sucessivas. Se a diferença de marcas de tempo sucessivas for maior que 20 ms, então é o início de silêncio (intervalo). Mas as perdas podem ocorrer Números de sequência (2) q Uma vez que as perdas podem ocorrer: q O receptor deve olhar tanto as marcas de tempo como os números de sequência dos pacotes. Se a diferença de marcas de tempo sucessivas for maior que 20 ms, e não há saltos nos números de sequência, então éo início de um silêncio. 70 Prof. Dr. Adriano Mauro Cansian 35

36 Recuperação de perdas Perdas: pacote nunca chega, ou chega depois do seu tempo de reprodução programado 71 Recuperação de perdas de pacotes (1) Correção de erro de envio (FEC) - esquema simples: q Recuperação antecipada. q Para cada grupo de n blocos, cria um bloco redundante. q Envia os n+1 blocos. q Aumenta o uso banda por um fator de 1/n. q Assim, é possível reconstruir os n blocos originais, se houver no máximo um bloco perdido nos n+1 blocos enviados. FEC = Forward Error Correction Similar ao método de paridade. Ver seção Kurose &Ross. Exercício: OU exclusivo (XOR) entre os n blocos originais. 72 Prof. Dr. Adriano Mauro Cansian 36

37 73 Recuperação de perdas de pacotes (2) q Enviar, junto com o fluxo original, um fluxo de menor qualidade adicional, como carona. q Isto é, enviar fluxo de áudio de menor resolução como informação redundante. Por exemplo, um fluxo PCM nominal a 64 kbps e um fluxo GSM redundante a 13 kbps. q Transmissor cria pacote tomando o bloco n do fluxo nominal, e anexando a ele o bloco (n-1) do fluxo redundante. 74 Prof. Dr. Adriano Mauro Cansian 37

38 Recuperação de perdas de pacotes (3) Esquema FEC: Enviar um fluxo de menor qualidade como carona. Envia fluxo de áudio de menor resolução como a informação redundante. Por exemplo, um fluxo PCM nominal a 64 kbps e um fluxo GSM redundante a 13 kbps. Transmissor cria pacote tomando o bloco n do fluxo nominal, e anexando a ele o bloco (n-1) do fluxo redundante Fluxo original Redundância Perda de Pacote Fluxo reconstruído Sempre que ocorre perda não-consecutiva, o receptor pode esconder a perda. Apenas dois pacotes precisam ser recebidos antes do início da reprodução Pode também anexar os blocos (n-1) e (n-2) do fluxo de baixa qualidade. 75 Recuperação de perdas de pacotes (4) q Outra técnica: intercalação. q Blocos são quebrados em unidades menores. q Por exemplo, 4 blocos de 5 ms cada. q Intercalar os blocos como mostrado no diagrama (a seguir). q Cada pacote agora contém unidades menores de diferentes blocos. 76 Prof. Dr. Adriano Mauro Cansian 38

39 Recuperação de perdas de pacotes (5) Fluxo original Intercalação: q Blocos são quebrados em unidades menores. q Por exemplo, 4 blocos de 5 ms cada. q Intercalar os blocos como mostrado no diagrama. q Pacote agora contém unidades menores de diferentes blocos. q Remontar os blocos no receptor. q Se o pacote é perdido, ainda resta mais de cada bloco. Fluxo intercalado Perda de pacote Fluxo reconstruído 77 Recuperação de perdas de pacotes (6) Resumo q Técnicas para recuperação pelo receptor de fluxos de áudio danificados: q Produzir uma substituição para um pacote perdido que seja similar ao pacote original. Pode produzir bons resultados para baixas taxas de perdas, e pacotes pequenos (4 ~ 40 ms). Estratégia mais simples: repetição de n. Estratégia mais complexa: interpolação. 78 Prof. Dr. Adriano Mauro Cansian 39

40 Até aqui vimos: q Conceitos fundamentais e características da Mídia na Internet. q Problemas e desafios. q Fluxo contínuo de áudio e vídeo armazenados. q Codificação de áudio e vídeo, PCM e MP3. q Controle de mídia com RTSP. q Aplicações interativas em tempo real. q A seguir: protocolos para transportar mídia RTP, RTCP, VoIP, H323, SIP, e outros Prof. Dr. Adriano Mauro Cansian 40