Metodologia para estimar o atraso em um sentido e experimentos na Internet

Transcrição

1 22 SBRC - Gramado, RS - Brasil Metodologia para estimar o atraso em um sentido e experimentos na Internet Antonio A. de A. Rocha Rosa M. Meri Leão Edmundo de Souza e Silva Universidade Federal do Rio de Janeiro COPPE/Prog. de Engenharia de Sistemas e Computação e Depto de Ciência da Computação do IM LAND - Laboratory for modeling, analysis and development of networks and computer systems Antonio Rocha, SBRC

2 Sumário Motivações; Objetivos; Técnicas de Medição; Medições Ativas; Cálculo do "Atraso em um sentido"; Validação das Implementações, Experimentos e Resultados; Nova Proposta para Estimar Métricas Usando o OWD; TANGRAM-II Traffic Generator (nova versão); Conclusão e contribuição; Trabalhos Futuros; Antonio Rocha, SBRC

3 Motivações Conhecer as características da rede: Melhorar a QoS das aplicações multimídia; Criar modelos mais precisos; Métricas estudadas: Atraso de ida-e-volta (RTT) Jitter (Variação do atraso) Vazão Capacidade de Transmissão dos Enlaces Capacidade de Transmissão do Gargalo Largura de Banda Disponível Perda Caminho (Path) Tamanho do Buffer no Gargalo Taxa de Descarte... Nota: Algumas dessas métricas não têm relação com "tempo" e outras requerem apenas um único relógio para ser computada. Antonio Rocha, SBRC

4 Outras métricas importantes "Atraso de ida", em um único sentido One-way delay (OWD); Problemas para estimar esta métrica, sem equipamentos específicos: Falta de sincronização e diferentes taxas de crescimento dos relógios envolvidos; Problemas em estimar outras métricas: O RTT é usado no cálculo de algumas métricas, o que aumenta a probabilidade de estimar a métrica de forma errada; Ex. cálculo do tamanho do buffer no gargalo; Antonio Rocha, SBRC

5 Objetivos Coletar e analisar medidas de desempenho na Internet, através de medições ativas Avaliar as propostas existentes para estimar o OWD e outras métricas; Desenvolvimento de uma proposta que solucione problemas encontrados durante os experimentos; Proposto uma extensão que possibilite estimar o OWD para uma aplicação qualquer; Utilizar as estimativas de OWD para auxiliar na obtenção de outras métricas de interesse; Antonio Rocha, SBRC

6 Técnicas de Medição Antonio Rocha, SBRC

7 Técnicas de Medição Duas técnicas existentes: Ativa e Passiva; Diferenças conceituais entre as duas; Ativa: Envio de Sondas entre os "pontos" usados na medição; Passiva: Coleta informações do tráfego passante por um ponto; Nota: Como a forma Passiva não faz parte do escopo deste trabalho, apenas a técnica Ativa será abordada nesta apresentação. Antonio Rocha, SBRC

8 Medição Ativa Consiste no envio de pacotes por um emissor, que atravessam o caminho da rede a ser estudado, e coletado em um receptor; Pacotes chamados de Sondas; Variações de aplicação da técnica: Métodos de Geração das Sondas; Um sentido (One-way); Dois sentidos (Two One-way); Ida e volta (Round Trip); Modelos de Geração das Sondas; CBR; Markov Modulated; Trace; Pares de Pacotes; Antonio Rocha, SBRC

9 Medição Ativa Medidas de Desempenho e Ferramentas: Atraso de ida-e-volta (RTT): Ping, Bing, Clink, Netest, Pathchar, Pchar, Pipechar Jitter (Variação do atraso): Iperf, Vazão: Pathchar, Pchar Capacidade de Transmissão dos Enlaces: Clink, Pathchar, Pchar Capacidade de Transmissão do Gargalo: {B S}probe, Netest, Nettimer, Pathrate, Pipechar Largura de Banda Disponível: Netest, Pipechar, Treno Perda: Ping, Bing, Iperf, Netest, Owping, Pathchar, Pchar, Pipechar Atraso em um sentido (OWD): Owping (com GPS). Utilização: Cprobe Caminho: Traceroute. Ex.: Bprobe e Sprobe usam pares de pacotes ICMP para estimar a capacidade de transmissão no enlaco do gargalo; Infra-estruturas de medição ativa: Várias máquinas executando medições ativas Ripe; Surveyor; Impa; NIME; Antonio Rocha, SBRC

10 TANGRAM-II Traffic Generator Módulo de medição ativa do TANGRAM-II TANGRAM-II: Ambiente de modelagem e experimentações de sistemas de computação e comunicação; Propósito educacional e de pesquisa; Composto por vários módulos de diversas finalidades; Com a possibilidade de integração entre elas; Versão anterior do TANGRAM-II Traffic Generator: Gerador de Tráfego: IP ou ATM nativo; Possibilita ao usuário a utilização de diferentes modelos de geração das sondas (CBR, Markov Modulated, Trace); Métricas disponíveis: Jitter, Perda, Sucesso e Vazão; TANGRAM-II Modelenv: Ambiente de modelagem; Criação de modelos de simulação ou analíticos; Através de uma interface gráfica (TGIF); Os modelos são representados por uma coleção de objetos; Antonio Rocha, SBRC

11 Cálculo do atraso em um sentido Antonio Rocha, SBRC

12 Terminologia Cx : representa o relógio de uma máquina X; C x : Frequência (taxa de crescimento) do relógio C; Cx(t): Instante "t" no relógio Cx; ts e tr : Instante "t" de envio e recebimento do pacote; Cálculo do Atraso: D = Cb(tr) - Ca(ts); Antonio Rocha, SBRC

13 Problemas no Cálculo do OWD Se forem usados equipamentos de sincronização (GPS), D=Cb(tr ) - Ca(ts ) Sem os equipamentos, alguns problemas devem ser levados em consideração: A frequência (taxa de crescimento) dos relógios é diferente: SKEW - C a!= C b Tendência de crescimento no cálculo do atraso. A diferença entre os relógios em um instante "t" pode ser diferente de zero: OFFSET - Cb (t s)!= Ca (ts) Inclusão da diferença entre os relógios nos valores do atraso UFRJ->UMASS UMASS->UFRJ Delay(ms) Delay(ms) Sequence number Sequence number Antonio Rocha, SBRC

14 Algoritmos para remoção do Skew Três propostas foram estudadas: Paxson - Sigmetrics 98; S. Moon e D. Towsley - Infocom 99 ; L. Zhang e Z. Liu - Infocom 02; Avaliação das propostas: Paxson possui problemas para valores de Skew muito altos, e complexidade computacional superior a todos os outros; S. Moon e D. Towsley provou que sua proposta é mais eficiente do que o algoritmo de Paxson; L. Zhang e Z. Liu demonstram que sua proposta possui uma complexidade pelo menos igual a proposta de S. Moon e D. Towsley, além de mais intuitiva; Foi implementado no TANGRAM-II Traffic Generator a proposta L. Zhang e Z. Liu - Infocom 02; Antonio Rocha, SBRC

15 Definição do Algoritmo(Skew) Usado o conceito de Limite Inferior de um Fecho Convexo: Seja Ω um conjunto de pontos de um gráfico, FC(Ω) consiste no menor polígono formado por um subconjunto de Ω, onde todos os outros pontos se encontram na parte interior do polígono. Para obter o limite inferior de um FC(Ω) o algoritmo faz uma busca nos pontos a partir do ponto de menor valor da dimensão "x" até o ponto de maior valor da dimensão "x". Antonio Rocha, SBRC

16 Funcionamento do Algoritmo(Skew) Identifica o limite inferior do FC(Ω), onde Ω é a coleta do atraso dos pacotes; Dentre todos os pares de vértices é estimado o melhor par que representa a reta gerada pela tendência de crescimento: A reta ótima é escolhida a partir do ponto médio do gráfico (N/2); Identificado o ponto médio, duas possibilidades: O ponto médio é um dos vértices do polígono; O ponto médio encontra-se acima de uma reta entre dois vértices Sondas 2600 Sondas 2600 Sondas Atraso Atraso Atraso Número de Sequência Número de Sequência Número de Sequência Antonio Rocha, SBRC

17 Funcionamento do Algoritmo(Skew) Cont. Identifica a reta, estima-se a inclinação para representar a taxa de crescimento de um relógio em relação ao outro: A inclinação é dada pelo coeficiente de variação da reta em relação ao eixo das abcissas: Seja y=f(x) a reta estimada pelo algoritmo de FC(Ω), e sejam Vskew(X1, Y1)e V skew(x2, Y2) os vértices estimados pelo algoritmo: α = Y2 - Y1 X2 - X1 Descoberto a taxa de crescimento, remover o Skew do atraso é relativamente simples: Atraso_sem_skew = D - [( Tsi - Ts1) * α] O novo atraso é calculado para todas as amostras da coleta; Antonio Rocha, SBRC

18 Algoritmo de Offset Diversas propostas para remoção do Offset, porém foi implementado o método proposto em [J. Biro e D. Loung] por ela considerar caminhos assimétricos; Cap. de Tx no caminho de ida!= Cap. de Tx no caminho de volta; O objetivo da propota é estimar o Offset através da variação do retardo presente no atraso das sondas de diferentes tamanhos. O algoritmo também supõe a inexistência de valores de Skew, mas eles podem ser removidos com o algoritmo definido anteriormente; Antonio Rocha, SBRC

19 Funcionamento do Algoritmo de Offset Enviado uma sequência de sondas de diferentes tamanhos; Selecionadas as que sofreram o menor atraso; Não encontraram fila ao longo do caminho; Decrescimento linear causado pela diferença dos tamanhos das sondas; A proposta é identificar o retardo de uma sonda de tamanho zero que não tenha encontrado fila ao longo do caminho; Esse atraso equivale ao Tprop + ou - Offset Feito isso nos dois sentidos, a diferença entre os atrasos, Dab -D ba = Offset + Tprop - ( - Offset + Tprop) = 2 * Offset Atraso min(a-b, tam) 2 x Offset min(b-a, tam) 0 Tamanho das Sondas Antonio Rocha, SBRC

20 Implementação dos Algoritmos Os algoritmos de Skew e Offset foram implementados no TANGRAM-II Traffic Generator; Emissão de sondas nos dois sentidos (Two One-way); Variação do tamanho dos pacotes; Coleta inicial: Com Skew e Offset 2.605e e+07 "Trace do tráfego de Vídeo" Atraso(µs) 2.595e e e e e e e e e Número de Sequência Antonio Rocha, SBRC

21 Resultado dos Algoritmos Coleta após remoção do Skew e Offset "Trace do Tráfego de Video" Atraso(µs) Número de Sequência Antonio Rocha, SBRC

22 Resultado dos Algoritmos Curvas da PMF estimadas nas duas direções: UFRJ->UMASS UMASS->UFRJ 0.16 P[x=Atraso] Atraso(µs) Antonio Rocha, SBRC

23 Experimentos com a ferramenta Experimentos entre a UFRJ e UMASS, e entre a UFRJ e Unifacs: 0.03 Dia 09/09/2002 UMASS->UFRJ 0.02 Dia 02/10/2002 UMASS->UFRJ 0.1 Dia 04/12/2002 UMASS->UFRJ P[Atraso(us)] P[Atraso(us)] P[Atraso] Atraso(us) Atraso(us) Atraso(us) 0.25 UFRJ->UMASS 0.14 UFRJ->UMASS 0.45 UFRJ->UMASS P[Atraso(us)] P[Atraso(us)] P[Atraso] Atraso(us) Atraso(us) Atraso(us) Antonio Rocha, SBRC

24 Outros problemas para Cálculo do atraso em um sentido Antonio Rocha, SBRC

25 Outros problemas para estimar o OWD Além do Skew e Offset, mais dois problemas foram encontrados durante os esperimentos que atrapalhavam as estimativas do OWD: Atualização dos relógios Problemas com o Sistema Operacional 2.2e e+07 Sondas Congelamento temporário do Sistema Operacional Atraso 2e e e e+07 Atualização do relógio 1.6e e e Número de Sequência Antonio Rocha, SBRC

26 Consequência dos problemas Atualização dos relógios: A definição do FC(Ω) sofrerá influência e o α será estimado errado. 2.2e+07 Trace Coletado Aplicado Algoritmo 2.1e+07 2e+07 Atraso 1.9e e e e e e Número de Sequência Congelamento do sistema operacional Ocasiona "ruídos" na coleta e atrapalha a avaliação do comportamento do atraso. Antonio Rocha, SBRC

27 Outras propostas para Tratar Atualização [L. Zhang e Z. Liu - Infocom 02] e [Paxson - Sigmetrics 98] já descreveram este problemas: Paxson propõe identificar este problema baseado em uma mudança significativa no atraso da rede: Problema da proposta: - O algoritmo supõe a inexistência de Skew nos atrasos; L. Zhang e Z. Liu o uso de sub-intervalos e observação de mudanças significativas nos sub-intervalos: Problemas da proposta: - Offset não pode ser estimado; - Algoritmo não funciona quando duas atualizações ocorrem em intervalos próximos de tempo. Antonio Rocha, SBRC

28 Formato das Coletas Coletas obtidas na direção A->B: Sondas são enviadas de A para B contendo o número de sequência e o instante de envio (relógio A); Sondas são coletadas em B, calculado o Atraso e gerado o trace. Número de Sequência das Sondas no relógio de "A" Instante de envio das Sondas no relógio de "A" Atraso das Sondas = Instante de recebimento das Sondas no relógio de "B" - Instante de envio das Sondas no relógio de "A" Forma semelhante na direção B->A. Antonio Rocha, SBRC

29 Nova Proposta para Tratar Atualização Baseada na taxa de envio constante das sondas; Instante de Envio(µs) 2e e e e e+06 1e Envio das Sondas Qualquer alteração na reta de crescimento pode ser consequência de uma atualização do relógio da máquina emissora; Instante de Envio(µs) 8.6e e e+07 8e e+07 Número de Sequência Variação na Taxa de Envio Taxa de Envio 7.6e e Número de Sequência Antonio Rocha, SBRC

30 Funcionamento das Propostas Atualização dos Relógios Congelamento Temporário A B* A B* Diff Pac Diff Diff Pac+X A* B A* B Diff Pac Diff Diff Pac+X Antonio Rocha, SBRC

31 Calculo do atraso para aplicaçõs Antonio Rocha, SBRC

32 Cálculo do OWD para Aplicações Padrão de geração de sondas dos algoritmos para estimar o OWD Tamanho de Pacotes Específicos; Nos dois sentidos (Two One-way); Intervalos constantes de tempo; Proposta de um método que possibilita estimar o atraso a partir de qualquer modelo de geração de sondas (geração "aleatória"); Geração "tradicional" em instantes próximos de tempo: Estimado o Skew e Offset da geração "tradicional"; Esses mesmos valores são usados para remoção também na coleta "aleatória"; O instante de envio da primeira sonda da coleta "tradicional" é usado para remoção do Skew na coleta "aleatória". Iguala o Offset inicial; Sondas Paralelas UFRJ->UMASS Sondas Paralelas UMASS->UFRJ Tráfego de Vídeo Sondas Paralelas UMASS->UFRJ Tráfego de Vídeo Atraso(com Offset e Skew) Atraso(com Offset e Skew) e e e e e e e+15 Instante de Envio(µs) e e e e e e e+15 Instante de Envio(µs) Antonio Rocha, SBRC

33 Cálculo do OWD para Aplicações Aplicação de Videoconferência desenvolvida no LAND foram adaptadas para gerar log dos pacotes; Aulas e seminários entre a UFRJ e UMASS utilizaram esta ferramenta; Em paralelo, eram executadas medições Two One-way; Depois os algoritmos foram aplicados as coletas da aplicação de transmissão de vídeo; Atraso(µs) "Video_atraso.trace" Número de Sequência "Video_atraso.wso.trace" 0.03 "Video_atraso.pmf.trace" Atraso(µs) P[Atraso(µs)] Número de Sequência Atraso(us) Antonio Rocha, SBRC

34 Validação das Implementações Antonio Rocha, SBRC

35 Módulo RTT (Antes da aquisição do GPS) Para validar as implementações, um módulo que mede o RTT foi implementado; Não foi usada uma ferramenta já existente por alguns motivos: Precisão e maior controla da ferramenta Geração de pacotes UDP (Ping gera ICMP) Experimentos foram feitos em paralelo com coleta do RTT e Two One-way PMF das coletas RTT e Two One-way foram geradas UFRJ->UMASS UMASS->UFRJ RTT P[atraso] P[atraso] Atraso Atraso Antonio Rocha, SBRC

36 Distribuição da Soma do Two One-way Foi calculada a distribuição e a PMF da soma do atraso em cada um dos sentidos Ida e volta Convolução 1 Ida e volta Convolução P[x=Atraso] P[x < Atraso] e+06 Atraso(µs) e+06 Ida e volta Convolução Atraso(µs) 0.1 P[x < Atraso] e e+06 Atraso(µs) Antonio Rocha, SBRC

37 Validação do OWD com GPS Antonio Rocha, SBRC

38 Validação do OWD com GPS Antonio Rocha, SBRC

39 Validação do OWD com GPS Antonio Rocha, SBRC

40 Avaliação dos Resultados Antonio Rocha, SBRC

41 Caracterização do Atraso Fim-a-Fim O comportamento dos atrasos estimados nos experimentos foi avaliado: Usados descritores (média, variância e coef. de variação), e método de momentos para estimar os parâmetros das distribuições: Exponencial, Gaussiana, Lognormal, Gamma, Pareto e Weibull MSE foi usado para estimar a melhor distribuição, esse método tenta estimar a distância que uma função está em relação a outra ; MSE = Σ F(x) - F (x) ^2 N onde, F(X) é a distribuição a ser estudada e F (x) a distribuição estimada da coleta; A Ferramenta GNUPLOT foi usada para gerar as amostras das curvas das distribuições; A precisão da ferramenta 1e-5 faz com que as estimativas não possam ser consideradas confiáveis Comportamentos como o da cauda de uma distribuição pode estar sendo desconsiderado; Antonio Rocha, SBRC

42 Caracterização do Atraso Fim-a-Fim Distribuição MSE Exponencial* Gaussiana Lognormal Pareto Gamma Weibull P[X<Atraso] Trace Exponencial Gaussiana Lognormal Gamma Pareto Weibull Atraso(µs) Trace Exponencial Gaussiana Lognormal Gamma Pareto Weibull Trace Exponencial Gaussiana Lognormal Gamma Pareto Weibull P[X>Atraso] P[X>Atraso] Atraso(µs) Atraso(µs) Antonio Rocha, SBRC

43 Experimentos Durante meses foram executados experimentos para estimativa do OWD usando a ferramenta. UFRJ e UMASS UFRJ e UNIFACS Coleta significativa de traces: 40 coletas (UFRJ e UMASS) 14 coletas (UFRJ e UNIFACS) Algumas coletas (Ferramenta de Transmissão de Vídeo) Antonio Rocha, SBRC

44 Avaliação dos Resultados UFRJ / UMASS A maioria dos resultados apontaram a Pareto como melhor distribuição; Falta de precisão pode estar desconsiderando a cauda da distribuição; Além da Pareto, a Gaussiana e Lognormal também foram indicadas; UFRJ / Unifacs A maioria dos resultados apontaram a Distribuição Gaussiana como a mais apropriada; Além da Gaussiana, Exponencial, Pareto e Lognormal foram estimadas; UFRJ / UMASS (Ferramenta de Vídeo) Das coletas feitas pela ferramenta, a Lognormal aparece como a mais indicada; Antonio Rocha, SBRC

45 Voltar Slides Aula Antonio Rocha, SBRC

46 Criação de Modelos com os Resultados Antonio Rocha, SBRC

47 Conclusões e Contribuições Antonio Rocha, SBRC

48 Contribuições e Conclusões Desenvolvido e implementado (e validado) em uma ferramenta uma série de algoritmos possibilitando estimar o OWD: Inclui duas novas propostas para tratar os problemas de atualização do relógio e ruídos; Desenvolvido um método para estimar o OWD independente do modelo de geração; Execução de uma série de experimentos entre UFRJ/UMASS e UFRJ/UNIFACS; Implementado método de momentos e MSE para estimar distribuição; Gerador automático de um objeto TANGRAM-II para modelar atraso e perdas a partir das distribuições coletadas ; Proposto e implementado um método para seleção das sondas a serem usadas para o cálculo da capacidade de transmissão do gargalo; Experimentos verificaram melhor precisão do método proposto; Algoritmos estudados implementados na ferramenta TANGRAM-II Traffic Generator. Antonio Rocha, SBRC

49 Trabalhos Futuros Antonio Rocha, SBRC

50 Trabalhos Futuros Execução de novos experimentos entre diferentes pontos da Internet, com a avaliação desses resultados; Executar testes com a implementação do Loss Pair e verificar a diferença entre o método usando RTT e One-way; Quantificar a diferença de precisão entre o método simples de pares de pacotes e o método que usa seleção dos pares; Utilizar outros métodos para a escolha da distribuição que melhor caracteriza a coleta. Antonio Rocha, SBRC

51 22 SBRC - Gramado, RS - Brasil FIM Antonio A. de A. Rocha (arocha@land.ufrj.br) Rosa M. Meri Leão Edmundo de Souza e Silva (rosam@land.ufrj.br) (edmundo@land.ufrj.br) LAND - Laboratory for modeling, analysis and development of networks and computer systems Antonio Rocha, SBRC