Avaliação de um mecanismo de previsão adaptativa de perdas de pacotes com aplicação à transmissão de Voz sobre IP

Transcrição

1 1 / 101 Avaliação de um mecanismo de previsão adaptativa de perdas de pacotes com aplicação à transmissão de Voz sobre IP Fabrício Murai, Hugo Hidequi Sato, Edmundo de Souza e Silva, Daniel Ratton Figueiredo UFRJ - COPPE/PESC - LAND WPerformance, 2008 Programa de Engenharia de Sistemas e Computação LAND - Laboratory for modeling, analysis and development of networks and computer systems

2 2 / 101 Índice 1 Introdução 2 Mecanismo de previsão adaptativa 3 Avaliação da Previsão 4 Avaliação da Recuperação 5 Conclusões

3 3 / 101 Aplicações Multimídia em Redes

16 16 / 101 Perda de pacotes E se houver perda de pacotes?

17 17 / 101 Perda de pacotes

31 31 / 101 Uso de redundância Uso de redundância: atenuar os efeitos das perdas

32 32 / 101 Uso de redundância

48 48 / 101 Quando utilizar redundância? Maior redundância maior recuperação, consome mais recursos Redundância nem sempre é necessária

49 49 / 101 Quando utilizar redundância? Maior redundância maior recuperação, consome mais recursos Redundância nem sempre é necessária

50 50 / 101 Diagrama Recuperação Problema 1 ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead Problema 2

51 51 / 101 Diagrama Problema 1 Avaliação da previsão ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead

52 52 / 101 Diagrama Problema 2 ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead Avaliação da recuperação

53 Escopo deste trabalho 1 Uso de modelos para o processo de perdas: Modelo de Markov Oculto Hierárquico (HMM) Modelos Auto-regressivos (AR) 2 Avaliação quanto à: Incerteza da previsão Qualidade da recuperação 3 Estudo da relação previsão X recuperação 53 / 101

54 54 / 101 O Mecanismo de previsão adaptativa

55 55 / 101 O Mecanismo de previsão adaptativa Estimação dos parâmetros Eventos de estimação do modelo Intervalo de estimação τ τ τ Estimação individual Amostras para a estimação T t-2τ t-τ t t+τ tempo t-t t tempo

56 56 / 101 O Mecanismo de previsão adaptativa Previsão Intervalo de previsão ψ ψ ψ ψ ψ Histórico Janela da da previsão previsão H F t-3ψ t-2ψ t-ψ t t+ψ t+2ψ tempo t-h t t+f tempo Eventos de previsão da medida de interesse Previsão individual Estatísticas: Taxa de perda média R F t Tamanho médio da rajada de perda B F t

57 57 / 101 Modelos Markovianos Ocultos(HMM) Exemplo: Lançamento de moedas P(coroa) = 0.1 P(coroa) = 0.3 P(coroa) = 0.4 Símbolos: cara, coroa Processo observável: resultados dos lançamentos Processo não-observável: troca de moedas Motivação: como modelar esse processo?

58 58 / 101 Modelos Markovianos Ocultos(HMM) Modelo P(coroa)= P(coroa)= P(coroa)=0.4

59 59 / 101 Modelos Markovianos Ocultos(HMM) Exemplo: Processo de perdas 010 Símbolos: sucessos(0) e perdas(1) Processo observável: resultados das transmissões Processo não-observável: estado da rede Motivação: como modelar esse processo?

60 60 / 101 HMM Hierárquico Modelo a 21 a 12 1-r 1 r 1 1-r 2 r 2 p p 1 q 1 1-q 1 p p 2 q 2 1-q 2 a 31 a 13 a 23 a 32 1-r 3 r 3 p p 3 q 3 1-q 3 Representação do estado: modelo de Gilbert

61 61 / 101 Outros preditores Eventos de estimação do modelo Modelo auto-regressivo (AR) A previsão é uma comb. linear das obs. recentes Preditor Média A cada τ são calc. as estatísticas Replicador A cada ψ são calc. as estatísticas t-2τ t-3ψ Intervalo de τ estimação τ τ t-τ Intervalo de previsão ψ ψ ψ ψ ψ t-2ψ t-ψ Eventos de previsão da medida de interesse t t t+ψ t+τ tempo t+2ψ tempo

62 62 / 101 Problema 1 Avaliação da previsão ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead

63 63 / 101 Uso de traces Como comparar a previsão se as perdas mudam a cada transmissão?

64 64 / 101 Uso de traces UFRJ UMass UFMG UMd

69 69 / 101 Uso de traces UFRJ UMass X UFMG UMd

73 73 / 101 Uso de traces UFRJ UMass UFMG 0 UMd

76 76 / 101 Uso de traces UFRJ UMass UFMG 010 UMd Obtidos através do Traffic Generator da ferramenta Tangram II

77 Traces selecionados UMd - UFRJ (rajadas periódicas, R = 2.2%) 0.5 Taxa de perda Tempo (minutos) UMASS - UFRJ (alta variabilidade, R = 9.5%) 1 Taxa de perda Tempo (minutos) 77 / 101

78 78 / 101 Avaliação da previsão Consideramos apenas os instantes em que a taxa de perda é variante. Taxa de perda 1 0 Real Instante variante tempo Métricas utilizadas: Erro médio quadrático MSE = E[(ˆR t F Rt F ) 2 ] Correlação cruzada COR ( real x previsto ) Taxa de acerto relativa I(α)

79 79 / 101 Resultados Experimentais Comparação dos modelos de previsão UMd - UFRJ UMass - UFRJ Modelo MSE COR I(0.4) MSE COR I(0.4) HMM % % AR % % Média % % Replicador % % HMM mostrou melhor desempenho

80 80 / 101 Problema 2 ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead Avaliação da recuperação

81 81 / 101 Métricas ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead

82 82 / 101 Métricas ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead Taxa de recuperação r = no. de pacotes recuperados no. de pacotes perdidos

83 83 / 101 Métricas ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead Taxa de recuperação r = no. de pacotes recuperados no. de pacotes perdidos Overhead o = no. de pacotes adicionados ao fluxo no. de pacotes do fluxo original

84 84 / 101 Métricas ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead Taxa de recuperação r = no. de pacotes recuperados no. de pacotes perdidos Overhead o = no. de pacotes adicionados ao fluxo no. de pacotes do fluxo original Comparação de resultados

85 85 / 101 Seleção de FEC ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead Dada a previsão como eu escolho a FEC?

86 86 / 101 Seleção de FEC ALGORITMO previsão MODELO obs COLETA DE OBS. FEC dados TRANSM. dados+fec RECUPERAÇÃO dados recuperados AVALIAÇÃO Taxa de recuperação, Overhead Dada a previsão como eu escolho a FEC? Heurística C [Filho e de Souza e Silva, 2006] Objetivo: Taxa de perda após a recuperação abaixo de θ Entrada: modelo de Gilbert Calcula analiticamente E[taxa de perda após recup.]

87 87 / 101 Algoritmo de seleção de FEC Baseia-se na esperança da taxa de perda média e do tamanho médio da rajada Determina um modelo de Gilbert procedure selectfec(r t+1, B t+1 ) início q := 1 Bt+1 ; p := q R t+1 1 Rt+1 ; Use o esquema de FEC dado pela heurística C para o modelo de Gilbert(p,q); fim

88 88 / 101 Mostrando a eficácia do algoritmo Vamos supor a existência do seguinte preditor: Preditor Ótimo: conhece a taxa de perda e o tamanho médio da rajada (traces).

89 Parametrização dos Modelos e do Algoritmo Adaptativo Parâmetros Fixos S = 25 símbolos Intervalo de treinamento: 4 minutos Histórico de treinamento: 4 minutos θ = 0.03 Parâmetros variáveis do HMM Número de estados ocultos: 5, 10, 20 Intervalo de previsão: 50,100 símbolos Histórico de previsão: 50, 100, 1000 símbolos Parâmetros variáveis do AR Intervalo de previsão: 50,100 símbolos Grau de regressão: 2,20,40 89 / 101

90 90 / 101 Resultados do HMM (UMd - UFRJ) Comparação para diferentes parametrizações overhead HMM Previsão Ótima taxa de recuperação Relação direta entre previsão e recuperação Robustez do HMM MSE

91 91 / 101 Resultados do HMM (UMd - UFRJ) Comparação para diferentes parametrizações overhead HMM Previsão Ótima taxa de recuperação Relação direta entre previsão e recuperação Robustez do HMM MSE

92 92 / 101 Comparação dos modelos (UMd - UFRJ) overhead Replicador Previsão Ótima 0.08 HMM 0.07 AR Média taxa de recuperação Proximidade do HMM e da Previsão Ótima

93 93 / 101 Contribuições 1 Definição de métricas para avaliação da previsão 2 Proposto Algoritmo de seleção de FEC 3 Avaliação dos modelos HMM e AR 4 Análise de sensibilidade do HMM 5 Previsão X Recuperação

94 94 / 101 Conclusões 1 HMM mostrou melhor desempenho 2 Robustez do HMM com relação aos parâmetros 3 Em geral, boa previsão boa recuperação 4 HMM + algoritmo proposto = bons resultados

95 Obrigado! Fabrício Murai Este Material: fabricio Texto do artigo: / 101

96 96 / 101 Previsão para parametrizações do HMM (UMass - UFRJ) overhead HMM Previsão Ótima HMM taxa de recuperação MSE clusters HMM X Preditor Ótimo

97 Explicação dos resultados para o trace (UMass - UFRJ) Taxa de perda real Previsão 1 Previsão Previsão 1: menor erro, sempre emprega redundância Previsão 2: maior erro, só emprega redundância quando necessário A previsão do HMM para este trace se assemelha à previsão / 101

98 98 / 101 Previsão X Recuperação (UMd - UFRJ) Previsão Ótima Heurística Ótima overhead taxa de recuperação

99 99 / 101 Previsão X Recuperação (UMass - UFRJ) Previsão Ótima Heurística Ótima overhead taxa de recuperação

100 100 / 101 Previsão X Recuperação (UFMG - UFRJ) Previsão Ótima Heurística Ótima overhead taxa de recuperação 0

101 101 / 101 Previsão X Recuperação (MMPP) Previsão Ótima Heurística Ótima overhead taxa de recuperação