Relatório de Benchmarking 3G - Dados. Belo Horizonte

Transcrição

1 Relatório de Benchmarking 3G - Dados Data: 10/11/2008

2 Sumário 1 - INTRODUÇÃO RESUMO EXECUTIVO Ranking Geral Estatísticas de Chamadas Estatísticas de Latência Estatísticas de Throughput CONFIGURAÇÃO Equipamento Configurações para Chamadas Timeouts Utilizados INFORMAÇÕES GERAIS DO RELATÓRIO Resumo das Informações Controle de Alterações COMPARAÇÕES DAS ESTATÍSTICAS DO SERVIÇO DE DADOS RSCP Ec/Io HS-DSCH BLER PDP Context Activation Ping FTP Download FTP Upload HTTP CÁLCULO DO RANKING Descrição do Critério de Classificação Determinando o Vencedor PLOTS

3 1 - Introdução Foi realizado no dia 01 de novembro de 2008 o drive test de benchmarking para avaliação e comparação das redes de dados 3G WCDMA / HSDPA das operadoras 1, 2, 3 e 4 na cidade de Belo Horizonte. As redes testadas foram: Operadora 1: WCDMA / HSDPA 850MHz Operadora 2: WCDMA / HSDPA 2100MHz Operadora 3: WCDMA / HSDPA 2100MHz Operadora 4: WCDMA / HSDPA 850MHz Para realizar uma comparação das redes serão apresentadas as estatísticas dos seguintes parâmetros: Estatísticas de Chamadas RSCP Ec/Io HS-DSCH BLER PDP Context Activation Latência) Ping RTT) FTP Download Latência e Throughput) FTP Upload Latência e Throughput) HTTP Latência e Throughput) SMTP) Latência e Throughput) POP3) Latência e Throughput) 3

4 2 - Resumo Executivo Os procedimentos detalhados, resultados, gráficos e plots serão apresentados nos itens a seguir, enquanto um resumo com os resultados principais das redes pode ser encontrado abaixo Ranking Geral Tabela 1: Ranking Geral Ranking Geral PDP Context Activation Ping RTT) FTP Download FTP Upload HTTP Send SMTP) Receive POP3) Nota Total Ranking Estatísticas de Chamadas PDP Context Activation Ping RTT) FTP Download FTP Upload HTTP Send SMTP) Receive POP3) Tabela 2: Estatísticas de Chamadas Estatísticas de Chamadas Tentativas Finalizações % Sucesso % % % 99.01% Tentativas Finalizações % Sucesso 90.54% 94.95% 96.65% 98.34% Tentativas Finalizações % Sucesso 17.65% % 95.83% % Tentativas Finalizações % Sucesso % % % % Tentativas Finalizações % Sucesso 35.29% 0.00% % 76.32% Tentativas Finalizações % Sucesso 94.12% % % 97.37% Tentativas Finalizações % Sucesso 94.12% % % 97.37% 4

5 2.3 - Estatísticas de Latência PDP Context Activation Ping RTT) FTP Download FTP Upload HTTP Send SMTP) Receive POP3) Tabela 3: Estatísticas de Latência Estatísticas de Latência Média s) Desvio padrão s) Mínimo s) Máximo s) Média ms) Desvio padrão ms) Mínimo ms) Máximo ms) Média s) Desvio padrão s) Mínimo s) Máximo s) Média s) Desvio padrão s) Mínimo s) Máximo s) Média s) Desvio padrão s) Mínimo s) Máximo s) Média Geral s) Média Mínimo) s) Média Máximo) s) Média Geral s) Média Mínimo) s) Média Máximo) s) Estatísticas de Throughput FTP Download FTP Upload HTTP Send SMTP) Receive POP3) Tabela 4: Estatísticas de Throughput Estatísticas de Throughput Média kbps) Desvio padrão kbps) Mínimo kbps) Máximo kbps) Média kbps) Desvio padrão kbps) Mínimo kbps) Máximo kbps) Média kbps) Desvio padrão kbps) Mínimo kbps) Máximo kbps) Média Geral kbps) Média Mínimo) kbps) Média Máximo) kbps) Média Geral kbps) Média Mínimo) kbps) Média Máximo) kbps)

6 3 - Configuração Equipamento O equipamento utilizado para realizar os testes e análises compreende: 1) 1 USIM de cada operadora 2) 2 telefones LG TU MHz) e 2 telefones Samsung U MHz) 3) Equipamento OPTis de benchmarking da WirelessLogix 4) 1 GPS da WirelessLogix 5) 1 Laptop com os softwares OPTis-M versão e XCAP-M versão da WirelessLogix Configurações para Chamadas 1) Ping 10 pacotes de 32 Bytes) 2) FTP Download Arquivo de 10MB) 3) FTP Upload Arquivo de 2MB) 4) HTTP 5) Send SMTP) e Receive POP3) Arquivo anexado de 15kB) Foi estabelecido um tempo máximo de 30 segundos para se conectar à rede de dados Timeouts Utilizados Tabela 5: Timeouts Utilizados Timeouts Utilizados Ping RTT) 10s FTP Download 400s FTP Upload 400s HTTP 20s SMTP e POP3) 60s 6

7 4 - Informações Gerais do Relatório Resumo das Informações Relatório de Benchmarking 3G - Dados - Revisão A Data: 10/11/2008 Localidade: Relatório executado por: Daniel Santos - daniel.santos@remopt.com Responsável pelo drive test: Daniel Santos - daniel.santos@remopt.com Controle de Alterações Revisão Motivo Data A Emissão de Documento 10/11/2008 B C D 7

8 5 - Comparações das Estatísticas do Serviço de Dados RSCP Tabela 6: RSCP Dominant RSCP RSCP dbm) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) RSCP >= <= RSCP < <= RSCP < <= RSCP < <= RSCP < RSCP < Gráfico 1: Histograma do RSCP Dominant RSCP % Ocorrências % Acumulativa 0.00 >= a a a a -115 < -115 RSCP dbm) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 7: Resumo do RSCP Média dbm) Desvio padrão dbm) Mínimo dbm) Máximo dbm)

9 5.2 - Ec/Io Tabela 8: Ec/Io Dominant Ec/Io Ec/Io db) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) Ec/Io >= <= Ec/Io < <= Ec/Io < <= Ec/Io < <= Ec/Io < Ec/Io < Gráfico 2: Histograma do Ec/Io Dominant Ec/Io % Ocorrências % Acumulativa 0.00 >= -3-3 a -6-6 a -9-9 a a -15 < -15 Ec/Io db) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 9: Resumo do Ec/Io Média db) Desvio padrão db) Mínimo db) Máximo db)

10 5.3 - HS-DSCH BLER Tabela 10: HS-DSCH BLER HS-DSCH BLER BLER %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) 0 <= BLER < <= BLER < <= BLER < <= BLER < <= BLER < <= BLER <= Gráfico 3: HS-DSCH BLER HS-DSCH BLER % Ocorrências % Acumulativa a 2 2 a 5 5 a a a a 100 BLER %) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 11: HS-DSCH BLER Média %) Desvio padrão %) Mínimo %) Máximo %)

11 5.4 - PDP Context Activation Tabela 12: Estatísticas do PDP Context Activation PDP Context Activation Tentativas Finalizações % Sucesso % % % 99.01% Tabela 13: Latência do PDP Context Activation Latência do PDP Context Activation Latência s) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) 0 <= PDP Time < <= PDP Time < <= PDP Time < <= PDP Time < <= PDP Time < PDP Time >= Gráfico 4: Latência do PDP Context Activation Latência do PDP Context Activation % Ocorrências % Acumulativa a a 1 1 a a 2 2 a 2.5 >= 2.5 Latência s) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 14: Latência do PDP Context Activation Média s) Desvio padrão s) Mínimo s) Máximo s)

12 5.5 - Ping Tabela 15: Estatísticas do Ping Ping Tentativas Finalizações % Sucesso 90.54% 94.95% 96.65% 98.34% Tabela 16: Ping RTT) Ping RTT) RTT ms) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) 0 <= RTT < <= RTT < <= RTT < <= RTT < <= RTT < RTT >= Gráfico 5: Ping RTT) Ping RTT) % Ocorrências % Acumulativa a a a a a 500 >= 500 RTT ms) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 17: Ping RTT) Média ms) Desvio padrão ms) Mínimo ms) Máximo ms)

13 5.6 - FTP Download Tabela 18: Estatísticas do FTP Download FTP Download Tentativas Finalizações % Sucesso 17.65% % 95.83% % Tabela 19: Latência do FTP Download Latência do FTP Download Latência s) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) 0 <= Latência < <= Latência < <= Latência < <= Latência < <= Latência < <= Latência < Gráfico 6: Latência do FTP Download Latência do FTP Download % Ocorrências % Acumulativa a a a a a a 400 Latência s) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 20: Latência do FTP Download Média s) Desvio padrão s) Mínimo s) Máximo s)

14 Tabela 21: FTP Download App Throughput FTP Download App Throughput Throughput kbps) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) Tput >= <= Tput < <= Tput < <= Tput < <= Tput < Tput < Gráfico 7: FTP Download App Throughput FTP Download App Throughput % Ocorrências % Acumulativa 0.00 >= a a a a 256 < 128 Throughput kbps) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 22: FTP Download App Throughput Média kbps) Desvio padrão kbps) Mínimo kbps) Máximo kbps)

15 5.7 - FTP Upload Tabela 23: Estatísticas do FTP Upload FTP Upload Tentativas Finalizações % Sucesso % % % % Tabela 24: Latência do FTP Úpload Latência do FTP Upload Latência s) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) 0 <= Latência < <= Latência < <= Latência < <= Latência < <= Latência < <= Latência < Gráfico 8: Latência do FTP Upload Latência do FTP Upload % Ocorrências % Acumulativa a a a a a a 400 Latência s) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 25: Latência do FTP Upload Média s) Desvio padrão s) Mínimo s) Máximo s)

16 Tabela 26: FTP Upload App Throughput FTP Upload App Throughput Throughput kbps) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) 320 <= Tput <= <= Tput < <= Tput < <= Tput < <= Tput < Tput < Gráfico 9: FTP Upload App Throughput FTP Upload App Throughput % Ocorrências % Acumulativa a a a a a 64 < 32 Throughput kbps) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 27: FTP Upload App Throughput Média kbps) Desvio padrão kbps) Mínimo kbps) Máximo kbps)

17 5.8 - HTTP Tabela 28: Estatísticas do HTTP HTTP Tentativas Finalizações % Sucesso 35.29% 0.00% % 76.32% Tabela 29: Latência do HTTP Latência do HTTP Latência s) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) 0 <= Latência < <= Latência < <= Latência < <= Latência < <= Latência < <= Latência <= Gráfico 10: Latência do HTTP Latência do HTTP % Ocorrências % Acumulativa a 2 2 a 4 4 a 6 6 a 8 8 a a 20 Latência s) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 30: Latência do HTTP Média s) Desvio padrão s) Mínimo s) Máximo s)

18 Tabela 31: HTTP App Throughput HTTP App Throughput Throughput kbps) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) PDF %) CDF %) Tput >= <= Tput < <= Tput < <= Tput < <= Tput < Tput < Gráfico 11: HTTP App Throughput HTTP App Throughput % Ocorrências % Acumulativa 0.00 >= a a a a 64 < 32 Throughput kbps) % Ocorrências % Ocorrências % Ocorrências % Ocorrências % Acumulativa % Acumulativa % Acumulativa % Acumulativa 0.00 Tabela 32: HTTP App Throughput Média kbps) Desvio padrão kbps) Mínimo kbps) Máximo kbps)

19 Tabela 33: Estatísticas do Send SMTP) Send SMTP) Tentativas Finalizações % Sucesso 94.12% % % 97.37% Latência s) Média Geral s) Média Mínimo) s) Média Máximo) s) Throughput kbps) Média Geral kbps) Média Mínimo) kbps) Média Máximo) kbps) Tabela 34: Estatísticas do Receive POP3) Receive POP3) Tentativas Finalizações % Sucesso 94.12% % % 97.37% Latência s) Média Geral s) Média Mínimo) s) Média Máximo) s) Throughput kbps) Média Geral kbps) Média Mínimo) kbps) Média Máximo) kbps) Para as chamadas de o valor Média Mínimo) se refere ao valor médio da chamada de de menor duração tabela de latência) ou de menor throughput tabela de throughput). O valor Média Máximo) se refere ao valor médio da chamada de de maior duração tabela de latência) ou de maior throughput tabela de throughput). O valor Média Geral se refere ao valor médio de todas as chamadas de . 19

20 6 - Cálculo do Ranking Descrição do Critério de Classificação Com o intuito de comparar as redes avaliadas, determina-se a nota de cada rede, através da análise dos seguintes parâmetros e pesos: PDP Context Activation Peso 10% Ping Peso 10% FTP Download Peso 40% FTP Upload Peso 20% HTTP Peso 10% Send SMTP) Peso 5% Receive POP3) Peso 5% A fórmula abaixo será utilizada para interpolar o valor de cada critério com seu peso e valores de referência: pior caso x) R = W pior caso melhor caso) na qual: R = pontuação de cada parâmetro; x = valor obtido em cada parâmetro; W = peso associado. Atingindo o valor do pior caso, o critério é automaticamente zerado. Os valores de referência utilizados encontram-se na tabela abaixo: Tabela 35: Parâmetros para o Cálculo do Ranking Parâmetros para o Cálculo do Ranking Pior Caso Melhor Caso Peso %) PDP Context Activation s) Ping RTT) ms) FTP Download s) FTP Upload s) HTTP s) Send SMTP) s) Receive POP3) s) Posteriormente a nota de cada parâmetro será ponderada pela taxa de sucesso obtida em cada teste. 20

21 6.2 - Determinando o Vencedor As notas a seguir foram obtidas aplicando-se a fórmula citada para cada parâmetro de cada operadora. Ainda não foi utilizada a ponderação pela taxa de sucesso. Tabela 36: Notas Obtidas Notas Obtidas PDP Context Activation Ping RTT) FTP Download FTP Upload HTTP Send SMTP) Receive POP3) Aplicando-se a ponderação pela taxa de sucesso e somando-se as notas de cada critério obtém-se a nota total. Tabela 37: Notas Ponderadas Pela Taxa de Sucesso Notas Ponderadas Pela Taxa de Sucesso PDP Context Activation Ping RTT) FTP Download FTP Upload HTTP Send SMTP) Receive POP3) Nota Total Ranking Gráfico 12: Ranking Operadora 4 Operadora 3 Operadora 2 PDP Context Activation Ping RTT) FTP Download FTP Upload HTTP Send SMTP) Receive POP3) Operadora

22 7 - Plots Para uma análise mais detalhada serão apresentados os seguintes plots para cada operadora: RSCP Ec/Io HS-DSCH BLER Throughput de Aplicação no FTP Download Throughput de Aplicação no FTP Upload Throughput de Aplicação no HTTP 22

23 Operadora 1 RSCP RSCP dbm) >= ) -85 a ) -95 a ) -105 a ) -115 a ) < )

24 Operadora 1 Ec/Io Ec/Io db) >= ) -6 a ) -9 a ) -12 a ) -15 a ) < )

25 Operadora 1 HS-DSCH BLER BLER %) 0 a ) 2 a 5 374) 5 a ) 10 a ) 20 a ) 50 a )

26 Operadora 1 Throughput de Aplicação no FTP Download FTP Download Eventos Drop 0) Pending 0) Setup Fail 0) TimeOut 14) Traffic Fail 0) Throughput kbps) >= ) 1024 a ) 512 a ) 256 a ) 128 a ) 0 a )

27 Operadora 1 Throughput de Aplicação no FTP Upload FTP Upload Eventos Drop 0) Pending 0) Setup Fail 0) Timeout 0) Traffic Fail 0) Throughput kbps) 320 a ) 256 a ) 128 a ) 64 a ) 32 a ) 0 a )

28 Operadora 1 Throughput de Aplicação no HTTP HTTP Eventos Drop 0) Pending 0) Setup Fail 0) Timeout 0) Traffic Fail 11) Throughput kbps) >= 320 0) 256 a 320 0) 128 a 256 0) 64 a 128 5) 32 a 64 1) 0 a 32 15)

29 Operadora 2 RSCP RSCP dbm) >= ) -85 a ) -95 a ) -105 a ) -115 a ) < )

30 Operadora 2 Ec/Io Ec/Io db) >= ) -6 a ) -9 a ) -12 a ) -15 a ) < )

31 Operadora 2 HS-DSCH BLER BLER %) 0 a ) 2 a 5 274) 5 a ) 10 a ) 20 a ) 50 a )

32 Operadora 2 Throughput de Aplicação no FTP Download FTP Download Eventos Drop 0) Pending 0) Setup Fail 0) TimeOut 0) Traffic Fail 0) Throughput kbps) >= ) 1024 a ) 512 a ) 256 a ) 128 a ) 0 a )

33 Operadora 2 Throughput de Aplicação no FTP Upload FTP Upload Eventos Drop 0) Pending 0) Setup Fail 0) Timeout 0) Traffic Fail 0) Throughput kbps) 320 a 384 0) 256 a 320 5) 128 a ) 64 a ) 32 a 64 62) 0 a )

34 Operadora 2 Throughput de Aplicação no HTTP HTTP Eventos Drop 0) Pending 0) Setup Fail 0) Timeout 0) Traffic Fail 17) Throughput kbps) >= 320 0) 256 a 320 0) 128 a 256 0) 64 a 128 0) 32 a 64 0) 0 a 32 0)

35 Operadora 3 RSCP RSCP dbm) >= ) -85 a ) -95 a ) -105 a ) -115 a ) < )

36 Operadora 3 Ec/Io Ec/Io db) >= ) -6 a ) -9 a ) -12 a ) -15 a ) < )

37 Operadora 3 HS-DSCH BLER BLER %) 0 a ) 2 a 5 972) 5 a ) 10 a ) 20 a ) 50 a )

38 Operadora 3 Throughput de Aplicação no FTP Download FTP Download Eventos Drop 0) Pending 0) Setup Fail 0) TimeOut 1) Traffic Fail 0) Throughput kbps) >= ) 1024 a ) 512 a ) 256 a ) 128 a ) 0 a )

39 Operadora 3 Throughput de Aplicação no FTP Upload FTP Upload Eventos Drop 0) Pending 0) Setup Fail 0) Timeout 0) Traffic Fail 0) Throughput kbps) 320 a 384 1) 256 a 320 2) 128 a ) 64 a ) 32 a 64 32) 0 a )

40 Operadora 3 Throughput de Aplicação no HTTP HTTP Eventos Drop 0) Pending 0) Setup Fail 0) Timeout 0) Traffic Fail 0) Throughput kbps) >= 320 0) 256 a 320 0) 128 a 256 0) 64 a ) 32 a 64 11) 0 a 32 28)

41 Operadora 4 RSCP RSCP dbm) >= ) -85 a ) -95 a ) -105 a ) -115 a ) < )

42 Operadora 4 Ec/Io Ec/Io db) >= ) -6 a ) -9 a ) -12 a ) -15 a ) < )

43 Operadora 4 HS-DSCH BLER BLER %) 0 a 2 661) 2 a 5 155) 5 a ) 10 a ) 20 a ) 50 a )

44 Operadora 4 Throughput de Aplicação no FTP Download FTP Download Eventos Drop 0) Pending 0) Setup Fail 0) TimeOut 0) Traffic Fail 0) Throughput kbps) >= ) 1024 a ) 512 a ) 256 a ) 128 a ) 0 a )

45 Operadora 4 Throughput de Aplicação no FTP Upload FTP Upload Eventos Drop 0) Pending 0) Setup Fail 0) Timeout 0) Traffic Fail 0) Throughput kbps) 320 a ) 256 a ) 128 a ) 64 a ) 32 a 64 71) 0 a )

46 Operadora 4 Throughput de Aplicação no HTTP HTTP Eventos Drop 0) Pending 0) Setup Fail 0) Timeout 0) Traffic Fail 9) Throughput kbps) >= 320 0) 256 a 320 0) 128 a 256 0) 64 a ) 32 a 64 17) 0 a 32 33)