Redes Móveis GSM A f e r i ç ã o da Qu a l i d a d e de Se r v i ç o SMS Serviço de Mensagens Curtas Maio/Junho de 2005 DFI2
Índice I Sumário Executivo...3 I.I Enquadramento Geral...3 I.II Principais Conclusões...5 1 Aspectos Técnicos...9 1.1 Metodologia...9 1.1.1 Aspectos Fundamentais...9 1.1.2 Indicadores de Qualidade de Serviço...9 1.1.3 Procedimentos de Realização das Medidas...10 1.2 Locais Visados...10 1.3 Dimensão da Amostra...10 1.4 Equipamento de Teste e Medida...11 2 Resultados...12 2.1 Acessibilidade ao Serviço...12 2.1.1 Global...12 2.1.2 Em Cada Dia da Semana...13 2.1.3 Em Cada Hora do Dia...13 2.1.4 Em Cada Hora dos Dias Úteis...14 2.1.5 Em Cada Hora do Fim-de-Semana...14 2.2 Taxa de Entrega de SMS s...15 2.2.1 Global...15 2.2.2 Em Cada Dia da Semana...15 2.2.3 Em Cada Hora do Dia...16 2.2.4 Em Cada Hora dos Dias Úteis...16 2.2.5 Em Cada Hora do Fim-de-Semana...17 2.3 Tempo de Entrega de SMS s...17 2.4 Tempo Médio de Entrega de SMS...18 2.4.1 Em Cada Dia da Semana...18 2.4.2 Em Cada Hora do Dia...18 2.4.3 Em Cada Hora dos Dias Úteis...19 2.4.4 Em Cada Hora do Fim-de-Semana...19 2.5 SMS s Entregues vs. Tempo de Entrega...20 Apêndice...21 QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 2 de 22
I SUMÁRIO EXECUTIVO I.I ENQUADRAMENTO GERAL No quadro das suas actividades correntes, a ANACOM realiza, mais uma vez, uma avaliação da qualidade dos serviços disponibilizados pelos operadores móveis GSM em Portugal, através da análise de parâmetros técnicos que traduzem a percepção de qualidade na óptica do Consumidor. A perspectiva de aferição da qualidade de serviço, seguida nos estudos realizados nos últimos cinco anos, sofreu algumas alterações, nomeadamente com a introdução de novas abordagens de análise. Neste contexto, foi realizada, pela primeira vez, uma análise de desempenho do Serviço de Mensagens Curtas (SMS) disponibilizado, ao público em geral, pelas redes móveis GSM dos operadores OPTIMUS, VODAFONE e TMN. As medidas foram realizadas de 30 de Maio a 6 de Junho de 2005, em Lisboa e no Porto, tendo sido enviadas 51.538 mensagens de teste. Na aferição da qualidade do Serviço de Mensagens Curtas (SMS) foram analisados alguns indicadores, de importância fundamental, considerando a perspectiva de qualidade na óptica do utilizador/consumidor: a. Acessibilidade ao Serviço; b. Tempo de entrega de SMS s; c. Taxa de entrega de SMS s; d. Variação, ao longo do tempo, dos indicadores anteriores. A metodologia assenta na realização de testes automáticos extremo-a-extremo permitindo, dessa forma, identificar a qualidade de serviço, dando uma perspectiva tão realista quanto possível do desempenho das redes, do ponto de vista do utilizador. Face à taxa de penetração destes serviços, à diversidade de equipamentos terminais utilizados e à própria subjectividade inerente a cada utente, torna-se impossível a reprodução rigorosa das condições QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 3 de 22
de interacção de cada consumidor com as redes. Neste contexto, os resultados deste estudo devem ser encarados como um indicador do comportamento das redes. A sua transposição/extrapolação para situações específicas requer alguma prudência, sob risco de serem tomadas conclusões enviesadas da realidade. As opções técnicas e metodológicas tomadas neste estudo influenciaram directamente os resultados obtidos e devem ser tidas em consideração na análise dos resultados, designadamente as seguintes: A realização de testes foi suportada exclusivamente numa solução técnica (equipamento + software), processando-se de forma totalmente automática, permitindo o estabelecimento homogéneo das condições de aferição para os 3 operadores e a eliminação de subjectividade inerente ao utilizador humano; Foram utilizados equipamentos terminais Dual-Band; Durante a realização das medidas, os equipamentos terminais foram mantidos estáticos em locais com adequada cobertura, funcionando como originadores e receptores de mensagens curtas; Apenas foram efectuados testes Móvel-Móvel Intra-Rede; Os resultados do estudo reflectem apenas o comportamento das redes nos locais e momentos em que foram efectuadas as medidas; Por outro lado, os operadores estão em permanente melhoramento das suas redes. As intervenções técnicas necessárias a esses melhoramentos podem provocar, na área geográfica de intervenção, degradações momentâneas do serviço. QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 4 de 22
I.II PRINCIPAIS CONCLUSÕES Os resultados da análise efectuada ao Serviço Mensagens Curtas (SMS), disponibilizado, ao público em geral, pelas redes móveis GSM dos operadores OPTIMUS, VODAFONE e TMN, permitem concluir que este serviço apresenta muito bom desempenho. Das 51.538 tentativas de envio de mensagens de teste, mais de 99,9% foram efectuadas com sucesso e 99,7% foram entregues, ao terminal de destino, sem erros e dentro da janela de entrega definida pelo ETSI para este serviço (tempo de entrega menor ou igual a 175 segundos). Acessibilidade SMS Taxa de Entrega de SMS 99,94% 99,73% 80% 80% 60% 60% 40% 40% 20% 0,06% 20% 0,27% 0% Redes Móveis GSM 0% Redes Móveis GSM SMS entregues (sem erros e dentro da janela de entrega) Sucesso no envio de SMS Falha no envio de SMS SMS's perdidos ou entregues com erros ou fora da janela de entrega Figura 1 Acessibilidade ao Serviço de Mensagens Curtas. Figura 2 Taxa de Entrega de Mensagens Curtas. O Tempo Médio de Entrega de uma mensagem curta foi 12 segundos, sendo de salientar que mais de 99% das mensagens apresentaram Tempo de Entrega inferior a 20 segundos. Tempo de Entrega de SMS Distribuição cumulativa de SMS's entregues por tempo de entrega tempo de entrega [mm:ss] 35:00 30:00 25:00 20:00 15:00 10:00 05:00 00:00 00:04 00:12 Redes Móveis GSM 31:02 SMS's entregues 80% 60% 40% 20% 0% 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 >30 tempo de entrega [s] Mínimo Médio Máximo Redes Móveis GSM / Todos os Dias Figura 3 Tempo de Entrega de Mensagens Curtas. Figura 4 Distribuição Cumulativa do número de Mensagens Curtas entregues, por tempo de entrega. QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 5 de 22
Os indicadores Acessibilidade ao Serviço, Taxa de Entrega e Tempo Médio de Entrega não apresentam diferenças significativas entre dias úteis e fim-de-semana. Também não se observam diferenças significativas quando se comparam os valores destes indicadores obtidos em cada hora do dia. Os gráficos apresentados nas Figuras 5, 6, 7, 8, 9 e 10 ilustram esta situação. A única situação relevante, com impacto nos referidos indicadores, ocorreu no dia 1/06/2005 (Quarta-Feira), entre as 6h35 e as 7h03. Neste período ocorreu uma quebra no Serviço de Mensagens Curtas, do operador OPTIMUS, causando uma degradação acentuada dos indicadores Acessibilidade ao Serviço e Taxa de Entrega, bem como um acentuado aumento do tempo de entrega de mensagens. Acessibilidade SMS ao longo da semana Redes Móveis GSM Sucesso no envio de SMS 99% 97% 95% Segunda Terça Quarta Quinta Sexta Sábado Domingo Dias da Semana Todas as Redes Figura 5 Variação do indicador Acessibilidade ao Serviço de Mensagens Curtas, ao longo da semana. Acessibilidade SMS ao longo do dia Redes Móveis GSM 99% Sucesso no envio de SMS 97% 95% Todos os Dias Dias Úteis Fim-de-Semana Figura 6 Variação do indicador Acessibilidade ao Serviço de Mensagens Curtas, ao longo do dia. QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 6 de 22
Taxa de entrega de SMS ao longo da semana Redes Móveis GSM SMS entregues (sem erros e dentro da janela de entrega) 99% 97% 95% Segunda Terça Quarta Quinta Sexta Sábado Domingo Dias da Semana Todas as Redes Figura 7 Variação do indicador Taxa de Entrega de Mensagens Curtas, ao longo da semana. Taxa de entrega de SMS ao longo do dia Redes Móveis GSM SMS entregues (sem erros e dentro da janela de entrega) 99% 97% 95% Todos os Dias Dias Úteis Fim-de-Semana Figura 8 Variação do indicador Taxa de Entrega de Mensagens Curtas, ao longo do dia. QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 7 de 22
Tempo médio de entrega de SMS ao longo da semana Redes Móveis GSM 00:30 tempo médio de entrega [mm:ss] 00:25 00:20 00:15 00:10 00:05 00:00 Segunda Terça Quarta Quinta Sexta Sábado Domingo Dias da Semana Todas as Redes Figura 9 Variação do indicador Tempo Médio de Entrega de Mensagens Curtas, ao longo da semana. Tempo médio de entrega de SMS ao longo do dia Redes Móveis GSM 00:30 tempo médio de entrega [mm:ss] 00:25 00:20 00:15 00:10 00:05 00:00 Todos os Dias Dias Úteis Fim-de-Semana Figura 10 Variação do indicador Tempo Médio de Entrega de Mensagens Curtas, ao longo do dia. QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 8 de 22
1 ASPECTOS TÉCNICOS 1.1 METODOLOGIA 1.1.1 ASPECTOS FUNDAMENTAIS A metodologia seguida neste estudo assenta em 3 aspectos fundamentais: a) Medidas extremo-a-extremo: As medições são efectuadas entre pontos extremos da mesma rede móvel; b) Imparcialidade: As medições são efectuadas em simultâneo, no tempo e no espaço, para os três operadores (OPTIMUS, VODAFONE e TMN), garantindo-se assim igualdade de condições de teste; c) Objectividade: Os testes são realizados de uma forma totalmente automática, eliminando-se a subjectividade inerente à intervenção ou decisão humana. 1.1.2 INDICADORES DE QUALIDADE DE SERVIÇO Neste estudo são analisados indicadores, de importância fundamental, considerando a perspectiva de qualidade na óptica do utilizador, a saber: a) Acessibilidade SMS: entendida como a probabilidade de um envio de SMS decorrer com sucesso, ou seja, é a razão entre o número de envios de SMS bem sucedidos (SMS s recebidas pelo Centro de Mensagens) e o número total de envios efectuados. b) Tempo de entrega de SMS: Tempo que decorre entre o envio com sucesso de uma SMS, pelo equipamento terminal de origem, e a recepção dessa mesma SMS, pelo equipamento terminal de destino. c) Taxa de entrega de SMS s: Relação entre o número de SMS s que foram recebidas pelo terminal de destino e o número de SMS s enviadas pelo terminal de origem. Não serão contabilizadas SMS s recebidas em duplicado, que apresentem erros e que não sejam entregues dentro de uma janela de tempo pré-definida. QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 9 de 22
Uma SMS será considerada recebida com erro desde que, pelo menos, um dos seus bits não esteja correcto. A janela de tempo para entrega de uma SMS será de 175 segundos, tal como especificado pelo ETSI - European Telecommunications Standards Institute (TS 102 250-5 V1.1.1 (2004-09)). 1.1.3 PROCEDIMENTOS DE REALIZAÇÃO DAS MEDIDAS Os testes ao Serviço de Mensagens Curtas (SMS) são realizados nas seguintes condições: 1. Entre terminais da mesma Rede Móvel (Móvel-Móvel Intra-Rede); 2. Os equipamentos terminais são mantidos estáticos em locais com adequada cobertura; 3. Os terminais funcionam como originadores e receptores de SMS s; 4. O intervalo entre envios consecutivos de SMS s por um terminal é de 70 segundos, tal como especificado pelo ETSI - European Telecommunications Standards Institute (TS 102 250-5 V1.1.1 (2004-09)); 5. A janela de tempo para entrega de uma SMS é de 175 segundos, tal como especificado pelo ETSI - European Telecommunications Standards Institute (TS 102 250-5 V1.1.1 (2004-09)). 1.2 LOCAIS VISADOS Nesta primeira aferição do Serviço de Mensagens Curtas (SMS), os equipamentos de teste e medida foram colocados, nas cidades de Lisboa e Porto, em locais com adequada cobertura das redes móveis. 1.3 DIMENSÃO DA AMOSTRA Tendo em vista a análise do comportamento das redes ao longo do tempo (horas mais carregadas vs. horas de vazio; dias úteis vs. fim-de-semana) foram realizados testes contínuos durante uma semana. Assim, considerando o intervalo entre envios consecutivos de SMS e ainda o facto de serem enviados simultaneamente SMS s a partir dos equipamentos terminais localizados em Lisboa e no Porto, obtevese a amostra que se apresenta na Tabela 1. QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 10 de 22
Estudo SMS Lisboa e Porto Tabela 1 Amostra do estudo SMS. Operador N.º Mensagens OPTIMUS 17.180 TMN 17.178 VODAFONE 17.180 Total 51.538 1.4 EQUIPAMENTO DE TESTE E MEDIDA Para a realização destes testes a ANACOM utilizou o equipamento de teste e medida DATAMAT M366plus que é um analisador de Qualidade de Serviço para redes GSM. QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 11 de 22
2 RESULTADOS Período de realização medidas: Início: 30 de Maio de 2005 às 16h21; Fim: 06 de Junho de 2005 às 16h39. Enviadas Entregues Não Entregues SMS's Total Recebidas pelo SMSC Não Recebidas pelo SMSC Total Sem Erros Com Erros Com Tempo de Entrega Superior a 175 s Duplicadas (recebidas) Tempo de Entrega 17.180 17.180 17.178 17.151 17.180 17.176 99,83% 100,00% 99,99% 29 0 2 0,17% 0,00% 0,01% 17.127 17.163 17.150 99,69% 99,90% 99,84% 17.126 17.161 17.150 99,69% 99,89% 99,84% 1 2 0 0,01% 0,01% 0,00% 53 17 28 0,31% 0,10% 0,16% 26 4 6 0,15% 0,02% 0,03% 0 1 2 0,00% 0,01% 0,01% Mínimo 00:00:04,25 00:00:07,12 00:00:07,81 Médio 00:00:10,62 00:00:11,24 00:00:13,21 Máximo 00:31:01,64 00:05:52,75 00:05:40,59 SMSC: Centro de Mensagens. 2.1 ACESSIBILIDADE AO SERVIÇO 2.1.1 GLOBAL Acessibilidade SMS 99,83% 100,00% 99,99% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0,17% 0,00% 0,01% 0% Sucesso no envio de SMS Falha no envio de SMS QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 12 de 22
2.1.2 EM CADA DIA DA SEMANA Acessibilidade SMS ao longo da semana Sucesso no envio de SMS 99% 97% 95% Segunda Terça Quarta Quinta Sexta Sábado Domingo 2.1.3 EM CADA HORA DO DIA Acessibilidade SMS ao longo do dia Todos os Dias Sucesso no envio de SMS 99% 97% 95% QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 13 de 22
2.1.4 EM CADA HORA DOS DIAS ÚTEIS Acessibilidade SMS ao longo do dia Dias Úteis Sucesso no envio de SMS 99% 97% 95% 2.1.5 EM CADA HORA DO FIM-DE-SEMANA Acessibilidade SMS ao longo do dia Fim-de-Semana Sucesso no envio de SMS 99% 97% 95% QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 14 de 22
2.2 TAXA DE ENTREGA DE SMS S 2.2.1 GLOBAL Taxa de Entrega de SMS 99,53% 99,87% 99,80% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 0,47% 0,13% 0,20% SMS entregues (sem erros e dentro da janela de entrega) SMS's perdidos ou entregues com erros ou fora da janela de entrega 2.2.2 EM CADA DIA DA SEMANA Taxa de entrega de SMS ao longo da semana SMS entregues (sem erros e dentro da janela de entrega) 94% 92% 90% Segunda Terça Quarta Quinta Sexta Sábado Domingo Dias da Semana QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 15 de 22
2.2.3 EM CADA HORA DO DIA Taxa de entrega de SMS ao longo do dia Todos os Dias SMS entregues (sem erros e dentro da janela de entrega) 94% 92% 90% 2.2.4 EM CADA HORA DOS DIAS ÚTEIS Taxa de entrega de SMS ao longo do dia Dias Úteis SMS entregues (sem erros e dentro da janela de entrega) 94% 92% 90% QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 16 de 22
2.2.5 EM CADA HORA DO FIM-DE-SEMANA Taxa de entrega de SMS ao longo do dia Fim-de-Semana SMS entregues (sem erros e dentro da janela de entrega) 94% 92% 90% 2.3 TEMPO DE ENTREGA DE SMS S Tempo de Entrega de SMS 35:00 31:02 30:00 tempo de entrega [mm:ss] 25:00 20:00 15:00 10:00 05:53 05:41 05:00 00:04 00:11 00:07 00:11 00:08 00:13 00:00 Mínimo Médio Máximo QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 17 de 22
2.4 TEMPO MÉDIO DE ENTREGA DE SMS 2.4.1 EM CADA DIA DA SEMANA Tempo médio de entrega de SMS ao longo da semana tempo médio de entrega [mm:ss] 01:05 01:00 00:55 00:50 00:45 00:40 00:35 00:30 00:25 00:20 00:15 00:10 00:05 00:00 Segunda Terça Quarta Quinta Sexta Sábado Domingo Dias da Semana 2.4.2 EM CADA HORA DO DIA Tempo médio de entrega de SMS ao longo do dia Todos os Dias tempo médio de entrega [mm:ss] 01:05 01:00 00:55 00:50 00:45 00:40 00:35 00:30 00:25 00:20 00:15 00:10 00:05 00:00 QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 18 de 22
2.4.3 EM CADA HORA DOS DIAS ÚTEIS Tempo médio de entrega de SMS ao longo do dia Dias Úteis tempo médio de entrega [mm:ss] 01:05 01:00 00:55 00:50 00:45 00:40 00:35 00:30 00:25 00:20 00:15 00:10 00:05 00:00 2.4.4 EM CADA HORA DO FIM-DE-SEMANA Tempo médio de entrega de SMS ao longo do dia Fim-de-Semana tempo médio de entrega [mm:ss] 01:05 01:00 00:55 00:50 00:45 00:40 00:35 00:30 00:25 00:20 00:15 00:10 00:05 00:00 QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 19 de 22
2.5 SMS S ENTREGUES VS. TEMPO DE ENTREGA Distribuição cumulativa de SMS's entregues por tempo de entrega Todos os Dias 80% SMS's entregues 60% 40% 20% 0% 25 26 27 28 29 30 >30 tempo de entrega [s] QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 20 de 22
Apêndice QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 21 de 22
Definições SMS Short Message Service Serviço de mensagens curtas ou serviço de mensagens escritas. SMSC Short Message Service Center Centro de Mensagens. SMS Enviadas: Recebidas pelo SMSC: Não Recebidas pelo SMSC: Número total de envios de SMS efectuados. Número de envios de SMS bem sucedidos, ou seja, a mensagem foi recebida pelo Centro de Mensagens. A mensagem não chegou ao centro de mensagens, ou seja, a tentativa de utilização do serviço não teve sucesso. SMS Entregues: Sem Erros: Com Erros: Número total de SMS que foram recebidas pelo terminal de destino, excluindo as SMS duplicadas. Número de SMS que foram recebidas pelo terminal de destino, excluindo as SMS duplicadas, com todos os seus bits correctos. Número de SMS que foram recebidos pelo terminal de destino, excluindo as SMS duplicadas, com pelo menos um dos seus bits errado. SMS Não Entregues: Número total de SMS enviadas mas que não foram recebidas pelo terminal de destino. SMS com Tempo de Entrega Superior a 175 s: Número de SMS recebidas pelo terminal de destino com tempo de entrega superior a 175 segundos. SMS Duplicadas: Número de SMS recebidas em duplicado pelo terminal de destino. Tempo de Entrega de SMS: Mínimo: Médio: Máximo: Tempo que decorre entre o envio da SMS, pelo terminal de origem, até à sua recepção, pelo terminal de destino. Valor mínimo de tempo de entrega registado. Valor médio dos tempos de entrega. Valor máximo de tempo de entrega registado. QoS-GSM 2005: SMS Serviço de Mensagens Curtas Página 22 de 22