Sistemas de Comunicações Móveis G S M / U M T S / L T E. Aferição da Qualidade de Serviço

Transcrição

1 Sistemas de Comunicações Móveis G S M / U M T S / L T E Aferição da Qualidade de Serviço Metodologia para Avaliação do desempenho de Serviços Móveis e de Cobertura GSM, UMTS e LTE Março de 2017 ANACOM JP-DFI2

2

3 Índice Siglas e Acrónimos Introdução Objetivos Âmbito Serviços Móveis Cobertura Rádio Enquadramento Qualidade de Serviço na Perspetiva do Utilizador Opções Metodológicas Perfis de Medida Aspetos Gerais Cobertura Rádio Serviço de Voz SMS Serviço de Mensagens Curtas Serviços de Dados Sequência de Testes Transferência de Ficheiros (HTTP) Navegação na Internet (HTTP web browsing) YouTube Video Streaming Latência de Transmissão de Dados Indicadores de Qualidade de Serviço Cobertura Rádio Disponibilidade da Rede Rádio Serviço de Voz Acessibilidade do Serviço de Voz Tempo de Estabelecimento de Chamadas de Voz Rácio de Terminação de Chamadas de Voz Qualidade Áudio de Chamada de Voz SMS Serviço de Mensagens Curtas Acessibilidade do Serviço SMS Tempo de Entrega de Mensagem SMS Rácio de Entrega de Mensagem SMS Serviços de Dados Rácio de Terminação de Sessões de Dados (HTTP, HTTP web browsing e YouTube Video Streaming) Velocidade de Transferência de Dados (HTTP) Duração de Transferência de Página web (HTTP web browsing) Tempo até Início de Visualização de Conteúdos (YouTube Video Streaming) Duração das Interrupções (YouTube Video Streaming) Qualidade Vídeo (YouTube Video Streaming) Resolução de Reprodução de Vídeo (YouTube Video Streaming) Latência de Transmissão de Dados Referências / Bibliografia Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 3

4

5 SIGLAS E ACRÓNIMOS APN CEPT CoDec CPICH RSCP CS CSFB ECC EPS ETSI FCT FTP GigaPIX GSM HTTP ITU LTE MIMO MMS MMSC MOS PDP POLQA PS RDIS RF RSRP RxLev Scanner RF SIM SMS SMSC SQuad-LQ TCP/IP UMTS USIM VQuad WCDMA Access Point Name Nome do Ponto de Acesso. European Conference of Postal and Telecommunications Administrations Conferência Europeia das Administrações de Correios e Telecomunicações Codificador/Descodificador. Common Pilot Channel, Received Signal Code Power Nível de sinal rádio recebido por um terminal móvel (UMTS). Circuit Switched Comutação de Circuitos. Circuit Switched Fallback Retroceder ao modo de Comutação de Circuitos. Electronic Communications Committee Comité de Comunicações Eletrónicas Evolved Packet System Sistema otimizado de comutação de pacotes das redes 4G, resultante da evolução dos sistemas 3G/UMTS, caraterizado por débitos de dados elevados, baixa latência e por permitir múltiplas tecnologias na rede rádio de acesso. European Telecommunications Standards Institute Instituto Europeu de Normas de Telecomunicações. Fundação para a Ciência e a Tecnologia, I.P. File Transfer Protocol Protocolo FTP. Ponto português de troca de tráfego entre redes IP. Global System for Mobile communications Sistema de Comunicações Móveis de segunda geração (2G). Hyper Text Transfer Protocol Protocolo HTTP. International Telecommunications Union União Internacional de Telecomunicações. Long Term Evolution Sistema de Comunicações Móveis de quarta geração (4G). Multiple Input Multiple Output Tecnologia que recorre à utilização de múltiplos emissores e múltiplos recetores (antenas) para melhorar o desempenho de comunicações rádio. Multimedia Messaging Service Serviço de Mensagens Multimédia. Multimedia Messaging Service Centre Centro de Mensagens Multimédia. Mean Opinion Score Índice de qualidade que quantifica o esforço necessário para se perceber uma comunicação do tipo extremo-a-extremo. Apresenta como limites os valores 0 (zero), quando não há comunicação, e 5 (cinco), quando a comunicação é perfeita. Packet Data Protocol Protocolo PDP. Perceptual Objective Listening Quality Assessment Algoritmo utilizado na análise da qualidade áudio de uma comunicação de voz (Recomendado pela ITU: ITU-T Recommendation P.863 (01/2011)). Packet Switched Comutação de pacotes. Rede Digital com Integração de Serviços Tecnologia utilizada na rede fixa de acesso. Rádio Frequência. Reference Signal Received Power Nível de sinal rádio recebido por um terminal móvel (LTE). Received signal level Nível de sinal rádio recebido por um terminal móvel (GSM). Equipamento de medida que permite recolher níveis de sinal rádio para cada canal de uma banda de frequência. Subscriber Identity Module Cartão SIM. Short Message Service Serviço de Mensagens Curtas. Short Message Service Centre Centro de Mensagens Curtas. SwissQual s speech quality algorithm for Listening Quality Algoritmo desenvolvido pela SwissQual para análise da qualidade áudio de uma comunicação. Transmission Control Protocol / Internet Protocol Protocolo TCP/IP. Universal Mobile Telecommunications System Sistema de Comunicações Móveis de terceira geração (3G). UMTS Subscriver Identity Module Cartão USIM. Objective Model for Video Quality Assessment Algoritmo utilizado na análise da qualidade vídeo de uma comunicação (desenvolvido pela SwissQual). Wideband Code Division Multiple Access Tecnologia utilizada na componente rádio dos sistemas de comunicações UMTS. Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 5

6

7 1 INTRODUÇÃO A generalidade dos consumidores individuais e das empresas recorrem aos serviços de comunicações eletrónicas, suportados nos sistemas de comunicações móveis GSM/UMTS/LTE, para satisfazer as suas necessidades quotidianas de comunicação, nomeadamente nas vertentes de telefonia, mensagens e dados, incluindo as comunicações de emergência e de segurança, pelo que estes sistemas assumem um papel muito relevante no contexto das comunicações eletrónicas nacionais. Nos sistemas de comunicações móveis GSM, UMTS e LTE, a qualidade de serviço na perspetiva do utilizador assume uma importância fundamental, em particular pela natureza rádio do acesso, pela mobilidade que possibilitam e pela taxa de utilização que apresentam. Por outro lado, na União Europeia, as autoridades reguladoras nacionais devem também controlar e assegurar o acesso à Internet aberta e promover a disponibilidade contínua de serviços de acesso à Internet não discriminatórios e com níveis de qualidade que reflitam o progresso tecnológico. A ANACOM, no âmbito das suas atribuições e fazendo uso dos poderes previstos nos seus estatutos, pode promover a realização de estudos independentes de avaliação da qualidade de serviço na perspetiva do utilizador, de forma a dotar o mercado, em especial os consumidores menos protegidos os individuais e as micro e pequenas empresas, de informação isenta sobre o desempenho dos serviços de comunicações eletrónicas suportados nos sistemas de comunicações móveis presentes no mercado. A monitorização do desempenho das redes e dos serviços móveis, realizada com equipamentos terminais comerciais e na perspetiva de utilizador comum, é um processo abrangente, extremamente rigoroso e fiável que permite obter informação sobre a cobertura geográfica e qualidade dos serviços disponibilizados pelos operadores GSM/UMTS/LTE. A vertente intrusiva deste método assume-se como o melhor compromisso entre a viabilidade da sua implementação técnica, a garantia de privacidade dos utilizadores e o rigor e a fiabilidade da informação obtida. Assim, a realização de testes de campo, com recurso a equipas de técnicos e sistemas automáticos de teste, em particular as abordagens em movimento drive-tests e walk-tests, permite a objetividade das medições e a definição precisa das áreas geográficas analisadas. Permite ainda que a análise dos serviços seja feita de forma independente do funcionamento das próprias redes de telecomunicações. Por exemplo, áreas com cobertura rádio deficiente ou mesmo ausente podem ser também consideradas na análise, Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 7

8 possibilitando que os resultados do estudo se traduzam num bom indicador do comportamento global das redes na perspetiva de utilizador. Este é também o melhor método para efetuar análises comparativas do desempenho de vários operadores (benchmarking), dado que permite garantir que os testes são efetuados em condições homogéneas e simultâneas para todos. Neste documento define-se um conjunto de indicadores para avaliação do desempenho dos serviços mais relevantes, no contexto atual das redes móveis, e para verificação da cobertura de cada tecnologia rádio utilizada pelos operadores. Apresentam-se também perfis de medida definindo um conjunto de compromissos e condições a acautelar para a correta aferição da qualidade dos serviços e garantia da fiabilidade dos testes. Estes perfis contemplam ainda a normalização de processos e a definição de parâmetros de teste e medida, de modo a permitirem a exequibilidade das análises e a comparabilidade dos resultados obtidos. 8 GSM-UMTS-LTE Março 2017

9 2 OBJETIVOS Com este documento pretende-se definir uma metodologia que permita: A. Analisar, numa perspetiva de utilizador, o desempenho dos serviços de comunicações eletrónicas, que se suportam nos sistemas de comunicações móveis GSM/UMTS/LTE portugueses, através da realização de testes automáticos extremo-a-extremo; B. Verificar a cobertura GSM, UMTS e LTE dos sistemas de comunicações móveis portugueses. 3 ÂMBITO 3.1 SERVIÇOS MÓVEIS Na avaliação da qualidade de serviço, na perspetiva do utilizador, devem ser considerados os serviços que, em cada tecnologia, apresentem grande relevância para os utilizadores finais e que sejam disponibilizados por todos os operadores presentes no mercado. Tendo presente este princípio orientador, e considerando a realidade atual [ANACOM], devem ser objeto de análise os seguintes serviços: 1. Serviços de Telefonia: a. Serviço de Voz; 2. Serviços de Mensagens: b. SMS Serviço de Mensagens Curtas; 3. Serviços de Dados: c. Serviço de Transferência de Ficheiros (HTTP upload/download); d. Serviço de Navegação na Internet (HTTP web browsing); e. Serviço YouTube Video Streaming. Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 9

10 3.2 COBERTURA RÁDIO O principal aspeto diferenciador dos serviços disponibilizados por sistemas de comunicações móveis é a mobilidade, sendo esta conseguida com recurso a redes de acesso sem fios com interfaces rádio. Os sistemas de comunicações móveis diferenciam-se pelos seus interfaces rádio e pelos serviços que disponibilizam. O GSM a primeira geração destes sistemas foi inicialmente desenhado para a prestação de serviços de telefonia e de mensagens. Posteriormente este sistema evoluiu para permitir a prestação de serviços de dados (GPRS, EDGE). Os sistemas de terceira e quarta geração UMTS e LTE foram pensados para disponibilização de serviços de transmissão de dados de elevado desempenho, tais como serviços de acesso à Internet e serviços multimédia. Do ponto de vista do utilizador, a diferença entre UMTS e LTE é o débito de transmissão máximo proporcionado, que é muito mais elevado em LTE. Assim, numa avaliação de desempenho de sistemas de comunicações móveis é essencial a verificação da disponibilidade de todos os interfaces rádio utilizados nas redes de acesso. Atualmente são fundamentais as seguintes análises: a. Disponibilidade da Rede Rádio GSM; b. Disponibilidade da Rede Rádio UMTS; c. Disponibilidade da Rede Rádio LTE. 10 GSM-UMTS-LTE Março 2017

11 4 ENQUADRAMENTO 4.1 QUALIDADE DE SERVIÇO NA PERSPETIVA DO UTILIZADOR A ITU (International Telecommunications Union) define Qualidade de Serviço (Quality of Service) como o efeito global do desempenho do serviço que determina o grau de satisfação do utilizador do serviço; e define Desempenho de Rede (Network Performance) como a capacidade de uma rede ou parte dela fornecer as funcionalidades relacionadas com a comunicação entre utilizadores [ITU-T E.800]. A qualidade de serviço caracteriza-se por uma combinação do desempenho de diferentes fatores, tais como, serviços de suporte, facilidade de utilização do serviço, acessibilidade do serviço, retenção/manutenção do serviço, integridade do serviço, segurança do serviço e outros fatores específicos de cada serviço. No contexto deste documento, são usados os seguintes conceitos: Desempenho da Rede capacidade de uma rede ou parte dela para fornecer um serviço com um determinado grau de qualidade. Engloba as funcionalidades, mecanismos e procedimentos, implementados pela rede celular e pelo equipamento terminal, que asseguram o fornecimento da qualidade de serviço negociada entre o equipamento terminal e o core da rede. Qualidade de Serviço na Perspetiva do Utilizador corresponde à perceção de qualidade sentida por um utilizador quando utiliza o serviço. Indica o grau de satisfação do utilizador em termos de, por exemplo, acessibilidade, integridade e manutenibilidade do serviço. A Qualidade de Serviço na Perspetiva do Utilizador é normalmente expressa em termos de sensações humanas, do tipo, Excelente, Boa, Aceitável, Pobre e Má, enquanto o Desempenho da Rede é um conceito puramente técnico medido, expresso e entendido numa ótica de rede ou dos seus elementos, apresentando pouco significado para o utilizador. No entanto, estes aspetos são indissociáveis: normalmente um melhor desempenho da rede traduz-se em melhor qualidade percebida pelo utilizador. Contudo, bons parâmetros de desempenho não garantem a satisfação do utilizador. Por exemplo, ótima qualidade áudio do serviço de voz num determinado local não serve de muito ao utilizador se imediatamente ao lado a rede não apresentar cobertura rádio. Neste sentido, o que é realmente importante é garantir a satisfação dos utilizadores, pelo que o objetivo do desempenho de Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 11

12 uma infraestrutura celular deve ser a disponibilização de elevada Qualidade de Serviço na Perspetiva do Utilizador (Figura 1). Este documento debruça-se sobre a Qualidade de Serviço na Perspetiva do Utilizador, abordando apenas os aspetos técnicos que contribuem para a satisfação dos utilizadores. Tendências Publicidade Tarifários, Custos Expectativas de QoS do Utilizador Satisfação do Utilizador QoS (Aspetos Técnicos) QoS (Aspetos não-técnicos) Desempenho da Rede Desempenho do Equipamento Terminal Pontos de Venda Serviços de Suporte Figura 1 Relação entre Satisfação do Utilizador, Qualidade de Serviço e Desempenho da Rede [ETSI TS ]. Numa perspetiva de utilizador, a utilização de serviços suportados em sistemas de comunicações móveis pode ser separada em fases consecutivas. Na figura seguinte são ilustradas as diferentes fases de acesso à rede, de acesso ao serviço e de utilização do serviço e os respetivos aspetos da qualidade de serviço. Início Acesso à Rede Acesso ao Serviço Utilização do Serviço Fim Intencional Fim não Intencional Disponibilidade da Rede Acessibilidade da Rede Acessibilidade do Serviço Integridade do Serviço Manutenibilidade do Serviço Figura 2 Fases de utilização de um serviço e os respetivos aspetos da qualidade de serviço [ETSI TS ]. 12 GSM-UMTS-LTE Março 2017

13 Os aspetos da qualidade de serviço, relativos às várias fases de utilização dos serviços, apresentam o seguinte significado [ETSI TS ]: a. Disponibilidade da Rede Probabilidade dos serviços estarem disponíveis através de uma infraestrutura de rede móvel. b. Acessibilidade da Rede Probabilidade do utilizador (o seu equipamento terminal) se registar com sucesso na rede móvel que disponibiliza o serviço pretendido. A rede móvel só pode ser acedida se estiver disponível para o utilizador. c. Acessibilidade do Serviço Probabilidade do utilizador aceder ao serviço pretendido, desde que a rede móvel esteja acessível. d. Integridade do Serviço Caracteriza o desempenho do serviço durante a sua utilização, após garantida a acessibilidade a esse mesmo serviço, através de elementos dos conteúdos transmitidos (v.g. qualidade auditiva, qualidade visual, número de bit errados num ficheiro transferido, etc.). e. Manutenibilidade do Serviço Caracteriza a forma como termina a utilização do serviço (de acordo ou contra a vontade do utilizador), após garantida a acessibilidade a esse mesmo serviço. Os indicadores/parâmetros de qualidade de serviço devem permitir obter informação relevante sobre cada uma das fases/aspetos acima identificadas, de forma a possibilitarem, entre outros: a. A comparação entre os níveis de desempenho observados e os definidos nos termos ou condições dos contratos estabelecidos entre os operadores e os utilizadores (clientes); b. A comparação entre os níveis de desempenho disponibilizados por diferentes operadores; c. O estudo da evolução do desempenho ao longo do tempo; d. A identificação das causas de problemas e avaliação do impacto das soluções implementadas; e. A verificação do cumprimento de obrigações legais dos operadores. No entanto, deve haver muito cuidado na utilização dos parâmetros de qualidade de serviço devido ao efeito da cobertura rádio, que pode deturpar os valores absolutos destes parâmetros e inviabilizar a comparação de desempenho de redes. Alguns fatores devem ser tomados em consideração: As redes podem não ter sido desenhadas com as mesmas prioridades de cobertura. Os Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 13

14 operadores podem focalizar a cobertura rádio das suas redes em determinadas áreas geográficas (v.g. zonas urbanas, zonas rurais, litoral, interior, etc.) ou em tipos específicos de utilizadores (v.g. residenciais, empresariais, etc.), em especial nos primeiros anos de operação; O nível médio absoluto de desempenho das redes móveis pode ter pouco interesse para os utilizadores que podem estar apenas interessados no desempenho das redes numa área geográfica específica, podendo ocorrer situações em que uma rede apresente melhor cobertura numa determinada área enquanto outra rede apresente melhor cobertura noutra área; A capacidade e cobertura de uma rede móvel mudam frequentemente, em especial nos primeiros anos de operação, pelo que o desempenho é melhorado à medida que os operadores vão desenvolvendo as suas redes. Assim, análises de qualidade de serviço efetuadas num local e momento específicos podem não ser indicativas do desempenho médio das redes durante um período alargado de tempo; Os indicadores de desempenho das redes obtidos através de drive-tests aplicam-se apenas aos momentos e locais visados, exceto situações em que a amostra escolhida seja representativa da utilização de serviços móveis. 4.2 OPÇÕES METODOLÓGICAS Os sistemas de comunicações móveis diferenciam-se pelos seus interfaces rádio e pelos serviços que disponibilizam. O GSM a primeira geração destes sistemas foi inicialmente desenhado para a prestação de serviços de telefonia e de mensagens. Posteriormente este sistema evoluiu para permitir a prestação de serviços de dados (GPRS, EDGE). Os sistemas de terceira e quarta geração UMTS e LTE foram pensados para disponibilização de serviços de transmissão de dados de elevado desempenho, tais como serviços de acesso à Internet e serviços multimédia. Do ponto de vista do utilizador, a diferença entre UMTS e LTE é o débito de transmissão máximo proporcionado, que é muito mais elevado em LTE. O principal aspeto diferenciador dos serviços disponibilizados por sistemas de comunicações móveis é a mobilidade, sendo esta conseguida com recurso a redes de acesso sem fios com interfaces rádio. Assim, numa avaliação de desempenho de sistemas de comunicações móveis é essencial a verificação da disponibilidade de todos os interfaces rádio utilizados nas redes de acesso (GSM, UMTS e LTE). 14 GSM-UMTS-LTE Março 2017

15 Em qualquer estudo é impossível reproduzir exatamente a realidade que se pretende estudar, o que é ainda mais evidente quando essa realidade envolve sistemas complexos com interação humana. Numa avaliação do desempenho das redes e serviços móveis, face à taxa de penetração dos serviços móveis, à diversidade de equipamentos terminais utilizados e dos serviços prestados e à própria subjetividade inerente a cada utente, é impossível a reprodução rigorosa das condições de interação de cada consumidor com as redes. Por isso, a concretização de uma análise da qualidade só é possível à custa de compromissos e aproximações, embora dentro de limites que permitam que os resultados obtidos possam ser encarados como indicadores fiáveis do comportamento global dos sistemas de comunicações móveis, nomeadamente no que toca à abrangência geográfica e níveis de sinal das redes rádio de acesso, bem como à acessibilidade, integridade e manutenibilidade dos serviços. Nestas análises, o ideal seria que fossem efetuadas medições em todos os locais em que os serviços de comunicações eletrónicas estudados podem ser disponibilizados; no limite, deveria ser considerada toda a área geográfica em estudo, incluindo o interior dos edifícios e dos veículos de transporte de pessoas. Porém, esta abordagem é impraticável pelo que se opta por uma aproximação de compromisso que se traduz na realização de testes em locais públicos e em movimento (vulgarmente designados por drivetest). Esta aproximação tem sido utilizada, com muito bons resultados, por reguladores setoriais e pela generalidade dos operadores móveis em todo o mundo. Ideal seria também que se utilizassem todos os tipos de equipamentos terminais existentes no mercado, nas diferentes versões de sistemas operativos e aplicações de software existentes. Deveriam ainda ser objeto de estudo todos os serviços disponibilizados pelos operadores, considerando os diferentes perfis de utilização. Como facilmente se compreende, a realização de testes considerando todas estas variáveis seria igualmente impraticável. Assim, são normalmente analisados os principais serviços, que sejam disponibilizados de forma homogénea por todos os operadores presentes no mercado, de forma que permita analisar todas as tecnologias de que os operadores dispõem, e utilizados equipamentos terminais comerciais com características e parametrizações iguais. A utilização de terminais móveis comerciais, com características idênticas às dos equipamentos terminais utilizados pela generalidade dos consumidores e sem antenas externas adicionais, para realização de testes no interior de viaturas automóveis (in car), estáticas ou em movimento (drive-tests), permite condições de teste idênticas às da utilização comum nestes ambientes. A atenuação dos sinais rádio, introduzida pela estrutura da viatura automóvel, possibilita ainda que estas condições de teste sejam mais Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 15

16 próximas das sentidas pelos utilizadores comuns de serviços móveis em ambientes interiores (indoor), quando comparadas com as que se obteriam realizando os testes em ambientes exteriores (outdoor) ou com os equipamentos terminais dentro de viaturas automóveis mas com antenas exteriores. Por outro lado, a forma como são testados os serviços segue uma metodologia que reflete, com a melhor aproximação possível, a realidade de um utilizador comum, na medida em que, entre outros aspetos, são utilizados equipamentos terminais e aplicações de software comerciais; são simuladas conversações (para avaliação da qualidade áudio do serviço de voz); são transferidos ficheiros, descarregadas páginas web e descarregados vídeos do portal YouTube (para avaliação dos serviços de dados); e são verificados a presença e níveis de sinal das redes rádio em diversos locais. Este tipo de abordagem é vulgarmente designado por medições extremo-a-extremo na perspetiva do utilizador. Atualmente o tráfego de voz e de SMS é esmagadoramente Móvel-Móvel e maioritariamente Intrarrede pelo que estas configurações devem ser consideradas na metodologia de teste. No entanto, para minimizar a incerteza, que acompanha sempre os processos de medida, nos testes ao serviço de voz um dos extremos das comunicações deve apresentar bons níveis e grande estabilidade de desempenho. O impacto deste extremo nos indicadores deve ser mínimo pelo que devem ser utilizados equipamentos terminais móveis (UE User Equipment) estáticos em locais com adequada (boa) cobertura rádio, interferência mínima e elevada probabilidade de acesso ao serviço de voz. No serviço de mensagens SMS o envio e a receção de mensagens ocorre de forma diferida pelo que os testes a este serviço podem decorrer com os dois terminais em movimento. Para realização de testes de transferência de ficheiros, de navegação na Internet (página web de referência) e de verificação da latência de transmissão devem ser utilizados servidores na Internet, alojados em local neutro em relação aos vários operadores em análise. Neste sentido, a melhor opção em Portugal passa por alojar os Servidores de Teste num datacenter na FCT (Fundação para a Ciência e a Tecnologia, I.P.), interligados com a Internet através de um ponto neutro de troca de tráfego, concretamente através do GigaPIX (Ponto português de troca de tráfego entre redes IP) [GigaPIX]. Os servidores devem funcionar nos mesmos moldes dos servidores disponíveis na Internet e devem estar dedicados exclusivamente à realização destes testes, não apresentando limitações de capacidade de processamento e armazenamento de informação, disponibilidade e largura de banda de acesso. Estes testes com servidores dedicados, alojados em local neutro e equidistante aos vários 16 GSM-UMTS-LTE Março 2017

17 operadores, permitem conhecer o desempenho intrínseco das infraestruturas de cada operador e o seu impacto no desempenho dos serviços prestados aos seus clientes. Complementarmente devem também ser realizados testes com servidores públicos, que alojem os conteúdos mais procurados pelos internautas portugueses (páginas web e YouTube video clips), pois permitem conhecer o impacto das infraestruturas de cada operador no acesso a estes conteúdos por parte dos seus clientes. Face à realidade atual, as opções metodológicas que salvaguardam os compromissos adotados encontram-se descritas e justificadas na tabela seguinte. Tabela 1 Fundamentação das principais opções metodológicas Decisão Análise extremo-a-extremo, na perspetiva do utilizador, utilizando equipamentos terminais comerciais Igualdade de condições para todos os operadores objeto de estudo Sistemas automáticos de teste Testes em movimento no exterior (drive-tests / outdoor) Racional Esta metodologia de teste aos serviços e redes móveis reflete, com a melhor aproximação possível, a realidade de um utilizador comum, já que, entre outros aspetos, são utilizados equipamentos terminais e aplicações de software comerciais; são simuladas conversações (para avaliação da qualidade áudio do serviço de voz); são transferidos ficheiros, descarregadas páginas web e descarregados vídeos do portal YouTube (para avaliação dos serviços de dados); e são verificados a presença e níveis de sinal das redes rádio de acesso em diversos locais [ITU-T E.800, ETSI TS x]; Este tipo de análise permite a obtenção de indicadores fiáveis do comportamento global dos sistemas de comunicações móveis, nomeadamente no que toca à abrangência geográfica e níveis de sinal das redes rádio de acesso, bem como à acessibilidade, integridade e manutenibilidade dos serviços. Os serviços e redes móveis são analisados em simultâneo, nos mesmos locais, com os mesmos equipamentos e com as mesmas parametrizações para todos os operadores objeto de estudo; Possibilita a análise comparativa do desempenho dos operadores (benchmarking). Objetividade das medições efetuadas já que se elimina a intervenção ou decisão humana; Possibilitam condições idênticas de teste para todos os operadores permitindo análises comparativas de desempenho (benchmarking); Muito boa repetibilidade e reprodutibilidade de todo o processo de medida conduzindo a resultados com elevada robustez e fiabilidade. No exterior é possível explorar completamente o principal aspeto diferenciador dos serviços disponibilizados por sistemas de comunicações móveis: a mobilidade; É possível analisar maiores áreas geográficas num menor espaço de tempo; Possibilidade de utilização de plataformas de teste mais robustas e fiáveis; Facilidade de implementação; Boa relação entre custos de implementação e resultados obtidos. Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 17

18 Decisão Equipamentos terminais móveis de teste no interior de viaturas automóveis e sem antenas externas adicionais Smartphones comerciais com sistema operativo Android Smartphones configurados para seleção automática das interfaces rádio GSM, UMTS e LTE Testes de voz e SMS em configuração Móvel-Móvel Intrarrede Um dos extremos das comunicações permanece estático durante os testes ao serviço de voz Duração das chamadas de teste (voz): 150 segundos Inicialização alternada das chamadas de teste (voz) Os dois extremos das comunicações em movimento no mesmo local (SMS) Racional Permite que as condições de teste sejam idênticas às da utilização comum dos serviços nestes ambientes (in car); A atenuação dos sinais rádio, introduzida pela estrutura da viatura automóvel, possibilita ainda que estas condições de teste sejam mais próximas das sentidas pelos utilizadores comuns de serviços móveis em ambientes interiores (indoor), quando comparadas com as que se obteriam realizando os testes em ambientes exteriores (outdoor) ou com os equipamentos terminais dentro de viaturas automóveis mas com antenas exteriores [ETSI TR ]; O recurso às próprias antenas dos equipamentos terminais móveis permite que a implementação de técnicas de transmissão rádio (v.g. MIMO), no decorrer dos testes, ocorra nos mesmos moldes da utilização comum das redes e, por isso, produza o mesmo impacto na transmissão rádio. Os Smartphones são o tipo de terminal móvel atualmente mais utilizado em Portugal pelos consumidores (69% dos terminais, e com tendência de crescimento) [ANACOM, Marktest_BTC, GfK_TEMAX]; O sistema operativo Android é atualmente o que apresenta maior fatia de mercado nos Smartphones (cerca de 88%) [IDC, Strategy_Analytics]. Tendo em conta a elevada taxa de penetração dos Smartphones [ANACOM, Marktest_BTC, GfK_TEMAX] que na sua maioria estão aptos a usar e a selecionar automaticamente estas tecnologias e também as ofertas comerciais dos operadores portugueses [MEO, NOS, Vodafone] que não distinguem tecnologias rádio de acesso, é a opção que mais se aproxima da realidade sentida pela generalidade dos utilizadores de redes móveis. O tráfego de voz Móvel-Móvel é superior a 90% de todo o tráfego de voz originado nas redes móveis [ANACOM]; O tráfego de voz Intrarrede representa 56,2% de todo o tráfego de voz originado nas redes móveis [ANACOM]; O tráfego SMS é esmagadoramente Móvel-Móvel (99,7%) e maioritariamente Intrarrede (68,1%) [ANACOM]; Permite tirar partido de todas as funcionalidades e possibilidades implementadas pelas redes móveis (v.g. HD Voice, VoLTE, etc.). Para minimizar a incerteza, que acompanha sempre os processos de medida, um dos extremos das comunicações de teste deve apresentar bons níveis e grande estabilidade de desempenho. O impacto deste extremo nos indicadores deve ser mínimo pelo que devem ser utilizados equipamentos terminais móveis (UE) estáticos em locais com adequada (boa) cobertura rádio, interferência mínima e elevada probabilidade de acesso ao serviço de voz. Duração aproximada das chamadas de voz originadas nas redes móveis portuguesas [ANACOM]. Permite avaliar as capacidades de inicialização e de terminação de chamadas em movimento pelos sistemas de comunicações móveis, nos locais objeto de estudo. Permite avaliar as capacidades de envio e receção de mensagens SMS em movimento fator com impacto relevante neste serviço e minimizar os custos de teste (já que com apenas dois terminais móveis por operador é possível a realização dos testes); Não é crítico, do ponto de vista da rede móvel, já que o serviço funciona de forma diferida pelo que o envio e receção das SMS de teste no mesmo local não é fator de congestão da rede (quando comparado com uma situação em que apenas seriam originadas ou terminadas SMS num dado local). 18 GSM-UMTS-LTE Março 2017

19 Decisão Portal YouTube (YouTube video streaming) Racional Os serviços de vídeo (nomeadamente o video streaming) são atualmente responsáveis por mais de 50% do tráfego de dados cursado nas redes móveis [Ericsson_MR, Cisco_VNI]; O portal YouTube é atualmente responsável por 40% a 70% de todo o tráfego de vídeo cursado através das redes móveis [Ericsson_MR, Cisco_VNI]. Conteúdos de teste em Servidores Dedicados e em Servidores Públicos (serviços de dados) Os testes com servidores dedicados, alojados em local neutro e equidistante aos vários operadores, permitem conhecer o desempenho intrínseco das infraestruturas de cada operador e o seu impacto no desempenho dos serviços prestados aos seus clientes. Permitem a utilização de conteúdos estáveis de referência, tais como ficheiros binários e a página web mkepler desenvolvida pelo ETSI [ETSI TR ]; Os testes com servidores públicos, que alojam os conteúdos mais procurados pelos internautas portugueses (páginas web e YouTube video clips), permitem conhecer o impacto das infraestruturas de cada operador no acesso a estes conteúdos por parte dos seus clientes. Servidores Dedicados no GigaPIX Protocolo HTTP nos testes aos serviços de dados Transferência de ficheiros (HTTP upload/download) realizada de acordo com o conceito de tempo fixo de transferência de dados em vez da transferência integral de ficheiros de dimensão fixa Interfaces rádio GSM, UMTS e LTE Os Servidores Dedicados devem ser alojados em local neutro e equidistante aos vários operadores em análise; A melhor opção em Portugal passa por alojar os Servidores de Teste num datacenter na FCT (Fundação para a Ciência e a Tecnologia, I.P.), interligando-os à Internet através de um ponto neutro de troca de tráfego, concretamente através do GigaPIX (Ponto português de troca de tráfego entre redes IP) [GigaPIX]; Estes servidores funcionam nos mesmos moldes dos servidores disponíveis na Internet e estão dedicados exclusivamente à realização destes testes, não apresentando limitações de capacidade de processamento e armazenamento de informação, disponibilidade e largura de banda de acesso. Este protocolo suporta a maioria do tráfego de dados, recebidos ou enviados pelos utilizadores das redes móveis, quando acedem à Internet, nomeadamente quando descarregam uma página web, transferem ficheiros ou quando descarregam conteúdos multimédia do portal YouTube. É de realçar que o tráfego de vídeo representa mais de metade do tráfego de dados cursado nas redes móveis e o portal YouTube é responsável por 40% a 70% desse tráfego de vídeo [Ericsson_MR, Cisco_VNI]. Possibilita a realização de uma quantidade determinada de medições por unidade de tempo, permitindo reduzir o tempo e o esforço necessários para monitorizar o desempenho de uma rede móvel; Adequado quando se espera uma grande variância das grandezas a medir (v.g. velocidades de download e upload) [ETSI TR ]; Método especialmente recomendado para realização de análises de desempenho comparativo, entre vários operadores, através de drive-tests, pois possibilita uma comparação correta e justa [ETSI TR ]. Tecnologias rádio utilizadas nas redes de acesso dos sistemas de comunicações móveis dos operadores portugueses; Determinar os níveis de cobertura de cada interface rádio e, assim, conhecer os locais com maior probabilidade de sucesso na utilização dos serviços. Todas estas opções, bem como a definição de perfis de medida e indicadores de qualidade de serviço na perspetiva de utilizador, têm por base especificações técnicas definidas por organizações Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 19

20 internacionais de referência, como a ITU, o ETSI (European Telecommunications Standards Institute) e a CEPT-ECC (European Conference of Postal and Telecommunications Administrations Electronic Communications Committee), nomeadamente as seguintes: ETSI TS , ETSI TR , ETSI TR , ETSI EG , ETSI ES , ETSI TR , ETSI TR , ETSI TS , ETSI TS , ETSI TS , ETSI TS , ETSI TS , ETSI TS , ITU-T P.863, ITU-T P.863.1, ITU-T J.343, ITU-T J.343.1, ITU-T P.910, ITU-T E.800, ITU-T Q.3960, ECC Report 256 e ECC Report 103 [ETSI TS x, ETSI TR , ETSI TR , ETSI EG x, ETSI ES , ETSI TR , ETSI TR , ETSI TS , ETSI TS , ETSI TS , ETSI TS , ETSI TS , ETSI TS , ITU-T P.863, ITU-T P.863.1, ITU-T J.343, ITU-T J.343.1, ITU-T P.910, ITU-T E.800, ITU-T Q.3960, ECC Report 256 e ECC Report 103]. Assim, a metodologia proposta assenta na realização de testes de campo, efetuados na perspetiva do utilizador, com recurso a um sistema automático de medida, refletindo os vários aspetos que afetam a qualidade dos serviços (medições extremo-a-extremo). As medições são efetuadas de forma objetiva (sem intervenção ou decisão humana) e em igualdade de condições para os vários operadores, nomeadamente em simultâneo, nos mesmos locais, com os mesmos equipamentos e com as mesmas parametrizações, permitindo a análise comparativa dos desempenhos dos sistemas celulares dos operadores visados. 20 GSM-UMTS-LTE Março 2017

21 5 PERFIS DE MEDIDA Os perfis de medida definem um conjunto de condições que devem ser acauteladas para a correta aferição da qualidade dos serviços e garantia da fiabilidade dos testes. Contemplam ainda a normalização de processos e a definição de parâmetros de teste e medida, de modo a permitirem a exequibilidade das análises e a comparabilidade dos resultados obtidos ASPETOS GERAIS A avaliação do desempenho das redes e serviços móveis é realizada de forma objetiva com recurso a uma plataforma automática de teste, garantindo-se que durante a execução de um teste não há qualquer intervenção ou decisão humana, que incorpora terminais móveis comerciais (smartphones com sistema operativo Android) iguais para todos os operadores objeto de estudo. As medições são realizadas em locais exteriores públicos e em movimento (drive-test), utilizando viaturas automóveis. Todos os parâmetros recolhidos são georreferenciados. Durante a realização de testes, os terminais móveis permanecem no interior das viaturas automóveis, utilizam as próprias antenas e selecionam automaticamente a infraestrutura rádio de suporte à utilização dos serviços (GSM, UMTS ou LTE). Os serviços móveis são analisados extremo-a-extremo e em igualdade de condições para os vários operadores, nomeadamente em simultâneo, nos mesmos locais, com os mesmos equipamentos e com as mesmas parametrizações. 5.2 COBERTURA RÁDIO A avaliação da cobertura rádio das redes efetua-se por medição dos níveis de sinal em downlink, RxLev (Received signal Level) para GSM, CPICH RSCP (Common Pilot Channel Received Signal Code Power) para UMTS e RSRP (Reference Signal Received Power) para LTE, ao longo de cada trajeto em estudo. 1 Estes perfis e parâmetros de medida têm por base as especificações técnicas ETSI TS , nomeadamente a parte 5, ETSI TR , ETSI TR , ETSI TR , ETSI TR , ETSI EG , nomeadamente as partes 3 e 4, ETSI TS , ETSI TS , ETSI TS , ETSI TS , ETSI TS , ETSI TS ; as recomendações ITU-T P.863, ITU-T P.863.1, ITU-T J.343, ITU-T J.343.1, ITU-T P.910 e ITU-T Q.3960; e os relatórios ECC Report 256 e ECC Report 103 [ETSI TS , ETSI TR , ETSI TR , ETSI TR , ETSI TR , ETSI EG , ETSI EG , ETSI TS , ETSI TS , ETSI TS , ETSI TS , ETSI TS , ETSI TS , ITU-T P.863, ITU-T P.863.1, ITU-T J.343, ITU-T J.343.1, ITU-T P.910, ITU-T Q.3960, ECC Report 256, ECC Report 103]. Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 21

22 As medições são efetuadas com um equipamento adequado e dedicado exclusivamente a esta tarefa Scanner de RF para que os valores medidos correspondam aos níveis efetivos de sinal. Este equipamento de medida recolhe amostras de sinal de todos os canais rádio GSM, UMTS e LTE utilizados pelos operadores em análise. Posteriormente, essas amostras são analisadas e apenas consideradas aquelas que apresentem os melhores valores de nível de sinal, em cada ponto e para cada tecnologia e operador. Cada ponto de medida é georreferenciado para a posterior representação dos níveis de sinal em cartografia digital, facilitando assim a visualização da cobertura das redes móveis nos trajetos objeto de estudo e a identificação de locais com cobertura deficiente ou inexistente. Esta abordagem para verificação da cobertura rádio, em particular para a cobertura UMTS e LTE, não tem em consideração a carga das redes no que toca a número de utilizadores em simultâneo e tipo de serviços utilizados. Uma indicação de boa cobertura, num dado local e num determinado momento, deve ser entendida como a presença da rede rádio em níveis que possibilitam o acesso e a utilização da generalidade dos serviços, ainda que os níveis de qualidade da prestação desses serviços possam ser díspares entre os utilizadores. Por exemplo, é expectável que os ritmos máximos de transmissão de dados de cada conexão (utilizador) diminuam com o aumento de conexões (utilizadores) em simultâneo numa célula rádio ou à medida que os utilizadores se aproximam da periferia dessa mesma célula. 5.3 SERVIÇO DE VOZ A análise do serviço de voz, num determinado local, inclui as capacidades de estabelecimento e terminação de chamadas, bem como a integridade da comunicação. Este serviço é avaliado extremo-aextremo, em configuração Móvel-Móvel Intrarrede, utilizando-se a chamada como unidade base de teste. As chamadas de teste são estabelecidas entre equipamentos terminais móveis (UE). Um dos UE desloca-se no trajeto/local em estudo e o outro UE é mantido estático num local com adequada (boa) cobertura rádio, interferência mínima e elevada probabilidade de acesso ao serviço 2. Para possibilitar a inicialização alternada de chamadas de teste, de forma automática entre os dois 2 O UE estático será colocado nas instalações da ANACOM em Barcarena. 22 GSM-UMTS-LTE Março 2017

23 terminais envolvidos, nas sessões de teste é utilizada uma janela temporal fixa para realização de cada chamada. Em caso de falha de chamada, tanto na fase de estabelecimento como na fase de conversação, a chamada seguinte só terá início na janela temporal seguinte. A janela temporal contempla, além da própria duração de chamada, períodos que permitem o estabelecimento e desligamento da chamada e também uma pausa não inferior a 10 segundos entre chamadas consecutivas, para prevenir eventuais problemas de rede relacionados com sinalização ou gestão da mobilidade. Após o início de uma chamada de teste, é simulada uma conversação durante 150 segundos para análise da integridade da comunicação. A qualidade auditiva é verificada alternadamente em cada sentido, independentemente do extremo em que se iniciou a chamada, utilizando-se o algoritmo POLQA [ITU-T P.863, ITU-T P.863.1]. Os parâmetros de teste utilizados para análise do serviço de voz apresentam os seguintes valores: Relação de inicialização de chamadas entre UE: 1/1 Duração das chamadas de teste: Janela temporal para realização de uma chamada de teste: Tempo máximo para estabelecimento de uma chamada: 150 s 190 s 20 s 5.4 SMS SERVIÇO DE MENSAGENS CURTAS O serviço SMS é avaliado extremo-a-extremo, utilizando-se a transmissão de uma mensagem como unidade base de teste. Os testes são realizados em configuração Móvel-Móvel Intrarrede sendo as mensagens originadas e terminadas em equipamentos separados, ou seja, para a realização de cada teste são utilizados dois equipamentos terminais: um originador e um recetor. Tanto o equipamento terminal originador como o recetor encontram-se em movimento no mesmo local. Outro aspecto importante para garantir a fiabilidade dos testes consiste em evitar que o terminal móvel seja perturbado pela mensagem seguinte enquanto recebe a anterior. Para isso, utiliza-se uma pausa adequada entre envios consecutivos de mensagens. Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 23

24 Por razões de exequibilidade, é definida uma janela de tempo para entrega das mensagens. As mensagens entregues após esta janela temporal são consideradas como falhadas. Também as mensagens que apresentem erros (pelo menos um bit) são consideradas falhadas. As multirreceções de mensagens não são contabilizadas para efeitos de rácio de entrega. Cada mensagem de teste tem associado um identificador único para facilitar a sua identificação na receção e evitar ambiguidade na correlação entre mensagens enviadas e recebidas. As mensagens recebidas que não sejam válidas (que não tenham sido enviadas pelo terminal originador ou que não façam parte da sessão de teste) são descartadas. Os equipamentos terminais móveis utilizados não apresentam quaisquer limitações de capacidade de processamento ou de armazenamento de informação que possam afetar o envio ou a receção de mensagens. A mensagem de teste utilizada nas análises do serviço SMS tem uma dimensão de 120 caracteres e utiliza diferentes símbolos para melhor verificação da integridade dos conteúdos. Tendo em conta as condições acima definidas, os parâmetros de teste do serviço de mensagens SMS apresentam os seguintes valores: Dimensão da mensagem de teste: Sequência de caracteres da mensagem de teste: Tempo máximo para envio de SMS: Pausa entre envios consecutivos de SMS: Janela temporal para entrega de SMS: 120 caracteres The quick brown fox jumps over the lazy dog aeiou QUICK BROWN FOX 20 s 60 s 30 s 5.5 SERVIÇOS DE DADOS SEQUÊNCIA DE TESTES Para avaliação do desempenho destes serviços são estabelecidas sessões de dados, em modo de comutação de pacotes, entre os equipamentos de utilizador Smartphones e Servidores de Conteúdos na Internet. Estas sessões são sempre inicializadas pelos Smartphones. 24 GSM-UMTS-LTE Março 2017

25 Os testes são realizados com a seguinte sequência: 1. Transferência de ficheiro (HTTP download); 2. Verificação da latência de transmissão de dados (Ping); 3. Transferência de ficheiro (HTTP upload); 4. Navegação na Internet página web de referência (HTTP web browsing); 5. Navegação na Internet página web pública (HTTP web browsing); 6. Visualização de Vídeo (YouTube). Os processos de login e autenticação nos servidores não são considerados parte nos testes aos serviços. São assegurados os privilégios adequados de acesso e também que os ficheiros, páginas web ou vídeos se encontram disponíveis nos respetivos servidores. Após uma sequência de testes, ou mesmo nas situações em que houve uma terminação irrecuperável do ciclo, todas as ligações aos servidores de teste são encerradas, é apagada a memória cache e é efetuada uma pausa antes de se iniciar nova sequência de testes. A plataforma de teste não apresenta limitações de espaço de armazenamento e todos os seus elementos, tanto de hardware como de software, são homogéneos nos diferentes testes aos vários operadores, nomeadamente: Sistema operativo (tipo e versão) e respetiva configuração; Dimensão da MTU (Maximum Transmission Unit); Localização dos Servidores Dedicados de teste; Tipo e versão do browser utilizado, bem como a respetiva configuração (testes HTTP Web browsing); Dimensão e tipo dos ficheiros e da página web de referência utilizados nos testes; Os Servidores Dedicados devem ser alojados em local neutro e equidistante aos vários operadores em análise. A melhor opção em Portugal passa por alojar os Servidores de Teste num datacenter na FCT (Fundação para a Ciência e a Tecnologia, I.P.), interligando-os à Internet através de um ponto neutro de troca de tráfego, concretamente através do GigaPIX (Ponto português de troca de tráfego entre redes IP) [GigaPIX]. Estes servidores funcionam nos mesmos moldes dos servidores disponíveis na Internet e estão dedicados exclusivamente à realização destes testes, não apresentando limitações Metodologia para Avaliação de Desempenho de Serviços e Redes Móveis 25

26 de capacidade de processamento e armazenamento de informação, disponibilidade e largura de banda de acesso. Estes testes com Servidores Dedicados, alojados em local neutro e equidistante aos vários operadores, permitem conhecer o desempenho intrínseco das infraestruturas de cada operador e o seu impacto no desempenho dos serviços prestados aos seus clientes. Complementarmente os testes realizados com Servidores Públicos, que alojem os conteúdos mais procurados pelos internautas portugueses (páginas web e YouTube video clips), permitem conhecer o impacto das infraestruturas de cada operador no acesso a estes conteúdos por parte dos seus clientes. Tendo em conta as considerações anteriormente apresentadas foram definidos parâmetros gerais e específicos para cada tipo de serviço que permitem a exequibilidade dos testes e a comparabilidade dos resultados. Os parâmetros gerais de teste são os seguintes: Pausa entre sequências de teste: Pausa entre testes na mesma sequência: 20 s 10 s TRANSFERÊNCIA DE FICHEIROS (HTTP) Os testes de Transferência de Ficheiros (HTTP upload/download) são realizados de acordo com o conceito de tempo fixo de transferência de dados, ou seja, é realizada a transferência de dados durante um período de tempo predefinido em vez da transferência integral de ficheiros de dimensão fixa. É utilizado um Servidor Dedicado e conteúdos estáveis, ou seja, que não apresentam variações quantitativas e qualitativas. Os ficheiros de teste são do tipo binário, constituídos por sequências aleatórias de bits, pelo que não são passíveis de compressão, e apresentam dimensão (virtualmente) infinita. Os parâmetros específicos para análise do serviço de transferência de upload/download) são os seguintes: ficheiros (HTTP Localização do Servidor Dedicado: Período de transferência de dados: Tempo máximo para estabelecimento de sessão: GigaPIX 30 s 30 s 26 GSM-UMTS-LTE Março 2017