Metodologias de Avaliação de Qualidade de Fluxos de Voz

Transcrição

1 Metodologias de Avaliação de Qualidade de Fluxos de Voz Leandro Andrada Roda Marinho Escola de Engenharia Universidade Federal Fluminense (UFF) Rua Passo da Pátria, 156 Niterói RJ Brasil Resumo. Este trabalho tem como objetivo descrever os principais métodos de avaliação de qualidade de fluxos de voz. Serão apresentados modelos subjetivos onde a partir da avaliação da percepção de qualidade por pessoas obtem-se um resultado, e modelos objetivos que a partir de cálculos computacionais tentam estimar a sensibilidade de percepção do ser humano utilizando diversos fatores como, por exemplo, o conhecimento da fisiologia do ser humano. 1. Introdução O avanço das técnicas de processamento digital de sinais proporcionou um crescente interesse em métodos e dispositivos de codificação de voz mais eficientes. A avaliação da qualidade de codecs de voz é necessária para o desenvolvimento destes dispositivos e também para o projeto de redes digitais de telecomunicações. A análise da qualidade da voz recebida envolve fatores que são difíceis de serem ponderados em medidas objetivas, como, por exemplo, o incômodo que uma determinada distorção ou ruído causam, e a inteligibilidade de um sinal. Adicionalmente, o conceito de qualidade varia de acordo com a aplicação pretendida e com o público alvo, que pode ser mais ou menos exigente, dependendo de suas características culturais. Portanto, as medidas subjetivas ainda são utilizadas, especialmente em casos em que há a necessidade de resultados realmente confiáveis. Porém, seu custo, complexidade e tempo demandado motivam fortemente a busca de métodos eficazes para a realização de medidas objetivas que estimem a qualidade subjetiva de maneira eficiente. Este trabalho descreve os modelos de avaliação subjetiva para qualidade de voz e alguns modelos objetivos, abordando os modelos que se baseiam nas características perceptivas do ser humano e o E-Model. O restante do texto está organizado da seguinte forma. A seção 2 apresenta a descrição do modelo subjetivo de avaliação de qualidade de voz, descrevendo os diversos tipos de testes e apresenta a principal escala utilizada (escala MOS) pelo ITU-T de acordo com as recomendações P.800[1] e P.830[2]. A seção 3 apresenta as principais metodologias objetivas de avaliação de qualidade de fluxo de voz (os modelos baseados nas características perceptuais e o E-Model [3]), e como estas se relacionam com a escala subjetiva. Por fim, a seção 4 realiza as considerações finais do trabalho com as conclusões obtidas. 1

2 2. Avaliação Subjetiva de Qualidade de Fluxo de Voz Diversos fatores devem ser avaliados num teste subjetivo de qualidade de fluxo de voz. O grau de importância a ser dado a cada um deles será determinado pelo tipo de aplicação desejada. Dentre os fatores mais importantes, destacam-se: a variação do nível de entrada do sinal a ser codificado; a ocorrência de erros no canal de operação do codec; a possível ocorrência de múltiplas transcodificações; a diversidade de locutores; a presença de ruído ambiente em níveis variáveis; e o atraso introduzido pela codificação. Finalmente, deve-se selecionar com cautela o material-fonte e principalmente os avaliadores tanto em termos qualitativos quanto quantitativos a serem utilizados nos testes. 2.1 Tipos de Teste Os testes subjetivos podem ser divididos em três grupos: os de entrevista, os conversacionais e os de audição [1]. Os testes de entrevista são realizados através de uma série de questões feitas diretamente aos usuários do sistema sob avaliação. Para se ter um bom grau de precisão é necessário um grande número de entrevistas, tornando o método dispendioso. Os testes conversacionais são testes bidirecionais que envolvem duas pessoas que tenham sido especificamente treinadas, uma falando e a outra ouvindo de acordo com determinada metodologia. Os testes subjetivos mais importantes são os testes de audição, os quais são unidirecionais e visam medir a capacidade de um sistema de transmitir adequadamente uma informação. Baseiam-se na avaliação de sua qualidade (de acordo com uma escala apropriadamente escolhida), a partir da audição de sentenças simples, processadas pelo sistema sob avaliação e por sistemas (condições) de referência. Neste tipo de teste, os locutores não devem ser treinados, recebendo apenas instruções quanto à escala de avaliação a ser utilizada. Existem diversos tipos de testes de audição, sendo que os três mais utilizados são descritos a seguir Testes de qualidade absoluta (Absolute Category Rating ACR) Os testes de qualidade absoluta (ACR) baseiam-se na avaliação absoluta da qualidade do material processado, sem que o avaliador disponha de material para comparação. Utiliza três escalas de opinião: - Qualidade de audição (Listening-Quality): nesta escala, um sistema de pontuação define a qualidade de pequenos grupos de sentenças descorrelacionadas, cada uma submetida ao processo sob teste. A tabela 2.1 mostra a graduação utilizada nesta escala. Tabela 2.1 Escala Listening-Quality 2

3 - Esforço de audição (Listening-Effort): esta é uma escala muito importante, principalmente nos casos em que há altos níveis de degradação. Neste tipo de situação, há um maior interesse na inteligibilidade do sinal do que na qualidade, o que é aceitável em diversas aplicações, como no caso de comunicações militares. A Tabela 2.2 mostra a graduação utilizada nesta escala. Tabela 2.2 Escala Listening-Effort - Preferência de sonoridade (Loudness-Preference): define o grau de sonoridade (volume) percebido pelos ouvintes. Sua graduação é mostrada na Tabela 2.3: Tabela 2.3 Escala Loudness-Preference Testes de Degradação (Degradation Category Rating DCR) O teste de degradação (DCR) avalia a degradação do material processado em relação ao material original, o que o torna mais sensível à distinção de qualidade, em contraste com os testes tipo ACR. A escala segue na Tabela 2.4. Tabela 2.4 Escala de Degradação 3

4 2.1.3 Testes de Comparação (Comparison Category Rating CCR) O teste de comparação (CCR) se distingue do teste tipo DCR apenas pela ordem em que as amostras são apresentadas aos ouvintes. Neste método, a ordem das amostras é escolhida aleatoriamente. Portanto, neste tipo de teste, os ouvintes têm de responder a duas perguntas: qual dos sinais é melhor e quanto ele é melhor, segundo a escala da tabela 2.5. Tabela 2.5 Tabela para comparação entre elementos de um par A vantagem do método CCR em relação ao DCR está na possibilidade de se poder avaliar não apenas processamentos de voz em que a qualidade é degradada, como também os casos em que a qualidade é melhorada. A deficiência deste tipo de teste, assim como no DCR, é que apenas desempenhos relativos podem ser obtidos. O método mais utilizado, para a maioria das aplicações, tem sido o Absolute Category Rating (ACR), usando a escala qualidade de audição. Este método está bem estabelecido e tem sido aplicado a conexões telefônicas digitais e analógicas de dispositivos de telecomunicações. Vários laboratórios em diferentes países realizaram testes subjetivos utilizando este método, nas mesmas condições e com sistemas de transmissão idênticos, conseguindo resultados com alto grau de consistência. A média aritmética dos pontos atribuídos é denominada de Mean Opinion Score (MOS). As escalas de degradação e de comparação entre elementos de um par, usando, os métodos de classificação DCR e CCR, também têm sido largamente utilizadas, e sua média aritmética é denominada Comparative Mean Opinion Score (CMOS). Podemos observar que existem várias escalas para avaliação da voz, entretanto a escala apresentada na tabela 2.6 é a mais utilizada pela ITU-T. Tabela 2.6 Escala mais Utilizada pela ITU para Avaliação Subjetiva de Qualidade de Voz Pode-se observar que a escala varia de 1 a 5, sendo quanto maior o valor obtido maior a qualidade atribuída à avaliação. 4

5 A tabela 2.7 apresenta, para os principais codificadores de voz, a relação com valores médios de MOS: Tabela 2.7 Valores MOS dos Codecs [4] De acordo com a tabela 2.7 vemos que os codecs waveforms (baseados na forma de onda) possuem valores de MOS acima de 4.0 indicando qualidade muito boa, porém para isso necessitam de alta taxa de transmissão conseqüentemente exigindo bandas maiores, enquanto que os codecs híbridos (baseados na forma de onda e na modelagem da fonte) apresentam valores de MOS entre 3,7 e 4.0, indicando boa qualidade, tendo em vista que quanto menor a taxa de transmissão destes codecs menor será a qualidade percebida. 3. Avaliação Objetiva de Qualidade de Fluxo de Voz Os métodos objetivos utilizam recursos computacionais para inferir a qualidade da voz submetida a um sistema de transmissão e/ou a um codificador de áudio. Dentre os métodos objetivos, tem-se o E-Model [3] e os métodos conhecidos como métodos perceptuais os quais fazem uso do conhecimento do sistema auditivo humano para comparar um sinal de referência (trecho de voz previamente gravado) com um sinal degradado (sinal de referência submetido ao sistema de transmissão a ser avaliado). Estes métodos visam compor uma medida de distorção do sinal de voz, com destaque para o PSQM (Perceptual Speech Quality Measure) [5], o PSQM+ [6], o PAMS (Perceptual Analysis Measurement System) [6], o MNB (Measuring Normalizing Blocks) [7] e o PESQ (Perceptual Evaluation of Speech Quality) [8]. 3.1 PSQM - Perceptual Speech Quality Measure O método PSQM (Perceptual Speech Quality Measure) foi desenvolvido por John G. Beerends e J.A. Stemerdinks do KPI Researches, em reposta a necessidade de haver um método objetivo que avaliasse a qualidade de fluxos de voz. Publicado pelo ITU como Recomendação P.861 [5] em 1996, tem grande aceitação como uma medida consistente e eficaz baseada em fatores de percepção humana. O PSQM é um processo matemático que provê a medição da qualidade subjetiva da fala. O objetivo é produzir scores confiáveis que predizem valores de testes subjetivos (MOS). No entanto os scores PSQM têm uma escala diferente e refletem a medida de distância perceptual, isto é, os scores PSQM refletem quantitativamente a divergência 5

6 de um sinal original de um sinal distorcido, uma vez que este foi presumidamente processado por algum sistema de telefonia. Para executar uma medida PSQM, uma amostra de fala humana gravada é inserida num sistema e processada por qualquer codec usado. O sinal de saída é gravado e então sincronizado no tempo com o sinal de entrada original. Estes serão então comparados pelo algoritmo PSQM. O score PSQM resultante varia de 0 a infinito, quanto maior o valor do score, maior será o nível de distorção. A partir daí o score PSQM será transformado para a escala subjetiva representado pelos scores MOS. A figura 1 ilustra o processo descrito. Figura 1 Visão Geral do Processo PSQM O algoritmo PSQM assume que o sinal de entrada, sistemas de transmissão e de processamento exibem as seguintes características:. Sinais de entrada e saída devem estar sincronizados no tempo antes da análise PSQM.. Os sinais de entrada devem ser livres de ruído de fundo.. Não existem degradações no canal como erro de bits, perda de pacotes e interrupções temporais. PSQM eficientemente prediz resultados subjetivos quando os cenários avaliados apresentam as seguintes características ou parâmetros:. Codecs baseados na forma de onda (por exemplo, G.711, G.726).. Codecs baseados em CELP com taxas maiores que 4kbps (por exemplo, G.729a, G com taxas de 5.3 e 6.3 Kbps, G.728).. Múltiplas taxas de bits de um codec.. Transcodificações (conversões de um formato digital para outro).. Dependências de locutores (ex. linguagens, frases). Uma visão detalhada do método PSQM será dada nas próximas subseções conforme a figura 2. Figura 2 - Visão detalhada do método PSQM 6

7 Etapa 1 - Pré-processamento / Inicialização dos Sinais Antes dos processos de modelagem perceptual e cognitiva, a inicialização global é executada. Os arquivos de voz utilizados no cálculo de qualquer medida objetiva devem, a priori, ser discretizados (com 16 bits por amostra), já que todos os processamentos subseqüentes serão realizados no domínio digital. Para a faixa de telefonia, as freqüências de amostragem mais utilizadas são as de 8 khz e 16 khz. Antes que se possa realizar o cálculo da medida objetiva PSQM, é necessário realizar as seguintes operações de inicialização, especificadas na recomendação P.861 do ITU: Alinhamento temporal - processamento PSQM só pode ser aplicado a sinais alinhados temporalmente. Se o atraso teórico introduzido pelo sistema sob teste é conhecido, este é adotado para o alinhamento. Se esse atraso não é conhecido, é necessário estimá-lo. Escalonamento global - para a compensação do ganho do sistema visa-se ajustar a energia do sinal decodificado, de modo a igualá-la à do sinal original. É realizado multiplicando-se o sinal decodificado por um fator, definido pela relação entre as energias médias dos dois sinais. Calibração global (ajuste de audibilidade) um fator de calibração entre um nível de audição assumido e o nível de percepção sonora é calculado. Este fator ajuda a determinar a percepção sonora dos sinais de saída baseados em níveis de audição assumidos (por exemplo, o nível de áudio que o ouvido receberia de um sinal de fala pelo telefone) e os limiares de audição humana em diferentes freqüências. Este fator é usado para calcular densidades de percepção sonora. Etapa 2 Modelagem Perceptual O próximo passo de pré-processamento, é a transformação do domínio físico para o domínio psicofísico, ou seja, o algoritmo PSQM faz a representação matemática do sinal físico atual e o converte em uma representação matemática que leva em conta as realidades fisiológicas da percepção humana. Isto é realizado em três operações: Mapeamento tempo-freqüência: uma Transformada Rápida de Fourier (FFT) é executada nos sinais de entrada e saída, que estão no domínio do tempo (potência versus tempo) para convertê-los ao domínio da freqüência. Isto é realizado em frames de 32ms resultando em componentes tempo-freqüência chamados células, ilustradas na figura 3 [9]. Os quadros resultantes são compostos por 256 amostras no caso de amostragem a 8k amostras/s e por 512 amostras para 16k amostras/s. Transformação em freqüência e filtragem: A tradicional escala de freqüência, Hertz, é alterada para levar em consideração a sensibilidade humana às diferentes freqüências. A escala é alterada para bandas críticas específicas, sendo a nova escala não mais estritamente linear. Os sinais de entrada e saída também são filtrados de acordo com as características de recepção do aparelho telefônico. Alteração da intensidade a escala de intensidade, que é baseada na densidade de potência, é alterada para uma escala de sonoridade subjetiva para representar a sensibilidade humana à percepção sonora. Isto é preciso, pois a percepção da distorção humana depende do sinal de áudio no qual o ruído está presente (ruídos em sinais altos são menos perceptíveis que ruídos em sinais baixos). PSQM calcula alguns parâmetros, para um quadro inteiro, e compara estes valores com os obtidos para cada célula individual, aplicando o escalonamento local onde necessário. Isto permite ao PSQM 7

8 distinguir a distorção provocada por codecs (que agem sobre células individuais) de atenuação ou ganho do sinal que agem sobre todo o quadro. A saída do processo de Modelagem Perceptual é freqüentemente referida como uma representação interna de sinais de entrada e saída. Este processo produz uma representação matemática de sinais acústicos que levam em consideração a fisiologia humana e suas sensitividades auditivas. Figura 3- Célula Etapa 3 Modelagem Cognitiva A modelagem cognitiva é aonde os sinais de entrada e saída são diretamente comparados e o score PSQM é produzido. A modelagem cognitiva avalia os erros audíveis nos sinais de saída computando essencialmente o distúrbio de ruído para cada célula individualmente. O distúrbio médio de ruído é diretamente relacionado com a qualidade do codec. A modelagem cognitiva é realizada por quatro operações: Escalonamento de Percepção Sonora - Dentro de cada quadro, a densidade de percepção sonora do sinal de saída é escalonada relativamente ao sinal de entrada. Ruído Cognitivo Interno o distúrbio de ruído é calculado como a diferença em densidade de percepção sonora entre os sinais de entrada e saída, como seriam percebidos por um ouvinte. Processamento Assimétrico a percepção humana de clareza de fala é assimétrica. Quando uma célula não é codificada (perda de sinal no sinal de entrada), afeta a qualidade subjetiva menos que em casos quando uma componente de frequênciatempo não relacionada é introduzida (adição de distorção). Ou seja, uma pequena distorção aditiva no codec é mais notada por um ouvinte que uma pequena perda de sinal devida a uma distorção de codec. PSQM trata esse efeito de assimetria escalonando o distúrbio de ruído para cada célula diferentemente. Se o distúrbio é causado por energia adicional na célula, PSQM escalona o distúrbio de ruído com um fator maior que 1, resultando em um score PSQM maior. Se um distúrbio é causado por falta de energia numa célula, PSQM escalona o distúrbio de ruído com um fator menor que 1, resultando num score PSQM menor. Como resultado deste processo de assimetria, os scores PSQM correlacionam-se melhor com resultados subjetivos com adição de energia em relação à falta de energia de codecs. Processamento do Intervalo de Silêncio Para melhor adequar a percepção humana, diferenças entre sinais de entrada e saída durante intervalos de silêncio devem ter menos impacto nos scores PSQM. PSQM computa a média de ruído de percepção 8

9 sonora para quadros de silêncio e para quadros de conversação separadamente, aplicando diferentes fatores de pesos para cada. A saída do processo de Modelagem Cognitiva é um valor objetivo chamado de PSQM score que varia de 0 (perfeito) a infinito, sendo valores acima de 15 considerados extremamente ruins. Não existe uma formula única que correlacione os scores PSQM com os valores MOS, uma vez que os scores são dependentes dos esquemas de implementação e também do sinal de teste. A título de exemplo, de acordo com a implementação denominada de implementação de Sage, o valor PSQM pode ser convertido para a escala MOS de acordo com a equação a 1 [4]: Equação 1 Conversão de scores PSQM em valores de MOS na [9] Abaixo são destacados alguns pontos importantes: Diferenças entre sinais de entrada e saída, se inaudíveis, não resultarão em grandes scores PSQM (baixa qualidade). Se os sinais de entrada e saída são idênticos, o score PSQM será próximo de 0 (qualidade perfeita em relação ao sinal de entrada), sendo assim, se um sinal ruidoso é reproduzido pelo sistema de teste, uma comparação dos sinais ruidosos de entrada e saída irá produzir um score PSQM próximo de zero. 3.2 PSQM+ Apesar de ter se mostrado um método com alta correlação entre medidas subjetivas e objetivas, o PSQM não se mostrou eficaz nos casos em que os sinais de voz continham supressão de trechos de voz e/ou distorções provocadas por excesso de volume. Em outras palavras, PSQM poderia reportar uma melhor qualidade sobre estas condições que um ouvinte poderia atribuir. Fez-se então necessário um aperfeiçoamento, tendo como resultado o PSQM+. O PSQM trata a distorção representada pelo ganho de sinal dentro de uma célula diferentemente da distorção representada pela perda de sinal dentro do quadro. Devido à distorção aditiva do sinal ter maior impacto na percepção que distorções subtrativas, PSQM aumenta a escala do distúrbio aditivo para resultar em scores maiores (score de qualidade pior) e escala pra baixo o distúrbio subtrativo para resultar em scores menores (scores com qualidade melhor). Para pequenas distorções devidas provavelmente a codecs, PSQM provê excelente correlação com resultados de testes subjetivos. Para grandes distorções devidas a interrupções temporais e perdas de pacotes nas quais todas as células dentro de um frame experimentam grande perda de energia de sinal, PSQM produz scores bem mais baixos em comparação com resultados de testes subjetivos. Para levar em conta este problema na assimetria de processamento do PSQM, O PSQM+ adiciona um segundo fator de escala que considera o fator de escala do PSQM 9

10 sob severas condições de distorção representadas por grande perda de energia numa célula. Este novo fator é aplicado a cada quadro. Quando as potências dos sinais de entrada e saída são praticamente idênticas este fator é próximo de 1, e assim PSQM+ produz quase o mesmo score que o PSQM. Quando uma grande distorção como interrupções temporais ou perda de pacotes é introduzida, o algoritmo PSQM+ aplica outro fator de escala que tem o efeito oposto, e aumenta o distúrbio de ruído. Isto resulta em scores PSQM+ maiores, que se correlacionam mais eficientemente com resultados subjetivos. Dentro do algoritmo PSQM+, o segundo fator de escala é sempre aplicado. Porém quando as distorções são pequenas, ele iguala a 1 e tem pequeno ou nenhum impacto. Para as grandes distorções por energia adicionada, o segundo fator de escala leva a scores menores e para perdas severas por falta de energia scores maiores são produzidos. Em resumo, para pequenas distorções devidas a codecs, tanto PSQM como PSQM+ produzem praticamente os mesmos scores, os quais se correlacionam bem com testes subjetivos. Para perdas severas e distorções por interrupções temporais, PSQM+ irá produzir scores maiores, e para distorções por adição de energia, PSQM+ produzirá scores menores, correlacionando-se melhor do que o PSQM. Pode-se observar que PSQM e PSQM+ distinguem distorções dentro de células daquelas dentro de todo o frame. Se as distorções são dependentes da célula, estas são provavelmente devidas a codecs. Se a distorção afeta todas as células dentro de um frame de maneira similar, é provavelmente causada por perda de pacotes ou interrupções temporais. 3.3 PAMS - Perceptual Analysis Measurement System PAMS foi desenvolvido pelo Grupo PSyTechnics dentro da British Telecomunications em agosto de 1998, e oferece um modelo diferente do PSQM, mas com a mesma meta: objetivamente predizer resultados subjetivos de testes de qualidade de voz para sistemas nos quais distorções por codecs assim como interrupções temporais e perda de pacotes são problemas em potencial. PAMS utiliza um modelo baseado em fatores de percepção humana para medir a qualidade de sinais de saída comparados com sinais de entrada. Apesar da similaridade ao PSQM, o PAMS usa diferentes técnicas de processamento e diferentes modelos perceptuais. A figura 4 ilustra o processo PAMS de maneira geral. Figura 4 Processo PAMS Para realizar medidas PAM, uma amostra de fala humana gravada é inserida na entrada de um sistema de rede. As características do sinal de entrada seguem aquelas que são usadas para teste de MOS especificadas na recomendação P.830. Apesar de amostras de voz naturais poderem ser utilizadas, PAMS é otimizado para amostras de fala artificiais proprietárias. 10

11 A saída do sinal é gravada assim como for recebida. Os sinais de entrada e saída são então introduzidos no modelo PAMS. PAMS executa time-alignment, level-alignment, e equalização para remover os efeitos de atraso, ganho e perda de todo o sistema, e filtragem análoga ao do telefone. PAMS então compara os sinais de entrada e saída no domínio da freqüência, comparando as células dentro de frames (mesma idéia do PSQM). Esta comparação é baseada em fatores de percepção humana. Os resultados das comparações PAMS são scores que variam de 0 a 5, e correlacionamse com a mesma escala dos testes MOS (Qualidade de audição e de Esforço de audição). A modelagem perceptual dentro do PAMS assume que não existe atraso, grande variação de atraso, sistemas de ganho e perda pelo sistema, nem características análogas à filtragem do telefone. O algoritmo PAMS executa processamento único para remover efeitos destas condições. Como resultado, PAMS foca na medição de qualidade de voz baseada em efeitos de distorção de codificação, interrupções temporais, perda de pacotes e jitter. A figura 5 ilustra o modelo detalhado do processo do PAMS que será descrito nas próximas seções. Figura 5 Processo PAMS Detalhado Etapa 1 - Pré-processamento PAMS pré-processa os sinais de entrada e saída executando as seguintes operações: Time Alignment Sinais de entrada e saída são sincronizados no tempo em segmentos temporais individuais, com a finalidade de remover os efeitos de atraso e variação lenta de atraso. Variação de atraso rápida que é perceptível é preservada e medida pelo PAMS. Level Alignment - Sinais de entrada e saída são sincronizados no tempo em segmentos temporais individuais, com a finalidade de remover efeitos de ganho e perdas do sistema. Equalização - Os espectros dos sinais de entrada e saída são equalizados para remover os efeitos de filtragem da banda de telefone ( hz). Etapa 2 Auditory Transform PAMS executa o processo de modelagem perceptual para transformar os sinais de entrada e saída para o domínio da freqüência. PAMS usa um banco de filtros para filtrar sinais audíveis e levá-los ao domínio da relevância perceptual subdividindo-os em 19 11

12 bandas. Isto formata as freqüências para refletir melhor a sensibilidade humana às freqüências. O resultado é uma representação no tempo e na freqüência de percepção de intensidade sonora, conhecida como Sensação de Superfície, que é análogo ao espectro de densidade de potência, mas baseado em como o ser humano perceberia o sinal em cada célula. PAMS calcula Sensações de Superfície para ambos os sinais de entrada e saída. Etapa 3 Erro de Parametrização PAMS determina as diferenças audíveis na Sensação de Superfície dos sinais de entrada e saída, subtraindo a Sensação de Superfície do sinal de entrada da Sensação de Superfície do sinal de saída. O resultado é outra representação de células conhecida como Erro de Superfície. O Erro de Superfície representa erros audíveis, em células, encontradas nos sinais de saída quando comparadas com sinais de entrada. Erros que representam energia de sinal adicionado (por exemplo, ruído ou distorção adicionada por codecs) têm valores positivos nas células de Erro de Superfície. Erros que representam perda de energia de sinal (perda de pacotes, interrupções temporais) têm valores negativos. A amplitude de cada célula no Erro de Superfície é relacionada com o nível de percepção humana. PAMS analisa os Erros de Superfície de várias maneiras. Ele calcula a média da distorção positiva e a média da distorção negativa. Muitos parâmetros de erro são calculados que indicam o montante de erros audíveis. Etapa 4 Regressão Finalmente erros audíveis são avaliados e mapeados em scores preditivos baseados em correlação com um grande banco de dados de resultados de testes subjetivos. Esta base de dados indica como uma pessoa avaliaria um erro audível específico. Os parâmetros de erro podem assim ser mapeados em scores preditivos e refletir resultados produzidos por testes subjetivos executados por este mapeamento. 3.4 MNB - Measuring Normalizing Blocks Em 1997, baseada no relatório de Stephen D. Voran do Instituto de Ciências para Telecomunicações, o método MNB (Measuring Normalizing Blocks) foi publicado como anexo proposto (Anexo II) à recomendação P.861. A técnica MNB é recomendada para medição de impacto dos seguintes itens na qualidade de fluxo de voz: Erros de transmissão do canal Codecs híbridos com taxas menores que 4kbps Vocoders Este método leva a uma inversão da ênfase tradicional, resultando em um modelo mais simples para o ouvido e um modelo mais sofisticado para o julgamento. Após o estudo de diversos parâmetros, como as funções de transferência dos ouvidos externo e médio, limiares absolutos de audibilidade, curvas de sonoridade e efeitos de mascaramento, os autores da proposta chegaram à conclusão de que estes não eram significativos para o sucesso da estimativa da qualidade percebida para a faixa de telefonia. Por esse motivo, o modelo do ouvido adotado contém apenas um mapeamento da escala em Hertz para 12

13 outra escala (escala em Bark) e uma transformação logarítmica da potência para aproximar a sonoridade percebida. Existem dois tipos de MNBs: Time Measuring Normalizing Blocks e Frequency Measuring Normalizing Blocks. O algoritmo cria um valor não negativo chamado Auditory Distance (AD), qual é a medida da distância perceptual entre sinais de entrada (referência) e saída (teste) para predizer a qualidade subjetiva. A figura 6 ilustra o processo MNB. Figura 6 Estrutura Geral do processo MNB [6] Abaixo seguem as etapas do processo MNB detalhado: Etapa 1 Transformação Perceptual Os sinais de entrada e saída sincronizados no tempo são introduzidos no modelo, e nivelados através da remoção da componente DC de cada sinal. Ambos os sinais são mapeados no domínio da freqüência e os frames de silêncio são detectados e removidos. A escala de potência é transformada (os frames são transformados logaritmicamente) numa escala de percepção de sonoridade. Etapa 2 Cálculo do Frequency Measuring Normalizing Blocks (FMNB) Os sinais de entrada e saída perceptualmente transformados são processos de entrada do FMNB. Os processos de saída de um FMNB são uma seleção de medidas diferenças integrada e um sinal de saída normalizado, descrito abaixo: Os sinais de entrada e saída perceptualmente transformados estão no domínio tempo-freqüência, ou seja, ambos são funções de tempo e freqüência. Estas funções dos sinais de entrada e saída são matematicamente integradas sobre a escala de tempo do sinal de entrada. O sinal de entrada integrado é subtraído do sinal de saída integrado. O resultado é uma função da freqüência (de um valor específico do tempo) que representa a diferença entre os sinais. A diferença medida acima é subtraída do sinal de saída (em diferentes freqüências), produzindo um sinal de saída normalizado. As parcelas positivas e negativas da medida das diferenças são matematicamente integradas sobre quatro bandas de freqüências da escala de Bark que contemplam a banda de telefonia. Os resultados são quatro medidas FMNB. 13

14 Etapa 3 Cálculo do Time Measuring Normalizing Blocks (TMNB) O sinal de entrada perceptualmente transformado e os de saída normalizados são processos de entrada do TMNB. A saída do processo do TMNB é uma seleção de medidas diferenças integradas, e o sinal de saída normalizado. TMNBs são computados através das diferentes faixas de freqüência, em iterações progressivas. Isto é descrito como segue: Os sinais de entrada e saída perceptualmente transformados estão no domínio tempo-freqüência, ou seja, ambos são funções de tempo e freqüência. Estas funções dos sinais de entrada e saída são matematicamente integradas sobre uma escala de freqüência do sinal de entrada. O sinal de entrada integrado é subtraído do sinal de saída integrado. O resultado é uma função do tempo (de um valor específico de freqüência) que representa a diferença entre os sinais. A diferença medida é subtraída de um sinal de saída (em diferentes tempos), produzindo um sinal de saída normalizado. As parcelas positivas e negativas da medida das diferenças são matematicamente integradas no tempo. Etapa 4 Geração do valor Auditory Distance Medidas linearmente independentes de TMNB e FMNB são combinadas, com fatores de ponderação, para gerar valores AD. Etapa 5 Mapeamento de valores Auditory Distance Uma função lógica mapeia valores AD numa faixa finita para prover correlação com valores de MOS. O desempenho do método MNB mostrou-se ligeiramente superior ao PSQM nos casos em que houve presença de erros nos arquivos de voz. Já nos casos em que havia ruído de ambiente, o PSQM mostrou o melhor desempenho. Mais importante, notou se que o método MNB mostrou excelentes resultados quando os arquivos de voz estavam gravados em inglês norte-americano. Porém, o método PSQM mostrou melhor consistência no caso de outros idiomas. Portanto, apesar de ambos os métodos, na média, apresentarem resultados parecidos, pode-se afirmar que o método MNB tem aplicação mais restrita que o método PSQM. 3.5 PESQ - Perceptual Evaluation of Speech Quality Um esboço colaborativo foi submetido a ITU em 2000 por John G. Beerends, Andries P. Hekstra do KPN Research, e por Anthony W. Rix e Mike Hollier da British Telecomunications e padronizado como recomendação P.862 [7]. Como PSQM e PAMS, o PESQ é ainda direcionado para sinais de banda estreita. É aplicável a sistemas com codecs (incluindo vocoders a baixas taxas), atraso variável, filtragem, perda de pacotes ou células e interrupções temporais. Os scores PESQ predizem scores de qualidade para testes de audição ACR. 14

15 O PESQ reúne as melhores características do PAMS e PSQM, combinando a técnica robusta de time-alignment do PAMS com o eficiente modelo perceptual do PSQM, e adiciona novos métodos incluindo equalização de função transferência e novo método para cálculo da média da distorção sobre o tempo. O PESQ apresenta precisão aceitável em seus resultados, quando a clareza da voz é afetada pelos seguintes processos ou parâmetros [9]: Codecs de forma de onda (por exemplo, G.711, G.726 e G.727); Codecs híbridos (a partir de 4kbps) incluindo aqueles de múltiplas taxas de transmissão (exemplos: G.728, G.729 e G.723.1); Transcodificações (conversão de um formato digital para outro); Erros no canal de transmissão; Efeitos da variação do atraso em testes apenas de escuta; Perda de pacotes/células; Ruído ambiente no lado transmissor; Taxa de transmissão nos casos de codecs com mais de um modo de operação; Deformações temporais do sinal de áudio. A figura 7 apresenta o processo PESQ detalhado. Figura 7 Processo PESQ Detalhado As características do sinal de entrada para o PESQ estão de acordo com aquelas para PAMS e PSQM. Amostras de sinais naturais podem ser usadas e devem seguir a recomendação P.830, amostras artificiais podem ser utilizadas, porém devem representar estruturas temporais e fonéticas da fala natural. Nas seções subseqüentes serão descritas as etapas do processo PESQ. Etapa 1 Pré-Processamento do Sinal Antes da análise do modelo perceptual, as seguintes operações são executadas: Level-Alignment Os sinais de entrada e saída são nivelados para levar em consideração os ganhos e perdas do sistema. Primeiramente os sinais são filtrados, então são calculados seus valores de potencia média, e finalmente ganhos são aplicados para alinhar ambos os sinais. Time-Alignment Os sinais de saída são deslocados no tempo para alinhamento com o sinal de entrada. Isto é executado em segmentos temporais individuais. Atraso durante a fala e o silêncio é levado em conta através do time-alignment. 15

16 Etapa 2 Modelagem Perceptual A modelagem perceptual transforma os sinais de entrada e saída em representações perceptíveis ao ser humano. Essa modelagem inclui mapeamento tempo-frequência (similar ao PSQM), alteração da freqüência (usando a escala modificada), e escalonamento de percepção de volume. A filtragem é aplicada para adequar os sinais às características da banda telefônica. Sendo assim as características do telefone não impactam as medidas PESQ. O mapeamento tempo-frequência, como no PSQM, usa uma FFT com tamanho de janela de 32ms, ou 256 amostras para taxas de amostragem de 8Kbps, para segmentar os sinais de entrada e saída em células individuais. A transformação de freqüência, usada para refletir a sensibilidade humana às freqüências, é uma transformação para uma escala de freqüência modificada, chamada de escala Bark. A transformação de intensidade é uma transformação do espectro de freqüência para uma escala de Sone de percepção de volume. O processo de modelagem perceptual produz representações dos sinais de entrada e saída que levam em consideração as sensibilidades perceptivas do ser humano. Etapa 3 Modelagem Cognitiva O processo de modelagem cognitiva é executado para calcular dois tipos de valores de distúrbios de ruído médio. Estes dois valores são combinados no final para produzir um score MOS. Diferença entre as células de entrada e saída para cada célula (mesmo conceito PSQM), uma diferença entre o sinal de saída e entrada é calculado. Uma diferença positiva indica que componentes, tais como ruído, foram adicionados. Uma diferença negativa indica omissão de componentes, por exemplo, devido à distorção de codificação ou perda de sinal. Mascaramento de Pequenas Distorções um limiar é aplicado aos níveis de distorção dentro de cada célula e uma escala correspondente ao distúrbio zero é realizada para mascarar os impactos de pequenas distorções que não são percebidas na presença de sinais altos. Processamento Assimétrico processamento assimétrico é realizado da mesma maneira do método PSQM, calculando o distúrbio assimétrico usando um fator de escala para aplicar diferentes pesos a distúrbios positivos e negativos. Distúrbio assimétrico é tal que apenas células com distúrbios positivos continuam. O segundo fator de escala que é parte do PSQM+ não é executado no PESQ. Os resultados são valores para distúrbios assimétricos, os quais são apenas para distúrbios positivos e distúrbios normais que incluem distúrbios positivos e negativos. Distúrbios em Frames distúrbios normais (não-assimétricos) e assimétricos são calculados e agregados em bandas de freqüências, resultando em distúrbios em frames. Detecção de Variação no Atraso desde o início do processo de time-alignment, o PESQ pode detectar variações no atraso e identifica quais frames estão envolvidos. Pequenos distúrbios em frames devidos a variação no atraso são cancelados para evitar falsos scores baixos. 16

17 Reavaliação no Time-Alignment outra reavaliação do time-alignment é executada para consecutivos distúrbios em frames a partir de um limiar. Se o alinhamento no tempo for determinado como ineficiente como resultado de grandes distúrbios de frames, o time-alignment é repetido e os distúrbios do frame são recalculados. Agregação dos Valores dos Distúrbios e Predição do MOS valores de distúrbio em frames e valores de distúrbio assimétrico são agregados sobre o tempo em níveis progressivos. Um score MOS é calculado como uma combinação linear do valor do distúrbio médio e o valor do distúrbio assimétrico médio. Como resultado deste cálculo um valor de MOS na faixa de 0,5 a 4,5 é obtido. Vários testes de validação têm sido realizados para determinar quão eficaz diferentes medidas objetivas de qualidade de fluxo de voz (PAMS, PSQM, PESQ, MNB) correlacionam-se com testes subjetivos (MOS). Cada medida objetiva é avaliada e tem seus resultados de medidas comparados com testes de resultados subjetivos. Estes testes produzem coeficientes de correlação que resultam numa ferramenta conveniente para comparação entre as diferentes metodologias de avaliação. Os resultados da Tabela mostram que o PESQ tem maior exatidão tendo maior correlação com os testes subjetivos [10]. Tabela Comparação das metodologias objetivas É importante notar que os resultados de cada metodologia objetiva variam de acordo com os diferentes tipos de rede, imperfeições do canal, etc. 3.6 E-Model O E-Model foi originalmente proposto pelo ETSI (European Telecomunications Standards Institute) e posteriormente padronizado pelo ITU-T (International Telecomunications Union-Telecommunications Standard Sector), através da Recomendação G.107. O E-model é uma ferramenta de planejamento de transmissão que fornece a predição da expectativa da qualidade de voz, percebida por um usuário típico de telefonia para uma conexão completa de telefone fim a fim sobre condições de conversação. O E-Model considera a grande variação de imperfeições da banda telefônica, em particular imperfeições devidas a baixas taxas de codecs, atrasos, perdas, distorções e ecos. Também pode ser aplicado para avaliar a qualidade de voz em cenários de redes cabeadas ou sem fio, em tecnologias baseadas em circuitos comutados ou comutação por pacotes [11]. O E-Model implementa um mecanismo baseado na soma de termos que representam distorções na qualidade da voz, tais como atrasos de transmissão, eco, distorções 17

18 introduzidas pelos equipamentos utilizados, entre outros fatores. O resultado do modelo é o fator escalar R, que varia de 0 (péssimo) a 100 (excelente), e que pode ser convertido para a escala de pontuação MOS através da seguinte expressão: Para R < 0 MOS = 1 Para 0 < R < 100 MOS = 1+ 0,035 R R (R-60) (100-R) Para R > 100 MOS = 4,5 Normalmente, o fator R é descrito em categorias de valores, tal como pode ser consultado na Tabela [12]. Tabela Valor de MOS estimado a partir do E-Model Sistemas cuja qualidade da fala seja avaliada em R 60 não são recomendáveis, sendo desejável obter R 70. O fator R é obtido pela seguinte fórmula: R = Ro Is Id Ie + A, onde: Ro - representa os efeitos da relação sinal-ruído (SNR); Is - representa as perdas simultâneas ao sinal de voz; Id - representa as perdas associadas ao atraso fim a fim; Ie - representa as perdas associadas ao equipamento utilizado; A - corresponde ao fator de vantagem, ou fator de expectativa. A Recomendação ITU-T G.107 apresenta as expressões matemáticas e os valores padrão para cada um dos tipos de ruído que afetam a SNR, resultando num valor padrão de Ro igual a 94,77. Entre as perdas que ocorrem mais ou menos simultaneamente ao sinal de voz, estão a queda na qualidade devida a uma conexão de volume demasiadamente alto, as perdas causadas pela interferência da própria voz do locutor sobre o fone de ouvido do mesmo headset que utiliza para falar e a distorção de quantização causada pela digitalização do sinal de voz. A Recomendação ITU-T G.107 também apresenta as expressões e os valores padrão para as perdas que contribuem na obtenção do fator Is, resultando num valor padrão de 1,41. O fator Id é determinado pela seguinte expressão: Id = Idte + Idle + Idd, onde: 18

19 Idte representa as perdas devidas ao eco no lado transmissor; Idle representa as perdas devidas ao eco no lado receptor; e Idd representa as perdas relacionadas ao atraso superior a 100 ms. O fator de perda Ie é um meio flexível de se computar a degradação da qualidade causada pelos codecs de alta complexidade e com baixa taxa de transmissão de bits. Seu valor para cada codec depende dos resultados de exaustivos testes de pontuação MOS sob diversas taxas de perdas de pacotes. O Apêndice I da Recomendação ITU-T G.113[13] fornece valores provisórios do Ie para alguns codecs sob condições de perdas aleatórias de pacotes e de perdas em rajada, conforme a tabela Tabela Valores provisórios do parâmetro Ie de alguns Codecs [13] O fator de vantagem A é empregado para definir o grau de tolerância que um usuário espera pela conveniência de utilização de uma determinada tecnologia. Segundo os valores provisórios apresentados na Recomendação ITU-T G.107, este fator varia de 0 (telefonia fixa) a 20 (localidades de difícil acesso que necessitam de enlace de satélite, por exemplo). Para a telefonia celular é recomendado o uso de A igual a 5 para redes indoor ou igual a 10 para redes geográficas. Para VoIP, a ITU-T G.107 recomenda este valor como 0. As principais vantagens do E-Model, em relação aos métodos perceptuais citados nas seções anteriores, são a capacidade de medição em tempo real, já que não há necessidade de comparação entre os sinais de referência e degradado, e a contabilização em separado de cada um dos fatores responsáveis pela degradação da qualidade da voz, como perdas, atraso fim a fim, distorções inerentes a codificadores de alta compressão, entre outros. Estas funcionalidades permitem a avaliação da origem e do grau de influência de cada um destes fatores separadamente, tornando o diagnóstico de problemas de transmissão mais precisos. 19

20 4. Conclusão Concluímos que os testes de avaliação subjetiva da qualidade de fluxo de voz representam fielmente a sensibilidade do usuário quanto à qualidade, porém estes apresentam baixa escalabilidade e custo elevado, nos obrigando a procurar métodos alternativos que nos auxiliem nesta avaliação. Os métodos subjetivos vão de encontro com esta necessidade, seja utilizando métodos perceptuais, que se baseiam nas características fisiológicas do ser humano, ou através do E-Model. Através de vários testes realizados foi verificado que entre os métodos de avaliação objetiva de qualidade de fluxo de voz baseados em modelos perceptuais, o PESQ apresenta maior índice de correlação, com os resultados de testes subjetivos, sendo o mais indicado, porém sua eficácia está também relacionada com a rede em avaliação. O E-model também apresenta grande aceitação devida a seu bom desempenho e apresenta maior eficiência em resolução de problemas por contabilizar em separado cada um dos fatores responsáveis pela degradação da qualidade da voz, como perdas, atraso fim a fim, distorções por codificadores, entre outros. 20

21 5. Bibliografia [1] ITU-T Recommendation P.800, Methods for subjective determination of transmission quality. Genève, Agosto [2] ITU T Recommendation P.830, Subjective performance assessment of telephoneband and wideband digital codecs. Genève, Fevereiro [3] ITU-T Recommendation G.107, The E-Model, a computational model for use in transmission planning. Genève, Março [4] Marcelo Nascimento dos Santos, Medidas de Qualidade de Voz Em Redes IP, Dissertação de Mestrado, Universidade Federal do Paraná UFPR, Curitiba [5] ITU-T Recommendation P.861, Objective quality measurement of telephone-band speech codecs. Genève [6] John Anderson, Methods for Measuring Perceptual Speech Quality, October, [7] Jayme Garcia Arnal Barbedo, Avaliação Objetiva de Qualidade de Codecs de Voz na Faixa de Telefonia. Dissertação de Mestrado, Unicamp, Campinas, [8] ITU-T Recommendation P.862, Perceptual evaluation of speech quality (PESQ): An objective method for end-to-end speech quality assessment of narrow-band telephone networks and speech codecs. Genève, [9] Arthur Callado, Gabriel Fernandes, Auristela Silva, Rodrigo Barbosa, Djamel Sadok e Judith Kelner, Construção de Redes de Voz sobre IP, Minicurso VoIP - SBRC Pará, [10] Júlio César Magro, Estudo da Qualidade de Voz em Redes IP. Dissertação de Mestrado, Unicamp, Campinas, Julho de [11] E-Model Tutorial, T/studygroups/com12/emodelv1/introduction.htm [12] Leandro Caetano Gonçalves Lustosa, Arquitetura de Monitoração de Qualidade de Chamadas Telefônicas IP - Dissertação de Mestrado, Universidade Federal do Rio de Janeiro UFRJ, Rio de Janeiro, [13] ITU-T Appendix I to Recommendation G.113 (01/07), Provisional planning values for the equipment impairment factor Ie and packet-loss robustness factor Bpl. 21