Normalização do locutor em Sistemas de Reconhecimento de Fala para Usuários Crianças

Transcrição

1 Normalização do locutor em Sistemas de Reconhecimento de Fala para Usuários Crianças Ramon Mayor Martins Instituto Nacional de Telecomunicações Santa Rita do Sapucaí, Brasil Carlos Alberto Ynoguti Instituto Nacional de Telecomunicações Santa Rita do Sapucaí, Brasil ABSTRACT The automatic speech recognition technology has reached the maturity, and is now being successfully used in various applications, such as call centers, machine control, dictation, mobile phone applications, among others. However, the performance of such systems drops dramatically when used with children speakers, mainly because they have been designed for adult voices. In this paper, we investigate the performance improvement provided by the Vocal Tract Length Normalization technique in this scenario. Our results show a 3.07 % error rate reduction for a system trained with adult speakers and tested with children speakers. Author Keywords Automatic speech recognition; speaker normalization; vocal tract length normalization; children speech recognition. ACM Classification Keywords H.5.2. User Interfaces: Voice I/O INTRODUÇÃO Nos últimos anos, um progresso significativo foi alcançado em Sistemas de Reconhecimento de Fala, e vários sistemas foram criados e implantados para numerosas aplicações. A maior parte desses esforços de pesquisas, entretanto, foi devotada ao desenvolvimento dos sistemas voltados a locutores adultos. Recentemente, uma crescente atenção vem sendo dada à área das tecnologias de reconhecimento de fala para crianças, em uma variedade de cenários de aplicação como: tutores leitores, aprendizado de língua estrangeira, jogos, sites educacionais, aplicativos para celulares, entre outros [4]. Neste cenário, o desafio é então elevar o desempenho dos sistemas compatíveis de reconhecimento de fala infantil aos mesmos níveis atingidos pelos sistemas que lidam com a fala adulta [9]. Os reconhecedores automático de fala são classificadores, que mapeiam um sinal acústico (a fala) em seu equivalente Paste the appropriate copyright statement here. ACM now supports three different copyright statements: ACM copyright: ACM holds the copyright on the work. This is the historical approach. License: The author(s) retain copyright, but ACM receives an exclusive publication license. Open Access: The author(s) wish to pay for the work to be open access. The additional fee must be paid to ACM. This text field is large enough to hold the appropriate release statement assuming it is single spaced. escrito. Para isso são treinados usando-se gravações de vários locutores, até que aprendam este mapeamento. Em geral, usam-se locutores adultos para este fim, e este é um dos fatores responsáveis pelo fraco desempenho do reconhecimento de fala para crianças: as variabilidades acústicas entre locutores adultos e locutores crianças. O trato vocal, também denominado tubo acústico, é uma característica intrínseca do locutor. Este possui diferentes formas e comprimentos para cada pessoa, resultando locuções com diferentes características acústicas [3]. A estratégia mais utilizada para mitigar essa variabilidade é a Normalização de Comprimento do Trato Vocal (VTLN, em inglês) também conhecida como Normalização de Locutor [10] que, a grosso modo, tenta fazer com que todos os locutores pareçam ter mais ou menos a mesma voz para os sistemas de reconhecimento, ou seja, tenta normalizar a voz de todos os locutores para a de um locutor médio. Esta técnica tem sido bem sucedida, e é atualmente incorporada em quase todos os sistemas de reconhecimento automático de fala. Como a maioria dos sistemas de reconhecimento automático foi treinada com locutores adultos, esta técnica seria bastante útil para aumentar seu desempenho para locutores crianças. Desta forma, a principal contribuição deste trabalho é a investigação do ganho em desempenho de um sistema de reconhecimento automático de fala de um sistema treinado com vozes de locutores adultos e utilizado por locutores crianças. O restante deste trabalho é organizado da seguinte maneira: no Capítulo II será apresentada a técnica de Normalização de Comprimento do Trato Vocal (VTLN). No Capítulo III será demonstrado o processo de busca do fator de escalonamento ótimo utilizando HMM proposto por [5]. No Capítulo IV será avaliado o sistema e apresentado os procedimentos para o reconhecimento do sistema utilizando o fator de escalonamento ótimo. No Capítulo V serão apresentados os Resultados Finais do sistema normalizado com os fatores de escalonamento ótimo encontrados pelo método HMM e comparado com a Baseline (sistema sem normalização) em variadas misturas gaussianas. Finalmente no Capítulo VI são feitas as conclusões acerca do desempenho entre os sistemas. RECONHECIMENTO AUTOMÁTICO DE FALA O processo de reconhecimento de fala consiste em mapear um sinal acústico, capturado por um transdutor (usualmente um microfone ou um telefone) em um conjunto de palavras. 1

2 As etapas para converter um sinal acústico, capturado por um microfone, em seu correspondente escrito são resumidamente mostradas no diagrama abaixo: produzir suavização da amplitude do sinal amostrado, nos extremos do segmento de análise, dando maior ênfase às amostras localizadas no centro da janela. Desta forma, têm-se uma superposição entre os dados de análise de 2 janelas adjacentes. Este processo é realizado através de uma janela de Hamming, como mostra a Figura 3: Figure 1. Diagrama em blocos de um sistema de reconhecimento de fala. Após a fala ser digitalizada, passa pelo módulo de extração de parâmetros, que tem a função de fazer uma representação paramétrica da fala, com o duplo objetivo de reduzir a quantidade de informação a ser processada, e a de fazer uma representação que facilite o processo de classificação [8]. Os parâmetros mais utilizados para este fim são os melcepstrais [2], que tentam reproduzir a forma como o ouvido humano percebe os sons. O módulo de reconhecimento compara o sinal de voz parametrizado com os modelos acústicos previamente treinados e decide qual foi a palavra pronunciada. Pode também fazer uso do modelo de linguagem (se houver) para melhorar a taxa de acertos. A maioria dos sistemas de reconhecimento de fala atuais usa modelos ocultos de Markov (Hidden Markov Models, HMM) ou redes neurais artificiais para esta tarefa. Neste trabalho, a proposta é alterar o módulo de extração de parâmetros para aumentar a taxa de acertos de um sistema treinado com locutores adultos e testado com locutores crianças. Na próxima seção este módulo será apresentado em maiores detalhes para fornecer o embasamento teórico necessário à compreensão da proposta deste trabalho. MÓDULO DE EXTRAÇÃO DE PARÂMETROS O processo de extração de parâmetros pode ser resumidamente descrito através do diagrama de blocos da Figura 2: Figure 2. Diagrama de blocos do processo de parametrização do sinal de voz. Inicialmente o sinal de voz é passado por um filtro de préênfase com função de transferência (1 0,97z 1 ), que tem por função equalizar o conteúdo de frequências [8]. Depois, os parâmetros são calculados utilizando-se janelas de 25 ms, atualizadas a cada 10 ms. Este janelamento tem como função Figure 3. O processo de janelamento do sinal de voz. O processo de análise mel-cepstral, mostrado na Figura 4, consiste dos seguintes passos: para cada janela é realizada a análise cepstral, que consiste inicialmente em calcular o quadrado do módulo da FFT das amostras pertencentes à janela de análise. Em seguida, filtra-se este sinal por um banco de filtros triangulares na escala Mel. Posteriormente, calcula-se o logaritmo da energia na saída dos filtros e, por fim, calculase a IDCT (Inverse Discrete Cosine Transform) sobre estes valores, obtendo-se os parâmetros desejados [2]. Figure 4. Diagrama de blocos utilizado no cálculo dos parâmetros melcepstrais utilizando banco de filtros. O banco de filtros triangulares tem por função discretizar o espectro de frequências de forma similar à maneira como o aparelho auditivo humano processa os sinais. As frequências centrais dos filtros variam linearmente até a frequência de 1 khz e, a partir daí,crescem exponencialmente com um fator de 21/5, como mostrado na Tabela 1. Uma forma de implementação do banco de filtros, na escala Mel, é através de um conjunto de filtros passa-faixa triangulares, onde o k-ésimo filtro é construído na frequência central f(k), com sua faixa se estendendo da frequência f(k 1) à frequênciaf(k+1), de modo quef(k+1) não ultrapassasse fs/2. Na Figura 5 tem-se um exemplo de como seriam estes filtros para um sinal amostrado a 8 khz. Note que neste caso, seriam necessários 19 filtros. NORMALIZAÇÃO DE COMPRIMENTO DO TRATO VOCAL (VTLN) 2

3 Filtro Freq. Central (Hz) Filtro Freq. Central (Hz) Table 1. Frequências centrais dos filtros na escala mel. Figure 6. Efeito do valor de α na compressão ou expansão do banco de filtros mel. Figure 5. Banco de filtros na escala mel para uma frequência de amostragem de 8 khz Hz. O processo de normalização dos locutores é representado pela transformação dos parâmetros acústicos da fala. Essa transformação é executada por funções de escalonamento que buscam estimar a posição dos formantes de cada locutor para então minimizar as diferenças destes em relação a um locutor médio. As funções de escalonamento são obtidas através da compressão ou ampliação do espectro da fala [10]. Este processo é descrito em detalhes na seção a seguir. Transformação de Parâmetros Esta transformação dos parâmetros acústicos do sinal de fala é obtida através do escalonamento do eixo de frequências do banco de filtros mel através de um fator α, que representada a razão entre o comprimento do trato vocal do locutor sendo analisado e o comprimento do trato vocal utilizado como referência [5]. Ao final deste processo tem-se um novo banco de filtros, com frequências escalonadas segundo (1) onde: f: frequência original na escala Mel; α: fator de distorção; f = f β (1) β = 1/α: fator de escalonamento em frequência; f : frequência escalonada. Dependendo do fator de escalonamento utilizado, estas frequências podem ser expandidas (α < 1) ou comprimidas (α > 1), como mostra a Figura 6. Desta forma o objetivo da normalização de locutor é encontrar um valor de α que faça com que a saída do extrator de parâmetros seja semelhante ao de um locutor médio, para uma dada sentença. Vale comentar que locutores com trato vocal menor que o do locutor de referência (crianças, por exemplo) terão um valor ótimo de α menor que 1, enquanto que locutores com trato vocal maior que o do locutor de referência terão um valor ótimo de α maior que 1. A forma de escolher este fator de escalonamento é detalhada a seguir. Escolha do Fator Ótimo de Escalonamento O fator ótimo de escalonamento é aquele que maximiza a probabilidade de um conjunto de características acústicas de um determinado locutor em relação a um modelo acústico de referência [5]: onde: ˆα i = argmaxp (Xi α λ,w i ) (2) α X α i = { X α i,1,xα i,2,...,xα i,n} : é o conjunto de características acústicas de todas as N locuções do locutor i, escalonado deα. W i = {W i,1,w i,2,...,w i,n }: é o conjunto de transcrições de todas as N locuções associadas a um dado locutori. λ: é o modelo de referência. Com a métrica estabelecida em (2), a escolha pelo valor ótimo deαérealizada por meio de varredura em uma faixa de valores. Para sistemas treinados com homens e testados com crianças, o fator de escalonamento médio é de α = 0.70, que corresponde à razão (12/19), que é a razão entre o tamanho médio 3

4 treino teste homens muheres meninos meninas Table 2. Distribuição dos locutores de treinamento e teste para a base TIDIGITS. do comprimento vocal dos locutores crianças (12 cm) pelo comprimento médio do trato vocal dos locutores homens (19 cm) [10]. Desta forma, neste trabalho optou-se por fazer o processo de busca no intervalo de α [0,70;1,12], com passo de 0,02, onde o extremo superior do intervalo foi sugerido por [5]. APARATO EXPERIMENTAL Base de dados Para os testes foi utilizada a base de dados TIDIGITS [7]. O corpus foi coletado a uma taxa de amostragem de 20 khz, com uma resolução de 16 bits, em um ambiente com baixo ruído ambiental. Para estes testes as gravações tiveram suas frequências de amostragem abaixadas para 8 khz. Nesta base de dados há 326 locutores (111 homens, 114 mulheres, 50 meninos e 51 meninas), dividido em subconjuntos de treinamento e teste, conforme a Tabela 2 abaixo: Cada locutor desta base de dados registrou 77 gravações, divididas da seguinte maneira: 11 dígitos isolados (zero, oh, one, two, three, four, five, six, seven, eight and nine), cada um deles repetidos duas vezes; 11 sequências of 2, 3, 4, 5 e 7 dígitos O sinal de voz foi parametrizado por meio de 13 coeficientes mel-cepstrais, usando janelas de 25 ms, atualizadas a cada 10 ms. Um filtro de pré-ênfase com função de transferência (1 0.97z 1 ) e uma janela de Hamming foram aplicados ao sinal antes do cálculo dos parâmetros. Também a primeira e a sgunda derivadas destes parâmetros acústicos foram utilizadas, gerando vetores acústicos de dimensão 39. Sistema de reconhecimento de fala A suíte HTK [6], desenvolvida nauniversidade de Cambridge, e largamente utilizada nas pesquisas em reconhecimento de fala foi utilizada neste trabalho. Cada um dos dígitos foi modelado como uma concatenação de subunidades fonéticas, retiradas do dicionário fonético ARPAbet [1], e modeladas através de um HMM de 5 estados com arquitetura left-right (sendo que o primeiro e o último estado são não emissores). O htk também foi utilizado para fornecer as métricas (2). RESULTADOS EXPERIMENTAIS O cenário que se quer testar é o de um sistema de reconhecimento de fala treinado por locutores adultos e utilizado por locutores crianças, e medir a melhoria que a técnica de normalização de locutor pode fornecer a tal sistema. Tendo em vista que as aplicações envolvendo locutores crianças podem ir desde sistemas de aprendizado rodando em computadores pessoais (com grandes recursos disponíveis) a brinquedos movidos à pilha (com uma quantidade bastante limitada de recursos), foram realizados vários testes variandose o número de gaussianas nas misturas do HMM, para obter uma visão mais ampla do efeito da normalização. Testes iniciais Inicialmente treinou-se um sistema com os locutores adultos de ambos os sexos da base de treinamento e realizou-se um teste com os locutores crianças de teste, e os resultados podem ser vistos na curva superior da Figura 7. Nesta, WER (Word Error Rate) refere-se à taxa de erro de palavras, que é calculada como a razão entre o número de erros de reconhecimento e o número de palavras na sentença. Testes com normalização de locutor Em um segundo teste, as locuções dos locutores crianças passaram pelo processo de normalização antes de serem apresentados ao sistema de reconhecimento, cada qual com o respectivo valor ótimo para o coeficiente α, e os resultados são mostrados na na curva inferior da Figura 7. WER (%) Referência 7.28 Normalizado número de gaussianas Figure 7. Comportamento da curva da taxa de erro WER% o sistema de referência e o sistema normalizado, para diferentes números de gaussianas na mistura. ANÁLISE DOS RESULTADOS Analisando-se as curvas da Figura 7 pode-se observar que o processo de normalização de locutor leva a uma diminuição na taxa de erros. O ganho máximo foi de 3.86% para o sistema com 4 gaussianas, enquanto que o ganho mínimo foi de 2,81% para o sistema com 1 gaussiana. O ganho médio foi de 3,34%. O melhor desempenho foi alcançado com 64 gaussianas, quando o sistema normalizado apresentou uma taxa de erro de palavras de 1,88%, o que é um resultado muito bom, tendo em vista que trata-se de uma adaptação de um sistema treinado para adultos e utilizado por crianças. CONCLUSÕES Neste trabalho mostramos que é possível aumentar o desempenho de sistemas de reconhecimento automático de fala treinados com locutores adultos para uso com locutores crianças, usando a técnica de normalização de locutor. 4

5 O ganho médio obtido com tal procedimento é de 3,34% na taxa de erros de palavras, se compararmos um sistema adaptado com um sistema não adaptado, sendo que é possível alcançar uma taxa de erro de palavras de 1,88% em um cenário de reconhecimento de dígitos conectados, o que é um resultado muito bom, quando se compara aos resultados obtidos na literatura. Desse modo o método descrito nesse trabalho faculta sua aplicação em diversas áreas que visam a interação criançamáquina, como por exemplo, Sistemas de Reconhecimento de Fala embarcados em brinquedos, aplicativos para celulares, sites educacionais, entre outras aplicações. AGRADECIMENTOS Os autores gostariam de agradecer à Capes e à Fapemig pelo financiamento parcial desta pesquisa. REFERENCES 1. The cmu pronouncing dictionary Davis, S., and Mermelstein, P. Comparison of Parametric Representations for Monosyllabic Word Recognition in Continuously Spoken Sentences. IEEE Trans. Acoust., Speech, Signal Processing 28, 4 (1980), Deller Jr., J. R., Proakis, J. G., and Hansen, J. Discrete time processing of speech signals. MacMillan Publishing Company, Gerosa, M., Giuliani, D., Narayanan, S., and Potaminos, A. A review of asr technologies for children. In Proc. 2nd. Workshop on Child, Computer and Interaction (2009), Lee, L., and Rose, R. A Frequency Warping Approach to Speaker Normalization. IEEE Trans. Speech Audio Processing 6, 1 (1998), Leonard, R. G., and Doddington, G. Hidden markov model toolkit Leonard, R. G., and Doddington, G. Tidigits, Rabiner, L., and Juang, B.-H. Fundamentals of Speech Recognition. Prentice Hal, Russell, M., and D arcy, S. Challenges for computer recognition of children s speech. In Proc.of SLaTE (2007), Umesh, S., and Sanand, D. R. VTLN Using Analytically Determined Linear-Transformation on Conventional MFCC. IEEE Trans. Speech Audio Language Processing 20, 5 (2012),