Novos Recursos e Utilização de Adaptação de Locutor no Desenvolvimento de um Sistema de Reconhecimento de Voz para o Português Brasileiro

Transcrição

1 Novos Recursos e Utilização de Adaptação de Locutor no Desenvolvimento de um Sistema de Reconhecimento de Voz para o Português Brasileiro Patrick Silva Nelson Neto Aldebaro Klautau Simpósio Brasileiro de Telecomunicações / 23

2 1 Introdução Motivação Objetivos Contribuições 2 Dicionário Fonético Corpus de Texto Corpora de voz 3 Reconhecimento Automático de Voz Adaptação de Locutor 4 Características dos experimentos 5 2 / 23

3 Motivação Introdução Motivação Objetivos Contribuições Universidades e centros de pesquisa buscam soluções para problemas práticos na tarefa de reconhecimento automático de voz Dados para treino dos modelos acústicos e de linguagem. O Inglês possui diversos corpora de referência: TIMIT, WSJ e Switchboard. Corpora brasileiros: Spoltech, OGI-22, Westpoint, etc. Problema do descasamento acústico quando se utiliza corpora com características acústicas diferentes. 3 / 23

4 Objetivos Introdução Motivação Objetivos Contribuições Este trabalho é fruto da continuação de trabalhos anteriores. Em trabalhos anteriores o sistema se limitava a um reconhecimento controlado (treino e teste com características acústicas semelhantes) O trabalho atual possui o objetivo de criar um sistema apto a trabalhar em condições de descasamento acústico entre os corpora de treino e teste. Simular situações de reconhecimento em tempo real. 4 / 23

5 Contribuições Introdução Motivação Objetivos Contribuições Recursos desenvolvidos e disponibilizados: Corpus de texto baseado em extração automática de textos de jornais da internet. Corpus de voz baseado em audiobooks. Corpus para avaliação de desempenho de sistemas LVCSR. Modelos Acústicos e de Linguagem. Uso de adaptação de locutor para diminuir o impacto do descasamento acústico, escassez de voz digitalizada e/ou uso de poucos locutores. 5 / 23

6 Dicionário Fonético Dicionário Fonético Corpus de Texto Corpora de voz Produzido a partir de um software de conversão G2P (Grapheme To Phoneme). Conversor baseados em regras fonológicas (treinamento desnecessário). Utiliza o alfabeto fonético SAMPA com 38 fones. dicionário fonético com mais de 64 mil palavras. 6 / 23

7 LapsNews Introdução Dicionário Fonético Corpus de Texto Corpora de voz Modelos de Linguagem necessitam de grandes quantidades de texto no treino. Corpus CETENFolha (Corpus de Extratos de Textos Eletrônicos NILC/Folha de S. Paulo) - 1,6 milhões de frases. LapsNews: Utiliza a técnica de crawnling de textos de jornais da internet. Processo automatizado e diário de coleta e formatação. Atualmente com 512 mil frases. 7 / 23

8 LapsStory Introdução Dicionário Fonético Corpus de Texto Corpora de voz Dificuldades encontradas para se produzir grandes corpora: coleta de dados (voz) e transcrição ortográfica. Construção de um corpus de voz baseado em audiobooks. Audiobooks: livros/textos falados disponíveis na internet. Grandes quantidades de dados (voz) com boa qualidade. Transcrição ortográfica obtido dos livros/textos originais. LapsStory: Inicialmente composto por 5 livros. Arquivos de no máximo 30 segundos em Hz com 16 bits. Ambiente de gravação bastante controlado (sem ruído). Os livros totalizam mais de 5 horas de voz. O corpus já foi expandido e atualmente conta com 14 horas de voz. 8 / 23

9 LapsBenchMark Introdução Dicionário Fonético Corpus de Texto Corpora de voz Construído especificamente para avaliação de desempenho de sistemas LVCSR. Possibilita a comparação de resultados com outros grupos de pesquisas. Características: Condições de gravação equivalentes as de operação de um sistema de reconhecimento em tempo real (ex: ruído ambiente de um escritório). Atualmente com 35 locutores - 25 Homens e 10 mulheres. Para cada locutor foram selecionadas 20 frases do CETENFolha (sem repetição). Totaliza 700 frases que correspondem a 54 minutos. Precisa ter seu tamanho consideravelmente aumentado para ser utilizado plenamente na realização de experimentos considerados como LVCSR. 9 / 23

10 Spoltech Introdução Dicionário Fonético Corpus de Texto Corpora de voz Corpus para o PB desenvolvido pela UCS, UFRGS e OGI Consiste de gravações de 477 locutores de várias regiões do Brasil. Características: arquivos de voz (WAV, 44 KHz) Ambiente de gravação não controlado Seleção dos arquivos WAV considerados em boa qualidade (7.198 arquivos) Correção dos TXTs e criação dos inexistentes. Totaliza 4,3 horas de voz. 10 / 23

11 Reconhecimento Automático de Voz Reconhecimento Automático de Voz Adaptação de Locutor Reconhecimento Automático de Voz (RAV) blocosrav LVCSR - Large Vocabulary Continuos Speech Recognition 11 / 23

12 Modelo Acústico (MA) Reconhecimento Automático de Voz Adaptação de Locutor Cadeias Escondidas de Markov (HMMs - Hidden Markov Models) HTK - toolkit para manipulação de modelos ocultos de Markov. Front-End: MFCC s (Mel-Frequency Cepstral Coefficients) Janela de 25 ms com 10 ms de deslocamento. 12 primeiros coeficientes ceptrais + energia do sinal + 1a e 2a derivada. Totalizando 39 parâmetros. Normalização da média cepstral (cepstral mean subtraction) janelamento 12 / 23

13 Construção do Modelo Acústico Reconhecimento Automático de Voz Adaptação de Locutor treinoma Características do Modelo Acústico: Trifones dependentes de contexto (cross-word triphones). Vínculo de estados através de árvore de decisão fonética. 14 gaussianas por mistura. 13 / 23

14 Modelo de Linguagem Reconhecimento Automático de Voz Adaptação de Locutor Modelos de Linguagem N-grama. SRILM (SRI Language Modeling Toolkit) - ferramenta específica para construção e manipulação de modelos estatísticos de linguagem. Conjunto de treino: frases extraídas dos corpora: CETENFolha, Spoltech, OGI-22 Language, WestPoint, LapsStory e LapsNews1.0. Tabela: Características dos modelos de linguagem utilizados. Número de frases usadas no treino Número de palavras usadas no treino Número de palavras distintas Perplexidade - Trigrama Perplexidade - 4-grama Técnica de suaviação Kneser-Ney discounting 14 / 23

15 MLLR e MAP Introdução Reconhecimento Automático de Voz Adaptação de Locutor Modelos dependentes de locutor apresentam melhor desempenho. MLLR (Maximum Likelihood Linear Regression) - busca diminuir as diferenças entre o modelo inicial e os dados de adaptação através de transformações lineares. MAP (Maximum a Posteriori) - as distribuições iniciais dos modelos independente de locutor representam o conhecimento a priori e são atualizadas através da regra de Bayes para se alcançar o novo modelo. Para realizar a adaptação foi utilizado o HTK com treino supervisionado (offline). 15 / 23

16 Modelos Utilizados Características dos experimentos Modelos de Linguagem: trigrama e 4-grama. Modelos Acústicos: Spoltech. LapsStory. Spoltech+LapsStory (Normalizados) As medidas de desempenho utilizadas: WER (word error rate) Escala de tempo real - RT (real-time scale factor). Decodificador HDecode do HTK. 16 / 23

17 Parâmetros do decodificador Características dos experimentos Tabela: Parâmetros utilizados para decodificação. word insertion penalty 22 LM scale factor 20 pruning beam width 250 acoustic scale factor 1.0 e 2.0 Todos os testes foram realizados com o LapsBenchmark. Busca-se simular e avaliar como o sistema se comportaria em aplicações com descasamento acústico. 17 / 23

18 Introdução Características dos experimentos Modelos Acústicos WER (%) RT Spoltech LapsStory LapsStory+Spoltech 40 9 MA s com peso 2.0 WER (%) RT Spoltech LapsStory LapsStory+Spoltech / 23

19 Adaptação de Locutor Características dos experimentos O Modelo Acústico de Spoltech apresentou melhores resultados. LapsStory possui poucos locutores e pouco ruído. Utilizou-se o modelo acústico do LapsStory e adaptou-se com o corpus Spoltech. 19 / 23

20 Características dos experimentos utilizando técnicas de Adaptação Tabela: obtidos com as técnicas de adaptação de locutor. Técnica de adaptação WER (%) RT Spoltech (34.8) MLLR MAP MLLR+MAP MA s com peso 2.0 WER (%) RT Spoltech (44.3) MLLR MAP MLLR+MAP / 23

21 Rescoring com 4-gramas Características dos experimentos Melhor resultados obtido: MLLR+MAP com peso 2.0 (29.6% de WER com 2.4 de RT). Para adicionar alguma melhora ao sistema utilizou-se do procedimento de rescoring utilizando o modelo de linguagem 4-grama. Para cada arquivo de entrada foi gerado uma lattice (rede) contendo os 20 melhores candidatos. Utilizou-se o modelo de linguagem 4-grama para recalcular os scores e encontrar o melhor candidato. Obteve-se uma melhora absoluta de 0.8%, alcançando-se 28.8% de WER. 21 / 23

22 Introdução Foram apresentados novos recursos para pesquisa em sistemas LVCSR em Português Brasileiro. O LapsStory mostrou-se relativamente eficiente para a construção de modelos acústicos quando combinado com técnicas de adaptação de locutor. O LapsBenchMark pode ser utilizado para teste e comparação de sistemas LVCSR. Técnicas de adaptação de locutor podem ser utilizadas na resolução de problemas de descasamento acústico. 22 / 23

23 Trabalhos Futuros Introdução Em desenvolvimento: Expansão do corpus LapsStory para 50 horas. Expansão do LapsNews e LapsBenchMark. Criação de modelos acústicos dependentes de gênero. Construção do engine LapSapi: Baseado no decodificador Julius. Suporte a gramáticas e grandes vocabulários. SAPI Compliant. Todos os recursos desenvolvidos estão disponíveis em: thanks 23 / 23