Instituto de Tecnologia de Massachusetts Departamento de Engenharia Elétrica e Ciência da Computação. Tarefa 6 Modelamento da Línguagem

Transcrição

1 Instituto de Tecnologia de Massachusetts Departamento de Engenharia Elétrica e Ciência da Computação Reconhecimento Automático da Voz Primavera, 2003 Publicado: 14/03/03 Devolução: 02/04/03 Tarefa 6 Modelamento da Línguagem Introdução O obetivo deste laboratório é melhorar a compreensão do modelamento da linguagem. O laboratório permite ser familiarizar com os aspectos do modelamento n-grama, usando ferramentas do kit de reconhecimento de voz SUMMIT. Este laboratório e o lab 9 ( Reconhecimento Automático de Voz Baseado em Segmentos) audará a você aprender os procedimentos envolvidos na construção dos vários componentes do SUMMIT. Estas habilidades serão úteis depois quando estiver montando um reconhecedor básico para seus experimentos do seu proeto final. Usaremos dados do domínio Pegasus que contém questões sobre informações de chegada e saída de vôos. Como nos laboratórios anteriores, as tarefas (marcadas por T s) devem ser completadas durante o laboratório. As questões (marcadas por Q s) devem ser entregues na data marcada. Parte I: Modelamento de Linguagem N-Grama Introdução Nesta parte do laboratório, exercitaremos ( treinaremos) e avaliaremos vários modelos de linguagem n-grama estatísticos. Em particular, faremos o seguinte: Modelo de linguagem n-gram para exercício de palavras, Modelo de linguagem n-gram para exercício de classes, e Medida da perplexidade ( indecisão) do modelo de linguagem no exercício e desenvolvimento de dados. Software Usaremos um conunto de programas que untos constituem o sistema de reconhecimento SUMMIT. Usaremos a versão 3.7 do sistema que é especificado para configurar o ambiente variável SLS_HOME para /usr/sls/sls/v3.7. Note que isto é feito automaticamente no arquivo.cshrc da contagem de classe.

2 Uma lista descritiva dos programas utilizados no laboratório é dada no apêndice SUMMIT Tools no final do folheto. Favor olhar a descrição do programa antes de começar este laboratório. Iniciando Para iniciar este laboratório, digite o seguinte comando no prompt do UNIX: % start_lab6.cmd Isto criará um novo subdiretório na sua raiz chamado lab6 e irá preenchê-lo com um conunto de arquivos necessário para este laboratório. Estes arquivos contêm dados, modelos, e especificações de parâmetros usados durante o laboratório. A descrição destes arquivos pode ser encontrada no apêndice SUMMIT Files no final do folheto. Faça este laboratório dentro do diretório lab6. Modelo de linguagem Palavra n-grama Para exercitar um modelo de linguagem palavra n-grama estatístico, precisaremos especificar a lista de palavras do vocabulário e um conunto de nível de palavras ou transcrições ortográficas de sentenças de treino. O arquivo, pegasus.vocab, contém todas as palavras do vocabulário, classificadas em ordem alfabética. Contém também: 1. marcador de fronteira da sentença, <>*, 2. palavra desconhecida, <unknown>*, 3. <pause1> que aparece no início da sentença, 4. <pause2> que aparece no final da sentença. Você estará treinando os modelos de linguagem usando sentenças de treino do arquivo pegasus.sents e avaliando estes modelos em sentenças desenvolvidas em dev.sents. T1: Crie um arquivo de palavras (.wlex) do arquivo de vocabulário pegasus.vocab usando o programa wlex_create como segue: % wlex_create -in pegasus.vocab -out pegasus.wlex Utilize o programa ngram_create para exercitar um modelo de linguagem bigrama uniforme como segue: % ngram_create -wlex pegasus.wlex -in pegasus.sents \ -n 2 -out pegasus.bigram \ -set_log_prob Teste um modelo de linguagem trigrama uniforme como segue: % ngram_create -wlex pegasus.wlex -in pegasus.sents \

3 -n 3 -out pegasus.trigram \ -set_log_prob A opção set_log_prob especifica os parâmetros para o seu modelo de linguagem. O primeiro número é K que controla o parâmetro de interpolação λ: c( hi ) λ = (1) c( hi ) + K O segundo número determina a contagem mínima de sinais usados no unigram. O terceiro número especifica se a palavra <unknown> será ignorada. Decidimos incluí-la no nosso caso, e portanto a probabilidade da palavra <unknown> será maior que zero. Todas as opções podem ser vistas untamente com a explicação do seu significado digitando: % ngram_create -help Perplexidade Um modo quantitativo para avaliar um modelo de linguagem é calcular uma medida teórica da informação, a perplexidade, do modelo em um novo conunto de sentenças. O programa ngram_perplexity pode ser usado para fazer isto. T2: Meça a perplexidade dos modelos bigrama e trigrama no conunto de desenvolvimento de sentenças (dev.sents). Por exemplo, para calcular a perplexidade do modelo de linguagem palavra trigrama, pode fazer: % ngram_perplexity -ngram pegasus.trigram -in dev.sents Tente vários valores para o parâmetro de suavização ( o que fornece uniformidade ) para o modelo trigrama através da alteração do primeiro argumento de set_log_prob em ngram_create. Encontre um parâmetro de suavizaçãp que possa reduzir a perplexidade do conunto de desenvolvimento dos n-gramas de base. Q1: (a) Apresente o gráfico da perplexidade (em dev.sents) versus o parâmetro de suavização para os modelos bigrama e trigrama. (b) Como as medidas da perplexidade dos modelos trigrama e bigrama se comparam? Qual é o melhor modelo? (c) Como a uniformidade( suavização) afeta a perplexidade no desenvolvimento de sentenças? T3: Podemos também desconsiderar as pausas no início e no final das sentenças como segue:

4 % ngram_perplexity -ngram pegasus.trigram -in dev.sents \-discount_pauses E podemos avaliar a probabilidade e perplexidade de cada seqüência de palavras usando ngram_print_sentence_score. Você pode especificar qualquer seqüência de palavras na saída e ele calculará as probabilidades baseadas em um n-grama específico. Note que estes cálculos são feitos usando o logaritmo natural. Por exemplo, digite o seguinte: % ngram_print_sentence_score -ngram pegasus.bigram \ "<pause1>" what flights "<pause2>" Q2: (a) O que acontece com a medida de perplexidade quando ignoramos as pausas no início e no final da sentença? (b) Utilizando ngram_print_sentence_score, observe que o log da probabildiade de iniciando com <pause1> não é exatamente zero e a probabilidade da terminação com <pause2> também não é zero. Explique o por quê? T4: Podemos também produzir sentenças, reordenando-as de acordo com suas probabilidades com as seguintes opções: % ngram_perplexity -ngram pegasus.bigram -in dev.sents \-out out.sents Examine o arquivo out.sents que contém as sentenças de dev.sents mas em ordem de probabilidade. Também usando ngram_print_sentence_score, tente várias seqüências de palavras. Você deve adquirir uma noção dos tipos de seqüências de palavras que o modelo de linguagem favorece (ambos bigram e trigram). Q3: (a) Qual tipo de sentenças ou seqüências de palavras o modelo de linguagem prediz melhor? (b) Qual o tipo de sentença ou seqüência de palavras que eles predizem pior? Modelos de Linguagem Classe n-grama Nas situações onde os dados de treino não são tão importantes para as palavras individuais, podemos querer mapear conunto de palavras em classes equivalentes para reduzir o número de palavras diferentes no vocabulário, desse modo reduzindo o número de parâmetros que tem de ser estimados. Classes podem ser criadas manualmente ou automaticamente. Tipicamente as palavras em uma classe são relacionadas umas com as outras de algum modo significativo. As equivalências Sintáticas e Semânticas são as escolhas mais populares. Um exemplo de um arquivo de classe de palavras úteis é pegasus.rules. T5. Examine os mapeamentos de classes de palavras especificados no arquivo pegasus.rules.

5 Para treinar uma classe no modelo de linguagem n-gram, primeiro precisaremos criar um arquivo com a gramática livre do contexto (.cfg) a partir desta classe utilizando cfg_create como se segue: % cfg_create -rules pegasus.rules \-wlex pegasus.wlex -out pegasus.cfg Depois, podemos utilizar o programa ngram_create para treinar modelos de linguagem bigrama e trigrama uniformes da seguinte maneira : % ngram_create -cfg pegasus.cfg -in pegasus.sents \ -n 2 -out pegasus.class_bigram \ -set_log_prob % ngram_create -cfg pegasus.cfg -in pegasus.sents \ -n 3 -out pegasus.class_trigram \ -set_log_prob Q4: (a) Quantas classes diferentes são definidas no arquivo pegasus.rules? (b) Como os número de n-gramas únicos( quantidade de n-gramas que ocorrem uma única vez) mudam para diferentes n nos modelos n-gram criados em T1? (c) De que maneira estes números se comparam com aqueles nos modelos da classe n-gram em T5? Use a ferramenta ngram_tool para visualizar o conteúdo do arquivo do modelo de linguagem. Por exemplo, % ngram_tool -in pegasus.class_bigram T6: Agora ao invés de usar as classes de palavras, vamos dar uma olhada nas classes a nível de frase. Estas regras operam em diferentes níveis. Foi fornecido para você um conunto de regras bastante simples para a classe de frases em pegasuss_phase.rules e você agora esta sendo solicitado para produzir algumas outras regras para melhorar ainda mais a preplexidade no conunto de desenvolvimento. Primeiro, vamos criar uma gramática livre do contexto a partir do conunto de regras: % cfg_create -rules pegasus_phrase.rules \ -wlex pegasus.wlex -out pegasus_phrase.cfg Examinaremos o efeito destas regras usando a função cfg_reduce_sentences. Esta função irá capturar um arquivo de sentenças e imprimir como as regras foram utilizadas na analise destas sentenças. Execute o que segue e examine o arquivo de saída out.sents. % cfg_reduce_sentences -cfg pegasus_phrase.cfg -sents dev.sents \ -out out.sents -detail 0

6 Observe que no out.sents algumas palavras foram substituídas por seus nomes de classes. Execute a função novamente com o argumento 2 para detail. Você encontrará diferentes níveis de regras impressas em detalhes. Use, agora, esta gramática para exercitar um bigram e um trigram. Q5: (a) Quantas classes diferentes são definidas no arquivo pegasus_phases.rules? (b) De que maneira se comparam os números de n-gram únicos no T6 com aqueles do T5 e do T1? T7: Agora examine a perplexidade dos modelos de linguagem, classes de palavras e classes de frases no conunto de desenvolvimento, dev.sents. Q6: De que maneira se compara a perplexidade dos modelos das classe de palavras com os modelos das classes de frases? Quail modelo é o melhore? Q7: O cfg_reduce_sentences poderá ser útil para estes exercícios. (a)você pode criar classes adicionais de palavras para reduzir a perplexidade em dev.sem? Use novamente seu modelo de linguagem em pegasus.sents e calcule a perplexidade nas sentenças em dev.sents. (b)faça a mesma coisa para as regras da classe de frases. Você pode criar classes de frases adicionais para reduzir a perplexidade em dev.sents? Use os modelos novamente e calcule a perplexidade. Geração de Sentença Aleatória Outro modo de ter uma pecepção qualitativa de quão bem o modelo de linguagem esta trabalhando é através da geração aleatória de sentenças em um modelo de linguagem treinado e ver se algumas delas faz sentido. O programa ngram_create_random_sentences pode ser utilizado para esta finalidade. T8: Use o programa ngram_create_random_sentences para gerar 10 sentenças aleatórias a partir do modelo bigrama bigram, pegasus.bigram, como se segue: % ngram_create_random_sentences -ngram pegasus.bigram -num 10 Faça o mesmo procedimento com o modelo trigrama, pegasus.trigram. Examine as sentenças. Q8: Com base nas analises das sentenças geradas, qual modelo de linguagem é melhor, o bigrama ou o trigrama? Por quê?

7 Parte II: Interpolação N-grama com Maximização da Expectativa Nesta parte, compararemos o método simples de interpolação baseado em contagem usado acima com um método de interpolação que se baseia no uso do algoritmo de maximização da expectativa (EM) nos dados mantidos fora da contagem (estes dados formam uma partição do conunto total de treinamento que não são utilizados na contagem, este conunto em inglês é denominado held-out). Este algoritmo começa com um valor inicial para λ (usualmente 0,5), e iterativamente re-estima seu valor para melhorar a probabilidade em alguns dados do held-out. No sistema SUMMIT, estimamos o λ começando com a menor ordem n-grama e aumentamos até o n-grama deseado. Por exemplo, supondo que temos estimado as probabilidades de unigramas, usamos a seguinte formula para estimar a probabilidade do bigrama: P ( w w ) ( 1 λ ) P ( w w ) + λ P ( w ) = (2) 2 1 w1 2 1 w1 Onde P(w 2 w 1 ) é a probabilidade não interpolada do bigrama,enquanto que a P ( w w 2 1) é a interpolada. Note que esta notação é um pouco diferente da que foi vista em aula: λ é usado para o pesar o unigrama, enquanto que o (1-λ) é usado para pesar o bigrama. O dado do held-out é obtido através do procedimento Leave-One-Out ( deixe um fora) a nível de simbolo ( palavra) no n-gram. Para estimar a probabilidade do n-grama de um símbolo particular, descontaremos o símbolo da probabilidade calculada e o usaremos como um símbolo do held-out. T9: Use o programa ngram_create para exercitar um modelo de linguagem bigrama EM uniforme : 2 % ngram_create -wlex pegasus.wlex -in pegasus.sents \ -n 2 -out pegasus.em_bigram \ -em_log_prob 0 Para exercitar um modelo de linguagem trigrama EM uniforme faça : % ngram_create -wlex pegasus.wlex -in pegasus.sents \ -n 3 -out pegasus.em_trigram \ -em_log_prob 0 Q9: (a) Qual a perplexidade em dev.sents usando o bigrama EM uniforme? (b) Qual a perplexidade em dev.sents usando o trigrama EM uniforme? c)como o EM uniforme se compara à simples interpolação que fizemos em T1? T10: Veremos a comparação dos dois métodos de suavização a medida que decrescemos a quantidade de dados de treinamento para o nosso modelo de

8 linguagem bigrama. Para cada método, iremos treinar com 80%, 60%, 40% e 20 dos dados e compararemos como a perplexidade degrada para os dois métodos ao diminuirmos o montante de dados. Existem em torno de sentenças nos dados de treinamento, pegasus.sents. Para ter 80% dos dados utilize: % head pegasus.sents > pegasus.80.sents Isto criará um arquivo, pegasus.80.sents, com as primeiras sentenças dos dados de treino, (ou 80% de todo o conunto de dados de treino). Siga o mesmo método para criar conuntos de dados de treino menores. Q10: (a) Esboce no mesmo gráfico a perplexidade como função da quantidade de dados de treino para as duas técnicas de suavização. (b) Qual método tem um melhor desempenho a medida que utilizamos menos dados? T11: Nesta parte, estimaremos o peso λ para interpolação EM para o caso do bigrama. Faremos as seguintes simplificações: Estamos tentando estimar o peso de interpolação λ da palavra FOR onde observamos apenas as três palavras DALLAS, TODAY e THE. Isto é representado na diagrama de árvore do n-grama, na figura 1. Suponha que a contagem nos dados de treino é como segue: C(FOR) = 14 C(DALLAS) FOR) = 10 C(TODAY FOR) = 2 C(THE FOR) = 2 Figura 1: Um diagrama de árvore bigrama para a palavra FOR. Em adição, suponha que todas as probabilidades unigrama á estão estimadas e que o desconto não tem impacto sobre o valor destes unigrams. Suponha também que as probabilidades unigram tem os seguintes valores: P (DALLAS) = 0,05 P (TODAY) = 0,15 P (THE) = 0,70

9 A partir destes pressupostos, a equação de atualização do EM é: ( ) λip( W ) ( ) ( ) ( ) C( P W W P W W W 1 λ + λ 1 λ i+ 1 = ) (3) C W W i Onde P(W W) é a probabilidade de desconto do bigrama da um símbolo dada por: C ( ) ( W W ) 1 P W W = (4) C W ( ) 1 Note que aqui o índice de λ indica o número da iteração (ao contrário das notas de classe onde isto indicava a ordem do n-gram). Q11: Use a equação de atualização para estimar o valor de λ começando com um valor incial de 0,5. Você deve re-estimar o λ até que ele não mude mais, do que 0,01. Quantas iterações são necessárias? Construa uma tabela com os valores de λ para cada passo. Q12: Existem dois casos onde este procedimento EM leva a uma solução degenerada. (a) Forneça um exemplo do conunto de contagem C(W W) que conduzirá a um caso degenerado de λ = 1. Explique o por que esta resposta é degenerada. (b) Forneça um exemplo de um conunto de contagem C(W W) que conduzirá a um caso degenerado de λ = 0. Explique porque esta resposta é degenerada. (c) Qual dos casos, (a), (b),é o pior para o reconhecimento? Por quê? (d) Proponha um limite superior e um limite inferior para λ baseado na contagem e no tamanho do vocabulário. i

10 Apêndice: Ferramentas SUMMIT Esta sessão dá os indicadores da documentação online para as ferramentas SUMMIT, fornece um índice descritivo das ferramentas utilizadas no laboratório, e menciona algumas essenciais que você precisa conhecer para poder completar o laboratório. Auda para o uso da linha de comando Note que na maioria dos programas, entrando com o comando help na linha de comando, listará o uso do programa unto com os comandos válidos. Isto é útil se você se esquecer da sintaxe exata do uso ou se quiser ver quais outras opções estão disponíveis. Descrição e Índice do Programa cfg_create: Cria uma gramática livre do contexto (CFG) dado um conunto de classes / regras (.rules) e um vocabulário de palavra (.wlex). O CFG é usado para treinar os modelos de linguagem n-gram. cfg_reduce_sentences: Produz um conunto de sentenças reduzidas por um CFG, dada um conunto de sentenças na entrada. Isto pode ser útil para analisar os CFGs. ngram_creat: Cria um arquivo do modelo de linguagem n-grama dado um conunto de expressões ou um arquivo.cfg (para classe n-gram) ou um arquivo.wlex (para palavra n- gram). A opção da linha de comando -set log prob é usada para austar o logaritmo das propriedades e para especificar o parâmetro de suavização. ngram_create_random_sentences: Gera aleatoriamente sentenças usando as estatísticas no modelo n-gram especificado. Isto é útil para avaliação qualitativa de um modelo n- gram. ngram_perplexity: Calcula a perplexidade de um conunto especifico de sentenças usando um dado modelo de linguagem n-gram. Útil para conseguir uma medida quantitativa do desempenho de um modelo n-gram. ngram_print_sentence_score: Imprime a perplexidade e o logaritmo da probabilidade para uma dada seqüência de palavras e um modelo de linguagem. ngram tool: Mostra informações sobre um arquivo de um dado modelo n-gram. Também permite checar os valores dos parâmetros e austar os parâmetros de suavização. wlex_create: Cria um arquivo de vocabulário de palavras (.wlex) a partir de um arquivo de vocabulário básico (.vocab). Este arquivo de vocábulos é usado na construção de modelos de linguagem n-gram.

11 Apêndice: Arquivos SUMMIT Esta sessão contém um índice descritivo dos arquivos usados no laboratório. Estes arquivos contém dados, modelos e especificações de parâmetros necessários para construir um reconhecedor de voz. Índice do Arquivo e Descrição pegasus.sents: Lista as expressões no conunto de treinamento. dev.sents: Lista as expressões no conunto de desenvolvimento pegasus.rules: mapas ou regras de classe de palavras. É utilizado para criar um arquivo CFG que é então usado para construir um modelo de linguagem de classe n-gram. pegasus_phrases.rules: Conunto de mapas e regras de classes de frases. pegasus.vocab: Lista de todos os vocábulos no domínio.