Instituto de Tecnologia de Massachusetts Departamento de Engenharia Elétrica e Ciência da Computação. Tarefa 5 Introdução aos Modelos Ocultos Markov

Transcrição

1 Insiuo de Tecnologia de Massachuses Deparameno de Engenharia Elérica e Ciência da Compuação Reconhecimeno Auomáico da Voz Primavera, 23 Publicado: 7/3/3 Devolução: 9/3/3 Tarefa 5 Inrodução aos Modelos Oculos Markov Inrodução Os modelos Oculos( Escondidos ) de Markov (Hidden Markov Models HMM) são uma classe de modelos esaísicos úeis para análise de uma serie discrea no empo de observações al como uma correne de sinais acúsicos exraídos de um sinal de voz. Os HMMs são adequados para o rabalho de reconhecimeno de voz por sua capacidade inerene de represenar os evenos acúsicos de duração variável e da exisência de algorimos eficienes para auomaizar o calculo dos parâmeros dos modelos a parir dos dados de reino. Sofware Nese laboraório usaremos um programa chamado hmm_ool. Ese programa opera na observação discrea dos HMMs. Ele em a capacidade de gerar seqüências de observação aleaórias de um HMM, execuar o algorimo de pesquisa de Vierbi em uma seqüência de observação de um HMM paricular, e esimar parâmeror de um HMM usando o algorimo de Baum-Welch. Para ese laboraório uilizaremos hmm_ool em dados arificiais para nos familiarizarmos com as propriedades de HMMs e de seus algorimos associados. O programa hmm_ool opera direamene a parir da linha de comando do Unix. Os HMMs e as seqüências de observações são armazenadas em arquivos ASCII e passados para o hmm_ool aravés das opções da linha de comando. Para lisar o conuno compleo de opções disponíveis da linha de comando digie: % hmm_ool -help Iniciando Para iniciar ese laboraório, digie os seguine comando no promp do UNIX: % sar_lab5.cmd Iso fará uma cópia local (no seu direório raiz) do conuno de arquivos necessários para o laboraório. Eses arquivos conêm os modelos oculos de Markov e as seqüências de observações usadas durane o laboraório. O emprego do hmm_ool ambém será exibido.

2 Pare I: HMMs Siméricos Começaremos com um classe de HMMs chamada de simérica. A esruura dos HMMs siméricos é suficienemene simples para permiir a esimação direa do parâmeros do modelos a parir da observação dos dados em vez de fazer esimação ineraiva usando o algorimo de re-esimação de Baum-Welh. Um HMM simérico de N-esados em as seguines propriedades:. O amanho do alfabeo de saída é igual ao número de esados N. 2. Cada esado pode ser a saída de apenas um símbolo e dois esados não podem ser a saída do mesmo símbolo. Mais precisamene, a mariz B é uma mariz idenidade N por N. Iso basicamene significa que o modelo não é mais oculo. 3. Todas as ransições que deixam um nó são igualmene prováveis (exceo as auoransições); por exemplo para um esado dado i, a i = a ik, k i onde i,,k < N. 4. Um HMM simérico de N esados é compleamene deerminado pela suas N probabilidades de ransição auo loop a, a,..., a (N-)(N-). Aqui esa um exemplo de HMM simérico de 4 esados : T. Mosre os parâmeros de dois HMMs siméricos que uilizaremos e analisaremos suas propriedades com os comandos: % hmm_ool -hmm_in symmeric.hmm -prin_models % hmm_ool -hmm_in symmeric2.hmm -prin_models Use symeric.hmm (que é na realidade o mesmo que o modelo mosrado acima) para gerar um única seqüência de observações de símbolos de comprimeno com o seguine comando: % hmm_ool -hmm_in symmeric.hmm -generae \-prin_obs -obs_ou seq.obs Noe que a sequência de observação é escria no arquivo seq.obs. Calcule e regisre o

3 número de vezes que odas os 6 possíveis símbolo bigramas de saída enham ocorrido na seqüência de observação, uilizando o seguine comando: % hmm_ool -hmm_in symmeric.hmm -obs_in seq.obs \-coun_bigrams Gere oura seqüência de observação com o comprimeno de. símbolos e calcule e regisre novamene a conagem de bigramas (não use a opção prin_obs nese momeno para eviar imprimir as. observações na ela). Q: Derive uma formula que esime o probabilidade de ransições de auo loop direamene da conagem de bigramas calculada. Use esa formula unamene com a conagem observada para esimar a probabilidade de ransição de auo loop a parir de de ambas as seqüências de observações. A conagem proveniene da seqüência de observação mais longa fornece uma esimaiva mais precisa como é de se esperar? T2. O segundo modelo de HMM, symeric2.hmm, difere do primeiro apenas na probabilidade de ransição a 33 que é igual a.. Gere um seqüência de observação de 5. símbolos de comprimeno usando symeric2.hmm e calcule a conagem de bigramas. Q2: O que aconece quando se ena esimar as probabilidade s de ransição do auo loop para ese HMM e por quê? Observar uma seqüência longa auda? O que se pode fazer para esimar as ransições de auo loop para ese modelo? Pare II: Treinando via o algorimo de Baum-Welch Nesa pare do laboraório, analisaremos alguns quesões relacionadas ao reino de HMMs uilizando Baum-Welch ou o algorimo de Rerocesso e Avanço (forward backward algorihm). Esaremos inerssados com um modelo oculo de Markov de 5 esados esquerda para a direia definido pela seguines marizes de ransição e de probabilidades de saídas:,8 A =,,9,,,8,,9,,,7 B =,3,8,2,2,8,3,7

4 Noe que A é riangula superior, que resula do modelo esquerda para a direia (ransições para rás são proibidas). Geraremos algumas observações usando ese modelo e enão usaremos o algorimo de reinameno de Baum-Welch para reinar um novo modelo HMM e examinar quão próxima é a esimaiva do modelo real. Exploraremos o efeio de diferenes quanidades de dados de ese e o efeio de diferenes marizes iniciais A e B. T3. Analise o modelo 5-sae -lr.hmm para ver se ele se ausa as marizes A e B, acima com o comando: % hmm_ool -hmm_in 5-sae-lr.hmm -prin_models Gere seqüencias de observação, cada uma com um comprimeno de 5 símbolos, usando o seguine modelo: % hmm_ool -hmm_in 5-sae-lr.hmm -generae 5 \-prin_obs -obs_ou seq2.obs Analise o HMM 5-sae-ini.hmm, que em os mesmos elemenos zeros nas suas marizes A e B (ou sea, as mesmas ransições proibidas e saídas) como o modelo aual mas os elemenos que não são zeros são uniformemene inicializados. Usaremos o 5-sae-ini.hmm como o modelo inicial para a re-esimação do algorimo de Baum-Welch para reinar um HMM a parir dos dados observados. Para execuar o reinameno de Baum-Welch usando as seqüências de observações que você acabou de gerar, digie o seguine comando: % hmm_ool -hmm_in 5-sae-ini.hmm -obs_in seq2.obs \ -bw 2 -prin_models Observe o log da probabilidade do resulado dos dados de reinameno após cada ieração e noe quão rapidamene o algorimo de Baum-Welch converge. Depois, crie seqüências de observações de 5 símbolos de comprimeno e use novamene 5-sae-ini.hmm como modelo inicial para a re-esimaiva dos parâmeros do HMM a parir do novo conuno de seqüências de observações. Compare os parâmeros dos modelos esimados a parir de seqüências de dados e de seqüências dados com os parâmeros do modelo real que gerou as seqüências. Q3: Qual é a razão do número de ponos de dados no conuno de dados de reinameno para o número de parâmeros livres sendo esimados nos dois ensaios execuados acima? Exise uma diferença noável da qualidade das esimaivas das marizes A e B enre os dois ensaios? T4. Iremos agora esimar os parâmeros do HMM usando HMMs iniciais mais gerais. Examine os rês modelos HMM iniciais:

5 5-sae-ini2.hmm 5-sae-ini3.hmm 5-sae-ini4.hmm Noe que o 5-sae-ini2.hmm é um modelo esquerda para direia enquano os 5- sae-ini3.hmm e o 5-sae-ini4.hmm não são. Use o algorimo de Baum-Welch para esimar os parâmeros do HMM usando uma seqüência de observação de dados gerados em T3 começando com o modelo inicial 5-sae-ini2.hmm. Grave os valores de log probabilidade dos dados de reino depois de cada ieração. Quando o reinameno erminar, compare os valores dos parâmeros do HMM esimado com aqueles do modelo real. Repia esa operação para 5-sae-ini3.hmm e para o 5-sae-ini4.hmm. Q4: No mesmo conuno de eixos, ploe a log probabilidade como uma função do número de ierações observadas no reinameno 5-sae-ini2.hmm, 5-saeini3.hmm e 5-sae-ini4.hmm. O que se pode dizer da dificuldade relaiva do reinameno de modelos mais gerais versus os mais específicos? O que se conclui sobre a imporância da inicialização das marizes A e B anes de começar o reinameno? Q5: Qual propriedade do algorimo de Baum-Welch que deveria ser considerada como responsável pelas maiores discrepâncias que você em observado enre os parâmeros esimados e os verdadeiros? Pare III: Represenação Treliça (ou grade) e Procura (ou pesquisa) de Vierbi Ambos os algorimos de Avanço e Rerocesso usados na re-esimação de Baum-Welch e a decodificação de Vierbi dependem da represenação reliça (ou gráfico) dos modelos oculos de Markov. Nesa sessão o laboraório lida com HMM de 2-esados.,4 A =,6,8,, B =,2,2,6 T5. Gere e escreva uma seqüência, de 5 observações a parir do modelo mosrado acima com o comando: % hmm_ool -hmm_in 2-sae-lr.hmm -generae 5 \-prin_models -prin_obs Q6: Use a folha de resposa anexada para desenhar uma reliça para a seqüência que você observou. Calcule odos as probabilidades dos ramos e deermine qual o caminho mais provável aravés da reliça.

6 Q7: Esime aproximadamene o comprimeno de uma seqüência de observação que poderia causar underflow em compuador ípico se o logarimo não fosse uilizado, ou sea, qual seria o comprimeno da seqüência de observação para uma probabilidade da ordem de -? Pare IV: Reconhecimeno com Hmms Em um ípico sisema de reconhecimeno de palavras baseado em HMM, as acúsicas de cada palavra no vocabulário são represenadas por um modelo oculo de Markov em separado. O reconhecimeno pode ser feio aravés do algorimo de Vierbi para calcular a sequência de esados oculos mais provável em cada um dos HMMs candidaos e enão selecionar a palavra correspondene ao HMM com a seqüência de esados mais provável. T6: Cada um deses arquivos esa.obs esb.obs esc.obs conêm uma seqüência de 5 observações geradas a parir de um dos rês HMMs: recogniion.hmm recogniion2.hmm recogniion3.hmm Os HMMs são modelos de 5-esados da esquerda para direia que diferem apenas nas suas marizes B. Use o algorimo de pesquisa de Vierbi para calcular o log da probabilidade da conagem da seqüência de esados oculos mais provável aravés de cada modelo para cada seqüência de observação (cerifique-se de calcular as nove probabilidades). Por exemplo, para calcular a conagem enre esa.obs e recogniion.hmm, podemos dizer : % hmm_ool -hmm_in recogniion.hmm \-obs_in esa.obs -vierbi Q8: Faça uma abela 3 x 3 mosrando o calculo da conagem de Vierbi para cada modelo candidao e cada seqüência de observação. Qual modelo foi o mais provável para gerar cada seqüência de ese baseada nesa conagem? Qual ouro méodo de conagem pode ser uilizado para realizar esa arefa de reconhecimeno? Pare V: HMMs de Densidade Coninua Em classe, resolvemos os rês principais problemas de HMM para o caso de quando as observações forem caracerizadas como símbolos discreos escolhidos a parir de um alfabeo finio, e porano foi possível uilizar uma densidade de probabilidade discrea para cada esado do modelo HMM. A classe mais comum de HMM é a dos HMMs de densidade conínua onde as observações são coninuas. A represenação mais geral da função densidade de probabilidade (fdp) para qual um procedimeno de re-esimação em sido formulado, é a misura de gaussianas da forma :

7 M ( o ) = c k N( o, µ k U k ) b, k= onde o é o veor de observação sendo modelado no empo, c k é o coeficiene de misura para a k h componene da misura no esado e N é a densidade gaussiana com o veor media µ k e mariz de covariância U k para a k h componene da misura no esado. Nese problema, veremos uma simples aproximação para derivar a formula de re-esimação aravés do uso de um caso simplificado de uma única fdp gaussiana observada, quando o número de misuras for igual M=: ( o ) = N( o,µ U ) b, discreo. Expresse µ como uma função de o k e b ( ) onde ( ) Q9: Para enconrar a formula de re-esimação para µ, quanizaremos a variável aleaória conínua usando um conuno de pares derivadas a parir da disribuição coninua. Seam o os valores a serem quanizados al que cada o o k para algum valor de k. Noe que o o k é agora equivalene a um símbolo de observação do caso k b k é formula de a reesimação para a observação do k h símbolo no h esado para o caso discreo e é dado como: lembre-se que ( ) b ( k) = T T = s.. o = ok = γ γ ( ) ( ) γ é a probabilidade de esar no esado no insane. Sugesão: Comece com a definição da média para um variável aleaória conínua e aproxime a inegração por uma soma sobre os valores quanizados. Q: Mosre que a formula de re-esimação para µ, a média para a Gaussiana no esado, é dada por: µ T = = T = γ γ ( ) o ( )

8 Folha de Resposa para Tarefa 5 Q6 Insruções:. Enre com os cinco símbolos que você observou (de T5) no opo da linha. 2. Roule cada arco do diagrama no opo com a probabilidade conuna de ocorrer a ransição e a saída correspondene sendo gerada no esado seguine. 3. No segundo diagrama, enre em cada caixa com a probabilidade do caminho parcial mais provável aravés daquele esado e desenhe seas conecando os esados que esão no melhor caminho parcial. 4. Vea qual a seqüência de esados oculos mais provável a parir do segundo diagrama e escreva o resulado no espaço fornecido.