Fernando Babadopulos Terssetti

Transcrição

1 Dissertação apresentada ao Curso de Pós-Graduação da Universidade Federal do ABC - UFABC como parte dos requisitos para a obtenção do título de Mestre em Engenharia da Informação. Fernando Babadopulos Terssetti Desenvolvimento de um identificador automático de sonoridade em fonemas plosivos e fricativos para auxílio na terapia fonoaudiológica de crianças Santo André, SP Brasil 2010

2 Fernando Babadopulos Terssetti Desenvolvimento de um identificador automático de sonoridade em fonemas plosivos e fricativos para auxílio na terapia fonoaudiológica de crianças Composição da Banca Examinadora: Prof. Dr. Francisco José Fraga da Silva (orientador) Centro de Engenharia e Ciências Sociais Aplicadas - UFABC Prof. Dr. Celso Setsuo Kurashima Centro de Engenharia e Ciências Sociais Aplicadas - UFABC Prof. Dr. Liliane Desgualdo Pereira Departamento de Fonoaudiologia da Universidade Federal de São Paulo Prof. Dr. Margarethe Born Steinberger-Elias (suplente) Centro de Engenharia e Ciências Sociais Aplicadas - UFABC 2

3 Índice Lista de figuras... 5 Lista de tabelas... 6 Lista de símbolos... 7 Lista de abreviaturas... 9 Resumo Abstract Agradecimentos Introdução Revisão da literatura Sons plosivos e fricativos do português brasileiro Fones e fonemas do português brasileiro Fonética articulatória Sons e fonemas vocálicos do português brasileiro Sons e fonemas consonantais do português brasileiro Características das consoantes fricativas do português brasileiro Características das consoantes plosivas do português brasileiro Materiais e métodos Algoritmo de segmentação e classificação da fala Algoritmo de identificação de trechos de análise Algoritmo de identificação de sonoridade

4 Bases de dados de fala Resultados Discussão Conclusão Referências bibliográficas Anexo A Listas de pares mínimos (sonoro/surdo) Anexo B Modelos ocultos de Markov (HMM) Anexo C Código dos Algoritmos em MATLAB

5 Lista de figuras Figura 1 - Aparelho fonador e pontos de articulação (Lopes, 1975) Figura 2 - Modelo Oculto de Markov considerado (HMM discreto) Figura 3 - Janela Hamming e respectiva transformada de Fourier Figura 4 - Janela Hanning e respectiva transformada de Fourier Figura 5 - Resposta em freqüência do filtro de pré-ênfase Figura 6 Diagrama de blocos do algoritmo de identificação de trechos de análise 45 Figura 7 - Forma de onda do fonema sonoro /b/ seguido de /a/ Figura 8 - Forma de onda do fonema surdo /p/ seguido de /a/ Figura 9 - Forma de onda do fonema sonoro /z/ seguido de /a/ Figura 10 - Forma de onda do fonema surdo /s/ seguido de /a/ Figura 11 - Porcentagem de acertos por classe fonética Figura 12 - Percentual de acertos do teste do treinamento (test on training) Figura 13 - Percentual de acertos do teste final (test on test) Figura 14 - Percentual de acertos global (global test) Figura 15 - Análise do sinal, parâmetro ZCR, parâmetros energia e sua derivada Figura 16 - Palavra 'transmitido' identificada pelo algoritmo de segmentação e classificação Figura 17 - HMM discreto com 3 estados e 5 símbolos observáveis, obtida com permissão de (Minami, 1998)

6 Lista de tabelas Tabela 1 - Fonemas vocálicos do português brasileiro (Lopes, 1975) Tabela 2 - Fonemas consonantais do português brasileiro (Lopes, 1975) Tabela 3 - Classes fonéticas e estados computacionais Tabela 4 - Subclasses fonéticas e seus respectivos símbolos Tabela 5 - Matriz de confusão das classes fonéticas Tabela 6 - Matriz de confusão do teste do treinamento (test on training) Tabela 7 - Matriz percentual de confusão do teste do treinamento (test on training) 54 Tabela 8 - Matriz de confusão do teste final (test on test) Tabela 9 - Matriz percentual de confusão do teste final (test on test) Tabela 10 - Matriz de confusão global (global test) Tabela 11 - Matriz percentual de confusão global (global test) Tabela 12 - Matriz de confusão do algoritmo de identificação de sonoridade Tabela 13 - Matriz de confusão percentual do algoritmo de identificação de sonoridade

7 Lista de símbolos / / transcrição fonológica [ ] transcrição fonética PS Pausas e silêncios CL Closures (pausas antes de plosivas surdas) VC Voiced Closures (pausas antes de plosivas sonoras) GK plosivas g e k PL Plosivas p, b, t e d LL Líquidas laterais l e lh RR Líquidas vibrantes r e rr NA Nasais m, n e nh SF Frivcativas x e j (strong) SZ Fricativas s e z WF Fricativas f e v (weak) VA Vogais anteriores i, in, e, en, é VM Vogais médias a, ã VP Vogais posteriores u, un, o, on, ó N i número de amostras de sinal de fala no i-ésimo intervalo 7

8 f a freqüência de amostragem do sinal T i tempo de duração do i-ésimo intervalo S i (n) Sinal de fala do i-ésimo intervalo w(n) função de janelamento P(z) função de transferência do filtro de pré-ênfase E i energia logarítmica do i-ésimo intervalo g(n) sinal de excitação v(n) resposta impulsiva do trato vocal convolução S(f) sinal de fala no domínio da freqüência G(f) sinal de excitação no domínio da freqüência V(f) função de transferência do trato vocal m i i-ésimo coeficiente mel-cepstral X k logaritmo da energia do k-ésimo filtro triangular da escala mel 8

9 Lista de abreviaturas FFT Fast Fourier Transform GMM Gaussian Mixture Models HMM Hidden Markov Model LLI Language Learning Impairment MFCC Mel-Frequency Cepstral Coefficients PB Português Brasileiro TIMIT Texas Instruments / Massachusetts Institute of Technology VOT Voice Onset Time ZCR Zero-Cross Rate ZT Zona de Transição 9

10 Resumo O objetivo deste trabalho foi desenvolver um sistema computacional com o intuito de realizar uma identificação automática de sonoridade em fonemas plosivos e fricativos, para auxilio à terapia fonoaudiológica de crianças. A motivação para tanto advém do fato de que pessoas com distúrbios auditivos ou fonológicos tendem a ensurdecer a pronúncia das consoantes plosivas e fricativas sonoras. O efeito esperado é o de aumentar a intensidade da realimentação natural, de modo a melhorar a propriocepção da fala por parte do paciente durante a terapia. Foi desenvolvido um algoritmo de segmentação e classificação automática de fala baseado em Modelos Ocultos de Markov e também um algoritmo de detecção automática de sonoridade em fonemas plosivos e fricativos, baseado na função de autocorrelação do sinal de voz. Para avaliar o desempenho dos algoritmos foram utilizadas amplas bases de dados de fala. Os resultados de segmentação e classificação foram objetivamente melhores que os resultados de detecção de sonoridade, porém, considerando o intuito educacional do sistema, que deverá identificar sonoridade apenas nos fonemas que forem pronunciados corretamente, podem-se considerar positivos também os resultados obtidos pelo identificador de sonoridade. 10

11 Abstract The objective of this study was to develop a computer system in order to achieve an automatic voicing identification in plosive and fricative phonemes, to help children speech therapy. The motivation for that comes from the fact that people with hearing or phonological disorders tend to devoice the pronunciation of plosive and fricative voiced sounds. The expected result is to increase the intensity of the natural feedback in order to improve the proprioception of speech by the patient during therapy. We developed an algorithm for automatic segmentation and classification of speech based on Hidden Markov Models and also an algorithm for automatic voicing detection in plosive and fricative phonemes, based on the autocorrelation function of the voice signal. To evaluate the performance of such algorithms we have used large speech databases. The results of the segmentation and classification algorithm were objectively better than the results of voicing detection, however, considering the educational purpose of the system, which would identify only voicing in the phonemes that are pronounced correctly, one can also consider as positives the results achieved by the automatic voicing detector. 11

12 Agradecimentos Ao meu orientador Prof. Francisco Fraga, por acreditar que este trabalho seria possível, pela sua valiosa ajuda e compartilhamento do conhecimento durante esses anos que trabalhamos juntos. À Prof.ª Liliane Desgualdo, por nos incentivar e conceder a possibilidade de assistir a sessões de terapia fonoaudiológica na UNIFESP. À Ingrid Gielow, que gentilmente nos emprestou sua monografia sobre fonemas plosivos do Português Brasileiro. À minha mãe Solange Babadopulos e meu irmão Eduardo Babadopulos, pelo apoio e incentivo para iniciar este mestrado. À minha futura esposa Juliana Zanetti, pelo carinho e compreensão durante o tempo que me dediquei aos estudos. Ao amigo Gutemberg Gomes, que com muita paciência me ajudou a conquistar mais este objetivo. trabalho. E a todos que direta ou indiretamente contribuíram para o sucesso deste 12

13 Introdução Diversos trabalhos já foram realizados no sentido de desenvolver aplicativos de processamento digital de sinais de voz e áudio para auxiliar profissionais de fonoaudiologia na terapia de crianças com distúrbios de aprendizado da língua (LLI - Language Learning Impairment). A maior parte destes softwares foi desenvolvida para auxílio no aprendizado do Inglês como, por exemplo, o sistema de Jenkins (Jenkins, et al., 1997) (Jenkins, et al., 1999), que consiste em um método de treinamento adaptativo baseado em um jogo de computador. A proposta inicial deste trabalho é a de desenvolver um software focado nas necessidades de crianças com distúrbios de aprendizado da língua portuguesa falada no Brasil, ou seja, desenvolver um aplicativo computacional específico para o Português Brasileiro (PB). Após assistir a algumas sessões de terapia com crianças portadoras de distúrbios de processamento auditivo central, realizadas nas dependências da UNIFESP, descobrimos que existia uma dificuldade mais específica, porém muito freqüente, observada durante as sessões de terapia. As fonoaudiólogas praticavam com os pacientes um exercício que consistia em demonstrar o padrão de vibração ocorrido na garganta durante a pronúncia de diversas palavras contendo fonemas fricativos e plosivos. A fonoaudióloga colocava a mão do paciente em sua garganta (da fonoaudióloga) e pronunciava a palavra, para que desta forma ele tivesse um padrão de comparação com a sua própria pronuncia, pois em crianças com distúrbios auditivos ou fonológicos existe uma 13

14 tendência generalizada de ensurdecimento 1 na pronúncia de fonemas fricativos e plosivos (Patah, et al., 2008) (Wertzner, 2007) (Arnaut, et al.) (Wertzner, et al., 2002). O traço distintivo de sonoridade é muito importante para a diferenciação de itens lexicais no PB (Hernandorena, 1993). Na realidade, ele é de fato considerado como o traço de oposição fonológica mais forte da língua portuguesa (Issler, 2006), e se manifesta principalmente nas consoantes plosivas e fricativas. Prova disso são as listas de pares mínimos 2 que apresentamos no Anexo A, elaboradas com base em exercícios de ortografia propostos por Arim (Arim, 2006). Após verificar a notada freqüência de ocorrência deste problema (ensurdecimento de plosivas e fricativas), e depois de trocar muitas idéias com as terapeutas e professoras da UNIFESP, resolvemos que o foco da nossa pesquisa seria desenvolver um dispositivo eletro-mecânico comandado por um computador, que seria capaz de identificar as eventuais sonoridades presentes na pronúncia dos sons plosivos e fricativos do Português Brasileiro (PB) e simular e amplificar o seu padrão de vibração por meio de um aparelho vibratório. Com isso passamos a nos concentrar em métodos capazes de processar digitalmente a fala em tempo real e segmentar, classificar e identificar a sonoridade dos fonemas fricativos e plosivos, para que futuramente fosse possível sintetizar artificialmente a vibração das pregas vocais detectada na realização (pronúncia) desses fonemas. 1 O termo ensurdecimento refere-se à pronúncia de uma consoante sonora como uma consoante surda, isto é, sem vibração das pregas vocais. Os termos dessonorização ou desvozeamento são sinônimos de ensurdecimento. 2 Em fonologia, um par mínimo é formado por duas palavras numa determinada língua cuja distinção de significado depende de um único fonema. São normalmente utilizados como exemplo didático para indicar que dois determinados fones constituem dois fonemas distintos nessa língua. 14

15 Revisão da literatura Pacientes com deficiência no processamento auditivo central apresentam dificuldades na pronúncia das palavras devido à sua reduzida capacidade de decodificação das unidades básicas da língua falada, ou seja, dos fonemas. Métodos de auxilio à terapia já foram abordados por diversos pesquisadores, sendo que os mais conhecidos são os jogos computacionais para auxilio a crianças com problemas de aprendizado da língua (LLI), desenvolvidos para o idioma inglês americano (Jenkins, et al., 1997) (Franco, 1998). Tallal possui diversas patentes de sistemas computacionais desenvolvidos para auxílio à terapia de pessoas com LLI que falam o idioma Inglês Americano, proporcionando um mecanismo que artificialmente processa os fonemas, aumentando ou diminuindo sua duração para melhorar sua percepção (Jenkins, et al., 1997) (Franco, 1998). Este software é atualmente conhecido e comercializado com o nome de Fast Forword (Scientific Learning, 2010). Recentemente houve um esforço de adaptação deste software para o PB (Miranda, et al., 2008). Segundo Nagarajan (Nagarajan, et al., 1998), crianças com distúrbio de aprendizado possuem perdas no processamento fonológico evidenciado pela dificuldade no reconhecimento de elementos fonéticos de falas produzidas de forma naturalmente rápida. Tallal (Tallal, et al., 1974) refere que de forma hipotética essas crianças possuem um déficit no processamento que resulta em uma limitação na habilidade de reconhecer e processar (decodificar) os sons em um espaço de tempo curto e com uma velocidade significativamente rápida. 15

16 Estudos feitos por Wright (Wright, et al., 1997) mostraram que pacientes expostos a estímulos longos e repetidos tiveram uma melhora significativa no reconhecimento dos sinais apresentados. Em contrapartida, quando os estímulos eram curtos e expostos a altas taxas de repetição, a capacidade de reconhecimento era prejudicada. Em nível de pesquisa, existem também alguns jogos desenvolvidos especificamente para o idioma Português falado no Brasil (Araújo, 2000). Estudos mostraram que aplicativos lúdicos controlados por parâmetros de voz ajudam no controle e no aprimoramento da freqüência fundamental, na inteligibilidade da fala e em um aumento no tempo máximo de fonação. Esses fatores por sua vez contribuíram para um aumento da quantidade e qualidade da produção oral de pessoas com deficiência auditiva (Araújo, 2000) Sons fricativos, como /f/, /s/, e / / 3 são freqüentemente omitidos, distorcidos ou substituídos, pois boa parte dos deficientes auditivos possuem baixa sensibilidade a freqüências acima de 2.000Hz (Fraga, et al., 2004). Há também uma tendência geral a reconhecer sons que possuem freqüências fundamentais mais baixas como sendo mais inteligíveis (Jenkins, et al., 1999). Em contrapartida, é muito comum que deficientes auditivos usem freqüências fundamentais mais elevadas que o que seria adequado aos falantes/ouvintes normais, tentando assim obter uma resposta proprioceptiva mais intensa na sua própria atividade de produção da fala (Robinson, et al., 2007). 3 Os fonemas estão representados segundo a notação do Alfabético Fonético Internacional (International Phonetic Alphabet IPA). Assim, por exemplo, os fonemas da palavra chá são representados por / a / 16

17 O controle da freqüência fundamental é o fator mais importante para distinguir entre a melhor e a pior fala de um deficiente auditivo. Para se ter uma boa qualidade vocal também é necessário que este controle seja feito de forma adequada (Franco, 1998). De acordo com Borges (Borges, 1998), as principais causas de problemas na fala são: a inadequada percepção da retroalimentação da fala, padrões de fala de baixa qualidade, e a forma como os fonemas são pronunciados. Cada fonema possui configurações articulatórias particulares para serem corretamente realizados (pronunciados): a posição correta da língua, o movimento e o grau de abertura da boca (Câmara Jr, 1991), etc. Porém, tecnicamente falando os fonemas podem ser produzidos usando uma infinita variedade de possíveis padrões articulatórios. A melhor solução individual é aquela que gasta menos energia para produzir o mesmo padrão acústico. Uma pesquisa realizada por Lamprecht (Lamprecht, 2004) com 12 crianças com mais de dois e menos de seis anos de idade verificou que a dessonorização está entre os principais distúrbios que afetam a fala nessa faixa etária. O ensurdecimento não ocorre na fala de todas as crianças, mas quando acontece tende a persistir por longo tempo. Panhoca (Panhoca, 1996) relata que as trocas fonêmicas referentes ao fenômeno do ensurdecimento são extremamente freqüentes e difíceis de evitar, porque nesse caso não existe a possibilidade de apoiar-se na visão, uma vez que a vibração das pregas vocais não é visualizável. A autora analisou a freqüência desses casos na clínica fonoaudiológica e os resultados mostraram um alto índice 17

18 de dessonorização em crianças com alterações na fala, o que é muito preocupante para os profissionais da área. A discriminação entre sons surdos e sonoros pode ser feita a partir da zona de transição dos formantes das vogais que aparecem após um som plosivo, porém este é apenas um entre outros parâmetros que podem ser utilizados (Border, et al., 1980). Existe uma vasta disponibilidade de parâmetros disponíveis na literatura que possibilitam ao ouvinte distinguir um som no contexto consoante-vogal (Behlau, et al., 1988) (Minefie, 1973). Ohde (Ohde, 1984) mediu a freqüência fundamental e o tempo de início de sonorização (voice onset time VOT) em diferentes consoantes plosivas do Inglês e verificou que embora o VOT para os fonemas surdos e sonoros fosse similar, a freqüência fundamental era claramente mais aguda para os sons surdos. Foi com base nessa observação que surgiu a noção de freqüência fundamental como correlato acústico dos fonemas plosivos sonoros. Estudos feitos por Gielow (Gielow, 1993) demonstraram que o VOT para os fonemas plosivos do Português Brasileiro (PB) é predominantemente negativo, ou seja, ocorre antes da plosão. Apesar da menor duração do VOT ser o fato que melhor diferencia as plosivas sonoras das plosivas surdas, o uso deste atributo para a tarefa de classificação automática de sons plosivos não é tarefa fácil, e tem sido objeto de intensa pesquisa ao longo dos últimos dez anos (Ali, 1998) (Ali, 2001) (Ali, et al., 2001) (Jiang, et al., 2006), inclusive visando igualmente aplicação na área de educação da pronúncia (Kazemzadeh, 2006). 18

19 Também a tarefa de identificação automática de sonoridade em fonemas fricativos é particularmente difícil porque, ao contrário das vogais, que são sons de natureza intrinsecamente tonal (Deller, et al., 1999) (Abranches, 2004), as consoantes fricativas são predominantemente de natureza ruidosa. Nos últimos anos, diversas pesquisas foram realizadas com esta finalidade (Stevens, et al., 1992) (Ali, 1998) (Ali, 2001). 19

20 Sons plosivos e fricativos do português brasileiro Neste capítulo abordaremos os fundamentos linguísticos necessários para uma melhor compreensão dos trabalhos realizados. Uma dicotomia entre a língua (langue) e a fala (parole) foi estabelecida por Ferdinand Saussure ( ). Saussure designava langue como sendo o próprio sistema da língua, o conjunto de todas as regras (fonológicas, morfológicas, sintáticas e semânticas) que determinam o uso dos sons e das formas e relações sintáticas necessárias para a produção dos significados: a língua é um conceito social, dizia Saussure. Cada indivíduo utiliza a língua de uma forma singular, de acordo com seus objetivos imediatos de comunicação. À ação de utilização dos recursos proporcionados pela langue (língua), por um falante em uma situação comunicativa concreta, Saussure denominou parole (fala). Concordaremos então com a afirmação de Saussure de que a língua não comporta nem idéias nem sons preexistentes ao sistema lingüístico, mas somente diferenças fônicas resultantes desse sistema (Lopes, 1975). Segundo Silveira (Silveira, 1986) não existe limite no número de sons distintos que os órgãos da fala podem produzir, sendo assim os fones são indeterminados por natureza. Em contrapartida o fonema é um modelo mental descrito por um conjunto de traços distintivos invariáveis. Os fonemas estão na consciência dos falantes-ouvintes da língua em questão, permitindo assim que sejam reconhecidos, nas múltiplas variedades sonoras, os signos atualizados (Silveira, 1986). As diferenças fônicas são utilizadas para distinguir os signos de uma língua ou ainda para gerar novos signos. Durante o ato da fala, porém, um mesmo falante 20

21 nunca produz um mesmo som da mesma maneira, são encontradas múltiplas variedades sonoras que manifestam um ou mais fonemas. Para exemplificar podemos utilizar a palavra tia, onde o fonema inicial / t / pode ser pronunciado com o som plosivo [ t ] ou ainda com sua forma africada [ t ]. Esta troca de [ t ] por [ t ] não altera o significado do signo tia, sendo assim podemos dizer que [ t ] e [ t ] são alofones do fonema / t / (Lyons, 1968). A Fonética possui também o objetivo de estudar os traços articulatórioacústicos dos sons da fala, e a Fonologia o estudo destes traços quando eles possuem funções distintivas de signos na língua em questão. Fones e fonemas do português brasileiro Podemos agrupar os sons da fala em três modos básicos, sendo eles: Produção do som pelo aparelho fonador humano; Efeitos físicos que eles provocam no ouvido humano; Propriedades físicas das ondas sonoras que se propagam em um meio. Como os sons que interessam para a descrição lingüística são apenas aqueles que possuem uma contraparte psíquica, ou seja, aqueles que criam imagens mentais acústicas, embora mantenhamos ao longo deste trabalho a distinção entre fones (representados entre [ ]) e fonemas (representados entre / /), apresentaremos nesta seção conjuntamente os fones e os fonemas do Português falado no Brasil. 21

22 Mesmo existindo uma maneira própria de apresentar os fonemas da língua portuguesa de uma forma estritamente fonológica (Silveira, 1986), contrapondo os fonemas entre si por suas diferenças e similaridades apenas no plano formal de expressão da língua, adotaremos a maneira tradicional de classificá-los a partir de suas bases articulatórias. Sabemos, entretanto, que esta classificação diz respeito mais a fonética do que a fonologia, porém muitos autores (Lopes, 1975) ainda a utilizam por ser mais didática e possibilitar ainda uma visão de conjunto de todos os fonemas. Fonética articulatória O aparelho fonador humano é composto por uma gama de órgãos capazes de produzir uma infinita variedade de sons. O processo de fonação ocorre em um aparelho composto de três conjuntos de órgãos: Conjunto respiratório, composto pelos pulmões, brônquios e traquéia, cuja função é fornecer o fluxo de ar ao sistema; Conjunto energético, composto pela laringe que possui dentro dela duas pregas vocais e a glote; Conjunto ressonador, composto pela faringe (responsável por dirigir o ar expirado para a boca ou para o nariz), pelos órgãos bucais (língua, dentes, lábios, palato, véu palatino, úvula e epiglote) e pelas fossas nasais. 22

23 Figura 1 - Aparelho fonador e pontos de articulação (Lopes, 1975). 23

24 Sons e fonemas vocálicos do português brasileiro As vogais são fonemas formados pelo fluxo livre do ar, vindo dos pulmões para a boca. Esse fluxo de ar pode ou não ressoar através das fossas nasais dependendo da abertura e fechamento da ligação com a cavidade nasal por meio do véu palatino. As três propriedades que caracterizam uma vogal são listadas a seguir: Maior abertura dos órgãos articulatórios. Durante a pronúncia da vogal a boca tende a permanecer aberta ou entreaberta; Maior número de vibrações das pregas vocais (freqüência), comparada com outros fonemas; São os únicos fonemas do português a integrar o núcleo da sílaba. Além disso, as vogais podem ser classificadas do ponto de vista articulatório: quanto à faringe, ao grau de abertura, à zona de emissão e à posição dos lábios (Silveira, 1988). Entretanto, esta não é a classificação mais adequada do ponto de vista fonológico, por isso iremos adotar o seguinte modelo que as classifica segundo a zona de articulação, a altura da língua, a posição dos lábios e a forma da cavidade bucal de ressonância (Lopes, 1975). Embora a classificação adotada também pertença à fonética articulatória, o que nos interessa são as posições fonológicas que ela define. Por este motivo, apresentaremos a seguir a classificação das vogais diretamente em termos de fonemas. As transcrições fonéticas serão apresentadas segundo o padrão do Alfabeto Fonético Internacional (Lopes, 1975). 24

25 Conforme a zona em que são articuladas: Anteriores ou Palatais: / /, / e /, / i /; Central: / a /; Posteriores ou Velares: / /, / o /, / u /. Da maior ou menor proximidade da língua com relação ao palato Altas: / i /, / u /; Médias: / /, / o /, / /, / e /; Baixa: / a /. Quanto à posição dos lábios: Arredondadas: / /, / o /, / u /; Não-Arredondadas: / /, / e /, / i /, / /. Com relação à forma do ressonador bucal Centrípetas: / e /, / i /, / o /, / u /; Centrífugas: / /, / /, / /. VOGAIS ORAIS VOGAIS NASAIS Anteriores ou Palatais Central Posteriores ou Velares Anteriores ou Palatais Central Posteriores ou Velares Altas / i / / u / / in / / un / Médias Centrípetas Médias Centrífugas / e / / o / / en / / on / / / / / Baixa / a / / an / Não Arredondadas Arredondadas Não Arredondadas Arredondadas Tabela 1 - Fonemas vocálicos do português brasileiro (Lopes, 1975). 25

26 Sons e fonemas consonantais do português brasileiro As consoantes do Português são descritas, de acordo com a Nomenclatura Gramatical Brasileira, considerando quatro critérios de base articulatória: Modo de articulação; Ponto de articulação; Vibração das pregas vocais; Papel das cavidades bucal e nasal. A tabela a seguir demonstra a relação existente entre o modo de articulação e o ponto de articulação, e ainda a vibração das pregas vocais que classifica as consoantes em surdas e sonoras, respectivamente com e sem vibração das pregas vocais. PONTO DE ARTICULAÇÃO MODO DE ARTICULAÇÃO Bilabiais Labiodental Linguodental Linguoalveolar Linguopalatal Velares Oclusivos Constritivos Sur. / p / / t / / k / Son. / b / / d / / g / Sur. / f / / s / / / Son. / v / / z / / / Nasais Son. / m / / n / / / Simp. / / Vibrantes Mult / r / Laterais Son. / l / / / Semiconsoantes Son. / / / / Tabela 2 - Fonemas consonantais do português brasileiro (Lopes, 1975). 26

27 Características das consoantes fricativas do português brasileiro Estudos feitos por Santos (Santos, 1987) identificaram que a proximidade da fonte friccional em relação aos lábios aumentava a freqüência natural de ressonância, desta forma, quanto menor o volume da região anterior à fonte sonora 4, maior a freqüência do som produzido. Sendo assim, a fricativa / / é mais grave que as anteriores /s/ e /f/. Para a identificação de sonoridade dos fonemas fricativos pode ser considerado também o tempo de duração do fonema, pois existe uma diferença média de 40ms entre os fonemas surdos e sonoros. A maior parte da energia acústica das vogais está situada na faixa de baixas freqüências, de 0,4 a 0,5 khz. Esta faixa de freqüências também corresponde à melhor região da curva de audibilidade humana. Porém, a inteligibilidade da fala depende muito mais dos sons consonantais, que possuem uma intensidade sonora muito pequena e alcançam freqüências superiores a 2,0 khz, do que das vogais, mesmo com as vogais sendo mais intensas do que as consoantes. A dificuldade no reconhecimento de fala apresentada por indivíduos com perda auditiva em altas freqüências pode ser explicada pelo fato de que a energia de fala concentrada nos sons agudos é aproximadamente 20 a 35 db mais baixa do que a energia concentrada em 0,5 khz (Behlau, 1984). As consoantes fricativas do Português falado no Brasil são /f/, /v/, /s/, /z/, / /, / /, que se diferenciam entre si quanto ao ponto de articulação e a sonoridade, mantendo o mesmo modo de produção do som. As fricativas anteriores /f/ e /v/ são 4 Considera-se como fonte sonora a região onde ocorre a máxima constrição do trato vocal. Assim, nas consoantes surdas, a fonte sonora localiza-se no próprio ponto de articulação, ao passo que nas vogais a fonte sonora está localizada na glote. 27

28 as que apresentam a menor intensidade de todas as consoantes do Português falado no Brasil, e a faixa de freqüência que elas abrangem é bastante ampla, indo de 1,2 a 7,0 khz. Já as consoantes médias /s/ e /z/ são sons fortes e agudos, com uma faixa de freqüência acima de 4,5 khz, podendo chegar até 8,0 khz no PB. As posteriores / /, / / também apresentam uma ampla faixa de freqüência, entre 2,5 khz e 6,0 khz, porém são mais graves (Santos, 1987). Estudos feitos por Haupt (Haupt, 2008) avaliaram as fricativas /s/, /z/, / /, / /, tendo como objetivo analisar os picos espectrais e a duração de cada consoante, para definir como estes dois parâmetros caracterizavam cada fonema. Com isso foi encontrado que as fricativas alveolares /s/ e /z/ tem seus formantes e regiões de freqüências mais altas que as palato-alveolares / / e / /. Haupt concluiu então que os picos espectrais são fundamentais para distinguir o ponto articulatório dessas consoantes. 28

29 Características das consoantes plosivas do português brasileiro Segundo Câmara (Câmara, 1976), o Português Brasileiro possui seis consoantes plosivas que podem ser divididas em dois grupos, de acordo com o traço de sonoridade de cada uma. Temos então as consoantes surdas /p/, /t/, /k/ e suas respectivas correspondentes sonoras /b/, /d/, /g/. Além disso essas consoantes podem ser divididas quanto ao ponto de articulação em: bilabiais /p/ e /b/, anteriores /t/ e /d/ e posteriores /k/ e /g/. Outra denominação também pode ser encontrada na literatura para identificar as consoantes plosivas anteriores e posteriores como sendo respectivamente alveolares e velares (Pottier, et al., 1972). A zona de transição (ZT) e o VOT são dois fenômenos que teoricamente se relacionam a módulos independentes na produção da fala, embora, na prática, podem existir interações sutis entre esses elementos (Gielow, 1993). A sonoridade presente nas consoantes plosivas é gerada pela fonte produtora de som, ou seja, a região glótica. Já o sistema de ressonância, formado pelo trato vocal e pela cavidade oral, é responsável por aplicar um filtro que controla a velocidade e a configuração das transições. Esse filtro varia dependendo do tamanho e da forma do sistema de ressonância e dos movimentos dos articuladores. Segundo Gielow, o tempo médio de duração da zona de transição dos fonemas plosivos é diretamente ligado ao ponto de articulação, e quanto mais posterior esse ponto, maior o valor encontrado: 31,0 ms para os sons plosivos bilabiais, 41,4 ms para os anteriores e 55,7 ms para os posteriores. Gielow identificou também que os valores encontrados para as freqüências de descolamento, em termos absolutos, são diferentes dos valores constatados em 29

30 outras línguas e que as características próprias destas línguas e o reflexo cultural interferem nas emissões dos locutores. Com relação à duração do VOT para os sons plosivos do Português Brasileiro, Gielow a define como sendo muito pequena (Gielow, 1993). 30

31 Materiais e métodos Os algoritmos apresentados neste capítulo foram implementados por meio do software MATLAB R2008a e testados em um microcomputador com processador Intel Core 2 Duo, com clock de 2.13Ghz e 4 Gb de memória RAM. No Anexo C estão listados os códigos referentes à implementação dos algoritmos de segmentação e classificação da fala e de identificação de sonoridade descritos neste capítulo. Algoritmo de segmentação e classificação da fala O objetivo do algoritmo de segmentação e classificação da fala é prover um mecanismo capaz de analisar cada quadro de um sinal de voz e subdividi-lo em quatro amplas classes. Essas classes são então representadas por estados computacionais, que serão utilizados nos algoritmos subsequentes. A tabela abaixo demonstra a estrutura de classes fonéticas e seus respectivos estados: Classe fonética Pausa Plosiva Fricativa Tonal Estado PAU PLO FRI TON Tabela 3 - Classes fonéticas e estados computacionais A classificação de cada quadro do sinal de fala como pertencente a cada um dos estados mostrados acima é feita com a utilização de um Modelo Oculto de Markov (HMM Hidden Markov Model). O HMM é um processo duplamente estocástico, baseado em cadeias de Markov, que possui probabilidades condicionais de emissão de símbolos para cada estado e também probabilidades de transição entre estados. 31

32 Quanto às probabilidades condicionais de emissão de símbolos, os HHMs podem ser classificados em contínuos ou discretos. Em um HMM contínuo, as probabilidades de emissão de símbolos são diretamente modeladas por funções de densidade de probabilidade de variáveis aleatórias (multidimensionais) contínuas (Juang, et al., 1991). No caso dos HHMs discretos, ao invés de funções de densidade de probabilidade, cada estado é modelado por um vetor de probabilidades discretas de emissão de símbolos, onde cada elemento do vetor representa a probabilidade de emissão de um determinado símbolo. Nesta pesquisa foi utilizado um HMM do tipo discreto. Quanto às probabilidades de transição entre estados, os HMMs podem ser basicamente de dois tipos: ergódigo ou esquerda para direita (left-to-right). Um HMM do tipo ergódigo é aquele em que todas ou quase todas as transições entre estados são permitidas, i. e., apresentam probabilidades de transição diferentes de zero. Já nos HMMS left-to-right somente são permitidas auto-transições (transições de um estado para ele mesmo) ou transições de um estado anterior para um estado seguinte, ou seja, não é permitido voltar a um estado anterior. No modelo elaborado neste trabalho, do tipo discreto e ergódigo, cada símbolo discreto emitido por um dos estados da cadeia de Markov representa por sua vez uma sub-classe fonética. As 14 subclasses fonéticas escolhidas (ver Tabela 4) foram modeladas por Modelos de Misturas de distribuição de probabilidade Gaussianas (GMM Gaussian Mixture Models). Os dados utilizados para a obtenção dos parâmetros das distribuições de probabilidade foram vetores de atributos acústicos (que no GMM representam instâncias de variáveis aleatórias 32

33 multidimensionais) extraídos de cada quadro do sinal de fala, conforme será explicado na seção seguinte (Algoritmo de identificação de trechos de análise). Resumindo, a classificação de cada quadro do sinal de fala em classes fonéticas amplas (Tabela 3) é realizada em duas etapas. Primeiramente são extraídos atributos acústicos que permitem a classificação prévia do quadro em uma dentre as 14 possíveis subclasses fonéticas, utilizando a Regra de Bayes (Jaynes, 2003), a distância de Mahalanobis (Jaynes, 2003) e um modelo GMM para cada sub-classe fonética. A seguir, o símbolo correspondente à sub-classe fonética determinada é usado como entrada para um HMM discreto, a fim de realizar a etapa final de classificação, escolhendo uma dentre as quatro possíveis classes fonéticas. Esta estratégia de dividir o processo de classificação em duas etapas distintas permitiu a obtenção de uma alta taxa de acertos na classificação final, conforme será apresentado no capítulo de Resultados. A explicação para este alto desempenho se deve ao fato da fala humana apresentar uma estrutura que pode ser modelada matematicamente e com sucesso (Juang, et al., 1991) por um processo estocástico duplo, onde as características psico-acústicas que cada trecho (quadro) aproximadamente estacionário do sinal de fala é modelado por uma GMM e a evolução temporal da fala (mudança entre os fonemas) é modelada por um HMM. Dois parâmetros estocásticos devem ser estimados para a utilização deste HMM discreto, sendo eles: uma matriz A = {a ij } que representa a probabilidade de transição entre estados e uma matriz B = {b ij } correspondente às probabilidades discretas de emissão dos símbolos representativos das subclasses fonéticas, representadas por clusters (GMM) de vetores e atributos acústicos. Esses atributos 33

34 acústicos foram definidos como vetores com 13 coeficientes mel-cepstrais, também conhecidos como MFCC Mel-Frequency Cepstral Coefficients. Esses coeficientes são amplamente utilizados em aplicações de reconhecimento automático de fala (Picone, 1993) e seu cálculo será explicado na seção seguinte. A função destes atributos acústicos foi classificar cada um dos quadros de fala em uma das 14 subclasses fonéticas apresentadas na Tabela 4. As subclasses são representadas pelas médias e variâncias das funções de densidade de probabilidade dos vetores MFCC, representadas por um conjunto de misturas gaussianas (GMM). Os valores de cada parâmetro foram estimados utilizando-se a base de dados de fala contínua TIMIT (TIMIT). Símbolo PS CL VC GK PL LL RR NA SF SZ WF VA VM VP Sub-classe fonética Pausas e silêncios Closures (pausas antes de plosivas surdas) Voiced closures (pausas antes de plosivas sonoras) Plosivas g e k Plosivas p, b, t, d Líquidas laterais ( l e lh ) Líquidas vibrantes ( r e rr ) Nasais ( m, n e nh ) Fricativas x e j (strong) Fricativas s e z Fricativas f e v (weak) Vogais anteriores ( i, in, e, en, é ) Vogais médias ( a, ã ) Vogais posteriores ( u, un, o, on, ó ) Tabela 4 - Subclasses fonéticas e seus respectivos símbolos Conforme mencionado anteriormente, duas etapas são utilizadas para realizar a classificação de cada quadro do sinal de fala. A primeira etapa é responsável por calcular o vetor contendo os 13 coeficientes mel-cepstrais que representam as características psico-acústicas do quadro de fala que está sendo analisado. 34

35 Utilizando-se um cálculo de distância de Mahalanobis (distância euclidiana ponderada pelas variâncias) entre o vetor MFCC e as médias das misturas gaussianas de cada subclasse, esse vetor é classificado como pertencente a uma das 14 subclasses fonéticas apresentadas na Tabela 4. O próximo passo, realizado na segunda etapa, é fornecer ao HMM o símbolo correspondente à subclasse escolhida pelo algoritmo de classificação (GMM). O HMM por sua vez indica qual dos quatro estados (Tabela 3) tem a maior probabilidade de ter emitido aquele símbolo, considerando para tanto os símbolos emitidos nos últimos três estados. A fim de modelar adequadamente a estrutura e a evolução temporal da fala humana no contexto da aplicação visada por esta pesquisa, algumas das transições entre estados não foram permitidas no HMM, a saber: Plosiva Pausa; Plosiva Fricativa Tonal Plosiva Fricativa Plosiva Plosiva Plosiva Os seja, no HMM considerado as probabilidades referentes às transições a 21, a 23, a 32, a 42 e a 22 foram igualadas a zero, i. e., foram consideradas como transições inválidas (não permitidas pelo modelo). Isso reflete a estrutura da fala real, na qual a 35

36 plosão é sempre precedida de uma pausa, e como no nosso modelo as plosivas são de curta duração, pois na classificação em subclasses estamos separando as closures da plosão, também não é permitida a auto-transição entre plosivas, o que garante que a plosão tenha duração de apenas um quadro. A figura a seguir ilustra o HMM utilizado nesta aplicação, onde os a ij são as probabilidades válidas de transição entre os estados. a 11 a a 12 Pausa (1) Plosiva (2) a 14 a 31 a 13 a 24 a 41 a 34 Fricativa (3) Tonal (4) a 43 a 33 a 44 Figura 2 - Modelo Oculto de Markov considerado (HMM discreto) 36

37 Algoritmo de identificação de trechos de análise O objetivo deste algoritmo é identificar os trechos do sinal de fala que possam conter fonemas fricativos ou fonemas plosivos, ambos necessariamente seguidos de uma vogal. Isso porque a sonoridade das fricativas finais (fricativas em posição marginal silábica descendente) no PB não representam oposições fonológicas com base na propriedade de sonoridade. Na realidade, as fricativas finais no PB são unicamente /s/ ou /z/, e a sonoridade do /z/ em posição silábica final é irrelevante para o propósito de identificação fonêmica. O resultado da classificação e identificação desses fonemas fricativos e/ou plosivos serão posteriormente utilizados como entrada para o algoritmo de identificação de sonoridade, abordado da seção seguinte. Apresentamos nesta seção as técnicas de processamento de sinais que foram utilizadas juntamente com o algoritmo de segmentação e classificação da fala para obtermos os resultados esperados. Todos os sinais de fala utilizados possuíam taxa de amostragem de Hz e quantização de 16 bits por amostra. Como o sinal de fala é um sinal não estacionário, ou seja, varia suas características acústicas com o decorrer do tempo, o primeiro passo para a sua análise é subdividi-lo em intervalos de tempo curto. Assim podemos garantir que, dentro de cada intervalo de tempo curto, ele se comportará como um sinal quase estacionário (Schafer, et al., 1975). Optamos aqui por dividir o sinal em segmentos de 30ms. A quantidade de amostras de cada um destes intervalos é descrita por N i = f a T i (I) 37

38 sendo f a a freqüência de amostragem do sinal e T i o tempo de duração do intervalo de índice i. Como utilizamos em nosso trabalho f a = Hz e cada intervalo (quadro de análise) tem duração T i = 30ms, teremos então N i = 480 amostras. O processo de obtenção de cada quadro é feito a partir do janelamento do sinal de fala. Para isso escolhemos uma função w(n) para realizar uma ponderação do sinal de entrada no tempo. A equação abaixo demonstra a resultante de um sinal janelado em um determinado quadro i S i n = S n + in i w(n) (II) A escolha do tipo de janela w(n) que será utilizada depende da aplicação que será dada ao sinal janelado. Em nosso caso utilizamos uma janela retangular para o cálculo do parâmetro Taxa de Cruzamentos por Zero e uma janela Hamming para o cálculo dos coeficientes Mel-cepstrais. A seguir podemos observar as definições dessas duas janelas e também da janela Hanning (Oppenheim, et al., 1975) Janela Retangular: w n = 1, 0 n N i 0, caso contrário (III) Janela Hamming: w n = 0,54 0,46 cos 2πn N i, 0 n N i 0, caso contrário (IV) Janela Hanning: w n = 0,5 0,5 cos 2πn N i, 0 n N i 0, caso contrário (V) 38

39 Figura 3 - Janela Hamming e respectiva transformada de Fourier Figura 4 - Janela Hanning e respectiva transformada de Fourier Como pode ser observado nas Figuras 3 e 4 o efeito de suavização das bordas causado pela janela Hanning é total, ou seja, as amostras das extremidades são reduzidas a zero. Já a janela Hamming, que foi utilizada em nosso trabalho, possui uma suavização das bordas em um valor um pouco acima do zero, porém com a vantagem de reduzir mais os efeitos dos lóbulos laterais provocados pelo janelamento, conforme podemos observar pelas respostas em freqüência de ambas as janelas nas mesmas Figuras 3 e 4. 39

40 Como dito anteriormente, utilizamos a janela Hamming para o cálculo dos coeficientes Mel-cepstrais e quadros com duração T i = 30ms, porém para não perder informações a respeito do sinal em decorrência da suavização das bordas pelo janelamento, as janelas de 30ms foram aplicadas a cada 15ms de sinal, criando portanto uma superposição de 50% entre janelas sucessivas. O sinal de fala também foi submetido a um filtro de pré-ênfase para minimizar os efeitos de atenuação das altas freqüências causados pela radiação labial (Markel, et al., 1976). A resposta em freqüência deste filtro de pré-ênfase é mostrada na Figura 5 e sua função de transferência é dada por P z = 1 0,95z 1 (VI) Figura 5 - Resposta em freqüência do filtro de pré-ênfase 40

41 A Taxa de Cruzamentos por Zero (ZCR Zero Crossing Rate) será utilizada como parâmetro para auxiliar na diferenciação entre vogais e fricativas, pois as fricativas possuem alta taxa de cruzamentos por zero, que é definida pela quantidade de vezes que o sinal muda de positivo para negativo ou vice-versa (cruza o zero) em um determinado intervalo de tempo. O parâmetro ZCR foi calculado em cada quadro analisado, porém sobre o sinal original, usando janela retangular (com sobreposição de 50%) e sem a aplicação do filtro de pré-ênfase. Com base na definição acima, a ZCR pode ser calculada por i N ZCR i = i +1 n=in i sinal s n s n + 1 (VII) onde sinal x = 1, x < 0 0, x 0 Outro parâmetro definido para auxiliar o processo de identificação dos trechos de análise foi a Energia Logarítmica de cada quadro. A energia é útil para diferenciar os períodos de silêncio, onde a energia armazenada no quadro é substancialmente menor do que a energia em um quadro de fala. A Energia Logarítmica foi calculada no sinal com janelamento Hamming e após a aplicação do filtro de pré-ênfase, utilizando o mesmo tamanho de quadro definido anteriormente, com T i = 30ms e superposição de a cada 15ms. E i = ln i N i +1 n=in i s 2 n (VIII) O cálculo dos coeficientes Mel-cepstrais (Picone, 1993), citados na seção anterior como parte do processo de segmentação e classificação de fala, é realizado 41

42 por meio de uma análise homomórfica do sinal. Sistemas homomórficos são sistemas não-lineares que obedecem a um princípio de superposição generalizado, assim denominados por terem a capacidade de separar o sinal de excitação das características do trato vocal, considerando um modelo fonte-filtro de produção da fala (Deller, et al., 1999). Podemos dividir o modelo acústico linear de produção da fala (modelo fontefiltro) em duas partes: um modelo matemático do sinal de excitação (fonte) e um modelo matemático (resposta impulsiva) do trato vocal, que corresponderá a um filtro linear variante no tempo. As equações IX a XII demonstrarão o processo utilizado para a separação desses dois componentes, por meio de um processo denominado deconvolução. Assim, o sinal de fala pode ser modelado por s n = g n v n (IX) onde g n representa o sinal de excitação, v n a resposta impulsiva do trato vocal e o operador indica a convolução linear dos dois sinais. Este processo também pode ser representado no domínio da freqüência como S f = G f V f (X) Se tomarmos o logaritmo dos dois lados da equação X, teremos log S f = log G f + log V f (XI) Devido ao fato do sinal de excitação ser rapidamente variante no tempo (pulsos glotais oriundos do processo de fonação nas pregas vocais) e o filtro que modela as características (ressonâncias) do trato vocal em geral ser lentamente 42

43 variante no tempo (transição entre diferentes fonemas), como no domínio logarítmico a função de excitação e a função de transferência do trato vocal estão superpostas aditivamente, a princípio elas podem ser separadas. A análise cepstral consiste exatamente em tomar o logaritmo da magnitude do espectro do sinal de fala e então calcular sua Transformada de Fourier Inversa, obtendo-se assim os coeficientes cepstrais (Picone, 1993). A origem do termo cepstral é justamente uma tentativa de manifestar linguisticamente o fato de estes coeficientes serem obtidos pela transformada inversa do logaritmo da magnitude espectral (em inglês, spectral). Assim, neste novo domínio cepstral, após transformadas inversamente, as freqüências são denominadas quefrências e a separação ou ajuste de ganho relativo entre altas e baixas quefrências é realizada mediante o uso de um lifter, que seria o correspondente ao inverso de filter (Deller, et al., 1999). Quando obtidos a partir de um sinal de fala, os coeficientes cepstrais de ordem mais baixa (baixas quefrências) refletem as características do trato vocal, ao passo que os coeficientes cepstrais de ordem mais alta (altas quefrências) representam as características do sinal de excitação. Para efeitos de reconhecimento/classificação de fala, o importante são as características do trato vocal, assim utilizamos um lifter passa-baixas ideal e ficamos apenas com os primeiros 13 coeficientes cepstrais. No nosso caso estamos interessados em obter os coeficientes Mel-cepstrais, para isso as informações do sinal de fala são extraídas com base em determinadas freqüências críticas, às quais o ouvido humano é mais sensível (Minami, 1998). 43

44 O que diferencia os coeficientes com o prefixo Mel dos coeficientes denominados meramente cepstrais é a não linearidade na escala das freqüências, obtida por meio de um conjunto de filtros triangulares convenientemente espaçados (Davi, et al., 1980). Os coeficientes Mel-cepstrais que utilizamos foram obtidos diretamente pela sua definição, e a sua transformada inversa foi feita por meio de uma Transformada Discreta Cosseno (DCT Discrete Cosine Transform) (Davi, et al., 1980). Abaixo descrevemos os passos necessários para a sua obtenção: Cálculo da FFT de 1024 pontos, para cada quadro de amostras do sinal; Cálculo do módulo do quadrado da magnitude da FFT (equivale a energia); Filtragem na escala Mel utilizando 24 filtros triangulares centrados em freqüências críticas, com espaçamento não uniforme na escala de freqüências; Cálculo do logaritmo da energia na saída de cada filtro (X k ); Cálculo da DCT obtendo os coeficientes Mel-cepstrais; 24 π m i = X k cos i k 1 k=1, i = 1,2,, P (XII) 2 24 Extraímos então P = 13 coeficientes Mel-cepstrais do sinal janelado e submetido ao filtro de pré-ênfase, a intervalos de 30ms, com superposição a cada 15ms. O algoritmo foi baseado em uma implementação feita em linguagem C por Edmilson S. Morais e Carlos Ynoguti, DECOM-FEEC-UNICAMP. A seguir apresentamos o diagrama em blocos do algoritmo utilizado no processo de identificação dos trechos de análise. 44

45 SINAL DE ENTRADA Cálculo dos coeficientes Mel-Cepstrais MFCC Cálculo das distâncias de Mahalanobis Cálculo do ZCR z > z máx. Correção do quadro: Silêncio/Pausa Janelamento do sinal Aplicação do filtro de pré-ênfase Correção do quadro: Fricativa Cálculo da energia (e) Entrada do HMM e < e. mín. não sim Análise dos três últimos estados Vogal precedida de pausa Vogal precedida de fricativa Vogal precedida de plosiva Definição do estado do quadro atual Deslocamento com superposição não Fim do sinal sim Algoritmo de detecção de sonoridade Figura 6 Diagrama de blocos do algoritmo de identificação de trechos de análise 45

46 Algoritmo de identificação de sonoridade A função para detecção de sonoridade foi baseada em um algoritmo de detecção de pitch (Deller, et al., 1999), que foi devidamente adaptado para esta aplicação específica, conforme descrito a seguir. A entrada do algoritmo é um segmento contendo cerca de 90 a 120 ms de fala, que já foi previamente detectado como pertencente a um som plosivo ou fricativo pelo algoritmo de segmentação e classificação, conforme mencionado na seção anterior. Como o presente algoritmo foi projetado apenas para detecção de sonoridade em fonemas plosivos e fricativos, no caso de fonemas plosivos, só é analisada pelo algoritmo a parte do segmento de fala que antecede o burst, na tentativa de identificar VOT negativo, que garante a presença de sonoridade nos sons plosivos (Lisker, et al., 1964), principalmente no caso do PB (Gielow, 1993). Para os fonemas fricativos, somente é analisada a parte imediatamente anterior à vogal que o sucede. A figura 7 mostra a forma de onda da realização do fonema sonoro /b/, e a figura 8 a realização do fonema surdo /p/. Na figura 9 é apresentada a forma de onda da pronúncia de um fonema fricativo sonoro /z/ e a figura 10 o sinal referente à uma realização do seu respectivo correspondente surdo, o fonema /s/. Nas figuras 7 e 8, a janela retangular ilustra a parte do segmento que será analisada para a detecção de sonoridade e a seta indica o local onde ocorre o burst. 46

47 (amplitude) (amostras) Figura 7 - Forma de onda do fonema sonoro /b/ seguido de /a/ (amplitude) (amostras) Figura 8 - Forma de onda do fonema surdo /p/ seguido de /a/ 47

48 (v) amostra Figura 9 - Forma de onda do fonema sonoro /z/ seguido de /a/ (v) amostra Figura 10 - Forma de onda do fonema surdo /s/ seguido de /a/ 48

49 Para se conseguir bons resultados de detecção de sonoridade, foi importante identificar os limiares utilizados por cada um dos fatores presentes na detecção de pitch: Fmax Freqüência máxima de pitch (Hz): 600 Fmin Freqüência mínima de pitch (Hz): 60 Amin Autocorrelação mínima (normalizada): 0.3 Emin Energia mínima: 0.05 O sinal de entrada é segmentado e submetido a um filtro passa baixa de 20 coeficientes, que nada mais é do que a resposta impulsiva correspondente à função matemática de uma janela Hanning. Após a filtragem, é calculada a função de autocorrelação do sinal no intervalo de deslocamentos (lags, em amostras) começando pelo deslocamento de índice igual a -(freqüência/freqüência máxima) até o índice +(freqüência/freqüência máxima). A energia total do sinal é obtida simplesmente tomando-se o valor correspondente ao índice (deslocamento) zero da função de autocorrelação. O sinal é considerado surdo se uma das condições abaixo for verdadeira: A energia total é menor que Emin 49

50 O segundo pico de máximo da autocorrelação normalizada for menor que Amin A posição do segundo pico da autocorrelação está na amostra correspondente a um período de pitch cujo inverso (freqüência de pitch) seja inferior à Fmax ou superior à Fmin Caso contrário o sinal de fala é considerado sonoro. Bases de dados de fala Em nosso trabalho foram utilizadas duas bases de dados de fala contínua distintas: uma base contendo frases em Inglês Americano, denominada TIMIT (Texas Instruments / Massachusetts Institute of Technology) (Garofolo, et al., 1993), que foi utilizada para o treinamento do segmentador de fala, e uma base de dados de fala contínua em Português Brasileiro, desenvolvida por Ynoguti (Ynoguti, et al., 2003), utilizada para a validação do algoritmo de identificação de sonoridade. A seguir daremos uma breve explicação sobre cada uma dessas bases de fala. A base de dados de fala contínua TIMIT é composta por 6300 frases pronunciadas por 630 locutores americanos, de ambos os sexos, e cobre uma gama de oito diferentes dialetos do Inglês Americano (Fischer, 1986). Optamos por utilizar esta base devido ao seu amplo uso, tanto na área de fonética e fonologia (Keating, 1994) quanto na área de reconhecimento automático de fala (Byrd, 1992) (Pols, et al., 1996). Além das amostras de fala contínua, a base TIMIT possui a transcrição 50

51 fonética de cada uma delas, possibilitando identificar facilmente os trechos de fala, e saber onde começa e onde termina cada fonema (Wu, et al., 1991). A utilização de uma base de dados em um idioma diferente do utilizado neste trabalho é justificável devido às características similares das fricativas do Inglês Americano com relação às fricativas do Português Brasileiro. A literatura também mostra que, no caso das fricativas, a variação interlínguas é muito pequena e pode ser desconsiderada para o tipo de aplicação que estamos trabalhando. Semelhanças entre as fricativas do Inglês Britânico, do Português Europeu e do Espanhol já foram amplamente estudadas e comprovadas (Jesus, 2001) (Manrique, et al., 1981). A base TIMIT também é válida para o teste de diferenciação dos fonemas fricativos com relação aos fonemas vocálicos. Isso porque, embora as vogais do Inglês Americano sejam completamente diferentes das vogais do Português Brasileiro, para a aplicação visada neste trabalho, a identificação das vogais é realizada somente com base em suas características de forte tonalidade (forte estrutura harmônica) em comparação com as consoantes fricativas e plosivas. Assim, sob este aspecto (tonalidade), as características das vogais do Inglês Americano podem ser utilizadas também para caracterizar a tonalidade das vogais do Português Brasileiro. O único aspecto para o qual a base TIMIT não pôde ser utilizada foi para fins de caracterização da sonoridade dos fonemas plosivos, pois em geral as realizações dos fonemas plosivos do Inglês Americano possuem VOT positivo, enquanto a 51

52 realização dos fonemas plosivos do Português Brasileiro, considerando sua pronúncia em fala contínua, em geral apresentam VOT negativo (Gielow, 1993). A base de dados de fala contínua em Português Brasileiro desenvolvida por Ynoguti (Ynoguti, et al., 2003) possui 20 listas, cada uma contendo 10 sentenças, todas elas foneticamente balanceadas (Alcaim, et al., 1992), compreendendo um total de 694 palavras. As frases foram gravadas por 40 locutores diferentes, 20 do sexo masculino e 20 do sexo feminino. Esta base de dados foi utilizada no processo de treinamento e testes do algoritmo de identificação de sonoridade em fonemas plosivos e fricativos. 52

53 Resultados As tabelas contidas nesta seção apresentam os resultados em forma de matrizes de confusão, nas quais as linhas contêm a classificação correta e as colunas contêm os resultados obtidos pelo algoritmo de classificação. Os elementos de cada matriz indicam o número de quadros de fala classificados. Para o desenvolvimento do algoritmo de segmentação e classificação da fala utilizamos a parte da base de dados de fala contínua TIMIT denominada train (Fischer, 1986) para fazer o treinamento do HMM e a parte denominada test para obter os resultados apresentados na tabela 5. Classe PS CL VC GK PL LL RR NA SF SZ WF VA VM VP PS CL VC GK PL LL RR NA SF SZ WF VA VM VP Tabela 5 - Matriz de confusão das classes fonéticas 53

54 100,0% 90,0% 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% PS CL VC GK PL LL RR NA SF SZ WF VA VM VP Figura 11 - Porcentagem de acertos por classe fonética Abaixo apresentados os resultados da classificação baseados nas quatro classes fonéticas computacionais fornecidas pelo HMM. As tabelas 6 e 7 exibem os resultados obtidos durante o treinamento do HMM, feito a partir da base TIMIT train, e usando para obter os resultados de classificação os mesmos dados utilizados no treinamento (test on training). Estado PAU PLO FRI TON PAU PLO FRI TON Tabela 6 - Matriz de confusão do teste do treinamento (test on training) Estado PAU PLO FRI TON PAU 91,83% 3,74% 1,03% 3,39% PLO 2,45% 87,09% 8,31% 2,15% FRI 4,80% 12,32% 80,36% 2,53% TON 0,55% 0,10% 0,11% 99,24% Tabela 7 - Matriz percentual de confusão do teste do treinamento (test on training) 54

55 100,00% 90,00% 80,00% 70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% PAU PLO FRI TON Figura 12 - Percentual de acertos do teste do treinamento (test on training) As tabelas 8 e 9 exibem os resultados obtidos durante o teste final de classificação do HMM, com treinamento feito a partir da base TIMIT train e teste de reconhecimento realizado com os dados base TIMIT test (test on test). Este é o resultado realmente válido em termos de desempenho de classificação. Estado PAU PLO FRI TON PAU PLO FRI TON Tabela 8 - Matriz de confusão do teste final (test on test) 55

56 Estado PAU PLO FRI TON PAU 91,61% 4,11% 0,80% 3,48% PLO 2,94% 87,83% 7,17% 2,06% FRI 5,20% 12,65% 79,78% 2,37% TON 0,63% 0,14% 0,10% 99,13% Tabela 9 - Matriz percentual de confusão do teste final (test on test) 100,00% 90,00% 80,00% 70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% PAU PLO FRI TON Figura 13 - Percentual de acertos do teste final (test on test) A seguir exibimos os resultados globais, com treinamento feito a partir da base TIMIT train e teste de reconhecimento realizado com os tanto com os dados da base TIMIT test como com os dados da base TIMIT train (global test). Estado PAU PLO FRI TON PAU PLO FRI TON Tabela 10 - Matriz de confusão global (global test) 56

57 Estado PAU PLO FRI TON PAU 91,77% 3,84% 0,97% 3,41% PLO 2,58% 87,28% 8,02% 2,13% FRI 4,90% 12,40% 80,21% 2,49% TON 0,57% 0,11% 0,11% 99,21% Tabela 11 - Matriz percentual de confusão global (global test) 100,00% 90,00% 80,00% 70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% PAU PLO FRI TON Figura 14 - Percentual de acertos global (global test) A seguir apresentamos as respostas gráficas do segmentador de fala contínua para a frase O jogo será transmitido bem tarde. A figura 15 demonstra o funcionamento do algoritmo de segmentação e classificação, a análise dos parâmetros ZCR, energia e derivada da energia. Estes parâmetros adicionais foram utilizados para refinar o resultado de classificação obtido unicamente com base nos coeficientes mel-cepstrais. 57

58 Figura 15 - Análise do sinal, parâmetro ZCR, parâmetros energia e sua derivada A figura 16 ilustra o trecho transmitido da frase O jogo será transmitido bem tarde, com a resposta do segmentador, onde pode ser observada a identificação dos fonemas vocálicos e a identificação de presença (1) ou ausência (0) de sonoridade. 58

59 Figura 16 - Palavra 'transmitido' identificada pelo algoritmo de segmentação e classificação Para os testes do algoritmo de identificação de sonoridade, como dito anteriormente, utilizamos a base de dados de fala contínua desenvolvida por Ynoguti (Ynoguti, et al., 2003). CASO GERAL FEMININO MASCULINO GLOBAL SURDA SONORA GLOBAL SURDA SONORA GLOBAL SURDA SONORA SURDA SURDA 89 1 SURDA SONORA SONORA SONORA PLOSIVAS SURDA SONORA PLOSIVAS SURDA SONORA PLOSIVAS SURDA SONORA SURDA SURDA 56 0 SURDA 58 0 SONORA SONORA SONORA 11 9 FRICATIVAS SURDA SONORA FRICATIVAS SURDA SONORA FRICATIVAS SURDA SONORA SURDA 84 1 SURDA 33 1 SURDA 51 0 SONORA 19 2 SONORA 10 1 SONORA 9 1 Tabela 12 - Matriz de confusão do algoritmo de identificação de sonoridade 59