ESTUDO DE ALGORITMO DE SEGMENTAÇÃO DE FALA

Transcrição

1 ESTUDO DE ALGORITMO DE SEGMENTAÇÃO DE FALA Vinicius de Souza 1, Marcelo de Oliveira Rosa 2 1,2 Departamento Acadêmico de Eletrotécnica Campus Curitiba Universidade Tecnológica Federal do Paraná - UTFPR Av. Sete de Setembro, 3165, Rebouças, CEP Curitiba, Paraná, Brasil viniciusdesouza1991@gmail.com, mrosa@utfpr.edu.br Resumo Neste artigo propomos um algoritmo simples baseado na quantidade de energia por janela de sinais de fala para determinar os intervalos em que há informação útil a ser analisada. Tal segmentação possibilita economia de processamento em trechos contendo apenas ruído em aplicações como reconhecimento de fala e identificação de falante. Palavras-chave: segmentação de fala; processamento digital de sinais. Abstract In this paper, we propose a simple energy-based algorithm which uses only the energy along speech signals to set up the intervals where there is useful information to be analyzed. Such a segmentation allows avoid processing segments that have only noise in applications such as speech recognition or speaker identification. Keywords: speech segmentation; digital signal processing. INTRODUÇÃO Estimadores de segmentos, em processamento de sinais de voz, consistem em algoritmos que têm como objetivo a segmentação de um sinal de acordo com um critério preestabelecido, visando uma aproximação do resultado desejado. O objetivo do algoritmo do artigo é detectar a presença de fala em um ambiente com ruído e detectar o início e o fim dessa fala, possibilitando manter em um mínimo a quantidade de informação processada [1]. No trabalho em questão foram utilizados diferentes sinais de voz, frases ou palavras isoladas, para se realizar os testes do algoritmo e para se analisar os resultados. Estes sinais de voz provêm de um banco de dados fornecido pelo professor, dos quais dois foram os principais: uma gravação conténdo a palavra ligar, e outra gravação conténdo a frase e nosso destino é o de continuar crescendo. Ambos correspondem à voz da mesma mulher e possuem frequência de amostragem de Hz. Algumas ferramentas aprendidas no início do estudo, também foram largamente utilizadas durante todo o desenvolvimento do algoritmo do estimador de segmentos, assim como o programa MATLAB.

2 METODOLOGIA A separação do ruído ambiente da fala pode ser resolvido apenas com um teste da energia do sinal quando há uma razão sinal para ruído alta. Mas na maioria das vezes essa razão não é suficiente e a energia dos fricativos fracos (como /f/ em faca ) não excede a energia do ruído. Para se contornar este problema utiliza-se a ZCR. O algoritmo-base [1] faz uso desses dois critérios e analisa o ruído inicial para fazer medições da energia em pequenos intervalos e da ZCR. Essas medições iniciais são úteis para identificar o ruído do ambiente e depois procurar qualquer alteração nesses dados, o que indica fala. O artigo-base ainda indica quais são os principais fonemas que causam problemas, o que foi confirmado depois durante o desenvolvimento dos trabalhos de iniciação científica. São eles: - Fricativos fracos (/f, th, h/) - Plosivos fracos (/p, t, k/) - Nasais Uma localização eficiente dos pontos de início e fim de uma palavra é útil, em especial, em programas de reconhecimento de palavras. A janela utilizada no algoritmo-base para medições de energia e ZCR é de 10ms e as gravações estão em uma frequência de amostragem de 10kHz. É aplicado ao sinal um filtro passa-banda com frequências de corte de 100Hz e 4kHz. Assume-se que nos primeiros 100ms não há fala e, portanto, são feitas as medições iniciais para se definir os thresholds. Os thresholds referentes à energia são definidos como ITL (inferior) e ITU (superior), com as seguintes fórmulas: Onde IMX é a energia de pico e IMN é a energia do silêncio. O algoritmo começa a procurar algum ponto onde a energia excede ITL, a partir desse ponto o algoritmo verifica se a energia continua subindo até exceder ITU ou se desce novamente abaixo de ITL. No primeiro caso há a colocação do ponto de início, no segundo o algoritmo ignora o ponto em questão. Depois o mesmo processo é repetido, mas com sentido contrário, partindo do final para o começo. Há também o cálculo do threshold IZCT referente à ZCR, que é o mínimo entre IF e a média de IZC mais duas vezes o desvio padrão. Este cálculo da ZCR será mostrado no algoritmo no próximo capítulo. Depois de encontrados os thresholds e realizadas as estimativas por energia, encontramse dois pontos: N1 (inicial) e N2 (final). Em um intervalo de N1-25 e N2+25, se a ZCR excede o threshold IZCT pelo menos três vezes, o ponto N1 é deslocado para a primeira vez em que ZCR excede IZCT. O mesmo é feito no sentido oposto para N2. Segundo o artigo, os resultados se aproximaram do esperado, resultando em um algoritmo simples, relativamente eficiente e robusto, podendo ser utilizado em vários ambientes. Algoritmo Adaptado. Primeiramente, nos trabalhos de iniciação científica, o algoritmo-base foi implementado. Mas como o interesse da iniciação científica foi um estimador de segmentos, foi realizada uma adaptação do algoritmo-base. Ao invés de procurar o início e o fim da fala na gravação, tentou-se encontrar o início e o fim dos segmentos que compõe a gravação (palavras, fonemas). A principal adaptação foi modificar a maneira em que se encontra o ponto final, que no primeiro apenas se invertia o sentido de procura dos thresholds. E no algoritmo adaptado se inverte a ordem em que os thresholds são cruzados, ou seja, a energia cruza os thresholds em sentido de decrescimento. Tornou-se opcional a utilização do cálculo do ZCR e a utilização do filtro passa-banda e se tornou possível a escolha da janela e do passo com os quais são realizados os cálculos.

3 O algoritmo adaptado resulta em uma matriz (pontos) com número de linhas igual ao número de segmentos e duas colunas. Onde cada linha apresenta, respectivamente, o ponto inicial e final de cada segmento. Foi desenvolvido também um algoritmo que varia a janela com a qual são realizados todos os cálculos, para se analisar o que a mudança da janela acarreta de mudança no resultado. RESULTADOS E DISCUSSÃO Variando-se o tamanho da janela e aplicando-se o algoritmo adaptado, foram construídas duas tabelas (uma para a palavra ligar e outra para a frase e nosso destino é o de continuar crescendo ). Na confecção das tabelas não foram utilizados os cálculos referentes à taxa de cruzamentos de zero (ZCR), pois os resultados derivados da ZCR não foram satisfatórios. Portanto as tabelas abaixo são baseadas apenas na taxa de energia por janela. Tabela 1. Segmentação da palavra ligar com variação da janela e do passo utilizados no cálculo da energia Janela (ms) Passo (ms) Início (ms) Fim (ms) Duração (ms) Palavra Ruído 3 1, , , , , , , Ruído

4 , , Pode-se notar na tabela que quando uma janela pequena é utilizada, os thresholds do algoritmo são ultrapassados com os ruídos. Por exemplo, quando as janelas de 2ms e 3ms foram utilizadas, o algoritmo registrou dois intervalos que contém apenas ruído, o que não é interessante para a finalidade do algoritmo. Por outro lado, nota-se também que a partir de 4ms de janela, todos os resultados são bastante semelhantes. Se o tamanho da janela continuasse aumentando, provavelmente chegaria um momento em que o intervalo li e o intervalo gar seriam unidos em um intervalo só. O que mostraria que também não é interessante a utilização de uma janela muito grande. Tabela 2. Segmentação da frase e o nosso destino é o de continuar crescendo com variação da janela e do passo utilizados no cálculo da energia Janela (ms) Passo (ms) Início (ms) Fim (ms) Duração (ms) Palavra , Ruído "e nosso" "destino" "é o de" Ruído Ruído "co" "ti" "nuar" Ruído "cre" "s" "endo" Ruído "e nosso destino" "é o de" Ruído "co" "ti" "nuar" Ruído

5 , , "cre" "s" "endo" "e nosso destino" "é o de" Ruído "co" "ti" "nuar" Ruído "cre" "s" "endo" "e nosso destino" "é o de" Ruído "co" "ti" "nuar" "cre" "s" "endo" "e nosso destino" "é o de" "co" "ti" "nuar" "cre" "s" "endo" "e nosso destino" "é o de" Ruído "co" "ti" "nuar" "cre" "s" "endo" "e nosso destino é o de" "co" "ti" "nuar" "cres" "endo"

6 9 4, , , , , "e nosso destino é o de" "co" "tinuar" "cres" "endo" "e nosso destino é o de" "co" "tinuar" "cres" "endo" "e nosso destino é o de" "co" "tinuar" "cres" "endo" "e nosso destino é o de" "co" "tinuar" "cres" "endo" "e nosso destino é o de" "co" "tinuar" "cres" "endo" "e nosso destino é o de" "co" "tinuar" "cres" "endo" "e nosso destino é o de" "co" "tinuar" "cres" "endo" "e nosso destino é o de" "co" "tinuar" "cres" "endo" "e nosso destino é o de" "co" "tinuar" "cres" "endo"

7 , "e nosso destino é o de" "co" "tinuar" "crescendo" "e nosso destino é o de" "co" "tinuar" "cres" "endo" "e nosso destino é o de" "co" "tinuar" "crescendo" A palavra ligar é falada com bastante clareza e pausadamente, ao contrário da frase e o nosso destino é o de continuar crescendo. Devido a esses fatores principalmente, a segmentação deste sinal ficou muito mais difícil. Além do fato de o segundo sinal conter várias palavras que são emendadas ao falar. Novamente as janelas menores acusaram intervalos que não continham palavras, e, sim, ruído. Com a janela de 2ms, quatro intervalos registram apenas ruído e com a de 3ms, são três intervalos. Dois intervalos para a janela de 4ms e um intervalo com a janela de 5ms. Apresentando uma diminuição bastante linear de acordo com a variação da janela. Indicando novamente que janelas pequenas dificultam a segmentação do sinal. Neste caso (Tabela 2), fica evidente que a utilização de janelas muito grandes atrapalha na segmentação. Por exemplo, com janela de 20ms nota-se que o primeiro intervalo contém e nosso destino é o de, mostrando que o algoritmo não consegue separar estas palavras. Ao observar a Tabela 2, percebe-se que o algoritmo encontra dificuldade em reconhecer fonemas plosivos e fricativos fracos, como o artigo-base já havia informado. Por exemplo, mesmo com a janela de 20ms a palavra continuar é separada em co e tinuar, perdendo o n. Isso ocorre devido ao fato de estes fonemas nasais terem baixa energia e, principalmente, porque o plosivo t se caracteriza por uma pausa na vibração das cordas vocais. O mesmo ocorre com a palavra crescendo com janela de 19ms, onde há a separação dos fonemas cres e endo. Isso ocorre porque o fonema s possui baixa energia, pelo mesmo motivo, não há vibração das cordas vocais quando se reproduz o som desta letra. Na primeira tabela também se observa a separação de li e gar. A explicação disso é que o fonema g é caracterizado por uma pausa na vibração das cordas vocais referentes à vogal i, provocando um corte da energia. CONCLUSÕES Os testes realizados revelaram que o algoritmo desenvolvido ao longo do semestre atingiu parcialmente os objetivos iniciais. Um deles, manter em um mínimo a quantidade de informação processada, foi atingido com sucesso. O processo consegue eliminar as partes do sinal que possuem apenas ruído e deixar somente as partes do sinal que contém fala. Verificou-se reduções de 62% e 86% na quantidade de informação processada nos sinais. Assim, aumentando a velocidade e eficiência de outros processos que possam ser realizados com os sinais.

8 O algoritmo é pouco eficiente na separação de palavras, pois encontra dificuldade em reconhecer fricativos fracos, plosivos e nasais, principalmente quando a frase não é falada pausadamente e com clareza. Isso ocorre porque o processamento do sinal é baseado apenas em medidas de energia. Lembrando que os testes realizados com a taxa de cruzamento de zeros não apresentaram resultados satisfatórios e, por isso, não foi utilizada. No decorrer dos trabalhos da iniciação científica foram apresentadas várias ferramentas utilizadas no processamento de sinais de som e, também, métodos frequentemente utilizados. Conceitos acerca deste assunto tornaram-se mais claros e foram aprofundados. Problemas foram encontrados e contornados, resultando em um aprendizado ainda maior.. AGRADECIMENTOS Os autores agradecem à Fundação Araucária pelo subsídio financeiro fornecido na forma de bolsa de iniciação científica. REFERÊNCIAS [1] RABINER, L. R.; SAMBUR, M. R. An Algorithm for Determining the Endpoints of Isolated Utterances. The Bell System Technical Journal, v. 54, p , 1975.