Processamento de Som com Escala de Mel para Reconhecimento de Voz

Transcrição

1 PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO DEPARTAMENTO DE INFORMÁTICA Processamento de Som com Escala de Mel para Reconhecimento de Voz INF2608 FUNDAMENTOS DE COMPUTAÇÃO GRÁFICA Professor: Marcelo Gattas Aluno: Leonardo da Cruz Matrícula:

2 RESUMO Este trabalho, visa apresentar uma implementação sobre processamento de som. Serão apresentadas as equações matemáticas para a resolução do problema, bem como as etapas de implementação seguidas com os resultados gerados através de imagens. INTRODUÇÃO No sinal de voz incorporam-se informações importantes do falante, que são altamente perceptíveis, tais como, dialeto, contexto, estilo de falar, estado emocional, etc. Há outras características que dificilmente são perceptíveis, tais como tons, frequências dos formantes, intensidade, entre outros [1]. Na atualidade existem diferentes metodologias e procedimentos de análise para extração de atributos do sinal de voz, que se centram em diferentes aspectos representativos. Para este trabalho, é adotado o Mel Frequency Cepstral Coefficents (MFCCs). Para esse trabalho será feita a seguinte divisão: Leitura de um arquivo de som Aplicação da Pré-Ênfase Divisão da Pré-ênfase em curtos quadros de tempo Calculo da Window Hamming Implementação do espectro de freqüência com Transformada de Fourier Computação dos Bancos de Filtro (Filter Banks) Espectro do Mel-frequency Cepstral Coefficients (MFCCs) É utilizado um arquivo de som no formato wav, que é um sinal de fala limpo que compreende uma única voz emitindo algumas frases. DESENVOLVIMENTO Com base nas informações passadas na descrição do trabalho, passadas pelo prof. Marcelo Gattas [2] e com as fórmulas matemáticas apresentadas, foi utilizada a linguagem python para realizar e processar os cálculos responsáveis pela criação dos processos descritos para esse trabalho. A Implementação teve base em um tutorial que pode ser encontrado em Equação1: Fórmula para ir Hz para escala Mel

3 Pré-Ênfase A fórmula utilizada para a aplicação da pré-ênfase é a seguinte: Equação2: Fórmula para aplicação do filtro de pré-ênfase Onde os valores típicos para o coeficiente de filtro ALFA são 0,95 ou 0,97. Cálculo da Window Hamming Uma window hamming tem a seguinte formulação: Equação3: Fórmula para window hamming Onde 0 <= n <= N -1, N é o comprimento da janela. A aplicação do mel filterbank aos power spectra Equação3: Fórmula para calcular o espectro do sinal e o MFCCs

4 IMPLEMENTAÇÃO A primeira coisa que é preciso fazer é o carregamento de um som, para realizarmos a amostragem. O Trecho de código a seguir, mostra a implementação para o carregamento do som e a plotagem de sua amostragem. O próximo passo é aplicar um filtro de pré-ênfase no sinal. Este é importante, pois equilibra o espectro de freqüências da amostragem, já que altas frequências geralmente possuem magnitudes menores em comparação com freqüências mais baixas. Além de evitar problemas numéricos durante a operação de transformada de Fourier e reduzir ruídos no sinal. Após a pré-ênfase, precisamos dividir o sinal em quadros de tempo curto. A importância desse processo, é que as freqüências de um sinal variam com o tempo.

5 Depois de cortar o sinal em curtos quadros, é preciso aplicar a equação de janela de hamming, onde a implementação é feita a seguir: Próxima etapa é fazer a Transformação de Fourier de Curto-Tempo (STFT), que é calculada a partir da seguinte implementação:

6 Para a finalização da computação dos bancos de filtros ou filter Banks, é a aplicação de filtros triangulares, normalmente 40 filtros, em uma escala de Mel para extrair bandas de freqüência. A escala Mel tem como objetivo imitar a percepção não-linear do ouvido humano, sendo mais discriminativa nas freqüências mais baixas e menos discriminativa nas freqüências mais altas. Abaixo segue o código para aplicação do filtro triangular: Para a plotagem da freqüência, bem como do Espectro, basta fazer como apresentado no código abaixo:

7 A Próxima etapa é calcular os coeficientes cepstrais Mel-Frequency (MFCCs) gerar Mel-Frequency Cepstral Coefficients (MFCCs). Portanto, é preciso aplicar a Transformada de Cosseno Discreta (DCT) para descolar os coeficientes do filter bank e gerar uma representação do mesmo. Também é aplicado a Transformada de Cosseno Discreta (DCT) para descolar os coeficientes do banco de filtros e gerar uma representação comprimida dos bancos de filtros. O código abaixo apresenta esta implementação: Para equilibrar o espectro e melhorar o Signal-to-Noise (SNR), podemos simplesmente subtrair a média de cada coeficiente de todos os quadros e assim temos um resultado normalizado.

8 RESULTADOS Abaixo segue as imagens dos resultados obtidos para este trabalho. Sinal

9 Pré-Ênfase Window Hamming

10 Filter bank na escala de Mel Espectrograma do Sinal Mel-Frequency Cepstral Coefficients (MFCCs)

11 Filter Banks Normalizado MFCCs Normalizado REFERÊNCIAS [1] - Acessado em 09 de Maio de [2] - Acessado em 09 de Maio de 2018.