MÁSCARAS DE ÁUDIO PARA EMULAÇÃO DE VOZ

Transcrição

1 MÁSCARAS DE ÁUDIO PARA EMULAÇÃO DE VOZ Acadêmico: Marcos Rodrigo da Silva Orientador: Paulo César Rodacki Gomes

2 Sumário 2 Introdução Objetivo Fundamentação teórica Conceitos básicos Contexto atual do tema Desenvolvimento da ferramenta Requisitos Especificação Implementação Resultados Testes Conclusões Extensões

3 3 Introdução

4 Objetivo 4 Voz locutor Voz personagem Máscara de áudio Voz locutor Máscara de áudio Voz do personagem (emulada)

5 5 Fundamentação teórica Ondas Transformada Rápida de Fourier Filtros Adaptativos Formato WAVE

6 Ondas 6 Projeções senoidais com diferentes fases iniciais

7 Transforma Rápida de Fourier 7 FFT usando o método de Cooley-Tukey

8 Filtros adaptativos 8 Estrutura básica de um filtro adaptativo

9 Formato WAVE 9 Representação de um arquivo de formato WAVE

10 Trabalhos correlatos 10 Reconhecedores de fonemas (Moser e Tafner) Usando um redes neural detectaram palavras isoladas Adicionado informações a respeito das frequências Sintetizadores para leitura de texto (Kain e Macon) Transformações lineares com modelos de mistura Gaussiana Equalizadores de voz (Audio4Fun) Ferramenta comercial Sintetizadores de voz para canto (Sanjaume) Usa a partitura da música para definir a entonação

11 11 Desenvolvimento da ferramenta Requisitos Especificação Implementação

12 Requisitos 12 permitir carregar arquivos de áudio no formato WAVE para ambas as vozes permitir capturar áudio a partir de um microfone e gravar o mesmo em arquivo WAVE transformar um sinal carregado do domínio do tempo para o domínio da frequência através da transformada de Fourier obter a frequência do harmônico fundamental

13 Requisitos 13 armazenar o valor das amplitudes dos harmônicos relevantes a detecção do timbre, que são as frequências múltiplas do harmônico fundamental calcular a máscara de diferença entre os harmônicos da amostra de voz do locutor e a amostra de voz do personagem aplicar a máscara calculada sobre um sinal de voz do locutor, gerando um terceiro sinal que emule a voz do personagem reproduzir qualquer um dos sinais de amostra ou o sinal emulado

14 Especificação Casos de uso 14

15 Especificação Ciclo de funcionamento 15

16 Especificação - Divisão em módulos 16

17 Especificação Modelo dos dados 17

18 Especificação Processamento dos dados 18

19 Especificação Sequência 19

20 Implementação Técnicas 20 Obtenção dos áudios Leitura de arquivos WAVE com JavaSound Interpretação do conteúdo Criação do filtro Algoritmo LMS sobre os áudios obtidos Aplicação do filtro Adição do filtro criado sobre outra amostra de áudio a fim de modificar o som

21 Implementação Protótipo 21

22 22 Resultados Exemplos Desempenho

23 Resultados Exemplo com nota musical 23 Piano Guitarra Emulado

24 Resultados Desempenho 24 Aliasing Tamanho Tempo min 50 s min 50 s min 40 s min 00 s min 40 s min 50 s min 50 s min 50 s min 40 s

25 25 Conclusões

26 Testes 26 Detecção dos harmônicos A detecção dos harmônicos muitas vezes é subjetivo, devido ao grande número de frequências envolvidas Histograma O histograma obtido possui muitos dados próximos aos dados relevantes Frequências fundamentais Variam de uma voz pra outra, dificultando a obtenção de um padrão correlato

27 Conclusões 27 Complexidade Processos de tratamentos de sinal são complexos e demandam grande processamento Muitas variáveis Vozes possuem muitas variáveis que as diferenciam umas das outras Sinais constantes Filtros adaptativos funcionam melhor com sinais constantes

28 Extensões Tratamentos com diferentes taxas de amostragem Entrada de mais fontes de áudio simultâneas Aplicação de mais de um filtro Utilização de outros tipos de filtros adaptativos Adequação para a utilização em tempo real

29 29 Dúvidas