Protótipo de Software de Reconhecimento de Voz Para Navegação em Jogos, Utilizando Rede Neural Artificial

Transcrição

1 Protótipo de Software de Reconhecimento de Voz Para Navegação em Jogos, Utilizando Rede Neural Artificial Orientando: Derlei Brancher Orientador: Prof. Jacques Robert Heckmann - Mestre

2 1. Introdução Roteiro 1.1. Objetivos 2. Fundamentação teórica 2.1. Reconhecimento de voz 2.2. Trabalhos correlatos 3. Desenvolvimento do protótipo 3.1. Requisitos 3.2. Especificação 3.3. Implementação 3.4. Resultados obtidos e discussões 4. Conclusão 4.1. Extensões

3 Introdução Criação. Evolução. Estudos. Aplicações. Esforço. Estudou-se.

4 Objetivos Objetivo geral. Objetivos específicos: a) implementar uma RNA capaz de reconhecer um subconjunto de comandos para navegação em jogos; b) criar um sistema de tratamento de sinal de áudio, responsável por capturar a voz do operador do jogo e transformá-la em informação de entrada para RNA; c) construir um estudo de caso demonstrando a aplicação da RNA para navegação em um jogo na forma de um labirinto 2D; d) detalhar os resultados da RNA proveniente da solução do problema; e) comparar o desempenho da RNA implementada com as dos trabalhos correlatos pesquisados.

5 Fundamentação teórica Manifestação da atividade mental. Objetivo.

6 Fundamentação teórica Trabalhos correlatos: a) Uma Interface de Reconhecimento de Voz para o Sistema de Gerenciamento de Central de Informação de Fretes (HUGO, 1995); b) Reconhecimento de Voz Dependente de Locutor Utilizando Redes Neurais Artificiais (BRAGA, 2006); c) Protótipo para o Reconhecimento de Palavras Através da Fala (BRUNS, 1995).

7 Requisitos Os requisitos Funcionais estabelecidos para elaboração do protótipo foram: a) disponibilizar uma interface para apresentação do jogo; b) captar os sinais de áudio do meio externo através de microfone; c) digitalizar o áudio utilizando técnicas de pré-processamento; d) armazenar em arquivos os pesos sinápticos das entradas dos neurônios artificiais da RNA treinada; e) permitir ao usuário a navegação pelo jogo através de comandos de voz.

8 Requisitos Os requisitos Não-Funcionais estabelecidos para elaboração do protótipo foram: a) ser implementado utilizando linguagem de programação Java; b) ser implementado utilizando ambiente de programação NetBeans na versão 6.9 ou superior; c) utilizar Open Graphics Library para tratamento gráfico do jogo em 2D.

9 Especificação

10 Especificação

11 Especificação

12 Especificação

13 Especificação

14 Implementação Classe envolvida BuscaDeSinais. Utilização da API JavaSound. Taxa de amostragem. Quantização. Número de canais. Escolha dos valores.

15 Implementação Classe envolvida PreProcessamento. Representação dos sinais digitalizados. Eliminação parte negativa do sinal. Eliminação do silêncio. Redução sinal através de médias. Mediação do sinal. Normalização do sinal.

16 Implementação Classe envolvida Kohonen e Neuronio. Construção topológica. Iterações. Taxa de aprendizagem. Vizinhança. Rotulação do neurônio. Identificação do neurônio ganhador. Ajuste fino.

17 Implementação Classe envolvida Labirinto. Utilização de bibliotecas externas (Gluegen-rt e Jogl). Método movimentolabirinto.

18 Resultados obtidos e discussões Conjunto de padrões utilizados (esquerda, direita, prossiga, retorne, fechar, inicio). Resultados obtidos.

19 Resultados obtidos e discussões Comparativo das taxas de acerto. Resultados obtidos.

20 Conclusão Alvo de estudos. Taxas de acerto. Objetivos e requisitos do trabalho. Limitações encontradas: a) existência de ruídos; b) materiais bibliográficos. Escolha das técnicas implementadas.

21 Extensões Como sugestão pode-se citar: a) investigar a existência de variações nos resultados obtidos em diferentes RNA geradas, devido aos seus respectivos valores de inicialização atribuídos aos pesos sinápticos dos neurônios artificiais; b) investigar existências de neurônios artificiais que nunca vencem as amostras apresentadas para RNA e, se estes poderiam ser eliminados para ajudar na eficiência do processamento da RNA; c) implementar uma nova técnica de rotulação dos neurônios, visando abranger um maior conjunto distinto de padrões.