Proposta de Dissertação de Mestrado

Transcrição

1 Universidade Federal de Campina Grande Centro de Engenharia Elétrica e Informática Curso Pós-Graduação em Informática Proposta de Dissertação de Mestrado Módulo IP-core para Reconhecimento, Independente de Locutor e em Tempo Real, de Dígitos Isolados Falados em Português do Brasil Maria de Lourdes do Nascimento Neta Orientadores Elmar Uwe Kurt Melcher Joseana Macêdo Fechine Campina Grande julho

2 Resumo O trabalho ora proposto enquadra-se na subárea de reconhecimento automático de fala e visa o desenvolvimento de um módulo IP-core para reconhecimento independente do locutor e em tempo real de dígitos isolados falados em português do Brasil, a ser utilizado em dispositivos embarcados. Um dos principais desafios do trabalho consiste em obter padrões que representem com eficiência cada dígito falado e que sejam facilmente reconhecidos, mesmo quando o ambiente de captação da voz apresente ruídos. Outros desafios decorrem das próprias características de um projeto de um sistema embarcado em tempo real que necessita de recursos reduzidos no âmbito do processamento, memória e fontes de alimentação, além dos aspectos relacionados à previsibilidade, à confiabilidade e ao desempenho. 2

3 Sumário 1. Introdução Objetivo da Proposta Objetivo Geral Objetivos Específicos Relevância da Proposta Metodologia de Trabalho Cronograma Referências Bibliográficas

4 1. Introdução Comandar computadores por meio da voz é uma funcionalidade idealizada desde o início do desenvolvimento da computação e retratada, por exemplo, no filme de ficção científica 2001: Uma Odisséia no Espaço de 1968, quando os estudos sobre voz ainda estavam na sua fase inicial no filme o computador HAL 9000 possuía, dentre outras funções, a capacidade de falar naturalmente, reconhecer o que estava sendo dito e por quem. O filme inspirou vários cientistas a prosseguir os estudos relacionados à voz [STORK 1997]. Entretanto, os primeiros trabalhos relevantes no contexto do reconhecimento automático de palavras ocorreram dezesseis anos antes do seu lançamento [DAVIS et al. 1952]. Mas, foi na década de 60 que se produziu mais material sobre o assunto [SCHROEDER; DAVIS 1960, NOLL 1967, OPPENHEIM; SCHAFER 1968, OPPENHEIM 1969, RABINER 1969] e a partir de então outras pesquisas foram realizadas com outros focos, tais como, síntese de voz e reconhecimento automático de identidade vocal (locutor) [VIEIRA 1989]. Atualmente, a área de Processamento Digital de Sinais de Voz (PDSV) vem se desenvolvendo impulsionada pela necessidade de que dispositivos eletrônicos apresentem interfaces mais intuitivas [CHEN 2005] que não sejam somente orientadas à visão e ao tato, mas que permitam também o acesso de portadores de necessidades especiais à tecnologia [CONDADO et al. 2003, MIQUELINA et al. 2004, MOSBAH 2006], além de tornar a relação Homem-Máquina mais fácil e produtiva [RABINER; SCHAFER 1978, DODDINGTON 1985, FAGUNDES; ALENS 1993, VIDAL 2006]. Além da facilidade na comunicação, a voz ainda oferece outras vantagens na interação com as máquinas como, por exemplo, velocidade e autenticação. A maioria das pessoas pode falar facilmente a taxas de 200 palavras por minuto; por outro lado, poucas pessoas podem digitar, em um teclado, mais de 60 palavras por minuto [MACIEL 2007]. As características da voz são únicas, da mesma forma que as impressões digitais e, por isto, caracterizam um único indivíduo. Mas, a técnica de identificação de voz oferece vantagens em relação às digitais e a outros métodos de identificação, tais como, exame de fundo de olho e assinaturas, visto que, a voz pode ser facilmente reconhecida à distância sistemas bancários que disponibilizam o serviço de transações por telefone podem vir a se beneficiar dessa técnica [VASYLTSOV et al. 2003]. O estudo da comunicação vocal Homem-Máquina se divide nas seguintes subáreas [O'SHAUGHNESSY 1999]: Resposta Vocal Reconhecimento de Fala Reconhecimento de Locutor 4

5 O trabalho ora proposto está inserido na área de Reconhecimento de Fala. Na Figura 1, está apresentada uma classificação geral do processamento de voz, com ênfase no reconhecimento de fala [CAMPBELL 1997]. Processamento de Voz Síntese Reconhecimento Codificação Reconhecimento de Locutor Reconhecimento de Fala Identificação da Linguagem Discreta Contínua Dependente de Locutor Independente de Locutor Dependente de Locutor Independente de Locutor Figura 1 Classificação Geral da área de processamento Digital de Sinais de Voz [CAMPBELL 1997]. Sistemas de resposta vocal (SRV) são projetados para responder a um pedido de informação utilizando mensagens faladas. Nesses sistemas, também chamados de sistemas de síntese de voz, a comunicação flui no sentido da máquina para o homem [RABINER; SCHAFER 2007]. Sistemas automáticos de informação de preços, de voos, de produtos e sistemas de auxílio a portadores de necessidades especiais são exemplos de aplicações de SRV [RABINER; SCHAFER 2007]. Sistemas de reconhecimento de locutor (SRL), por sua vez, têm como objetivo reconhecer um locutor por meio da voz. Esses sistemas são classificados como sendo de verificação ou identificação de locutor. As aplicações para verificação de locutor respondem se um dado locutor é quem alega ser, enquanto que, as aplicações de identificação são capazes de identificar quem é o locutor, dentro de um universo de locutores [MÜLLER 2007]. Os SRL são úteis na realização de operações de autenticação pela voz nas áreas de segurança e criminalística. Na área de segurança, esses sistemas atuam na restrição ao acesso, à informação confidencial ou a conteúdo, por exemplo [SHIRALI- SHAHREZA et al. 2008]. Na área de criminalística, auxiliam no reconhecimento de 5

6 indivíduos, uma vez que, as características vocais são únicas para cada indivíduo [MÜLLER 2007]. Nos sistemas de reconhecimento de fala (SRF), a comunicação vocal acontece no sentido homem-máquina. Esses sistemas têm por objetivo reconhecer uma determinada elocução de uma sentença ou entender um texto falado [CHEN 2005]. Existe uma diferença sutil entre reconhecimento e entendimento. No reconhecimento, é identificada toda a sentença pronunciada, enquanto que, no entendimento procurase identificar os vocábulos-chaves pronunciados na(s) sentença(s). Devido a essa diferenciação, o reconhecimento exato de palavras manipula um vocabulário limitado, com um número pequeno de usuários e a pronuncia das palavras acontece de forma pausada. Já no entendimento, trata-se, normalmente, da voz contínua com grande vocabulário [RABINER; SCHAFER 1978]. De uma forma geral, os sistemas de reconhecimento automático de fala são classificados como pertencentes às seguintes categorias: Sistemas de Reconhecimento de Palavras Isoladas, Sistemas de Reconhecimento de Palavras Conectadas, os quais podem ser dependentes ou independentes do Locutor [O'SHAUGHNESSY 1999]. A diferença entre os sistemas de reconhecimento de palavras isoladas (fala discreta) e os de palavras conectadas (fala contínua) reside no fato de que no primeiro é exigida uma pausa curta antes e depois das sentenças que devem ser reconhecidas, enquanto que, no segundo não é necessário pausa, a voz é pronunciada de forma mais natural pelo usuário. Contudo, esse tipo de comunicação possui algumas limitações em virtude da complexidade da voz humana que depende de fatores como entonação, velocidade da fala, fusão do último e primeiro fonema de palavras consecutivas, estado emocional do usuário, etc. [O'SHAUGHNESSY 1999]. Os sistemas dependentes de locutor são treinados para reconhecer as características específicas da voz de seus usuários. Dessa forma, somente os usuários cadastrados são reconhecidos por esses sistemas. Os sistemas independentes de locutor, são insensíveis aos usuários, ou seja, não estão presos às características específicas da voz dos locutores [CHEN 2005]. Algumas das aplicações de reconhecimento de fala muito conhecidas são atendimento telefônico automático, acesso a menu de celulares ou de outros equipamentos eletrônicos, transcrição de fala para texto, dentre outros. Tanto os sistemas de reconhecimento de locutor quanto os de reconhecimento de fala podem apresentar dificuldade para o reconhecimento, pois, estão sujeitos a fatores como, ruído ambiental, variação da posição e dependência do microfone, estado da saúde vocal do locutor, dentre outros [CHEN; MASI 2000, VAREJÃO 2001, NEVES et al. 2008]. Dado que a proposta visa o desenvolvimento de um sistema para reconhecimento automático de fala, a seguir serão destacados os aspectos inerentes deste tipo de reconhecimento. O reconhecimento de fala é caracterizado como sendo uma tarefa de reconhecimento de padrões e possui duas fases (Figura 2): treinamento e reconhecimento [O'SHAUGHNESSY 1999]. Na fase de treinamento, as sentenças de 6

7 voz (palavras ou frases) são usadas na geração de modelos de referência, também conhecidos com padrões de referência, cuja função é modelar as características comuns das sentenças com o objetivo de identificar as sentenças. Na fase de reconhecimento, são obtidos padrões de teste, a partir de sentenças de teste, que são confrontados com os padrões obtidos na fase anterior. A comparação entre os padrões, e o uso de uma regra de decisão, identifica o modelo que mais se assemelha ao padrão de entrada desconhecido (padrão de teste), proporcionando, dessa forma, o reconhecimento [RABINER; SCHAFER 1978]. Sentenças de Treinamento Pré-processamento Extração de Características Geração de Padrões de Referência Fase de Treinamento Padrões de Referência Sentenças de Teste Pré-processamento Extração de Características Geração de Padrões de Teste Comparação Fase de Teste Reconhecimento Figura 2 Sistema de Reconhecimento de padrões [DIAS 2006]. A etapa de pré-processamento é responsável pelo tratamento do sinal de voz com relação ao ambiente de gravação e ao canal de comunicação utilizado. O objetivo desse processamento é reduzir efeitos indesejados incorporados no sinal de voz, tais como, ruído do ambiente e variação da distância locutor-microfone [CHEN; MASI 2000]. Esse processo inclui as subetapas de normalização, filtragem, segmentação e janelamento [O'SHAUGHNESSY 1999]. Na etapa de extração de características, são obtidos os parâmetros que possibilitarão a geração de um padrão. Esses elementos são, comumente, parâmetros obtidos a partir de modelos de produção da voz [DIAS 2006]. A análise por predição linear, análise LPC (Linear Prediction Coding), tem sido uma das técnicas mais usadas para estimar os parâmetros básicos da voz [NAKAMURA et al. 2001, LEE et al. 2003, SHIRALI-SHAHREZA et al. 2008, MANIKANDAN et al. 2009]. Esses parâmetros podem ser obtidos diretamente a partir da análise LPC, chamados coeficientes LPC, ou por meio de outras técnicas derivadas dessa análise [DIAS 2006]. Os coeficientes mais utilizados são: LPC, Cepestrais, Cepestrais Ponderados, Delta Cepestrais, Delta Cepestrais Ponderados, Mel Cepestrais, [FURUI 1981, FECHINE 2000, VAREJÃO 2001, LEE et al. 2003, AMUDHA et al. 2008, SHIRALI- SHAHREZA et al. 2008]. As fases de treinamento e reconhecimento geram padrões de referência e de teste, respectivamente, que são equivalentes e, por isso, podem ser comparados com 7

8 o objetivo de realizar o reconhecimento. Os métodos frequentemente utilizados para a construção desses padrões são: Modelos de Markov Escondidos (HMM) 1 [RABINER 1989, VAREJÃO 2001, AMUDHA et al. 2007], Alinhamento Dinâmico no Tempo [KIM et al. 1996, YUANYUAN et al. 2001, PHADKE et al. 2004], Quantização Vetorial e Redes Neurais [BENZEGHIBA; BOULARD 2002, AMUDHA et al. 2008]. É possível ainda construir padrões fazendo a combinação de mais de um método [NAKAMURA et al. 2001]. No âmbito desta proposta, a comunicação vocal homem-máquina está voltada para sistemas embarcados com restrições de processamento e armazenamento, tais como, celular, navegador GPS, controle remoto de aparelho de TV, DVD, portal eletrônico, palmtop e eletrodomésticos em geral. Em virtude destas limitações, tornase necessário construir hardware e/ou software dedicados, que atendam às necessidades de tais sistemas. Na implementação em hardware, a forma de implementação mais eficiente para produtos com grande volume de produção é um SoC (System-On-a-Chip). Essa tecnologia consiste no desenvolvimento de sistemas completos em um único chip, contendo um ou vários processadores, memória, timers, blocos dedicados ou IP-cores (Intellectual Property Cores 2 ), interfaces, etc. Dessa forma, todos os circuitos eletrônicos necessários para o funcionamento de um determinado sistema são implementados em um único dispositivo [RIBEIRO 2002, MORAES et al. 2004, DA SILVA 2007]. Nesse contexto, dispositivos lógicos programáveis, a exemplo de FPGA (Field- Programmable Gate Array), vêm se mostrando adequados para implementar protótipos de um SoC, devido ao seu bom desempenho e versatilidade. Os dispositivos FPGA contêm hardware configurável que pode ser reprogramado para a aplicação sendo executada, tornando possível a obtenção de desempenho comparável a implementações feitas diretamente em silício, porém com maior consumo de energia. Os chamados SoPC (System on Programmable Chip) são mais adequados para volumes de produção menores e para prototipação. As principais vantagens da tecnologia FPGA são o baixo custo de desenvolvimento, ciclos de projetos mais curtos e hardware configurável [RIBEIRO 2002]. Outro fator que contribui para a aceleração e simplificação dos projetos de hardware é a utilização de ferramentas EDA (Electronic Design Automation), juntamente com linguagens de descrição de hardware HDL (Hardware Description Language). As HDL permitem descrever os circuitos e observar seu comportamento por meio de simulação. A sintaxe e a semântica dessas linguagens permitem modelar o paralelismo do hardware. As linguagens mais populares são VHDL (VHSIC 3 Hardware Description Language) [VHDL 2009] e Verilog [VERILOG 2009] devido à grande quantidade de ferramentas que dão suporte a essas linguagens. Outra linguagem que tem se destacado é SystemVerilog [ACELLERA 2004], que dá suporte ao design e à verificação. Em linhas gerais, os projetos de sistemas embarcados são complexos, visto que, lidam com questões de mobilidade, restrições de memória, consumo de potência, 1 Hidden Markov Models 2 Blocos de hardware que executam tarefas específicas e são definidos de modo a permitir seu reuso em diferentes sistemas [MORAES et al. 2004]. 3 Very High Speed Integrated Circuits 8

9 reuso de IP-core, etc. Esses projetos ainda sofrem com as pressões do mercado que não tolera atrasos no cronograma de execução, sob pena de se perder o time-tomarket, e nem tão pouco erros de execução. Um erro na concepção desses projetos pode prejudicar todos os produtos de uma empresa, visto que afeta a confiança nos dispositivos [CARRO; WAGNER 2003]. Em virtude deste cenário, os novos projetos de hardware, com inovações na área de PDSV, precisam estar em conformidade com as metodologias de desenvolvimento e verificação que apresentam taxas de sucesso elevadas, visto que, produtos com falhas lançados no mercado podem comprometer o avanço das tecnologias de processamento de voz digital aplicada a dispositivos móveis, por exemplo. 9

10 2. Objetivo da Proposta 2.1 Objetivo Geral O objetivo principal deste trabalho consiste no desenvolvimento de um módulo IP-core para reconhecimento, independente de locutor e em tempo real, de dígitos isolados falados em português do Brasil. 2.2 Objetivos Específicos Reconhecer os padrões dos dígitos falados em português brasileiro (para o escopo do trabalho serão tratados os dígitos: zero, um, dois, três, quatro, cinco, seis, sete, oito e nove), os quais são uteis para diversas aplicações no contexto de dispositivos móveis (a exemplo de discagem e inserção de medidas de tempo por voz). Estudar técnicas que permitam a extração de características da fala de forma otimizada para o contexto embarcado, com o objetivo de atender aos requisitos de consumo, armazenamento, desempenho e confiabilidade da nova geração de equipamentos eletrônicos [CARRO; WAGNER 2003]. Usar a metodologia BVM (Brazil-IP Verification Metodology) para a verificação do RTL design 4 (Register Transfer Level). A metodologia BVM é uma reimplementação da metodologia VeriSC [DA SILVA 2007], que foi desenvolvida no âmbito do programa Brazil-IP e que já validou com êxito os IP-cores MPEG- 4 [WALLACE 2006] e DigiSeal [ROCHA et al. 2006, ROCHA; MELCHER 2007]. Utilizar a biblioteca de pré-processamento de voz desenvolvida por [DIAS 2006]. A biblioteca de pré-processamento digital de sinais de voz para sistemas embarcados realiza as operações de aquisição; pré-enfase; detecção de início e fim; divisão em frames e janelamento e proporciona uma redução do custo final do produto, visto que otimiza a etapa de de pré-processamento de aplicações de Processamento Digital de Sinais de Voz [DIAS 2006]. 4 Corresponde ao projeto de circuitos eletrônicos digitais em termos de fluxo de dados entre entradas, registradores e saídas. Os registradores são os elementos do circuito que armazenam informações entre os ciclos de clock [BENING; FOSTER 2001]. 10

11 3. Relevância da Proposta Nos últimos 20 anos, o segmento de dispositivos eletrônicos a base de bateria, tais como celulares e palmtops, têm apresentado um crescimento rápido em decorrência da adoção de novas práticas de projeto baseadas em verificação, reuso e IP-core, que permitiram um aumento substancial das funcionalidades de tais dispositivos [KEATING et al. 2007]. A adição de funções nesses dispositivos, na maioria das vezes, não leva em consideração critérios de acessibilidade (para portadores de necessidades especiais) ou de facilidade de uso em situações nas quais aos mãos ou os olhos do usuário estão voltados para outra atividade [CONDADO et al. 2003, MIQUELINA et al. 2004]. Uma alternativa para o problema são as interfaces de voz, visto que dispensam o uso da visão e das mãos para se efetuar a interação. Nas relações de trabalho, essas interfaces ainda possibilitam um ganho considerável de facilidade e produtividade [RABINER; SCHAFER 1978, VIDAL 2006]. Em se tratando da língua portuguesa, são muitos os exemplos de softwares com bom desempenho que efetuam operações de processamento de voz [MORAIS 1997, BARBOSA et al. 1999, VAREJÃO 2001, MIQUELINA et al. 2004, BRAGA et al. 2008]. Porém, implementações similares para sistemas embarcados são mais escassas. A seguir, na Tabela 1, é apresentada uma síntese dos trabalhos de reconhecimento de palavras isoladas no contexto de soluções embarcadas que lidam com restrições de armazenamento, consumo de potência, desempenho, etc. Tabela 1 - Trabalhos de reconhecimento de fala para sistemas embarcados. TV TR MA CL A C D TP MANIKANDAN et al dígitos 100% LPC + MFCC + SOFM SVM FPGA LE - AMUDHA et al dígitos 100% MFCC + SOFM MLP FPGA NEDEVSCHI et al % LPCC,G MM HMM FPGA 19.70mW 2,5mm 2 - KIM; LEE palavras 95,2 % e 98% ZCPA RBF FPGA mil portas 15ms NAKAMURA et al monossílabos - LPC HMM VLSI - 20,25mm 2 1,36s KIM et al ,3% LPC DTW VLSI - 81mm palavras por segundo 11

12 TV: Tamanho do Vocabulário; TR: Taxa de reconhecimento; MA: Modelagem Acústica; CL: Classificação; A: Arquitetura; C: Consumo; D: Dimensões; TP: Tempo de Processamento Em [MANIKANDAN et al. 2009], é apresentado um sistema de reconhecimento de dígitos em inglês dependente do locutor. Para a extração de características foi utilizada a análise LPC e MFCC (Mel Frequency Cepstral Coefficients), com o auxílio da técnica de compressão SOFM (Self Organized Feature Map). Para o reconhecimento de padrões, utilizou-se o SVM (Support Vector Machine) que separa os dados (os coeficientes compactados por SOFM) a partir de hiperplanos. Duas soluções em FPGA Cyclone II foram desenvolvidas, a primeira só com elementos lógicos (LE Logic Elements) e a segunda com LE mais processador NIOSII [ALTERA 2009], ambas as soluções foram implementadas em aritmética de ponto fixo e de ponto flutuante e apresentaram taxa de reconhecimento de 100%. Porém, o número de elementos lógicos da primeira solução em ponto fixo apresentou um fator de diminuição de 3,29 comparado ao número de LE em ponto flutuante. No trabalho de [AMUDHA et al. 2008], tem-se a implementação de um sistema de reconhecimento de dígitos isolados falados em inglês (base de dados TIDIGITS 5 ) usando-se o processador NIOSII [ALTERA 2009]. A extração do vetor de características desse sistema é feita por MFCC com o auxílio do método de mapeamento SOFM que reorganiza os vetores de características em uma matriz quadrada, cujos índices são convertidos em identificadores, que por sua vez, são as entradas da rede neural MLP (MultiLayer Perceptron), com 10 nodos escondidos, que é usada para classificar os dígitos. Para o treinamento da rede, usou-se uma modificação do algoritimo BP (Backpropagation) [MATSUOKA; YI 1991] que converge mais rapidamente do que a versão original. O sistema foi implementado em um FPGA Cyclone II combinando hardware/software. Para a implementação da rede MLP, usouse o NIOSII com a adição de mais instruções ao seu conjunto original. Para o cálculo dos coeficientes, foi usado o processador CORDIC [CHAN et al. 1997] que se mostrou 10 vezes mais rápido do que a implementação em NIOSII. A taxa de reconhecimento de dígitos desse sistema foi de 100%, tanto no treinamento quanto na classificação. Uma arquitetura para reconhecimento de palavras, em tempo real, independente de locutor e de idioma, que apresenta restrições de custo e consumo foi proposta por [NEDEVSCHI et al. 2005]. Essa arquitetura tem por base um modelo distribuído, as tarefas que demandam maior poder computacional no processamento de fala (treinamento) são processadas offline em um servidor, o que reduz a complexidade computacional dos dispositivos móveis. O componente principal da arquitetura é o decodificador de voz que foi prototipado em FPGA e efetua a extração de características por LPCC (Linear Predictive Cepstral Coding), juntamente com GMM (Gaussian Mixture Model), e a classificação é feita com HMM (Hidden Markov Models). A taxa de reconhecimento para palavras em Tamil, idioma não oficial da Índia, foi de 97%. Estimativas de consumo de área e potência foram realizadas para o decodificador e para o conjunto de memórias externas, obtendo-se um consumo de mw com uma área de 20,25 mm 2 em uma tecnologia de 0,18 µm. Um sistema de reconhecimento de palavras isoladas faladas em coreano para aplicações reais (entradas processadas em tempo real e sujeitas a ruido ambiente), 5 Base de dígitos do inglês americano que contém os principais dialetos dos Estados Unidos, através da divisão do país em 21 regiões dialetais. Cada região dialetal contribuiu com pelo menos cinco locutores femininos e cinco locutores masculinos. Os negros foram representados por um dialeto adicional. [VAREJÃO 2001]. 12

13 implementado em FPGA, foi proposto por [KIM; LEE 2001]. Nesse sistema, foi utilizada uma adaptação do modelo ZCPA (Zero-Crossings with Peak Amplitude) para a extração de características e redes neurais do tipo RBF (Radial Basis Function) para a classificação. As taxas de reconhecimento de palavras foram de 95,2% (independente de locutor) e 98% (adaptação de locutor e pré-comando). O sistema foi projetado em um FPGA Altera da família FLEX10K e foram usadas 160 mil portas além de um amplificador, conversor analógio-digital de 12 bits, memórias SRAM e ROM de 128 Kbytes. O sistema opera com um clock de 12 MHz, taxa de amostragem de 11,025 KHz e 12 bits para quantização. O reconhecimento da palavra acontece depois de 15 ms da detecção de início e fim. No trabalho de [NAKAMURA et al. 2001], é apresentado um chip para reconhecimento de 64 monossílabos, tais como A, B,, etc, independente de locutor baseado em análise LPC, VQ (Vector Quantization) e HMM. A extração do vetor de características de dimensão 24 com elementos de 32 bits (usando análise LPC) é feita a partir de um frame de voz pequeno que corresponde a um período de 11,6 ms (que inclui 256 amostras de voz de 16 bits) a taxa de amostragem de 22,05 KHz. O tempo gasto para processar 60 segundos de voz foi de 1,36 s que representa um tempo 5,3 vezes mais rápido do que uma implementação equivalente feita em linguagem C. O chip foi fabricado com tecnologia VDEC Rohm de 0,6 µm em uma área de 4,5 mm por 4,5 mm. Por fim, tem-se o trabalho de [KIM et al. 1996] que apresenta um chip para reconhecimento de palavras isoladas, o qual realiza detecção de início e fim, extração de vetores de características e cálculo da distância espectral por meio da técnica de Alinhamento Dinâmico no Tempo (DTW Dynamic Time Warping). O chip foi fabricado em duas camadas de metal com tecnologia CMOS de 0,8 µm com portas e área de 81 mm 2. Essa implementação reconhece 1000 palavras em um segundo com taxa de reconhecimento de 90,3% operando a uma frequência de 10 MHz. Os trabalhos descritos representam ideias de comparação para o projeto proposto, uma vez que pode ser utilizada a mesma base de dados e efetuar a comparação pelo parâmetro taxa de reconhecimento, por exemplo. Outras alternativas a serem consideradas dizem respeito à comparação com o tempo de reconhecimento (tempo médio necessário para reconhecer um dígito) e com o consumo (embora a maioria dos exemplos mostrados não apresente esse dado). Em vista do exposto, o desenvolvimento de um IP-core para reconhecimento de dígitos isolados falados em português do Brasil, independente de locutor, em tempo real, representa um projeto relevante, uma vez que, se apoiará em técnicas de reuso (possibilitando a sua utilização em outros sistemas). O projeto contribuirá também para a formação de modelos (no português brasileiro) para reconhecimento de dígitos, independente de locutor (uma vez que a maioria dos trabalhos apresentados é projetada para outros idiomas), possibilitará a democratização de acesso (principalmente aos portadores de necessidades especiais) e facilidade de uso. A proposta visa também ser um instrumento para a validação da metodologia de verificação BVM (Brazil-IP Verification Metodology), de suma importância para o âmbito do Projeto Brazil-IP e, consequentemente, para o contexto de projetos de sistemas embarcados. 13

14 14

15 4. Metodologia de Trabalho A implementação de um IP-core consiste na criação de um componente de hardware que desempenha uma determinada funcionalidade e permite integração em um SoC de um sistema embarcado. Para que esse componente seja confiável é necessário que não apresente falhas. A confiabilidade de um IP-core depende do processo de verificação ao qual foi submetido [DA SILVA 2007]. O trabalho ora proposto seguirá o fluxo de projeto ilustrado na Figura 3 e utilizará a metodologia de verificação BVM (Brazil-IP Verification Metodology) para validar o módulo IP-core de reconhecimento de dígitos. BVM consiste de uma reimplementação da metodologia VeriSC [DA SILVA 2007] baseada em SystemVerilog [ACELLERA 2004] e OVM [CADENCE 2008]. As etapas para o desenvolvimento do hardware em conformidade com essas metodologias são descritas a seguir [DA SILVA 2007]. Especificação do hardware Prototipação Simulação pós-síntese Especificação da verificação funcional Síntese Implementação do testbench Verificação Funcional Implementação do DUV (Design Under Verification) SoC Figura 3 - Etapas para o desenvolvimento de hardware [DA SILVA 2007]. Especificação do IP-core: fase fundamental para o entendimento do dispositivo a ser desenvolvido. Nesta fase, serão definidos os parâmetros do módulo IPcore de reconhecimento de dígitos com relação a tempo de processamento médio para reconhecimento, consumo, custo e área. A arquitetura do módulo com a especificação de suas entradas (frames de voz que representam os dígitos falados) e saídas (resultado do reconhecimento), seus blocos internos (blocos de extração de características, construção de padrões, classificação, decisão, armazenamento, etc), seu protocolo de comunicação e as estratégias de Low Power (desligamento de blocos, múltiplas tensões de alimentação, etc) e a viabilidade dos modelos de referência também serão definidos nessa etapa. Especificação da verificação funcional: nesta etapa, será elaborada a documentação das funcionalidades dos blocos internos (definidos na 15

16 arquitetura) que deverão ser verificadas durante o todo o processo de desenvolvimento do módulo de reconhecimento de dígitos, em especial na fase de verificação funcional 6. Fazem parte desta etapa os documentos de verificação e cobertura. o o O plano de verificação fornecerá os objetivos, componentes e detalhes da verificação dos blocos internos, além de estabelecer quais os tipos de estímulos serão utilizados para a verificação do projeto, ou seja, faixa de estímulos aceita, faixa de valores ilegais, valores que devem ser verificados, etc. O plano de cobertura determinará os parâmetros de medição para o progresso da simulação, ou seja, a especificação de quando a simulação deve parar. Implementação do testbench: Nesta etapa, será feita a implementação do testbench utilizado na validação do módulo IP-core. O uso do testbench permite que o módulo desenvolvido seja testado a partir de estímulos de entrada, a partir da comparação de suas respostas com as respostas do modelo de referência aos mesmos estímulos de entrada. o o o Os elementos do testbench serão gerados pela ferramenta etbc (Easy TestBench Creator) [PESSOA 2007] seguindo-se os passos da metodologia BVM. Cada bloco interno do IP-core de reconhecimento de dígitos será inserido nesse ambiente com o objetivo de verificar suas funcionalidades. O testbench deverá ser dirigido à cobertura, ou seja, dirigido a métricas (definidas no plano de cobertura) que devem acontecer durante a simulação (a simulação não termina enquanto todas as métricas definidas não forem verificadas), apresentar estímulos com aleatoriedade direcionada, ser auto verificável e implementado no nível de transações. Implementação do RTL: Nesta etapa, será feita a implementação dos blocos internos do IP-core em SystemVerilog (linguagem de descrição de hardware que dá suporte à verificação). Nesse nível, as operações são controladas por ciclos de relógios (clocks). Verificação funcional: Nesta etapa se fará a comparação da implementação em RTL (fase anterior) com o modelo de referência, que reflete a especificação, por meio de simulação. 6 Verificação funcional é um processo usado para demonstrar que o objetivo do projeto é preservado em sua implementação [BERGERON 2003]. 16

17 Síntese: Na fase de síntese, será feita a transformação da descrição RTL, obtida na fase anterior, para uma descrição em netlist (descrição no nível de portas lógicas), fazendo-se uso de bibliotecas de tecnologia e de equações booleanas para produzir um conjunto de células interconectadas. Essa transformação é realizada com auxílio de ferramentas como o RTL Compiler [CADENCE 2009], por exemplo. Simulação pós-síntese: Nesta fase, será feita a simulação da netlist, após a síntese, com o objetivo de avaliar os requisitos de desempenho citados anteriormente. Prototipação: Nesta fase, será feita a implantação da netlist, gerada pela síntese, em um dispositivo de hardware. o A prototipação do IP-core de reconhecimento de dígitos será feita em FPGA, podendo adicionalmente ser feita em silício. 17

18 5. Cronograma No Quadro 1, é apresentado, de forma sucinta, o cronograma para execução do projeto, referente ao tempo previsto para a conclusão do módulo IP-core proposto, de acordo com as fases apresentadas na seção anterior, estimativas para a escrita e submissão de artigos a eventos nacionais e internacionais, como também para a defesa e elaboração da redação da dissertação, também foram adicionadas ao cronograma. Quadro 1 - Cronograma de atividades do projeto. MESES ATIVIDADES Jun/ 09 Jul/ 09 Ago/ 09 Set/ 09 Out/ 09 Nov/ 09 Dez/ 09 Jan/ 10 Fev / 10 Mar/ 10 Abr/ 10 Maio/ Especificação do hardware 2. Especificação da verificação funcional 3. Implementação do testbench 4. Implementação do RTL 5. Verificação funcional 6. Síntese 7. Simulação pós-síntese 8. Prototipação 9. Elaboração/Submissão de artigos 10. Elaboração da redação da dissertação 11. Defesa da dissertação 18

19 6. Referências Bibliográficas ACELLERA ORGANIZATION, INC; SystemVerilog 3.1a Language Reference Manual Accellera s Extensions to Verilog, USA, ALTERA, Nios II Processor Reference Handbook NII5V1. Disponível em: Acessado em: 30 abr AMUDHA, V.; VENKATARAMANI, B.; VINOTH KUMAR, R.; RAVISHANKAR, S. SOC Implementation of HMM Based Speaker Independent Isolated Digit Recognition System. IEEE conference VLSI design, p , AMUDHA, V.; VENKATARAMANI, B.; MANIKANDAN, J. FPGA Implementation of Isolated Digit Recognition System Using Modified Back Propagation Algorithm. International Conference on Eletronic Design, BARBOSA, P.; VIOLARO, F.; ALBANO, E.; SIMÕES, F.; AQUINO, P.; MADUREIRA, S.; FRANÇOZO, E. Aiuruetê: A High-Quality Concatenative Text-to-Speech System for Brazilian Portuguese with Demisyllabic Analysis-Based Units and a Hierarchical Model of Rhythim Production. 6th European Conference on Speech Communication and Technology, Budapest, Hungria, v.5, p , BENING, L.; FOSTER, H. D. Principles of Verifiable RTL Design. 2. ed. Springer, 2001, 312 p. BENZEGHIBA, M. F.; BOULARD, H. User-customized password speaker verification based on HMM/ANN and GMM models. Seventh International Conference on Spoken Language Processing, p , BERGERON, J. Writing Testbenches: Functional Verification of HDL Models. 2 ed. Springer, 2003, 512 p. BRAGA, D.; SILVA, P.; RIBEIRO, M.; HENRIQUES, M.; DIAS, M. S. HMM-based Brazilian Portuguese TTS. Computational Processing of the Portuguese Language, 8 th International Conference, v.5190, CADENCE DESIGN SYSTEMS, INC; MENTOR GRAPHICS, INC; Open Verification Methodology User Guide, USA, CADENCE DESIGN SYSTEMS, Encounter RTL compiler datasheet. Disponível em: Acessado em: 30 jun CARRO, L.; WAGNER, F. R. Sistemas Computacionais Embarcados. XXII Jornadas de Atualização em Informática, Campinas, CHAN, W. H.; SMITH, C. H.; FRALICK; S. C. A Fast computational algorithm for Discrete Cosine Transform, IEEE Trans, v. COM-25, p ,

20 CHEN, F.; MASI, C. Effect of noise on automatic speech ecognition system error rate. lea 2000/HFES 2000 Congress, San Diego, USA, p , CHEN, F. Designing Human Interface In Speech Technology. Springer, p. CONDADO, P.; TOMAZ, F.; SHAHBAZKIA, H.; LOBO, F. G. Information and communication technologies for special needed persons: A case study with a student with cerebral paralysis. Advances in Technology-Based Education: Towards a Knowledge-Based society, Badajoz, Spain, v. 3, p , DA SILVA, K. R. G. Uma Metodologia de Verificação Funcional para Circuitos Digitais. 121 f. Tese (Doutorado em Engenharia Elétrica) Universidade Federal de Campina Grande, Campina Grande DAVIS, K. H.; BIDDULPH, R.; BALASHEK, S. Automatic Recognition of Spoken Digits. Journal of the Acoustical Society of America, v.24, n. 6, p , DIAS, D. Desenvolvimento de um IP Core de Pré-processamento Digital de Sinais de Voz para Aplicação em Sistema Embutidos. 108 f. Dissertação (Mestrado em Ciência da Computação) Universidade Federal de Campina Grande, Campina Grande DODDINGTON, G. R. Speaker Recognition - Identifying People by their Voices, Proceedings of the IEEE, v. 73, n. 11, p , FAGUNDES, R. D. R.; ALENS, N. Reconhecimento de Voz, Linguagem Contínua, Usando Modelos de Markov, 11º Simpósio Brasileiro de Telecomunicações - SBT, set FECHINE, J. M. Reconhecimento automático de identidade vocal utilizando modelagem híbrida: Paramétrica e Estatística. 212 f. Tese (Doutorado em Engenharia Elétrica) Universidade Federal de Campina Grande, Campina Grande FURUI, S. Cepstral Analysis Technique for Automatic Speaker Verification. IEEE Transactions on Acoustics, Speech and Signal Processing Magazine, v. 29, KEATING, M.; FLYNN, D.; AITKEN, R.; GIBBONS, A.; SHI, K. Low Power Methodology Manual For System-on-Chip Design. Springer, p. KIM, C-M; LEE, S-Y, A Digital Chip for Robust Speech Recognition in Noisy Environment. IEEE International Conference on Acoustics, Speech, and Signal Processing, v.2, p , KIM, S-N; HWANG, I-C; KIM, Y-W; KIM, S-W A VLSI Chip for Isolated Speech Recognition System. International Conference on Consumer Electronics, p , LEE, C.; HYUN, D.; CHOI, E.; GO, J.; LEE, C. Optimizing Feature Extraction for Speech Recognition. IEEE Transactions on Speech and Audio Processing, v. 11, n. 1, p , jan MACIEL, A. M. A. Investigação de um ambiente de processamento de voz utilizando VoiceXML. 83 f. Dissertação (Mestrado em Ciência da Computação) Universidade Federal de Pernambuco, Recife

21 MANIKANDAN, J.; VENKATARAMANI, B.; AVANTHI, V. FPGA Implementation of Support Vector Machine based Isolated Digit Recognition System. 22nd International Conference on VLSI Design, p , MATSUOKA, K.; YI, J. Backpropagation based on the logarithmic error function and elimination of local minima. International Joint Conference on Neural Network, Sigapura, v. 2, p , MIQUELINA, P. F.; CONDADO, P. A.; CARVALHO, C. L.; SHAHBAZKIA, H. R.; LOBO, F. G. Toque de Voz: Sistemas de Síntese de Voz com um Teclado Virtual para Auxílio de pessoas com necessidades educativas especiais, VII Congresso Ibero americano de Informática Educativa, MORAES, F. G.; CALAZANS, N. L. V.; MÖLLER, L. H.; BRIAO, E. W.; CARVALHO; E. L. S. Dynamic and Partial Reconfiguration in FPGA SoCs: Requirements Tools and a Case Study. ROSENSTIEL, Wolfgang, Reconfigurable Computing, New York, USA, MORAIS, E. S. Reconhecimento Automático de Fala Contínua Empregando Modelos Híbridos ANN + HMM. 124 f. Dissertação (Mestrado em Engenharia Elétrica) Universidade Estadual de Campinas, Campinas MOSBAH, B. B. Speech Recognition for Disabilities People. Information and Communication Technologies, Damasco, p , MÜLLER, C. Speaker Classification I: Fundamentals, Features, and Methods. Springer, p. NAKAMURA, K.; ZHU, Q.; MARUOKA, S.; HORIYAMA, T.; KIMURA, S.; WATANABE, K. Speech Recognition Chip for Monosyllables, Asia and South Pacific Design Automation Conference, p , NEDEVSCHI, S.; PATRA, R. K.; BREWER, E. A. Hardware Speech Recognition for User Interfaces in Low Cost, Low Power Devices, IEEE DAC, v. 42, p , NEVES, C.; VEIGA, A.; SA, L.; PERDIGAO, F. Efficient Noise-Robust Speech Recognition Front-End Based on the ETSI Standard. 9 th International Conference on Signal Processing, Beijing, p , NOLL, A. M. Cepstrum pitch determination. Journal of the Acoustical Society of America, v. 41, n. 2, p , OPPENHEIM, A. V.; SCHAFER, R. W. Homomorphic analysis of speech, IEEE Transactions on Audio and Electroacoustics, v. AU-16, p , OPPENHEIM, A. V. A speech analysis-synthesis system based on homomorphic filtering, Journal of the Acoustical Society of America, v. 45, n. 2, p ,1969. O'SHAUGHNESSY, D. Speech Communications: Human and Machine. 2. ed. Wiley- IEEE Press, p. PESSOA, I. M. Geração Semi-Automática de Testbenches para Circuitos Digitais Integrados. 52 f. Dissertação (Mestrado em Ciência da Computação) Universidade Federal de Campina Grande, Campina Grande,

22 PHADKE, S.; LIMAYE, R.; VERMA, S.; SUBRAMANIAN, K. On Design and Implementation of an Embedded Automatic Speech Recognition System. 17th International Conference on VLSI Design, p , RABINER, L. R. A model for synthesizing speech by rule. IEEE Transactions on Audio and Electroacoustics, v. AU-17, n. 1, p. 7-13, RABINER, L. R.; SCHAFER, R. W. Digital Processing of Speech Signals. Prentice Hall, p. RABINER, L. R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, Proceedings of the IEEE, v. 77, p , RABINER, L. R.; SCHAFER, R. W. Introduction to Digital Speech Processing: Foundations and Trends in Signal Processing. Now Publishers Inc, p. RIBEIRO, A. A. L. Reconfigurabilidade dinâmica e remota de FPGA. 151 f. Dissertação (Mestrado em Ciências da Computação e Matemática Computacional) Universidade de São Paulo, São Carlos ROCHA, A. K. O.; LIRA, P. F. A.; JU, Y. Y.; MELCHER, E. U. K.; BARROS, E. N. S. Silicon Validated IP Cores Designed by the Brazil-IP Network. 15th IP Based SoC Desing Conference & Exhibition, Grenoble, ROCHA, A. K. O., MELCHER, E. U. K., DigiSeal - An application using Functional Verification with timed transactions. Embedded world Conference 2007, Nürnberg, SCHROEDER, M. R.; DAVID, E. E. A vocoder for transmitting 10 kc/s speech over a 3.5 kc/s channel, Acustica, v. 10, p , SHIRALI-SHAHREZA, S.; SAMETI, H.; SHIRALI-SHAHREZA, M. Parental Control Based on Speaker Class Verification, IEEE Transactions on Consumer Electronics, v. 54, n. 3, ago STORK, D. G. Hal s Legacy: "2001's" Computer as Dream and Reality. The MIT Press, p. VAREJÃO, R. Implementação em tempo real de um sistema de reconhecimento de dígitos conectados. 79 f. Dissertação (Mestrado em Engenharia Elétrica) Universidade Estadual de Campinas, Campinas VASYLTSOV, I. V.; KARPINSKYY, M. P.; KAVKA, S. B. The structure of the voice authentication system, CAD Systems in Microelectronics, Proceedings of the 7th International Conference, p , VERILOG Resources. Disponível em: < Acesso em 20 mar VHDL. Disponível em: < Acesso em: 20 mar VIDAL. E., Computer-assisted translation using speech recognition. IEEE Transactions on Audio, Speech, and Language Processing, v.14, p , maio

23 VIEIRA, M. N. Módulo Frontal para um Sistema de Reconhecimento Automático de Voz. Dissertação (Mestrado em Engenharia Elétrica) Universidade Estadual de Campinas, Campinas WALLACE, R. Brazil design team join IP silicon club. EE Times, 12 out Disponível em: < Acessado em: 5 mar YUANYUAN, S.; JIA, L.; RUNSHENG, L. Single-chip Speech Recognition System Based on 8051 Microcontroller Core. IEEE Transactions on Consumer Electronics, v. 47, p ,