Reconhecimento da Fala Contínua

Transcrição

1 UNIVERSIDADE TÉCNICA DE LISBOA INSTITUTO SUPERIOR TÉCNICO Reconhecimento da Fala Contínua com aplicação de técnicas de Adaptação ao Orador João Paulo da Silva Neto (Mestre em Engenharia Electrotécnica e Computadores, I.S.T.) Dissertação para otenção do grau de Doutor em Engenharia Electrotécnica e de Computadores Fevereiro de 1998 Lisboa

2

3 UNIVERSIDADE TÉCNICA DE LISBOA INSTITUTO SUPERIOR TÉCNICO Reconhecimento da Fala Contínua com aplicação de técnicas de Adaptação ao Orador João Paulo da Silva Neto (Mestre em Engenharia Electrotécnica e Computadores, I.S.T.) Dissertação para otenção do grau de Doutor em Engenharia Electrotécnica e de Computadores Fevereiro de 1998 Lisboa

4

5 Tese realizada sob a supervisão de Luís Henriques Martins Borges de Almeida Professor Catedrático do Departamento de Engenharia Electrotécnica e de Computadores Instituto Superior Técnico Universidade Técnica de Lisboa

6

7 Resumo Nesta dissertação desenvolvemos sistemas híbridos para o reconhecimento da fala contínua, resultantes da conjunção das características das redes neuronais artificiais como classificadores estáticos com a capacidade de modelamento temporal própria dos modelos de Markov não observáveis. Estes sistemas foram estudados e desenvolvidos para as bases de dados Resource Management (RM) e Wall Street Journal (WSJ0) na língua inglesa. Com base nestes sistemas desenvolvemos um conjunto de técnicas de adaptação ao orador, através da modificação dos modelos acústico-fonéticos realizados a partir do perceptrão multi-camada. Estas técnicas foram avaliadas num modo estático e supervisionado sobre a base de dados RM e de uma forma incremental e nãosupervisionada sobre a base de dados WSJ0. Os resultados alcançados mostram que a aplicação destas técnicas permite uma melhoria no desempenho dos sistemas de reconhecimento que, no caso da adaptação não-supervisionada, se obtém sem esforço adicional por parte do utilizador do sistema. De modo a permitir a extensão destes sistemas ao Português desenvolveu-se uma nova base de dados, com as características e dimensões adequadas, e, em simultâneo, realizou-se um sistema básico de reconhecimento em Português. Este sistema e esta base de dados servirão de ponto de partida para o desenvolvimento futuro, em termos de reconhecimento da fala contínua, que se espera ver associado à língua Portuguesa. Palavras-Chave Reconhecimento da fala, fala contínua, redes neuronais, sistemas híbridos, adaptação ao orador. v

8 vi

9 Abstract In this dissertation we developed hybrid continuous speech recognition systems which result from the conjunction of the features of artificial neural networks as static classifiers with the temporal modelling capabilities of hidden Markov models. These systems were studied and developed for the English Resource Management (RM) and Wall Street Journal (WSJ0) databases. Based on these systems we developed a set of speaker adaptation techniques through the modification of the acoustic-phonetic models implemented by means of a multilayer perceptron. These techniques were evaluated on the RM database in a static supervised mode and on the WSJ0 database in an incremental unsupervised mode. The results show that the application of these techniques improves the performance of the recognition systems, without any additional load on the user, in the unsupervised mode. To be able to extend these systems to the Portuguese language a new database, with the adequate size and properties, was developed. Simultaneously we implemented a basic recognition system for Portuguese. This system will be the starting point to the future developments in continuous speech recognition that we expect to see associated with the Portuguese language. Keywords Speech recognition, continuous speech, neural networks, hybrid systems, speaker adaptation. vii

10 viii

11 À Maria João, ao João Nuno e à Teresa João ix

12 x

13 Agradecimentos O reconhecimento da fala contínua atravessa um período de pleno desenvolvimento comandado por um elevado nível de investigação e por fortes apetências comerciais, que têm conduzido a um conjunto cada vez mais forte de exigências. Este desenvolvimento exige, necessariamente, um trabalho em equipa e, devido às características envolvidas, interdisciplinar. Inserindo-se esta dissertação nesta área, e tratando-se necessariamente de um trabalho individual, o mesmo não seria possível sem uma colaboração efectiva com um conjunto de pessoas e o suporte de várias instituições. É a essas pessoas e instituições que queremos aqui expressar o nosso agradecimento. Em primeiro lugar os nossos agradecimentos são dirigidos ao nosso orientador Professor Luís Borges de Almeida a quem devemos a oportunidade para trabalhar numa área nova que resultou da encruzilhada entre as Redes Neuronais Artificiais e o Reconhecimento da Fala Contínua. Foi do seu esforço e empenhamento que surgiu a oportunidade da nossa participação em projectos internacionais que tanto têm contribuído para o nosso conhecimento e formação. Queremos ainda agradecer toda a sua ajuda e colaboração ao longo deste trabalho. Aos elementos participantes nos projectos WERNICKE e SPRACH queremos deixar aqui o nosso agradecimento pela forma como permitiram que o nosso conhecimento se desenvolvesse, tanto do ponto de vista científico como ao nível dos métodos de trabalho, e do qual resultou esta dissertação. Aos nossos colegas Mike Hochberg, Eric Fosler-Lussier e Dr. Steve Renals o nosso agradecimento especial pela colaboração e apoio prestado no desenvolvimento dos sistemas de reconhecimento da fala contínua para Inglês. Um agradecimento muito especial para o nosso colega Ciro Martins com o qual tivemos o privilégio de trabalhar e privar ao longo destes últimos anos e cuja ajuda, colaboração e discussões foram fundamentais para a evolução deste nosso trabalho. xi

14 Ao Luís Nunes o nosso agradecimento pela colaboração prestada e que nos permitiu desvendar os segredos ocultos do BoB. Ao Hugo Meinedo o nosso agradecimento pelo seu forte empenhamento na recolha da base de dados BD-PUBLICO. Aos restantes elementos do grupo de Redes Neuronais e Processamento de Sinais do INESC o nosso agradecimento pelo apoio prestado na base de dados e pelo espírito de grupo e de camaradagem sempre presentes. Um obrigado especial para a Ilda Ribeiro pela ajuda e colaboração prestadas. Gostaria de alargar este agradecimento aos Engenheiros Joaquim Sérvulo Rodrigues e Pedro Aguiar pelo incentivo e amizade sempre demonstradas. À Professora Isabel Trancoso e Dra. Isabel Mascarenhas o nosso obrigado pela colaboração e frutuosas trocas de ideias. Ao Professor Luís Caldas de Oliveira pela ajuda e apoio prestados ao longo deste último semestre lectivo. Agradecemos, também, ao INESC e ao Instituto Superior Técnico pelas facilidades oferecidas para a realização deste trabalho; à União Europeia que, através dos projectos WERNICKE e SPRACH, nos permitiu desfrutar de condições de trabalho adequadas e nos possibilitou uma estadia no ICSI (Berkeley - EUA) e a participação em várias reuniões e conferências científicas; ao Programa PRAXIS pelo apoio disponibilizado para a participação em conferências científicas; um agradecimento ao jornal PÚBLICO pela sua colaboração e disponibilidade. Um agradecimento muito especial aos nossos pais pelo carácter e força que sempre nos transmitiram e que nos permitiram chegar até aqui; à Maria João pela paciência, estímulo e força com que sempre nos apoiou, sobretudo nos períodos mais difíceis; aos nosso filhos, João Nuno e Teresa, por terem aceite partilharem estes seus poucos anos com o estudo das Redes Neuronais e do Reconhecimento da Fala Contínua. xii

15 Índice 1 Introdução Interacção Homem-Máquina Sistemas de Linguagem Falada Benefícios e impacto dos Sistemas de Linguagem Falada Desenvolvimento dos Sistemas de Linguagem Falada Reconhecimento Automático da Fala O que se entende por reconhecimento automático da fala Porquê o reconhecimento automático da fala Porque é difícil o reconhecimento automático da fala Evolução dos sistemas de reconhecimento automático da fala Objectivos, evolução e organização deste trabalho Contribuições originais desta dissertação Reconhecimento Automático da Fala Comunicação Humana xiii

16 2.1.1 Modelo da Comunicação através da fala Processo de Produção da Fala Sinal de Fala Processo de Audição da Fala O que é um sistema de reconhecimento automático da fala Tipos de Fala Modelamento do orador Pré-processamento do sinal de fala Modelos de Markov não observáveis Paradigma do reconhecimento Aplicação dos HMMs ao reconhecimento da fala contínua Modelamento acústico nos HMMs Dicionários de pronunciação Modelos de Linguagem Descodificação Considerações finais Modelos Híbridos para Reconhecimento da Fala Contínua Vantagens e desvantagens da aplicação das redes neuronais artificiais ao reconhecimento da fala Redes neuronais artificiais como classificadores estáticos Perceptrão multi-camada xiv

17 3.2.2 Outros modelos Diferentes modos de treino e de aprendizagem nas redes neuronais artificiais Redes com atrasos temporais e com ligações recorrentes Sistemas híbridos para reconhecimento da fala Interpretação do HMM como uma rede neuronal artificial Método de optimização conjunta dos parâmetros das redes neuronais artificiais e dos HMMs Estimação de probabilidades através das redes neuronais artificiais Integração das redes neuronais artificiais nos HMMs Evolução dos sistemas híbridos Desenvolvimento de um sistema híbrido para reconhecimento da fala contínua Sistema básico Sistema para a base de dados TIMIT Sistema para a base de dados Resource Management Sistema para a base de dados Wall Street Journal Considerações finais Adaptação ao orador no âmbito dos modelos híbridos Introdução à adaptação ao orador Variabilidade dos oradores xv

18 4.1.2 Normalização do orador versus adaptação ao orador Técnicas de adaptação ao orador nos sistemas clássicos de reconhecimento Adaptação ao orador nos modelos híbridos Adaptação ao orador baseada em transformações Rede Linear de Saída (RLS) Rede Linear de Entrada (RLE) Adaptação ao orador baseada na modificação do sistema Independente do Orador Modificação dos Parâmetros do Sistema Independente do Orador (MPSIO) Camada Intermédia Paralela (CIP) Comparação das diferentes técnicas de adaptação ao orador Adaptação ao Orador baseada em Sistemas Dependentes do Orador Adaptação ao orador não supervisionada Adaptação ao orador em modo incremental Modificação da técnica RLE para incorporar adaptação incremental Avaliação da técnica RLE com adaptação incremental sobre a base de dados WSJ Considerações finais Desenvolvimento de um sistema de reconhecimento para Português 205 xvi

19 5.1 Definição e desenvolvimento de uma base de dados de fala contínua em Português Objectivos para a base de dados Preparação do texto da base de dados Selecção dos textos Conjuntos para gravação Desenvolvimento dos modelos de linguagem Gravação da base de dados Desenvolvimento de um sistema básico de reconhecimento da fala contínua Descrição da base de dados SAM Desenvolvimento do dicionário de pronunciações Segmentação e etiquetagem automática Modelamento da linguagem no sistema básico Avaliação do sistema básico Considerações finais Conclusões Revisão do trabalho realizado Sistemas híbridos para reconhecimento da fala contínua Adaptação ao orador no âmbito dos sistemas híbridos xvii

20 6.1.3 Desenvolvimento de um sistema de reconhecimento da fala contínua para Português Desenvolvimentos futuros xviii

21 Lista de Figuras 1.1 Diagrama de blocos genérico de um Sistema de Linguagem Falada Modelo esquemático da comunicação humana através da fala. (Figura adaptada de [Rabiner e Juang, 1993]) Desenho esquemático das cordas vocais. (Figura adaptada de [Martins, 1988, p. 19]) Configurações das cordas vocais. (Figura adaptada de [Martins, 1988, p. 20]) Três representações diferentes para a frase Aqui a neve tem meio metro de altura. : a) representação através das palavras, b) representação através do gráfico de amplitude do sinal de fala e c) representação através do espectrograma Desenho esquemático do ouvido Esquema de blocos representando as tarefas básicas executadas por um sistema de reconhecimento da fala. (Figura adaptada de [Markowitz, 1996].) Esquema de blocos representando o reconhecedor Modelamento do orador como uma linha contínua. (Figura adaptada de [Markowitz, 1996]) xix

22 2.9 Representação esquemática de um modelo de Markov com três estados numa topologia esquerda-direita. Nesta topologia só são permitidas transições de um estado para si próprio ou para o estado seguinte Modelo da unidade básica do perceptrão multi-camada Representação esquemática da transformação dos parâmetros ao nível fonético usando a Rede Linear de Saída (RLS) Representação esquemática da transformação dos parâmetros acústicos usando a Rede Linear de Entrada (RLE) Representação esquemática do sistema incluindo a rede com a Camada Intermédia Paralela Distribuição das idades dos oradores xx

23 Lista de Tabelas 2.1 Tabela de símbolos fonéticos para o Português Algumas entradas do dicionário de pronunciação associado à base de dados SAM em Português Resultados do reconhecimento ao nível da trama para o conjunto de treino e teste ao longo do processo de treino Avaliação do erro de reconhecimento ao nível da palavra do sistema independente do orador nos conjuntos de teste standard Avaliação do erro de reconhecimento ao nível da palavra do sistema independente do orador para cada orador do conjunto de teste de avaliação dependente do orador Erro de reconhecimento ao nível da palavra para os sistemas dependentes do orador onde se variou a estrutura do MLP através do número de unidades escondidas Erro de reconhecimento ao nível da palavra para os sistemas dependentes do orador variando as características do treino (contexto na entrada e normalização das entradas). Estrutura com 200 unidades intermédias xxi

24 3.6 Divisão do conjunto de treino associado ao WSJ0 em quatro subconjuntos Resultados do reconhecimento ao nível da trama para o conjunto de treino e de validação ao longo do processo de treino Resultados do reconhecimento ao nível da trama para o conjunto de treino e de validação ao longo do processo de treino, tendo-se alterado a ordem dos subconjuntos Resultados do reconhecimento ao nível da trama para o conjunto de treino e de validação ao longo do processo de treino, para o MLP com unidades intermédias Resultados do reconhecimento ao nível da trama para o conjunto de treino e de validação ao longo do processo de treino, para o MLP com unidades intermédias após um processo de realinhamento Avaliação da Rede Linear de Saída usando como material de adaptação os ficheiros SB para os oradores nos conjuntos de teste standard Avaliação da Rede Linear de Saída usando como material de adaptação os ficheiros teste do corpus dependente do orador Resultados do erro de reconhecimento ao nível da palavra na adaptação ao orador através da Rede Linear de Entrada a partir de 40 frases de adaptação (30 para treino e 10 para validação cruzada) Resultados do erro de reconhecimento ao nível da palavra na adaptação ao orador através da Rede Linear de Entrada a partir de 100 frases de adaptação (80 para treino e 20 para validação cruzada). 167 xxii

25 4.5 Resultados do erro de reconhecimento ao nível da palavra na adaptação ao orador através da Rede Linear de Entrada a partir de 200 frases de adaptação (100 para treino e 100 para validação cruzada) Resultados do erro de reconhecimento ao nível da palavra na adaptação ao orador através da Rede Linear de Entrada a partir de 700 frases de adaptação (600 para treino e 100 para validação cruzada) Avaliação da Rede Linear de Entrada usando diferentes quantidades de material de adaptação Avaliação da Rede Linear de Entrada com uma estrutura de pesos partilhados numa situação de adaptação com 100 frases (80 para treino e 20 para validação cruzada) Resultados do erro de reconhecimento ao nível da palavra na adaptação ao orador através da Modificação dos Parâmetros do Sistema IO a partir de 100 frases de adaptação (80 para treino e 20 para validação cruzada) Avaliação da técnica de Modificação dos Parâmetros do Sistema IO (MPSIO) usando diferentes quantidades de material de adaptação Resultados do erro de reconhecimento ao nível da palavra na adaptação ao orador através da Camada Intermédia Paralela a partir de 100 frases de adaptação (80 para treino e 20 para validação cruzada) Avaliação da técnica baseada na rede adicional com a Camada Intermédia Paralela (CIP) usando diferentes quantidades de material de adaptação xxiii

26 4.13 Comparação das diferentes técnicas realizadas usando diferentes quantidades de material de adaptação. Normalização para o treino e teste baseada nas frases de treino da adaptação Avaliação para os quatro oradores de referência dos seus sistemas dependentes do orador sobre o conjunto de teste (100 frases) de todos os oradores presentes no corpus dependente do orador da base de dados RM Resultados da adaptação do sistema de cada orador de referência a cada orador de teste a partir de 100 frases de adaptação (80 frases para treino e 20 para validação cruzada) Resultados da adaptação do sistema de cada orador de referência a cada orador de teste a partir de 700 frases de adaptação (600 frases para treino e 100 para validação cruzada) Estudo do efeito dos parâmetros de normalização na adaptação do sistema de um orador de referência (dtb0) a cada orador de teste a partir de 100 frases de adaptação (80 frases para treino e 20 para validação cruzada) Resultados da adaptação do sistema (com 350 unidades intermédias) de cada orador de referência a cada orador de teste a partir de 100 frases de adaptação (80 frases para treino e 20 para validação cruzada) Resultados da adaptação do sistema (com 350 unidades intermédias) de um orador de referência (dtb0) a cada orador de teste a partir de 700 frases de adaptação (600 frases para treino e 100 para validação cruzada) Avaliação da Rede Linear de Entrada usando 80 frases de adaptação do corpus dependente do orador da base de dados RM xxiv

27 4.21 Resultados do erro ao nível da palavra para a técnica de adaptação ao orador RLE avaliada na tarefa Spoke 4 do conjunto de avaliação do WSJ de Novembro de Resultados em média para os quatro oradores do erro ao nível da palavra para a técnica de adaptação ao orador RLE avaliada na tarefa Spoke 4 do conjunto de avaliação do WSJ de Novembro de Resumo dos totais dos textos presentes na base de dados Evolução do número de frases para o conjunto de teste de desenvolvimento obedecendo à restrição da dimensão do vocabulário Dimensão do vocabulário (número de palavras) para os diferentes conjuntos Perplexidade dos modelos de linguagem para cada um dos conjuntos de teste Tabela de conversão entre os símbolos fonéticos da TIMIT para o Português Tabela de conversão entre os símbolos fonéticos da TIMIT para o Português Evolução do processo de alinhamento e treino Percentagem de erro ao nível da palavra no conjunto de teste em função do modelo de linguagem utilizado xxv

28 xxvi

29 Capítulo 1 Introdução A visão do futuro em nós criada, através do imaginário presente em alguns livros e filmes, tem sempre associada um elevado grau tecnológico onde a comunicação através da fala com as máquinas é um ponto comum e dominante. A essa visão surge associada a possibilidade do homem, que vive nessa época, realizar desde as tarefas mais simples, como o simples acto de ligar a torradeira e/ou a televisão, às mais complicadas, como seja interagir com o seu computador de modo a aceder eficientemente a informação essencial, enquanto realiza outras tarefas mais elementares. Essa visão não surge como algo meramente irrealista, mas, pelo contrário, como algo extremamente plausível e lógico. Por outro lado, essa evolução tecnológica surge como um dado adquirido, sem a qual não somos capazes de conceber o nosso futuro mais próximo. Quando nos apresentamos e dizemos que trabalhamos em reconhecimento da fala, ou em interacção homem-máquina baseada na fala, as pessoas questionam-nos sempre para quando a possibilidade de falar com as máquinas do nosso quotidiano, e quando é que elas terão capacidade de nos responderem de uma forma interactiva. É nessa altura que temos consciência de como o desenvolvimento alcançado nos últimos anos, nas várias áreas relacionadas com a fala, não passa de um pequeno passo rumo a um objectivo final, que, todavia, ainda se encontra longe de ser

30 2 Capítulo 1 - Introdução alcançado. No entanto, os passos dados pela comunidade científica internacional começam a ser aproveitados pela indústria, no sentido de se transportar essa tecnologia para aplicações correntes e de forma a que o comum dos cidadãos dela possa tirar partido. Esse aspecto torna-se importante para todos, pois, se por um lado demonstra as possibilidades da tecnologia, por outro mostra a necessidade de continuarmos a financiar o esforço de investigação no sentido de alcançarmos o objectivo comum de todos: pôr essa tecnologia nas mãos das pessoas de forma a usufruirem dos seus benefícios. 1.1 Interacção Homem-Máquina Quando os homens comunicam entre si utilizam um conjunto de recursos intrínsecos à sua condição. Exprimem-se através da fala, como meio de veiculação da mensagem, através de gestos, que dão um maior vigor e sentido às suas palavras e são o reflexo do seu nível emotivo, e, ainda, através de expressões, tanto faciais como corporais, que conferem um maior significado e expressividade às suas palavras. Complementarmente utilizam a audição e a visão para aquisição de um determinado número de pistas, a utilizar num nível superior pelo cérebro, para uma interpretação e entendimento da mensagem transmitida e do seu contexto. Apesar de actualmente existir um conhecimento considerável sobre a forma de comunicação nas suas diferentes fases, o mesmo já não se poderá dizer sobre a sua interligação e interdependência no processo de geração e de interpretação da mensagem em si. A forma como o nosso cérebro junta as diferentes informações adquiridas e daí extrai a mensagem veiculada é, ainda, um processo obscuro e de difícil sistematização. Conhecemos as diferentes fases desse processo, sabemos da sua interdependência, mas não sabemos ao certo como é que elas se realizam e se relacionam. O planeamento e a realização de um sistema de interacção homem-máquina deverá ter em conta os diferentes processos que estão na base da comunicação hu-

31 1.2 Sistemas de Linguagem Falada 3 mana. No entanto, devido à complexidade de cada um dos processos envolvidos e da natural sobrecarga resultante da sua interligação e interdependência, estes processos têm sido estudados, planeados e realizados em separado. Os sistemas de visão são aplicados no reconhecimento de objectos e padrões e usados na visão robótica para orientação espacial. Os sistemas de fala são usados para comunicação entre o utilizador e as aplicações, normalmente num só sentido. Os conceitos da Inteligência Artificial e os conceitos do processamento da Linguagem Natural pretendem extrair informação das frases e dos textos. Contudo, raramente se verifica interacção e relacionamento entre estes vários processos. Os sistemas de fala, por nós aqui designados como Sistemas de Linguagem Falada, são de uma importância extrema dado que genericamente permitem uma interacção bi-direccional com o utilizador. São estes sistemas que vamos abordar na secção seguinte. 1.2 Sistemas de Linguagem Falada No que se refere aos sistemas baseados na fala, área sobre a qual incide o nosso trabalho, podemos representá-los através de um diagrama de blocos, conforme apresentado na Figura 1.1, onde cada um dos blocos representa uma fase distinta neste complexo processo. Aplicação FALA Sistema de Reconhecimento da Fala Sistema de Gestão de Diálogos Sistema de Síntese da Fala FALA Figura 1.1: Diagrama de blocos genérico de um Sistema de Linguagem Falada. Este diagrama que representa a comunicação homem-máquina baseada na fala,

32 4 Capítulo 1 - Introdução denominado Sistema de Linguagem Falada (do inglês Spoken Language System), combina as áreas do reconhecimento da fala, processamento de linguagem natural, síntese da fala e a tecnologia de interfaces humanas. A fala, produzida pelo utilizador do sistema, é passada através do Sistema de Reconhecimento da Fala, onde o sinal acústico é transformado numa sequência de palavras representadas na forma de grafemas. Esta sequência de palavras é passada ao bloco seguinte, denominado Sistema de Gestão de Diálogos, que a interpreta de forma a obter e representar o seu significado (nos termos definidos pela Aplicação). Neste bloco, e quando necessário através da sua interacção com a Aplicação, é gerada a resposta apropriada que é transmitida ao utilizador através do bloco denominado Sistema de Síntese da Fala. Neste bloco, a resposta dada pelo sistema é transformada em fala tornando, assim, a interacção com o utilizador bi-direccional e exclusivamente baseada na fala Benefícios e impacto dos Sistemas de Linguagem Falada Estes sistemas tornam possível que os utilizadores interajam com os computadores usando a mais natural e mais universal forma de comunicação: a fala. Dado o modo natural dessa interacção, não se torna necessário um treino especial, permitindo, eventualmente, que recursos baseados no uso de computadores estejam disponíveis para muitos novos grupos de utilizadores (utilizadores casuais, uso através do telefone, utilizadores com mãos ou olhos ocupados, utilizadores deficientes). Um dos objectivos destes sistemas é o de aumentar a produtividade. Sabemos que a maioria das pessoas não são especialistas em computadores. Por exemplo, enquanto nós quando falamos produzimos entre 150 a 250 palavras por minuto, um dactilógrafo treinado introduz, em média, 60 palavras por minuto, e, na maior parte dos casos, muito menos que isso. Assim, dada a possibilidade de geração de texto a partir da fala será expectável uma melhoria significativa na produtividade, adicionalmente à oportunidade de se realizarem tarefas que não seriam possíveis se as mãos estivessem ocupadas na introdução do texto.

33 1.2 Sistemas de Linguagem Falada 5 As pessoas que sofrem de alguma deficiência acham por vezes difícil controlar o seu ambiente. Nestes casos, qualquer ajuda oferecida pela novas tecnologias melhora significativamente a sua qualidade de vida. Por outro lado, essas pessoas estarão extraordinariamente motivadas para usar a tecnologia, dada a possibilidade de desfrutarem de capacidades que, de outra forma, não teriam. Para estes casos, encontramos diversas aplicações do reconhecimento da fala, como seja, por exemplo, o controlo das máquinas através da fala. Isto inclui, não só, os dispositivos que fazem parte do nosso dia-a-dia, como as luzes ou a televisão, como, também, dispositivos especiais como sejam cadeiras de rodas ou camas articuladas. Através de aplicações baseadas na síntese da fala possibilita-se a comunicação oral àqueles que perderam a capacidade natural para o fazer. Estes sistemas irão, ainda, permitir um maior acesso do público em geral a informações, que poderão ir desde horários de viagens a informação médica de emergência. O reconhecimento e síntese da fala poderão permitir um acesso universal e simples a bases de dados de informações, usando comandos falados através do telefone. Apesar de algumas destas bases de dados já existirem actualmente, continua a ser difícil o seu acesso, dada a necessidade de um terminal próprio e a necessidade de recorrer a linguagens de programação para o acesso a essa informação. Temos, ainda, que a capacidade dos computadores em reconhecer e entender a fala irá provocar um enorme desenvolvimento na indústria dos computadores dada a enorme variedade de novas aplicações nas quais essas máquinas poderão ser utilizadas Desenvolvimento dos Sistemas de Linguagem Falada Os diferentes progressos verificados nas áreas associadas à fala e à linguagem, em conjugação com os avanços tecnológicos na área dos computadores, permitiram que os Sistemas de Linguagem Falada evoluíssem significativamente nestes últimos anos. Essa evolução verificou-se tanto ao nível da investigação básica sobre os diferentes aspectos relacionados com esta tecnologia, como no desenvolvimento de

34 6 Capítulo 1 - Introdução aplicações reais e de implementação comercial. Estas implementações, apesar de limitadas e aplicadas a domínios específicos, começam a mostrar aos utilizadores a sua validade e o seu enorme potencial. Apesar das suas limitações, estes sistemas têm mostrado que não necessitam de serem totalmente perfeitos para obterem sucesso e aceitação. Por outro lado, as melhorias progressivas no seu nível de desempenho levam a uma aceitação crescente da tecnologia criando-se, assim, uma força condutora no sentido de se desenvolverem mais aplicações e com um cada vez maior nível de qualidade. Apesar dos progressos significativos verificados nos últimos anos, existe, ainda, um longo caminho cheio de obstáculos e dificuldades a superar para que estes sistemas atinjam todo o seu potencial. É necessário que sejam capazes de lidar correctamente com a variabilidade do sinal de fala, que sejam facilmente adaptáveis a novos domínios e a novas línguas, que permitam uma comunicação natural por parte do utilizador, que mostrem uma maior grau de inteligência interagindo apropriadamente com o utilizador, que utilizem eles mesmos a fala como forma natural de comunicação e que procurem integrar a fala com outros meios de expressão para um maior entendimento dos desejos e vontades dos utilizadores [Cole et al., 1995]. Nesse sentido, colocam-se actualmente uma série de desafios à comunidade internacional, em termos de investigação e desenvolvimento, de forma a se superar o conjunto de limitações que os sistemas actuais apresentam [Cole et al., 1995]: Robustez e variabilidade - Para uma plena aceitação do sistema será necessário que ele seja robusto a todos os níveis, demonstrando capacidade de lidar com o ruído de fundo, com as imperfeições do canal de comunicação, com novas tarefas, com novos ambientes e com a variabilidade intrínseca ao sinal da fala. Verifica-se que os sistemas de reconhecimento da fala actuais não conseguem integrar um grande nível de robustez. Bastam pequenas alterações, como sejam no microfone ou no canal de comunicação, para que o nível de desempenho do sistema se degrade significativamente. Os utilizadores, obviamente, não confiarão num sistema se tiverem que falar de uma forma bastante condicionada, se o sistema falhar quando estão constipados,

35 1.2 Sistemas de Linguagem Falada 7 ou se o desempenho do sistema baixar drasticamente quando existir ruído de fundo. Além das alterações nas características dos dispositivos, a variabilidade associada ao sinal de fala, que é tipicamente devida ao utilizador, é outro dos factores a ter em conta. Adaptação a novos domínios - A generalização de sistemas de linguagem falada a uma variedade de aplicações reais passa pela investigação sobre o modo de adaptar esses sistemas, rapidamente e com um custo reduzido, a novos domínios e tarefas. Actualmente, o custo elevado da transformação desses sistemas para novas tarefas representa um grande obstáculo à sua divulgação. Em termos de reconhecimento da fala, têm sido desenvolvidos procedimentos automáticos de treino, sendo no entanto necessárias grandes quantidades de dados específicos da tarefa para um desenvolvimento aceitável do sistema. Sistemas multi-língua - O desenvolvimento de sistemas multi-língua representa, também, um desafio enorme e significativo. A transformação de um sistema para uma nova língua coloca, adicionalmente, em todas as componentes do sistema uma carga de independência da linguagem. Para isso, é necessário investigar quais são as propriedades específicas versus as propriedades independentes da língua, ou seja, quais são as principais diferenças acústicas, fonéticas, perceptuais e linguísticas entre as diferentes linguagens. Nesse sentido devem ser estudados e desenvolvidos formalismos, e mesmo algoritmos, para aprendizagem e adaptação automática das representações da linguagem falada a todos os níveis linguísticos (acústico, fonético, prosódico, sintáctico, semântico, pragmático e de discurso). Actualmente, no entanto, não conseguimos dispensar a necessidade de novos dados de treino, tanto em termos de fala, como de linguagem. Até sermos capazes de desenvolver métodos mais simples de transformar ou adaptar sistemas a novos domínios e novas línguas, a aplicação dos Sistemas de Linguagem Falada ficará restrita a pequenas e específicas aplicações, e com uma tendência dominadora para certas línguas determinada por questões de mercado. Naturalidade - A capacidade de lidar com o fenómeno da fala espontânea

36 8 Capítulo 1 - Introdução é, também, uma propriedade importante dos sistemas robustos. Sistemas que não sejam usados de uma forma natural não encontrarão a necessária aceitação geral. O trabalho a realizar em termos de fala espontânea, permitindo aos sistemas ultrapassar cortes na conversa, interrupções, hesitações e más interpretações, permitirá aos utilizadores interacções, em termos de diálogo, cada vez mais naturais. Extracção do significado - Verificamos que os sistemas de reconhecimento da fala produzem cada vez melhores hipóteses acerca das palavras produzidas. No entanto, é necessário que esse esforço seja acompanhado no sentido de se extrair o significado dessa sequência de palavras, de forma a que correctamente e eficientemente se responda às necessidades do utilizador. Geração da resposta - Uma interface baseada em linguagem falada envolve mais que o reconhecimento e a interpretação da fala pelo sistema. Uma interface deverá ser, sobretudo, baseada num diálogo entre o utilizador e o sistema. A interpretação da fala, por si só, não permite que o sistema responda ao utilizador de uma forma inteligível e útil. O estudo e desenvolvimento dos sistemas de geração de resposta têm por objectivo determinar o conteúdo e a forma da resposta, de forma a que ela seja o mais útil possível ao utilizador. Síntese da fala - Na interacção homem-máquina a forma da resposta é tão importante como o seu conteúdo, e muitas das interfaces requerem, ou são significativamente melhoradas, pelo uso da síntese da fala. A geração de fala a partir de texto possui um leque variado de aplicações, mas encontra-se limitada pela qualidade dos sistemas actuais. Por outro lado, os avanços em termos de geração de linguagem natural abre uma nova área de investigação, nomeadamente em termos de geração da fala. Da mesma forma que a compreensão da fala envolve mais do que o simples encadeamento do reconhecimento da fala e processamento da linguagem natural, a geração da fala deverá envolver mais do que, simplesmente, a ligação entre o sistema de geração de resposta e um sintetizador de texto para fala. Sistemas multi-modais - Numa tentativa de aproximação à percepção humana

37 1.2 Sistemas de Linguagem Falada 9 os sistemas multi-modais estabelecem uma plataforma onde se integra a fala com outros meios, através da sua combinação com expressões faciais, movimento dos olhos, gestos, escrita manuscrita ou, ainda, outras possibilidades de entrada, e comunicando com o utilizador através de respostas multimédia. Estes sistemas permitem interfaces homem-máquina mais flexíveis, fáceis de aprender e produtivas. Adicionalmente, são capazes de um desempenho mais robusto em condições adversas, o que em muitos casos poderá ser necessário antes que a tecnologia associada aos sistemas de linguagem falada possa funcionar adequadamente em ambientes verdadeiramente realistas. Como anteriormente referido, os Sistemas de Linguagem Falada constituem um processo complexo que envolve diferentes fases. Esse processo estende-se desde o reconhecimento da fala, passando pela análise e tratamento da sequência de palavras produzidas pelo reconhecedor, de forma a se extrair o seu significado (em conjugação directa com a aplicação), geração da resposta do sistema e terminando no processo de síntese da resposta em fala. A abordagem do problema, na sua globalidade, exige uma gama de áreas de formação muito vasta que vai desde o processamento de sinais, à fonética, à linguística, ao processamento de linguagem natural, à inteligência artificial, à informática e à engenharia. Verifica-se, ainda, que cada uma destas fases é por si só bastante complexa envolvendo um conjunto elevado de problemas e de dificuldades. Para se lidar com um processo tão complexo é necessário a constituição de uma equipa multi-disciplinar que trabalhe em conjunto nas suas diferentes fases. No entanto, dada a diversidade de áreas necessárias opta-se, normalmente, por uma estratégia, obviamente não óptima, de analisar cada uma destas fases por si, como se se tratasse de um problema isolado. Esta estratégia simplifica, dado que é muito mais fácil delimitar o problema associado a cada fase e, assim, definir qual a melhor ou melhores soluções, mas, por outro lado, não permite tirar partido da redundância e complementaridade existentes, necessariamente, entre as várias fases. O nosso trabalho insere-se nos sistemas de reconhecimento automático da fala e que constitui o bloco de entrada do sistema geral. Vamos começar por expli-

38 10 Capítulo 1 - Introdução car, na secção seguinte, os contornos do problema associado ao reconhecimento automático da fala. 1.3 Reconhecimento Automático da Fala O reconhecimento e a interpretação da fala humana é, sem dúvida, uma área que tem apaixonado a comunidade científica internacional desde meados deste século. Com todas as descobertas e avanços tecnológicos verificados nas últimas décadas, encontramo-nos perante o dealbar do novo século sem, ainda, nos sentirmos satisfeitos na forma como interagimos com os equipamentos que nos rodeiam. O Reconhecimento Automático da Fala, que constitui o bloco de entrada para o difícil e complexo Sistema de Linguagem Falada, tem beneficiado da evolução e desenvolvimentos teóricos subjacentes a várias disciplinas, permitindo uma melhor representação e compreensão do sinal da fala. Por outro lado, os avanços tecnológicos que colocaram à nossa disposição computadores, processadores de sinal e memórias cada vez mais rápidos e mais económicos, além de capacidades de armazenamento cada vez mais elevadas, têm, também, contribuído para a evolução na área do reconhecimento da fala. Desde o tempo dos sistemas de reconhecimento de dígitos, para um ambiente imune a ruído e para um único utilizador, até à comercialização em larga escala de sistemas de ditado, um longo caminho foi percorrido. No entanto, temos consciência que outro tanto terá de o ser, até obtermos um sistema que nos permita uma interacção e controlo dos equipamentos que nos rodeiam de uma forma natural. Nesta secção pretende-se abordar as razões que levaram ao desenvolvimento destes sistemas, as dificuldades que enfrentam actualmente e a sua evolução.

39 1.3 Reconhecimento Automático da Fala O que se entende por reconhecimento automático da fala O sinal de fala representa uma mensagem linguística codificada pelo processo de produção da fala. Ao analisarmos este sinal pretendemos, em última análise, extrair o significado da mensagem que ele representa. Este processo de interpretação envolve aspectos bem distintos, tornando-se, portanto, difícil abordar o problema como um todo. Assim, aplicamos um modelo simplificado em que o processo global é repartido em tarefas mais pequenas. Daí resulta um redefinição dos objectivos e quando nos referimos ao reconhecimento automático da fala estamos, sobretudo, a falar da transcrição do sinal acústico numa palavra ou sequência de palavras. O conhecimento posto neste processo tem evoluído ao longo do tempo. Desde a situação do reconhecimento de um conjunto muito limitado de palavras isoladas, até ao reconhecimento da fala contínua, muito se evoluiu. O reconhecimento da fala começou por ser, simplesmente, um problema de classificação, onde a partir de um conjunto de amostras do sinal da fala se pretendia classificar na classe respectiva. A cada classe encontrava-se associada uma palavra do vocabulário. Tratavam-se de vocabulários reduzidos, sendo os dígitos as palavras mais utilizadas. Dada a dimensão elevada das amostras do sinal, representativas de uma palavra, aplicavam-se técnicas de extracção de características que procuravam representar a informação relevante presente no sinal de fala, mas através de um conjunto de parâmetros de ordem reduzida. Era a partir dessa representação que se efectuava o processo de classificação. Actualmente, dado estarmos interessados no reconhecimento da fala contínua e para grandes vocabulários, o processo de reconhecimento tem subjacente um conjunto de operações muito mais complexas que uma simples operação de classificação. Utilizam-se modelos hierárquicos tendo como unidades base os fonemas. O processo de reconhecimento automático da fala começa numa descodificação acústico-fonética, transformando o sinal acústico, que representa a fala, numa sequência de fonemas. A essa sequência de fonemas é imposto um

40 12 Capítulo 1 - Introdução conjunto de restrições lexicais, gerando-se, assim, um novo nível onde as unidades passam a ser as palavras. Por sua vez, a sequência de palavras terá de obedecer a um conjunto de restrições sintácticas, derivadas de um modelo de linguagem, em que se define a sequência de palavras admissíveis. Todas estas fases são interdependentes o que permite uma optimização da sequência final produzida. A forma como todo este processo é realizado, assim como a constituição dos diferentes componentes necessários, serão assuntos abordados em detalhe ao longo do Capítulo 2 da presente dissertação Porquê o reconhecimento automático da fala Para a maioria das pessoas não é, ainda, evidente os benefícios que uma interacção baseada no reconhecimento da fala pode introduzir. Alguns dos benefícios introduzidos por este tipo de interface foram referidos anteriormente, quando abordámos os benefícios dos Sistemas de Linguagem Falada na sua generalidade, como sejam a naturalidade da forma de comunicação, a possibilidade de controlo do ambiente à nossa volta, o aumento da produtividade sustentada por este tipo de interfaces a as novas possibilidades de acesso a informação que de outra forma seria difícil de aceder. Têm sido as empresas a tomarem a dianteira no uso e desenvolvimento deste tipo de tecnologia motivadas por questões económicas e de imagem. Entre essas motivações podemos enunciar as seguintes: 1. Aumento da Produtividade - Interfaces, baseadas em reconhecimento da fala, permitem realizar mais trabalho, com melhor ou igual perfeição, relativamente aos métodos tradicionais existentes. 2. Retorno rápido do investimento - É uma tecnologia que permite um retorno rápido do investimento, dado que o treino específico necessário para a sua utilização é reduzido, ao mesmo tempo que permite índices de rentabilidade elevados.

41 1.3 Reconhecimento Automático da Fala Acesso a novos mercados - Permite a extensão de certos serviços a períodos de 24 horas, abrindo a possibilidade de novos mercados e de novos clientes. 4. Diferenciação entre produtos e empresas - A utilização de um sistema de reconhecimento da fala transmite uma ideia de evolução tecnológica que beneficia tanto a imagem da empresa, como a do próprio produto. Só recentemente é que as empresas, em particular, e os utilizadores, em geral, começaram a ser despertos e a se sentirem atraídos pelos sistemas integrando reconhecimento da fala. Isso deve-se, cada vez mais, ao nível de realização e de flexibilidade apresentados por estes sistemas. Estes avanços são devidos, em parte, aos significativos progressos tecnológicos da indústria, representados no aumento da capacidade dos microprocessadores, na cada vez maior miniaturização, na maior e mais flexível integração dos telefones com os computadores e no crescimento da multimédia. Nesse sentido podemos considerar os seguintes factores [Markowitz, 1996]: 1. Microprocessadores O crescimento dramático e contínuo na velocidade e poder dos microprocessadores é um dos principais factores para a migração da tecnologia avançada de reconhecimento da fala dos laboratórios para as aplicações reais. O aumento do poder dos microprocessadores foi acompanhado por um decréscimo acentuado no seu preço. 2. Miniaturização À medida que os sistemas mais pequenos vão ficando mais poderosos, eles podem suportar sistemas de reconhecimento de complexidade crescente. Um segundo aspecto na miniaturização é tornar as interfaces baseadas no reconhecimento da fala mais desejáveis. Por exemplo, no uso de

42 14 Capítulo 1 - Introdução dispositivos de bolso electrónicos não é conveniente o uso do teclado, nem do rato, sendo a interface ideal baseada no reconhecimento da fala. 3. Negócio Global As diferenças económicas e políticas vão diminuindo, tornando-se necessário estabelecer capacidades de comunicação multi-línguas disponíveis 24 horas por dia. As soluções actuais, que passam pela contratação de profissionais bilingues, são normalmente dispendiosas e inibitórias a essa evolução. O uso de sistemas de reconhecimento multi-língua, baseados no telefone, é uma solução efectiva em termos de custo para negócios que necessitem de um sistema de mensagens telefónicas e suporte de comunicações para as 24 horas. 4. Multimédia A multimédia coloca ao nosso dispor grandes fontes de informação e um conjunto elevado de meios, e sem uma interface natural, baseada no reconhecimento da fala, não poderemos explorar na plenitude todos os seus recursos. Adicionalmente, uma interface, baseada no reconhecimento da fala, irá permitir que de uma forma natural estes serviços estejam disponíveis para todos, dado que não exige um conhecimento especializado para aceder a essa informação. Como resultado da evolução tecnológica verificada no âmbito da microelectrónica e das necessidades crescentes dos sistemas de tecnologia da informação, o reconhecimento da fala surge, assim, como uma necessidade para uma maior evolução e disseminação desses sistemas de informação.

43 1.3 Reconhecimento Automático da Fala Porque é difícil o reconhecimento automático da fala Apesar de todos os progressos verificados no conhecimento do processo humano de reconhecimento da fala e de todas as evoluções verificadas nos sistemas de forma a integrarem esse conhecimento, constata-se que o reconhecimento automático da fala continua a constituir uma tarefa extremamente complexa e difícil. Podemos enunciar algumas razões para esse facto: Redundância no sinal de fala - Existe uma grande quantidade de dados presentes no sinal acústico, que não são relevantes para a discriminação entre os diferentes sons. É necessário uma representação de mais alto nível para reconhecer e interpretar correctamente a fala, do que aquela contida no sinal acústico. Ruído - O sinal da fala está, normalmente, sujeito a várias fontes de ruído que o corrompem e o degradam. Por um lado, temos o ruído ambiente que interfere na qualidade do sinal produzido pelo orador, por outro, temos os dispositivos de aquisição, microfones e filtros com diferentes características, e, ainda, as interferências motivadas pelo canal de comunicação, banda telefónica limitada e distorções de frequência e temporais do sinal de fala. Temos, ainda, que alguns sons produzidos pelo utilizador, como seja os movimentos dos lábios e sons vocálicos não comunicativos (ah, uh,...) constituem, também, uma fonte de ruído. Variabilidade - A voz varia entre pessoas e para a mesma pessoa ao longo do tempo. Essas diferenças têm a ver com aspectos físicos (tamanho e forma da boca, tamanho e largura do pescoço, estatura física, condição física, etc.), sexo, idade e saúde. Para o mesmo utilizador há que ter em conta situações em que fala baixo, grita, está zangado, triste, cansado, doente, etc. Mesmo falando normalmente, é raro a mesma palavra ser pronunciada da mesma forma duas vezes. Existem, ainda, outras fontes de variabilidade, como seja o efeito de co-articulação entre palavras, pronunciações dependentes do contexto de palavras e fonemas, variabilidade entre oradores na pronunciação de fonemas