Linux controlado por voz

Transcrição

1 TUTORIAL Linux por voz Linux por voz TUTORIAL Linux controlado por voz Simon é uma ferramenta de reconhecimento de voz sofisticada e de fácil acesso a dois poderosos motores de reconhecimento de voz, o Julius e o CMU Sphinx. por Falko Benthin No Windows e Mac OS X, os usuários estão há muito tempo acostumados a controlar o PC não apenas com teclado e mouse, mas por voz. Durante vários anos, o Linux tem acompanhado o atraso. A organização sem fins lucrativos Simon Listens [1], fundada por Franz Stieger, é a força motriz por trás do software de reconhecimento de voz Simon. O aplicativo, desenvolvido originalmente para oferecer às pessoas portadoras de necessidades especiais o uso do PC sem barreiras, existe há vários anos. A organização ainda possui este objetivo, mas os desenvolvedores descobriram alguns usos adicionais para o software, incluindo sistemas de controle verbais que facilitam a utilização de modernas tecnologias de comunicação por idosos ou permite que seres humanos controlem robôs, cadeiras de rodas e elevadores. No entanto, se o usuário quiser ditar um texto para Simon, não ficará feliz com os resultados e terá de procurar outro lugar. O Simon tornou-se um projeto oficial do KDE em abril de 2012 [2] Figura 1 Um assistente de configuração torna a configuração de Simon uma tarefa bastante simples. e, portanto, utiliza a infraestrutura do KDE. O software de reconhecimento de voz segue o modelo cliente servidor, que consiste de vários componentes e elaboração de vários outros programas, tais como o pacote de freemantas de reconhecimento de voz CMU Sphinx [3], do motor de reconhecimento de voz Julius [4], com o Hidden Markov Model Toolkit (HTK) [5], e o dicionário de pronúncia Hadi-Bomp [6]. Os componentes de aplicativos incluem a interface Simon, o daemon Simon (Simond), o Simon Acoustic Modeler (sam), e o Simon Sample Collector (SSC). Inicialização do Simon Após a instalação (quadro 1), o Simon aparece no menu Start (Iniciar) do ambiente de trabalho, logo abaixo de Accessibility (Acessibilidade). Alternativamente, podemos iniciar o aplicativo com o comando simon na linha de comando. Na primeira inicialização, um assistente aparece para guiar o usuário na instalação do programa (figura 1). Podemos decidir aqui quais cenários e modelos de linguagem o Simon carregará mais tarde, por padrão, onde reside o reconhecimento de voz do servidor Simond, e se deve iniciar automaticamente. O Simond garante que a entrada de voz dos clientes seja avaliada. Por padrão, ele é executado no mesmo computador que o Simon e escuta na porta Como é apropriado para um servidor, 56

2 Linux controlado por voz TUTORIAL Quadro 1: Como instalar o Simon Usuários da versão para desenvolvedor do opensuse podem instalar o Simon facilmente: basta apenas baixar pacotes binários do opensuse Build Service [7] e completar a instalação utilizando ferramentas de pacotes da distribuição. Se o usuário optar por utilizar qualquer outra distribuição, deve clonar o código fonte do KDE Git: $ git clone git://anongit.kde.org/ simon simonsource ou pegue o tarball [8] e descompacte-o, mude para o diretório recém-criado, e execute build.sh ou o script build_ubuntu.sh. Para concluir a instalação sem erros, pode ser necessário resolver algumas dependências [9] com antecedência. Para desbloquear todos os recursos de interface de reconhecimento de voz completamente, também vamos precisar do CMU Sphinx (sphinxbase, pocketsphinx e sphinxtrain, cada um em uma versão mais recente que a 0.8) ou Julius com o HTK e os pacotes de desenvolvimento do OpenCV (libsamplerate, QAccessibilityClient e libkdepimlibs4). A partir da versão 0.4, Simon usa o mecanismo de reconhecimento de voz CMU Sphinx como backend por padrão, mas ainda suporta completamente o Julius e o HTK proprietário. ele pode também executar em um computador separado e atender vários clientes; assim, podemos precisar criar contas de usuário protegidas por senha mais tarde. Em uma etapa posterior, configure a placa de som (figura 2); o usuário é, então, levado de volta para a janela principal do aplicativo (figura 3). Facelift Para reconhecer palavras faladas, o Simon baseia-se em modelos acústicos ( base models ) disponíveis em três categorias: estática, adaptada, ou gerada completamente pelo usuário. Os modelos estáticos predefinidos não podem ser adaptados para usuários individuais: para estes modelos funcionarem corretamente, o usuário deve falar como o criador do modelo pretendido. Modelos adaptados predefinidos também estão disponíveis, e os usuários podem treiná-los para compreender a voz e a maneira de falar para aumentar a precisão. Embora o ideal seja a criação de modelos totalmente gerados pelo u- suário, eles oferecem a maior taxa de sucesso e são ideais para pessoas com dificuldades de fala ou dialetos fortes. O uso de modelos adaptados e gerados pelo usuário requer um mecanismo de reconhecimento de voz como CMU Sphinx e Julius. Atenção: os dois não usam modelos compatíveis, razão pela qual mudar o mecanismo não é recomendado se o usuário possuir um modelo bem treinado. A versão atual do Simon reconhece o modelo utilizado pelo usuário e seleciona automaticamente o backend correto. Um bom lugar para procurar modelos adaptáveis é na função de download do Simon Settings/Configure Simon/ Language models/open model/download - ou no projeto VoxForge [10]. Depois de baixar um modelo do VoxForge, precisamos importá-lo. Por exemplo, para usar o modelo English CMU Sphinx, o usuário deve baixar o modelo do VoxForge e descompactá-lo. Em seguida, na configuração do modelo de linguagem, em vez de selecionar download, selecione Create from model files (Criar a partir de modelos de arquivos) e digite o caminho para os arquivos exigidos. O processo funciona da mesma forma para todos os outros idiomas disponíveis ou para os modelos de Julius. Cenários Dentro do Simon, aplicativos específicos para o reconhecimento de fala podem ser definidos como cenários. Cenários típicos poderão controlar o mouse ou o navegador com entrada de voz. A equipe do Simon já coletou algumas situações comuns que o usuário pode Figura 2 Várias placas de som e microfones em webcams USB não são problema para Simon. Linux Magazine #101 Abril de

3 TUTORIAL Linux por voz Figura 3 Cenários disponíveis, palavras reconhecidas, status de conexão: o Simon apresenta uma visão clara e abrangente na janela principal. Podemos acessar muitos recursos com apenas um clique. carregar em Manage scenarios/open/ Download (Gerenciar cenários/abrir/ Baixar). Certifique-se de que o idioma de destino e o modelo acústico combinam se estiver usando um modelo básico estático ou adaptado. É importante para o cenário e modelo básico usar o mesmo conjunto de fonemas. O usuário provavelmente irá desejar criar os próprios cenários por exemplo, porque não pode encontrar o que precisa na seção de download ou porque os cenários existentes utilizam o modelo de base errada. Alternativamente, podemos adicionar novas palavras a cenários existentes, tais como Standard. Podemos adicionar novos cenários, selecionando Manage scenarios (Gerenciar cenários). Para preenchê-los com suas próprias palavras, basta clicar em Open <scenario_name>. Em seguida, Simon mostrará a lista de vocabulário existente, que o usuário precisará preencher, na maioria dos casos (figura 4). Ao contrário de muitos sistemas comerciais de reconhecimento de voz com modelos de linguagem pré-fabricados, os problemas de linguagem não são um grande problema para Simon. Além dos modelos acústicos e de linguística pré-compilados, os usuários também podem gerar versões personalizadas ensinando a Simon as palavras de que necessitam. O treinamento em si é bastante simples. A dificuldade é que as palavras precisam ser atribuídas a terminals (verbos, pronomes, etc. também são chamados de categorias no Simon) e divididas em fonemas. Como indivíduos não profissionais em linguística poderiam ter problemas aqui, o Simon se oferece para importar dicionários. Além de conter muitas palavras, os dicionários incluem a informação necessária nos terminais e pronúncia básica de fonemas. As palavras disponíveis aqui são facilmente adicionadas ao vocabulário do sistema. Se uma palavra específica estiver faltando, outras palavras existentes podem ser utilizadas como exemplos. O Simon suporta dicionários nos formatos Hadifix, HTK, PLS, CMU Sphinx e Julius, que o usuário pode carregar, pressionando o botão Import Dictionary (Importar dicionário). O programa geralmente espera que haja um caminho para um arquivo localizado no computador, mas, no caso do dicionário de alemão Hadifix, um acordo com a Universidade de Bonn permite aos usuários fazer o download diretamente do dicionário Hadifix Bomp. Para fazer isso, o usuário precisa especificar o nome e endereço de e aceitar a licença Bomp. Treinamento Para adicionar uma nova palavra a um cenário (figura 5), o usuário precisa treinar pelo menos duas vezes isto é, falar a palavra ao microfone para introduzir voz e pronúncia ao programa. Se o cenário só precisa de poucas palavras, a taxa de reconhecimento torna-se bastante aceitável após apenas duas rodadas de treinamento. Entretanto, o treinamento adicional aumenta a taxa de sucesso e é especialmente útil na medida em que o vocabulário Figura 4 Em primeiro lugar, o usuário precisa preencher seus próprios cenários com o vocabulário necessário. 58

4 Linux controlado por voz TUTORIAL Figura 5 Após o treinamento individual, as palavras são reconhecidas de forma confiável. aumenta, ou quando há palavras com sonoridades similares. Podemos treinar palavras de forma orientada, pressionando Train Individual Words para adicioná-las a uma sessão de treinamento (figura 6). Se quiser exportar o cenário mais tarde e, assim, torná-lo disponível para a comunidade Simon, vale definitivamente a pena criar textos especiais de treinamento. Basta alterar para a seção Training (Treinamento) e clicar no botão Add Text (Adicionar texto). O usuário pode importar ou digitar manualmente o texto para treinar todo o vocabulário para o cenário. Uma vez que o usuário tenha o texto de treinamento, poderá começar a treinar na janela principal, ou no cenário aberto, pressionando o botão apropriado. Por padrão, o Simon registra separadamente as linhas do texto, entre uma ou várias palavras. Se parecer muito complicado pressionar o botão Record (Gravar) duas vezes para cada palavra (iniciar e parar a gravação), verifique a caixa Power Training. Agora só precisamos pressionar os botões Next para seguir para o texto de treinamento, sem a necessidade de clicar muito. A gramática de um cenário faz exatamente o que o nome sugere: define as regras que determinam a maneira como o vocabulário pode ocorrer de forma que Simon possa interpretá-lo de forma significativa. O usuário não precisa ficar com as estruturas da linguagem falada, mas pode criar uma gramática própria, como Verb noun ou Enumeration noun. Apenas certifique-se de que tenha feito o vínculo a categorias que realmente ocorrem no vocabulário existente. Mais uma vez, as categorias não são imutáveis, mas podem ser adicionadas e alteradas para que, além de substantivos, verbos etc., o usuário possa se valer de triggers, comandos e outros artifícios. Podemos até fundir categorias existentes para simplificar a estrutura gramatical do vocabulário no dicionário e o dicionário sombra. Comandos A última seção no cenário compreende os comandos. Aqui o usuário determina o que o programa fará com as palavras reconhecidas. Vários plugins de comando permitem controlar o computador, e podemos facilmente vincular uma série de atividades diferentes com comandos de voz. O computador, então, executará programas (Program), emulará as teclas digitadas, ou abrirá pastas e sites. Além disso, podemos mover o cursor do mouse sobre a área de trabalho, selecionar os itens em listas ou inserir blocos de texto com a ajuda de plugins, bem como ditar letras e números, usar uma calculadora, ou ainda praticar a pronúncia e verificar a conformidade com um modelo básico. Comandos compostos executam várias ações uma após a outra. Descrever todos os plugins de comando em detalhe vai muito além do escopo deste artigo, portanto verifique o manual Simon detalhado para mais informações. Ao selecionar Manage Figura 6 As sessões de treinamento especificamente concebidas para um cenário ajudam o Simon a aprender todo o vocabulário necessário. Linux Magazine #101 Abril de

5 TUTORIAL Linux por voz Figura 7 Plugins de comando versáteis permitem um grande controle sobre os recursos de vários computadores. O Simon sequencialmente verifica qual plugin pode lidar com uma palavra reconhecida Plugins (Gerenciar plugins) (figura 7), o usuário pode carregar e usar plugins e depois utilizar o New Command para vincular ações apropriadas para uma ou mais palavras. Quando o Simon reconhece uma palavra, ele trabalha seu caminho através dos plugins de comando até encontrar um que possa processar a entrada para, em seguida, executar a ação apropriada. Na seção opcional Context (Contexto), podemos definir as condições nas quais o Simon permite um cenário. Por exemplo, é possível estipular que o cenário Firefox só é ativado se o navegador Mozilla estiver em execução. Assim, podemos usar comandos idênticos em diferentes cenários para iniciar ações diferentes. Condições possíveis incluem, por exemplo, se uma determinada janela está em primeiro plano na área de trabalho (Active Window Condition), se uma webcam reconhece um rosto na frente do computador (requer OpenCV), se certos processos estão em execução, ou quais status de programas reportam para a D-Bus. Além disso, podemos verificar os arquivos de conteúdo específico. Quando alteramos alguma coisa em um cenário ou palavras treinadas, Simond atualiza a compilação do modelo acústico, e as novas palavras ficam imediatamente disponíveis. A janela principal sempre mostra as últimas palavras reconhecidas, estejam elas vinculadas (ou não) a um comando (figura 8). Enquanto Simon escuta, está impaciente para reconhecer palavras. Por isso, uma respiração profunda poderia ser interpretada como um comando de voz, ou uma conversa com outra pessoa poderia fazer com que o computador aplicasse todos os tipos de brincadeiras no usuário. Para evitar um falso positivo, faz sentido iniciar todos os comandos de voz com uma palavra que acione a escuta, como computador ou abracadabra. Para que o computador seja capaz de interpretá-la, é necessário modificar a gramática. Além disso, os desenvolvedores estão atualmente trabalhando em queries a partir de movimentos labiais para minimizar comandos do tipo falso positivo: se o Simon não visualizar um rosto ou movimento labial durante a entrada de voz, a ideia é que a palavra seria, provavelmente, o ruído de fundo que o programa deve ignorar. CMU Sphinx e Julius Como já mencionado, o Simon pode trabalhar com os mecanismos de reconhecimento de voz Julius e CMU Sphinx. Ao configurar o Sphinxbase, o Pocketsphinx e o Sphinx-training, o usuário deve mudar o prefixo de /usr/local para /usr, ou pelo menos adicionar links simbólicos apropriados. Assistentes, como links simbólicos, também são obrigatórios se o usuário instalar Sphinxtrain em um sistema de 64 bits. Neste caso, scripts e outros arquivos que são importantes para a geração de modelo acústico terminam em /usr/[local/] lib64/sphinxtrain, mas o Simon os aguarda em /usr/lib/sphinxtrain. O CMU Sphinx apresentou alguns problemas de compilação do modelo acústico em nosso laboratório; não conseguimos solucioná-lo antes do fechamento desta edição. Se o u- Figura 8 O Simon mostra as combinações na janela principal, independentemente de estas estarem vinculadas a um comando. 60

6 Linux controlado por voz TUTORIAL suário passar por erros semelhantes, utilize o Julius em seu lugar. Para cenários pré compilados, o Simon escolhe o backend de reconhecimento de voz automaticamente. Quando criamos modelos acústicos e de linguagem gerados pelo usuário, podemos configurar o backend preferido em Settings/Configure Simon/ Recognition/Configure server/speech model compilation/backend. Perspectiva O Simon mudou drasticamente desde seu último lançamento, há dois anos, e tem melhorado significativamente em termos de facilidade de uso. A versão 0.4 atual oferece uma experiência de uso muito melhor: o mecanismo adicional de reconhecimento de voz e de contexto CMU Sphinx na forma do Afaras e Simonoid. O Afaras permite identificar gravações ruins e padrões destruídos em grandes coleções. O Simonoid KDE plasmoid gera o estado de detecção e pode ser usado para iniciar ou parar o Simon rapidamente. Para o futuro próximo, a equipe de desenvolvimento liderada pelo CTO Peter Grasch tem planos ambiciosos, como o de completar características previamente experimentais como a detecção de lábios. Além disso, a equipe está colaborando com diversos parceiros, como as universidades de Bonn e Graz. O Instituto alemãoaustríaco (Institut für Österreichisches Deutsch) permitiu que o projeto acessasse o banco de dados Adaba [11], o que pode levar à criação de um modelo básico alemão livremente disponível. Como outro importante marco no caminho para a versão 0.5, os desenvolvedores buscam integrar a AT SPI2 ( do framework Assistive Technology Service Provider Interface 2) [12] com o Simon. Neste artigo, só olhamos para o frontend Simon. Outras partes interessantes do projeto e Simon Listens são SAM, uma ferramenta que permite aos usuários criar e testar modelos acústicos que Simon pode depois importar, e SSC, que é usado para coletar amostras de diferentes falas e ambientes de usuário para desenvolver novos modelos básicos. Além disso, o aplicativo Simone, do MeeGo, permite aos usuários controlar o computador através de um smartphone. O Meego é um sistema operacional móvel de código aberto baseado em Linux que foi criado em 2010, após uma fusão de seus ancestrais Maemo (Nokia) e Moblin (Intel). Atualmente ele se encontra sob os auspícios da Linux Foundation, mas a médio prazo deverá se fundir com o smartphone Tizen OS. A motivada equipe de desenvolvimento do Simon se manteve bastante administrável ao longo dos anos e recebe membros adicionais: além de programadores (C++ e Qt), pessoas que gostariam de criar cenários, estender a documentação ou localizar o Simon em sua língua nativa também podem se envolver com o projeto. Conclusão Simon é uma ferramenta de reconhecimento de voz que pode ser instalada e utilizada por novatos no assunto. O único obstáculo no processo de instalação são as numerosas dependências. Durante vários dias de testes de laboratório, o sistema se manteve completamente estável, e o aplicativo não quebrou sequer uma vez. Como a cereja no bolo, Simon permite fácil acesso aos sofisticados mecanismos de reconhecimento de voz Julius e CMU Sphinx, que, por sua vez, estão em desenvolvimento há vários anos. Embora eles ainda não sejam capazes de gravar letras ou achados médicos, quando se trata de controles, Simon já contempla o computador para desvendá-las. n Mais informações [1] Simon Listens Association: [2] Simon: extragear/accessibility/simon/ [3] CMU Sphinx: [4] Julius: [5] HTK: [6] Hadifix Bomp: phonetik/sprachsynthese/bomp/ (em alemão) [7] Simon para opensuse Factory: opensuse.org/package/simon/ [8] Simon tarball download: org/simon/simon-latest.tar.gz/ [9] Guia de compilação e dependências: kde.org/simon/development_environment#compiling/ [10] VoxForge: Gostou do artigo? Queremos ouvir sua opinião. Fale conosco em cartas@linuxmagazine.com.br Este artigo no nosso site: [11] Adaba: [12] AT SPI2: workgroups/accessibility/atk/at-spi/at-spi_on_d-bus/ Linux Magazine #101 Abril de