DIGA Desenvolvimento de uma plataforma para criação de sistemas de diálogo

Transcrição

1 DIGA Desenvolvimento de uma plataforma para criação de sistemas de diálogo Filipe Miguel Fonseca Martins 1/21

2 Estrutura da apresentação O que é um sistema de diálogo? Tipos de sistemas de diálogo Motivação Situação inicial Processo de reengenharia e desenvolvimento Desenvolvimento do sistema LISA Sistemas de banca e bolsa telefónica Desenvolvimento de um sistema para quiosques virtuais informativos Resultados Trabalho futuro 2/21

3 O que é um sistema de diálogo? Permite a interacção com uma máquina, utilizando língua natural 3/21

4 Tipos de Sistemas de Diálogo Sistemas de estados finitos Vantagens: Simplicidade. Desvantagens: Modelação de dependências entre a informação. SISTEMA: O que deseja fazer? UTILIZADOR: Enviar uma mensagem SMS. SISTEMA: Qual o tipo da mensagem: SMS, MMS ou ? UTILIZADOR: SMS. SISTEMA: A quem se destina a mensagem? UTILIZADOR: Ao José. 4/21

5 Tipos de Sistemas de Diálogo Sistemas baseados em enquadramentos/templates Vantagens: Preenchimento de múltiplos espaços de informação em simultâneo. Desvantagens: Não se ajustam a alterações dinâmicas do mundo. SISTEMA: O que deseja fazer? UTILIZADOR: Enviar uma mensagem SMS para o José. SISTEMA: Qual a mensagem que deseja enviar? UTILIZADOR: Vou chegar atrasado ao jantar. SISTEMA: Deseja enviar uma mensagem SMS ao José Matos com o texto: Vou chegar atrasado ao jantar? UTILIZADOR: Não, ao José Fonseca. SISTEMA: A sua mensagem foi encaminhada para o José Fonseca. 5/21

6 Tipos de Sistemas de Diálogo Sistemas baseados em agentes Vantagens: Construção de diálogos mais complexos. Desvantagens: Exige sofisticadas capacidades de processamento de língua natural. SISTEMA: Efectue o pagamento do seu bilhete com o seu cartão multibanco. UTILIZADOR: Não tenho nenhum cartão multibanco. SISTEMA: Então insira o dinheiro na respectiva ranhura. UTILIZADOR: Não tenho dinheiro comigo. SISTEMA: Então não lhe poderei fornecer o bilhete pretendido. UTILIZADOR: Ok, obrigado na mesma. SISTEMA: Obrigado e volte sempre. 6/21

7 Motivação Recuperação e reengenharia da plataforma de diálogo previamente desenvolvida Desenvolvimento de três novos sistemas, baseados em interfaces telefónicas, no âmbito do projecto TECNOVOZ Assistente pessoal electrónica LISA; Disponibiliza serviços de marcação por voz, envio de mensagem, gestão de agenda, entre outros. Sistema de banca telefónica; Permite a consulta de diversas informações com o saldo e a execução de operações com transferências bancárias. Sistema de bolsa telefónica. Permite a gestão da carteira de títulos incluindo, por exemplo, operações de compra e venda de acções. 7/21

8 Situação inicial Plataforma para a construção de sistemas de diálogo desenvolvida por (Mourão, 2005), (Cassaca & Maia, 2002) e (Viveiros, 2004): 8/21

9 Ambrósio o mordomo virtual Uma interface de fala que permite ao utilizador operar mecanismos de domótica O Ambrósio Permite realizar acções como: Ligar e desligar luzes, arcondicionado, Controlar dispositivos de hi-fi, tv, Abrir e fechar estores Venda de bilhetes de autocarro com recurso a uma base de dados de percursos 9/21

10 Quando o mordomo se transforma no cozinheiro Sistema de tutoring que auxilia o utilizador nas tarefas culinárias O objectivo consistiu em mudar o paradigma de modo a produzir um sistema de tutoring baseado num sistema orientado á tarefa Desenvolvido como prova de conceito 10/21

11 Processo de reengenharia e desenvolvimento Remoção do HUB Galaxy Utilizava estruturas no formato XML: Gerador de Superfície Geração Elevada dimensão das mensagens trocadas; Pesado processamento computacionalmente das mensagens; Elevada complexidade na depuração e correcção de erros. Entradas e Saídas Contexto do Discurso Interpretação Agente Comportamental Tarefas Centralizava toda a comunicação de dados: Limitação teórica do desempenho do sistema. Reconhecedor de Linguagem Serviços 11/21

12 Processo de reengenharia e desenvolvimento Introdução de um gestor de eventos Permite a comunicação assíncrona entre os diversos módulos; Possibilita a utilização de sensores que transmitem informações sobre o mundo, actualizando a base de conhecimento do sistema. Entradas e Saídas eventos Gerador de Superfície Contexto do Discurso Interpretação Geração Agente Comportamental Tarefas Reconhecedor de Linguagem Serviços Tratamento de eventos 12/21

13 Processo de reengenharia e desenvolvimento Desenvolvimento e definição das interfaces da plataforma com recurso aos padrões de desenho Facade e Proxy Virtual. Gerador de Superfície Geração Uniformiza os acessos ao sistema de diálogo; Facilita a sincronização dos pedidos aos diversos módulos em ambientes multi-thread; Entradas e Saídas Contexto do Discurso Agente Comportamental Possibilita a existência de garantias fracas de sessão; Permite lidar com informação dinâmica proveniente das aplicações externas; Força o encapsulamento dos diferentes módulos. eventos Interpretação Reconhecedor de Linguagem Tratamento de eventos Tarefas Serviços 13/21

14 Processo de reengenharia e desenvolvimento Desenvolvimento da camada de comunicação com as aplicações externas Entradas e Saídas Gerador de Superfície Contexto do Discurso Geração Facilita a integração de aplicações externas em qualquer linguagem de programação; Utiliza tecnologia standard (SOAP/WSDL); Permite a existência de informação assíncrona com recurso ao gestor de eventos. eventos Interpretação Reconhecedor de Linguagem Agente Comportamental Tarefas Serviços Tratamento de eventos SOAP / WSDL Servidor Web Aplicação Externa 14/21

15 Processo de reengenharia e desenvolvimento Desenvolvimento de um gestor de processadores de linguagem Gerador de Superfície Geração Permite a parametrização do processamento da entrada; Faz uso de uma categorização por tipos de dados, para seleccionar a cadeia de processadores de linguagem a correr; Permite aplicar técnicas de processamento distintas a diferentes momentos de diálogo; Possibilita a simples integração e utilização da cadeia de processamento morfossintáctico do L 2 F. <sequential type="unknown"> <parser> <parser-class classname="genericparser"> <parameter> eventos /resources/dialoguemanager/syntatic.db </parameter> Reconhecedor </parser-class> de Linguagem </parser> </sequential> <sequential type="number"> <parser> Tratamento <parser-class classname="numberparser" /> de eventos </parser> <parser> <parser-class classname="genericparser"> <parameter> /resources/dialoguemanager/syntatic.db </parameter> Servidor </parser-class> Web </parser> </sequential> Entradas e Saídas Contexto do Discurso Interpretação Aplicação Externa Agente Comportamental Tarefas Serviços 15/21

16 Processo de reengenharia e desenvolvimento Reorganização da configuração e do sistema de ficheiros da plataforma Ficheiros e configuração do sistema de diálogo separada da configuração dos dispositivos; Suporte à instalação de diversos sistemas em simultâneo, através da separação dos ficheiros por instância. Redesenho do gestor de serviços Remoção de dependências fortes com o código do gestor de diálogo; Criação de uma biblioteca para desenvolvimento de novos dispositivos; Filtragem dos dispositivos que se podem ligar a um sistema de diálogo. Ofuscação da solução desenvolvida Ofuscação da solução desenvolvida para protecção da propriedade intelectual; Utilização do padrão de desenho Simple Factory para resolver problemas com o mecanismo de Reflexão. 16/21

17 Desenvolvimento do sistema LISA Desenvolvimento do sistema LISA, disponibilizando serviços de: Gestão do estado do utilizador; Gestão do destino de redireccionamento das chamadas; Consulta na agenda de contactos; Marcação por voz; Envio de mensagens; Voic ; Gestão de agenda. 17/21

18 Sistemas de banca e bolsa telefónica Integração de um novo gestor de entradas e saídas 18/21

19 Desenvolvimento de um sistema para quiosques virtuais informativos 19/21

20 Resultados Reengenharia da plataforma de sistemas de diálogo, tornando-a mais robusta, eficiente e preparada para o desenvolvimento de sistemas de diálogo mais complexos de forma simples; Especificação da API da plataforma de diálogo (INESC-ID Tec. Rep. 51/2008) Três sistemas de diálogo prontos para comercialização (LISA, banca telefónica e bolsa telefónica); O desenvolvimento de um protótipo para quiosques virtuais informativos; Publicações em conferências internacionais: (Martins, Mendes, Viveiros, et al., ACL workshop 2008); (Martins, Mendes, Pardal, et al., PROPOR 2008); (Martins, Pardal, et al., SLT 2008). 20/21

21 Trabalho futuro Desenvolvimento do sistema de pergunta e resposta integrado na plataforma de diálogo; Introdução da classificação de actos de fala; Transmissão de informação através de emoções faciais; Definição de ontologias de domínio para automatização do desenvolvimento de novos sistemas; Desenvolvimentos baseados na web. 21/21

22 L2 F - Spoken Language Systems Laboratory L2 F - Spoken Language Systems Laboratory 22

23 Apoio (Arquitectura)

24 Enquadramento <enquadramento> <nome>bilhetica<nome> <campo>origem</campo> <campo>destino</campo> <ou> <campo>hora de partida</campo> <campo>hora de chegada</campo> </ou> <campo>classe</campo> </enquadramento>

25 O que é um acto de fala? Um acto de fala é a unidade mínima da comunicação entre humanos, Contém a informação acerca do significado (informação semântica), Teoria inicialmente formulada por Austin s (1962) e Searle s (1969). 25/13

26 Significados na teoria dos actos de fala Segundo Austin s, o que dizemos tem três significados: Significado proposicional significado literal da frase, Está calor aqui Significado ilocucionário função social do que foi dito, Está calor aqui pode ser: O pedido indirecto para alguém abrir a janela, Uma recusa indirecta a alguém que está a fechar a janela, Uma queixa para alguém que sabe melhor o porque de deixar a janela fechada, expressando aborrecimento. Significado perlocucionário, Está calor aqui pode resultar em alguém abrir a janela. 26/13

27 Classificação dos actos de fala Baseado na teoria de Austin s (1962) e Searle s (1969), Cohen(1996) generalizou cinco categorias de actos de discurso: Representativos Asserções Ordens Relatos Directivos Sugestões Pedidos Comandos Expressivos Desculpas Queixas Agradecimentos Imputadores Promessas Ameaças Ofertas Declarativos Decretos Declarações 27/13