Já Te Digo Uma interface em língua natural para uma base de dados de cinema

Transcrição

1 Já Te Digo Uma interface em língua natural para uma base de dados de cinema Ana Raquel Guimarães 1

2 Estrutura Motivação O que é uma ILNBD? Objectivo Análise do problema Fases de Desenvolvimento Recolha do Corpus Construção da base de dados Interpretação da questão Avaliação Trabalho Futuro Conclusões 2

3 Motivação (1/3) Uma ILNBD (Interface em Língua Natural para uma Base de Dados): É uma forma de obter informação a partir de uma base de dados recorrendo a língua natural. Exemplos Qual é a maior cidade de Portugal? Quantos óscares venceu Woody Allen? Quem escreveu A tia Júlia e o Escrevedor? 3

4 Motivação (2/3) Objectivo Desenvolvimento de uma ILNBD que: Dê respostas concisas e correctas ao utilizador; Seja facilmente expansível, rápida e acessível; Responda a questões cuja resposta não seja facilmente obtida em outras interfaces (Google, IMDB): Quem entra em <filme1> e <filme2>? Em que filmes entra <pessoa1> e <pessoa2>? Resolva ambiguidade entre entidades (pessoas com o mesmo nome, filmes com o mesmo título); 4

5 Motivação (3/3) Análise do problema Que questões se podem fazer acerca de cinema? Quem é o realizador / actor principal de <filme>? Quem venceu o óscar de <categoria> em <ano>? Em que filmes entra <pessoa>? Que tipo de questões são mais frequentemente realizadas? Como interpretar as questões? Como reconhecer as entidades mencionadas nas questões formuladas? Como traduzir questões em língua natural para SQL? 5

6 Fases de Desenvolvimento Recolha do corpus Construção da base de dados Interpretação da questão Reconhecimento de Entidades Mencionadas Desambiguação Análise morfo/sintáctica/semântica 6

7 Recolha do Corpus Dimensão 150 questões realizadas por 10 pessoas; Verificou-se que: Objectivo das questões é, muito frequentemente, um nome de filme ou um nome de pessoa; Exemplos de questões: Quem é o herói do filme The Matrix? Que filme realizaram os irmãos Wachowsky? Que filme de animação teve como personagem principal um leão? 7

8 Fases de Desenvolvimento Recolha do corpus Construção da base de dados Interpretação da questão Reconhecimento de Entidades Mencionadas Desambiguação Análise morfo/sintáctica/semântica 8

9 Construção da Base de Dados Proveniência IMDB Internet Movie DataBase Website da Academia dos Óscares Website Cinema PTGate Dados inseridos Elenco dos filmes Informação biográfica Óscares da Academia (Melhor Filme e Filme Estrangeiro, representação, Melhor Realizador) 9

10 Construção da Base de Dados Processamento dos dados Ficheiros de texto de elevadas dimensões processados através de scripts em Perl; Dificuldades Formato dos dados nem sempre respeitado; Diferentes fornecedores causa incoerência entre dados (personagens com nomes diferentes, ex: Lt. Col. Frank Slade e Lieutenant Colonel Frank Slade); 10

11 Construção da Base de Dados 11

12 Estrutura Recolha do corpus Construção da base de dados Interpretação da questão Reconhecimento de Entidades Mencionadas Desambiguação Análise morfo/sintáctica 12

13 Interpretação da Questão Plano Utilização de um analisador morfo/sintáctico Criar regras de dependência para detecção de padrões Utilizar uma linguagem de representação intermédia baseada em predicados Realizador(x) Realizador( A Casa dos Espíritos ) Contracena(x,y) Contracena( Meg Ryan, A cidade dos anjos ) Realização de queries SQL para obtenção da resposta 13

14 Interpretação da Questão Exemplo de análise morfo/sintáctica Quem contracena com jodie foster em panic room? Reconhecimento de entidades mencionadas previamente 14

15 Reconhecimento de Entidades Mencionadas Estratégias consideradas Criação de gramática local com todos os títulos e nomes do Mundo. Não era viável carregar uma gramática com centenas de milhares de regras Criação de gramática local com os títulos e nomes principais Critérios para títulos e nomes principais? Filmes mais recentes E os grandes clássicos do cinema? Pessoas com mais filmes Ignoram-se nomes como James Dean? 15

16 Reconhecimento de Entidades Mencionadas Estratégia seguida Realização de queries full-text com a questão formulada sobre a tabela persons e films. Quem é o realizador de forrest gump? SELECT DISTINCT films.title FROM films WHERE match(title) AGAINST ( Quem é o realizador de forrest gump ) forrest gump black forrest gump die welt des forrest gump through the eyes of forrest gump vida, pasión y muerte de un realizador iracundo gump & co. forrest 16

17 Reconhecimento de Entidades Mencionadas Nem sempre os resultados são os esperados SELECT DISTINCT films.title FROM films WHERE match(title) AGAINST ( apocalypse now ) 10.5: apocalypse the apocalypse apocalypse joe apocalypse now apocalypse oz apocalypse bop apocalypse Método: Consultar as primeiras 150 entradas e escolher o nome mais longo 17

18 Estrutura Recolha do corpus Construção da base de dados Interpretação da questão Reconhecimento de Entidades Mencionadas Desambiguação Análise morfo/sintáctica/semântica 18

19 Desambiguação Realizada a diversos níveis 2 ou mais pessoas com o mesmo nome 2 ou mais filmes com o mesmo título Nome de pessoa que também é título de filme (ex: Michael Collins) 19

20 Desambiguação Com base no contexto Quem contracena com emma watson em harry potter? Só uma Emma Watson entra em Harry Potter. Nem sempre é possível desambiguar pelo contexto. Quantos óscares recebeu Amadeus? FILME OU ACTOR 20

21 Estrutura Recolha do corpus Construção da base de dados Interpretação da questão Reconhecimento de Entidades Mencionadas Desambiguação Análise morfo/sintáctica/semântica 21

22 Análise Morfo/Sintáctica/Semântica Cruzamento com regras de dependência que detectam padrões de questões. Questão é sintetizada em predicados com um ou mais argumentos. Quem é o realizador de Forrest Gump? 22

23 Fases de Desenvolvimento Recolha do corpus Construção da base de dados Interpretação da questão Reconhecimento de Entidades Mencionadas Desambiguação Análise morfo/sintáctica 23

24 Exemplo Reconhecimento de entidades mencionadas Meg Ryan (pessoa) Tom Cruise (pessoa) Verificação de ambiguidades Não existe Escrita da gramática local 1> noun[actor=+] =?[surface:tom],?[surface:cruise]. 1> noun[actriz=+] =?[surface:meg],?[surface:ryan]. 24

25 Exemplo Emparelhamento com regras de dependência target_which_films_main_act_two( meg ryan, tom cruise ) <DEPENDENCY name="target_which_films_main_act_two"> <PARAMETER ind="0" num="23" word= meg ryan"/> <PARAMETER ind="1" num="24" word= tom cruise"/> </DEPENDENCY> Processamento de XML por XSLT get_from_bd/script-which-films-main-act-two.pl ACTOR meg ryan ACTOR tom cruise 25

26 Avaliação Realizada através de uma página Web Questões efectuadas e respostas dadas guardadas em base de dados Efectuada em 2 fases Durante o desenvolvimento Final 198 questões que permitiram a detecção de erros Interface com questões-exemplo (5 utilizadores, 10 questões cada) Interface sem questões-exemplo (5 utilizadores, 10 questões cada) 26

27 Avaliação Interface com questões-exemplo 27

28 Avaliação Interface sem questões-exemplo 28

29 Avaliação Resultados Com questões-exemplo Respondidas Correctamente Incorrectamente 29 (87,9%) 4 (12,1%) 33 (66%) Não respondidas Sem Tratamento Incorrecto NER 0 (0,0%) 17 (34%) Outros Motivos 5 (19,4%) 12 (70,6%) 50 Sem questões-exemplo Respondidas Correctamente Incorrectamente 18 (90,0%) 2 (10,0%) 20 (40%) Não respondidas Sem Tratamento Incorrecto NER 9 (30,0%) 30 (60%) Outros Motivos 15 (50,0%) 6 (20,0%) 50 29

30 Conclusões Contribuições Desenvolvimento de uma arquitectura genérica para ILNBD s Concretização para o domínio de cinema Melhoria do analisador morfo/sintáctico/semântico utilizado 30

31 Trabalho Futuro Tratar mais padrões de questões Disponibilizar mais dados Providenciar correcção ortográfica Tratar de elipse e anáfora Integrar com um sistema de QA (question-answering) 31

32 L2 F - Spoken Language Systems Laboratory L2 F - Spoken Language Systems Laboratory