FilmRAP: Resposta Automática a Perguntas sobre filmes

Transcrição

1 FilmRAP: Resposta Automática a Perguntas sobre filmes João Baltazar, Ricardo Santos, Nuno Marques baltazar@student.dei.uc.pt, rhsantos@student.dei.uc.pt, nalm@student.dei.uc.pt Resumo: O FilmRAP é um sistema de resposta automática a perguntas formuladas em linguagem natural. O sistema usa o motor de busca Google para fonte de dados e ontologias como apoio no armazenamento de informação. Palavras-chave: resposta automática, ontologia, língua natural, filmes. 1. Introdução O projecto desenvolvido tem como objectivo dar resposta a perguntas formuladas em língua natural. Como todas as perguntas são acerca de filmes, o projecto denomina-se FilmRAP (Resposta Automática a Perguntas sobre filmes). A grande vantagem dos sistemas de resposta automática a perguntas é permitir que o utilizador faça pesquisas usando a linguagem do dia-a-dia. Além disso apresenta-se a resposta que o utilizador procura de maneira directa, poupando o trabalho de filtrar toda a informação em excesso que obteria se fizesse a pesquisa através de um motor de busca convencional. Uma vez que o tema era novidade para os autores começou por se definir um universo restrito de perguntas possíveis. Todas as pesquisas estariam associadas a uma temática escolhida nesta fase: filmes de Hollywood. Este tema pareceu-nos ajustado devido ao grande volume de informação que temos à disposição na web. Outro desafio era a utilização de ontologias no contexto do nosso trabalho. Inicialmente o recurso a uma ontologia foi completamente desnecessário mas mais tarde apercebemo-nos da vantagem da sua utilização como suporte ao resto do programa. 2. Abordagem e Arquitectura Antes de ser escrito qualquer código houve a necessidade de definir as perguntas às quais o nosso sistema iria dar resposta. Mesmo com uma temática relativamente restrita o número de perguntas a que nos propúnhamos responder podia ser demasiadamente vasto. Houve por isso a necessidade de optar por um número

2 razoável de perguntas possível de implementar no tempo disponível. Partindo de uma lista bastante extensa (com cerca de 20 perguntas) acabámos por optar apenas por 7 tipos diferentes, ainda que o programa suporte várias construções frásicas para a mesma questão. Os diferentes tipos de pergunta estão apresentados na Tabela 1. Houve a preocupação de não restringir em demasia o leque de perguntas, sem comprometer a viabilidade do projecto. Tabela 1 Tipos de perguntas e respectivos Formatos de Construção Tipo de Pergunta Acted Directed Oscars Produced Wrote Year Formatos de Construção Who starred in <MOVIE>? Who performed in <MOVIE>? Who acted in <MOVIE>? Who directed <MOVIE>? Who was the director of <MOVIE>? How many Oscars did <MOVIE> won? Who produced <MOVIE>? Who was the producer of <MOVIE>? Who wrote <MOVIE>? Who was the writer of <MOVIE>? In which year was <MOVIE> made? When was <MOVIE> made? Definidas as perguntas a responder iniciou-se o processo de construção do programa, tendo sido dividido em 4 partes principais: Reformulação da Pergunta Pesquisa na Web Extracção de N-Gramas Filtragem e Ordenamento Seguindo estes passos conseguimos ir de uma pergunta em linguagem natural a uma lista de possíveis respostas fornecida pelo nosso programa. Na Figura 1 está esquematizada a arquitectura da abordagem geral da aplicação.

3 Figura 1 Abordagem geral da aplicação 2.1. Reformulação da Pergunta No caso do FilmRAP só são aceites perguntas formuladas na língua inglesa, esta decisão foi tomada tendo em conta o volume de informação existente na web escrita nessa linguagem. O primeiro passo desta operação é comparar a pergunta feita com os padrões de pergunta permitidos pelo programa e apresentados na Tabela 1. Os padrões de pergunta encontram-se definidos na ontologia e, para que o programa consiga dar uma resposta, é necessário que a pergunta introduzida seja exactamente igual a um deles. Na ontologia os padrões de perguntas estão definidos como o seguinte: Who directed <MOVIE>?, onde <MOVIE> define a posição na frase onde deverá estar o nome do filme em questão. Através da comparação de strings, recorrendo a expressões regulares, é possível saber qual o tipo de pergunta que estamos a tratar. O próximo passo consiste na obtenção dos padrões de resposta. Como cada tipo de pergunta tem directamente associados os padrões de resposta possíveis facilmente se obtém a lista de padrões de resposta correspondentes à nossa pergunta. Uma vez obtidos estes padrões, que estão definidos na ontologia em strings do tipo: the director of <MOVIE> was, o token <MOVIE> é substituído pelo nome do filme que o utilizador introduziu. Repetindo este processo para todos os padrões de resposta obtemos como resultado uma lista das strings de procura que serão usadas na pesquisa.

4 O programa foi desenvolvido de modo a ser tolerante a erros ortográficos no título do filme introduzido. Não o é no entanto em relação à ortografia do resto da pergunta. Numa versão inicial do programa, usava-se OpenNLP para extracção das POS Tags da pergunta. No entanto, quando os padrões de perguntas começaram a estar definidos na ontologia em vez de o serem no código propriamente dito, tornou-se obsoleta esta abordagem uma vez que os padrões de perguntas e respostas estavam discriminados e resolviam ambiguidades. Claro que ainda assim seria uma mais valia o uso de OpenNLP e expressões regulares de modo a permitir maior flexibilidade à ontologia e consequentemente às perguntas a que se respondiam, no entanto, dado que o processo seria muito lento, não se considerou essa hipótese para fins deste projecto. A interacção entre o programa e a ontologia é feita através de uma API, desenvolvida em Java Jena. Apesar de disponibilizar bastantes funcionalidades, o que à partida seria útil para quem a usa, esta API torna-se bastante confusa devido à falta de suporte adequado. O próprio tutorial que é fornecido em conjunto com o Jena acaba por levantar bastantes dúvidas quanto à sua correcta utilização. Na prática toda esta realidade fez com que tivessem de ser criadas algumas rotinas e métodos para obtenção dos dados a partir do ficheiro RDF da nossa ontologia. O Jena acabou por ser usado apenas para retirar todos os Statements que constituem a ontologia, mas a obtenção do seu conteúdo em concreto é feita através dos já falados métodos, criados para o efeito Pesquisa na Web O programa inicia esta fase tendo já uma lista das strings de procura a usar na pesquisa. O primeiro passo é, no entanto, a verificação do título do filme; o título do filme introduzido pode estar incompleto, mal escrito, ou simplesmente referir-se a um filme que não existe. Para ultrapassar este problema o nosso programa recorre ao site da IMDB (Internet Movie Database). Este site contém informação bastante detalhada acerca de (quase) todos os filmes que existem. Recorremos a uma das funcionalidades que temos à disposição no site pesquisa pelo título de filmes usando o título introduzido pelo utilizador. Fazendo um parsing do código HTML da página de resultados obtém-se a primeira sugestão devolvida pela pesquisa. Esta sugestão é admitida pelo nosso programa como a melhor com base no título introduzido. Havendo casos em que a procura é prejudicada quando se substitui o nome do filme pela sugestão da IMDB, optou-se por permitir que o utilizador escolha o título sugerido ou mantenha aquele que introduziu na pergunta. Os casos em que o título fica prejudicado para uma pesquisa na Web são muito específicos. Se o introduzido for, por exemplo, kill bill, a sugestão devolvida é Kill Bill: Vol. 1, título demasiadamente complexo para ser citado um número razoável de vezes em páginas web. Uma vez que o utilizador tenha tomado a sua decisão em relação a que título usar, as strings de procura são reformuladas (ou não, caso a sugestão seja rejeitada). Para a pesquisa propriamente dita o nosso programa recorre ao motor de busca do Google. Este é um dos motores de busca mais eficientes à disposição na web,

5 senão mesmo o mais eficiente, e o mais popular no momento. A ligação ao Google é feita através de uma API, disponibilizada na própria página do Google, chamada GoogleAPI. Esta API é facilmente integrada em Java e portanto foi bastante simples coordenar o seu funcionamento com o nosso programa. No entanto a GoogleAPI, talvez por estar ainda numa fase beta, tem alguns problemas, nomeadamente o facto de ser muito instável nas conexões provocando muitas falhas de comunicação com o servidor, que aumentam o tempo de execução do programa. Cada string de procura vai ser enviada para o motor de busca do Google através da API e os resultados são recolhidos. O número de resultados devolvidos é no máximo 10. Há, no entanto, a hipótese de obter mais resultados fazendo uma nova pesquisa e enviando como parâmetro o número do resultado a partir do qual devem ser devolvidos os 10 resultados, ou seja, depois de obtidos os primeiros 10, são pedidos mais 10 a partir do 11º resultado. Este processo envolve vários acessos ao Google que prejudicam a performance da aplicação, por isso o nosso programa, depois de obter os primeiros resultados, tenta obter um máximo de 20 por cada padrão de resposta. À medida que os resultados vão sendo recolhidos estes são armazenados numa lista de snippets (um snippet é o pequeno texto, com 2 linhas, que o Google associa a cada página dos resultados de pesquisa). Estes excertos de texto são tratados, de modo a eliminar espaços repetidos, quebras de linha e todos os códigos HTML. Importa dizer que as procuras no Google são feitas através de exact-match, ou seja, as strings de procura são postas entre aspas. Isto faz com que todos os resultados obtidos contenham, exactamente, a string de pesquisa tal como ela foi introduzida. Este procedimento elimina à partida um número muito elevado de resultados que seriam apresentados caso a pesquisa não fosse feita com exact-match. No entanto, e como a nossa aplicação nunca devolve mais de 20 resultados por padrão, na prática, os resultados que se perdem não são significativos. Numa pesquisa sem exact-match, os primeiros resultados devolvidos são quase sempre aqueles em que a string de procura se encontra incluída na sua totalidade, por isso optou-se por usar sempre as aspas sem grande prejuízo para os resultados obtidos Extracção de N-Gramas Com a obtenção dos snippets relativos às procuras feitas no Google é necessário então extrair deles a resposta pretendida. Para isso começa por se localizar em cada snippet o padrão de resposta que foi usado para o obter. Uma vez que as procuras são feitas com exact-match há a certeza de que o padrão estará contido no snippet. Depois de localizado o padrão de resposta, através de um algoritmo que leva em conta a construção frásica do padrão, é calculada a posição da janela de procura. A janela de procura não é mais que um conjunto de palavras onde mais provavelmente se encontrará a resposta que se procura. Dependendo do tipo de padrão usado, essa janela poderá localizar-se nas 5 palavras antes ou depois do padrão; nalguns casos, raros, a janela de procura poderá ser localizada simultaneamente à frente e atrás.

6 A extracção dos N-gramas propriamente ditos é feita então a partir do excerto contido na janela de procura. Um N-grama é uma subsequência de palavras contidas numa determinada string. No caso do FilmRAP os N-gramas recolhidos serão sequências de tamanho variável entre 1 e 3 (este número foi encontrado após alguns testes, analisando-se qual o tamanho mínimo de palavras em que se encaixavam todas as repostas encontradas). À medida que todos os N-gramas de diferentes tamanhos vão sendo extraídos da janela de procura, vão sendo adicionados a uma lista. Tal como o tamanho máximo dos N-gramas, o tamanho da janela de procura foi resultado da observação de resultados anteriores, tendo em vista uma optimização da performance do programa Filtragem Como é natural, terá de haver algum género de filtragem nos N-gramas. No caso do FilmRAP são usados dois procedimentos para o efeito. O primeiro filtro tem como objectivo verificar a existência de caracteres de pontuação (,, ;,., :, ) nas strings de um N-grama. Se uma string tiver na primeira e/ou última posição um carácter de pontuação este é eliminado da string. Se a pontuação aparecer a meio da string, o N-grama correspondente é eliminado da lista. Havendo pontuação a meio podemos concluir que se trata de frases diferentes não fazendo sentido que a resposta à nossa pergunta se encontre numa string deste género. O segundo filtro elimina N-gramas que comecem e/ou acabem numa das 100 palavras mais usadas na língua inglesa. Essa lista foi obtida online (ver referências), sendo posteriormente refinada, tendo sido apagadas algumas palavras que muitas vezes são usadas em nomes de pessoas, por outro lado, foram adicionadas algumas palavras novas que não estavam na lista inicial mas que era essencial filtrar (por exemplo its ) Ordenamento Depois de obtida a lista de N-gramas já filtrados procede-se então ao ordenamento. Inicialmente o ordenamento foi feito apenas com base na frequência de ocorrência de um dado N-grama. No entanto esta abordagem não produzia resultados satisfatórios, uma vez que muitos N-gramas menos interessantes aparecem mais vezes que outros mais promissores. Na tentativa de refinar os resultados optou-se por um estádio intermédio de ordenamento, onde este era feito multiplicando a referida frequência pelo tamanho do N-grama. Desta forma se dois N-gramas ocorriam com a mesma frequência um de tamanho 3 era melhor candidato que outro de tamanho 1. Finalmente, entrou-se em linha de conta com os pesos dos padrões de resposta. Inicialmente pensou-se em incluir este peso na ontologia, com base em observações dos resultados obtidos com cada padrão, mas a abordagem final, humanamente mais simples, foi a de usar a seguinte fórmula: (F * P * T) onde F é a frequência de ocorrência do N-grama; P o peso do padrão de resposta calculado dividindo o número

7 de resultados retornados pelo Google, efectuando a pesquisa com o padrão em questão, sobre o total de respostas do Google, balizando esse valor entre 0 e 1 e T é o tamanho do N-grama (de 1 a 3). O resultado é uma lista de N-gramas ordenados segundo a fórmula descrita, que se revelou mais eficiente que qualquer um dos métodos anteriormente testados, isto é, para um conjunto de pesquisas a primeira resposta foi mais vezes a resposta certa. 3. Ontologia A ontologia foi desenvolvida usando Protegé 3.1. Numa fase inicial a ontologia iria servir para armazenar conteúdo que fosse sendo acumulado com o resultado de pesquisas, nomes de actores, directores, anos de realização de filmes, etc. Essa ideia foi mais tarde posta de parte porque nem sempre os resultados obtidos são 100% correctos, e a ontologia iria estar com informação errónea e que dificilmente poderia ser utilizada com um mínimo de fiabilidade. A ontologia passou então a servir outro propósito, armazenar padrões de pergunta e respectivos padrões de resposta. A ontologia tem apenas uma classe denominada FilmRAP:Question. Essa classe tem 3 propriedades, Nome, QuestionString e AnswerPatterns. Cada instância da classe corresponde então a um tipo diferente de pergunta. No campo de QuestionString são adicionadas para cada tipo todas as maneiras possíveis de fazer uma determinada pergunta (ver Tabela 1), e no campo AnswerPatterns todos os padrões de resposta que serão usados caso seja feita uma pergunta do tipo correspondente. Os padrões de resposta em função do tipo de pergunta podem ser consultados na Tabela 2. Tabela 2 Padrões de resposta em função dos tipos de pergunta Tipo de Pergunta Acted Directed Oscars Padrões de resposta MOVIE starring performed in MOVIE acted in MOVIE starred in MOVIE MOVIE directed by the director of MOVIE was MOVIE was directed by MOVIE director is directed MOVIE MOVIE director was Is MOVIE director was MOVIE director MOVIE won * Oscars

8 MOVIE received * Oscars Produced Wrote Year MOVIE was produced by the producer of MOVIE was MOVIE produced by MOVIE producer is produced MOVIE MOVIE producer was was MOVIE producer wrote MOVIE was MOVIE writer MOVIE was written by is MOVIE writer MOVIE writer was MOVIE written by MOVIE writer is the writer of MOVIE was MOVIE was out in MOVIE premiered in MOVIE released in MOVIE was made in MOVIE debuted in MOVIE was released in MOVIE out in MOVIE was launched in MOVIE launched in 4. Interface da Aplicação A aplicação foi desenvolvida com um interface que desde o início se quis simples. O utilizador tem uma caixa de texto onde terá de escrever a questão que quer ver respondida e uma área de texto não editável onde será apresentada a informação relativa ao processo em curso, nomeadamente os padrões de resposta que estão a ser usados na procura e, no final, os 5 resultados correspondentes aos 5 N-gramas com maior pontuação como podemos ver na Figura 2.

9 Figura 2 Aspecto geral da aplicação Para além da janela principal, bastante simples, apenas aparece, para cada questão colocada, uma janela de diálogo que surge para que o utilizador possa escolher entre o título que introduziu e o sugerido pela IMDB como aparece na Figura 3.

10 Figura 3 Caixa de diálogo com sugestão da IMDB Todo o ambiente gráfico está programado em código HTML que foi embutido no Java e ao qual foram aplicados estilos de formatação (CSS) não só para facilitar a leitura por parte do utilizador mas também para permitir links directos quer à página da IMDB da sugestão encontrada quer à primeira página onde foi encontrado cada um dos 5 resultados mais significativos. 5. Conclusões O resultado final do projecto tem vantagens e também algumas desvantagens em relação a uma procura directa num motor de busca. Entre as principais vantagens podemos referir o facto de permitir ao utilizador formular questões em linguagem natural, realizar a toda a operação de filtragem de informação de uma forma transparente e apresentar ao utilizador um resultado final bastante claro e objectivo. Entre as limitações podemos contar a lentidão de todo o processo, muitas vezes condicionado pela GoogleAPI, o facto de suportar apenas a língua inglesa que limita o eventual leque de utilizadores, o excesso de erros nos resultados obtidos do Google que levam a informação errónea. Há ainda a considerar o facto do tema escolhido

11 (filmes) ser um pouco restritivo e trazer associados alguns problemas, como o facto de haver títulos de filmes que estão incluídos no título de outro filme ou ainda o facto de muitos filmes não terem informação disponível em inglês em páginas Web. O maior obstáculo à realização deste projecto acabou por ser a integração das várias ferramentas usadas no seu desenvolvimento. A falta total ou parcial de documentação ou qualquer tipo de suporte para ferramentas como o Jena, por exemplo, tomaram muito do tempo dispendido na realização do projecto. O uso de ontologias que ao início poderia parecer um pouco desajustado do contexto do nosso projecto acabou por se revelar uma mais-valia ao permitir a manipulação de dados vitais para o nosso programa de uma maneira simples e imediata. Em testes feitos após a finalização da aplicação concluímos que teria sido perfeitamente viável alargar o âmbito do projecto para outros assuntos além de filmes, isto porque tudo se resume a definir padrões de pergunta e respectivos padrões de resposta na ontologia utilizada. Claro que isso iria ter implicações a outros níveis nomeadamente na extracção dos N-gramas e tratamento de resultados, no entanto é um ponto a favor quanto ao uso de ontologias num projecto deste género. 6. Referências Wikipedia, The most common words in English, The Internet Movie DataBase, Google, Google SOAP Search API, The OpenNLP Homepage, POS Tags, Jena, Protégé, Lin, J. & Katz, B. (2003). Question Answering Techniques for the World Wide Web Costa, L. F. (2005). ESFINGE - RESPOSTA A PERGUNTAS USANDO A REDE Costa, L. F. (2005). 20th Century Esfinge (Sphinx) solving the riddles at CLEF 2005 Costa, L. F. (2004). First evaluation of Esfinge a question answering system for Portuguese