Busca Híbrida no Repositório para Objetos de Aprendizagem para a Área de Informática da UDESC

Transcrição

1 Busca Híbrida no Repositório para Objetos de Aprendizagem para a Área de Informática da UDESC Guilherme Luis Carneiro Programa de Pós-Graduação em Computação Aplicada (PPGCA) guilhermecarneiroo@gmail.com André Mendes Duarte Departamento de Ciência da Computação (DCC) andremendesduarte@gmail.com Isabela Gasparini Universidade do Estado Santa Catarina (UDESC) isabela.gasparini@udesc.br Avanilde Kemczinski Universidade do Estado Santa Catarina (UDESC) avanilde.kemczinski@udesc.br RESUMO O conteúdo disponível na Internet cresce cada vez mais e a busca tradicional por palavras-chave, já não satisfaz as necessidades dos usuários, por retornar resultados pouco precisos ou irrelevantes. A partir deste problema, foi sugerida uma nova abordagem conhecida como busca semântica, porém, esse tipo de busca exige um alto grau de conhecimento do usuário, já que o parâmetro de busca não é apenas uma palavra ou um termo que faz referência ao assunto. Propomos uma combinação dessas duas formas de busca e denominamos busca híbrida. O objetivo do trabalho é contextualizar teoricamente os conceitos de web semântica, busca por palavra-chave, semântica e híbrida, comparando e analisando trabalhos relacionados. A máquina de busca híbrida foi implementada no ROAI (Repositório de Objetos de Aprendizagem para a Área de Informática). Este novo mecanismo visa dar outra opção de busca e melhorar a precisão na busca dos objetos armazenados sem agregar dificuldade. Foram realizados testes para validar o funcionamento deste novo motor de busca que mostraram a capacidade desta ferramenta em aumentar a precisão e apresentar resultados ordenados. ABSTRACT The content available on the Internet grows ever more and the traditional search by keywords no longer meets the users' needs, by returning inaccurate or irrelevant results. From this problem, it was suggested a new approach known as semantic search, however, this type of search requires a high degree of user knowledge as the search parameter is not just a word or a term that refers to the subject. We propose a combination of these two types of search, called hybrid search. The goal of this paper is to contextualize the concepts of semantic web, keyword search, semantic search and hybrid search, comparing and analyzing them with related works. The hybrid search engine was implemented in ROAI (Repository of Learning Objects for Computer Area). This new search mechanism aims to give user another option to search and improve the accuracy in finding the objects stored without adding difficulty to the user. We conducted some tests to validate the operation of this new search showed that the ability of the tool to increase the accuracy and provide ordered results were achieved. Categories and Subject Descriptors H.3.3 [Information Search and Retrieval]: Search process. General Terms Keywords Web semântica, busca semântica, busca por palavra-chave, busca híbrida. 1. INTRODUÇÃO A popularização da educação a distância e a expansão do número de usuários da internet e da informação nela difundida torna cada vez mais úteis os sistemas de recuperação de informações para usuário. Nesse contexto, a web semântica surge com o intuito de agregar maior significado para a busca e recuperação de informações. Porém, observa-se que sua utilização não cabe somente a World Wide Web e sim a qualquer aplicação que oferece a possibilidade de armazenamento e recuperação de informação. Entre os exemplos de aplicações, pode-se citar os repositórios de objetos de aprendizagem [1]. A adição de um mecanismo semântico na recuperação de informações, juntamente com sua aplicação a partir do uso de ontologia, pode trazer resultados positivos a quem faz uso dele, especialmente se tratando de ambientes educacionais [2]. Baghdev [3], propõe o uso de uma busca híbrida, ou seja, a combinação da busca por palavra chave com a capacidade de inferir sobre ontologias da busca semântica. Esse tipo de busca propõe a coexistência das duas buscas. A busca semântica inferirá sobre os metadados, enquanto a busca por palavra-chave sobre o conteúdo. Isso elimina o problema da busca por palavra-chave quando tratamos de sinônimos e palavras com múltiplos significados. As máquinas de busca existentes atualmente por palavra chave e semântica foram utilizadas para a composição do novo sistema de busca. Neste trabalho é proposta a adição de um mecanismo de busca híbrida no ROAI para melhorar a precisão dos resultados da busca, utilizando as buscas por palavra chave e semântica que já existem no repositório. O artigo apresenta a seguinte estrutura: a seção 2 conceitua Web Semântica e Ontologia, a seção 3 descreve o Repositório de Objetos para a Área de Informática (ROAI) da UDESC, a seção 4 documenta a aplicação de semântica e ontologia no ROAI, a seção 5 descreve as customizações necessárias para o suporte da nova aplicação (busca híbrida). Por fim, a seção 6 apresenta os resultados obtidos, seguido da avaliação dos resultados, conclusões e referências bibliográficas. Algorithms, Experimentation, and Verification. 463

2 2. WEB SEMÂNTICA E ONTOLOGIA A web, da maneira atual, é projetada de forma que a informação seja consumida apenas por seres humanos, pois a estrutura dos dados não permite que uma aplicação interprete seu significado, mesmo que esta informação se origine de um banco de dados com significados bem definidos [4]. Nesta mesma linha, Berners-Lee [5] propôs a adição na web de informações processáveis por software que possam auxiliar o usuário. Ontologia é definida como especificação explicita e formal de uma conceitualização compartilhada [6]. Neste contexto, funciona como referência a um modelo abstrato de como algo específico deveria ser.visando sua aplicação a mecanismos de busca, juntamente com a web semântica, é aceita a definição de que uma ontologia é a descrição formal de um domínio de discurso, cujo objetivo é compartilhar a informação entre aplicativos diferentes sendo esta informação expressada em uma linguagem passível de raciocínio [7]. Sendo assim, esses dois conceitos semântica e ontologia combinados são utilizados para entender o funcionamento da busca semântica no ROAI, e com isso implementar a nossa busca híbrida a fim de obter dados mais significativos e ampliando as possibilidades do usuário quanto aos modos de busca e recuperação de objetos. 3. ROAI O ROAI Repositório de Objetos de Aprendizagem para a Área de Informática -, da Universidade do Estado de Santa Catarina, UDESC, do Departamento de Ciência da Computação, DCC foi proposto por Ferlin [9] como uma ferramenta para o auxílio de estudantes e professores. Ferlin [9] propôs para a implementação do projeto o gerenciador de repositório de objetos de código aberto DSpace [10], que por sua vez, faz uso do modelo de metadados Dublin Core [11]. A escolha pelo padrão Dublin Core (DC) em relação a outros padrões (IEEE LOM, IMS Learning Design, CanCore, ADL, Scorm e Ariadne) refere-se ao fornecimento de metadados que facilitam a tarefa do usuário ao preencher um número pequeno de metadados ao cadastrar novos objetos. Ferlin [9] propôs um novo conjunto que se baseou no DC e os chamdou de metadados essenciais [13]. Este conjunto é apresentado no quadro 1. Quadro 1. Metadados essenciais Nome do Metadado Entrada (Entry) Título (Title) Idioma (Language) Descrição (Description) Criador (Creator) Data (Date) Formato (Format) Tamanho (Extent) Tipo de Recurso de Aprendizagem (Type) Direitos (Rights) O motor de busca acoplado ao gerenciador de repositórios é o Lucene, desenvolvido pela APACHE SOFTWARE FUNDATION [14], cuja característica principal é a obtenção de qualquer informação indexada desde que esta atenda a premissa de poder ser convertida para o formato texto. Com o advento do conceito de web semântica foi notada a melhoria que uma busca semântica poderia proporcionar aos seus usuários, listando objetos cujo conteúdo é realmente o esperado, tendo em vista a grande quantidade de termos de duplo ou múltiplo sentido que podem ser usados como chaves em uma busca. Atualmente a busca semântica é composta por dois elementos principais: um motor de inferência e uma ontologia de domínio, denominada ONTOROAI, sendo que esta pode ser modelada de várias formas [15]. O motor de busca semântica em funcionamento no ROAI é o HERMIT. O HERMIT é uma engine semântica capaz de realizar uma inferência sobre uma ontologia OWL e retornar suas instâncias condizentes com o termo de busca pesquisado [15]. O OntoRoai foi baseado na solução de Koutsomitropoulos [16] e exigiu mudanças e customizações no repositório [15]. 4. BUSCA HÍBRIDA A busca híbrida é definida como um misto de duas técnicas distintas de busca que agrupa os resultados das mesmas visando melhorar o conjunto final de resultados, isto é, diminuir os erros dos elementos não condizentes com a busca e aumentar a cobertura dentro do conjunto total de elementos. Baghdev et al. [3] propõe a integração da busca por palavra chave e busca semântica para a criação da máquina busca híbrida. Nesta solução, as duas buscas ocorrem de forma paralela e uma máquina de busca não interfere no resultado de outra e nenhuma das buscas toma como base de pesquisa os resultados encontrados pela anterior. Bikakis et al. [17] também propõe a busca híbrida como sendo uma composição da busca semântica e da busca por palavrachave. Seu mecanismo de busca foi chamado de GoNTogle e ele é capaz de anotar e buscar semanticamente vários tipos de documentos e também realizar buscas por palavra chave. A grande diferença está no desenvolvimento de um framework para a anotação e para a busca semântica. Rocha et al. [18] propõe uma abordagem que trabalha com uma técnica de propagação de pesos para cada um dos links da ontologia. Um peso inicial é definido para o link inicial e este peso é propagado e recalculado de acordo com a importância do link para a pesquisa atual para todos os membros da ontologia. Wang et al. [19] sugerem um mecanismo de busca capaz de compreender um conteúdo que já esteja estruturado na WWW, mas que também não desconsidere a parte do conteúdo que ainda não está adequada a este formato. Para isso, os autores sugerem a incorporação de um grafo de relações juntamente com a busca por palavra chave. O quadro 2 faz referência aos trabalhos citados acima e tem o intuito de simplificar a visualização e o entendimento dos trabalhos relacionados. No cabeçalho do quadro encontram-se os autores dos trabalhos relacionados. A conclusão é breve e direta, citando as contribuições do trabalho para a pesquisa. 464

3 Quadro 2. Comparativo entre os trabalhos relacionados. A figura 1 mostra um diagrama de classes de todo o projeto da BH-ROAI. Neste diagrama é possível visualizar todas as classes desenvolvidas para a criação da BH-ROAI. Figura 1. Diagrama de classes da BH-ROAI. Na primeira linha do quadro 2, é feita uma análise das máquinas de busca incorporadas à máquina de busca híbrida. Na segunda linha, uma análise sobre os tipos de documentos que a máquina de busca híbrida é capaz de manipular. Na terceira linha, os tipos de tecnologias de busca que cada máquina usa. A quarta linha referese a qualidade dos testes realizados pelo autor para comprovar que os resultados gerados pela busca feita pela máquina híbrida foram positivos ou negativos. Da mesma forma, a quinta linha representa a quantidade de documentos envolvidos nesses testes. O quesito extensibilidade, apresentado na sexta linha, refere-se a capacidade que a solução proposta pelo autor pode ser estendida para o ROAI. A última linha refere-se a arquitetura do sistema proposto e sua compatibilidade com a arquitetura do ROAI. Todos os trabalhos citados contribuíram de alguma forma para o entendimento do proceso de busca híbrida. Cada trabalho agregou novas técnicas e mostrou diferentes abordagens possíveis para a pesquisa atual. 5. IMPLEMENTAÇÃO DA BUSCA HÍBRIDA NO ROAI O termo BH-ROAI (Busca Híbrida ROAI) faz referência à máquina de busca híbrida para o ROAI, e a partir de agora todas as citações deste trabalho o utilizaram para referencia-la. O ROAI conta com dois tipos de busca: por palavra-chave e semântica. Estas duas ferramentas são utilizadas na composição da máquina de busca híbrida. A BH-ROAI é baseada nos conceitos apresentados nas propostas dos autores Baghdev et al. [3] e Bikakis et al. [17]. Com a implementação deste terceiro mecanismo de busca, o usuário passa mais uma opção de encontrar objetos de aprendizagem no ROAI. Os dois métodos já implantados anteriormente são mantidos, e a BH-ROAI é disponibilizada como uma terceira opção. Os mecanismos de busca utilizados na composição da BH-ROAI realizam sua busca independentemente e retornam um conjunto de registros, ordenados de acordo com sua relevância perante o termo buscado. Com os registros buscados por cada um dos mecanismos a BH-ROAI utiliza a ordem definida pelas máquinas de busca para definir quais registros devem ficar mais bem posicionados no momento da exibição de resultados. Ao levar em consideração essa ordem, a BH-ROAI tem o objetivo de exibir os registros mais relevantes nas primeiras posições. O usuário tem a disposição uma nova interface gráfica para realizar consultas utilizando a BH-ROAI, que tem como objetivo facilitar a busca semântica para que qualquer usuário, mesmo sem conhecimento sobre ontologias ou linguagem Manchester, possa realizar buscas com qualidade e precisão [3]. 5.1 INTERFACE DE USUÁRIO Com a utilização da linguagem Manchester, foi necessária desenvolver uma interface que auxilie o usuário na construção da consulta semântica. Dessa forma, o usuário não precisa conhecer a ontologia ou a sintaxe da linguagem Manchester, apenas definir a semântica dos termos que deseja buscar, utilizando os elementos da ontologia exibidos na interface. Na interface criada (figura 2), existem alguns pontos que torna a busca mais intuitiva e simples para o usuário: uma lista de seleção que contém os elementos da ontologia, um campo para o usuário digitar o termo buscado, o campo onde é possível visualizar as semânticas selecionadas, o campo onde aparecem os termos de pesquisa, e o campo que exibe parte da consulta semântica que foi gerada pela linguagem Manchester. Dessa forma, o usuário consegue visualizar de uma forma abstrata aquilo que será buscado. Figura 2. Interface do BH-ROAI 465

4 Com o auxílio dessa interface, o usuário consegue construir uma consulta com alto valor semântico, pois cada termo de busca está associado a um significadoe também não perde a abrangência dos termos simples da busca por palavra-chave. 5.2 ARQUITETURA Com os termos de busca informados pelo usuário e a consulta semântica gerada através da função Javascript a BH-ROAI chama as classes Java da DSpace API responsáveis por realizarem as buscas por palavra chave e chama a classe SemanticSearch, desenvolvida para este projeto. Após a conclusão das duas buscas, a classe HybridSearch fica encarregada por gerar os resultados finais. A classe SemanticSearch realiza a inferência na ontologia gerada automaticamente pela classe OntologyGenerator, utilizando a consulta semântica gerada pela interface do usuário. Os resultados são agrupados em uma lista não ordenada e devolvidos a classe HybridSearch. O ranqueamento da busca semântica é feito de acordo com a propriedade encontrada pela busca na ontologia. Cada propriedade tem um valor, definido de acordo com sua relevância. O quadro 2 exibe estes valores. Quadro 2. Valor definido para cada propriedade Um objeto encontrado pelo motor de busca semântica tem suas propriedades analisadas e, para cada propriedade compatível com o termo de busca, o valor do ranking do objeto é incrementado de acordo com o valor desta determinada propriedade. Para a propriedade cujas propriedades Autor e Tipo de recurso são compatíveis, seu ranking será definido como 3 (três), pois Autor tem seu valor semântico definido como dois e Tipo, um. O ranking final do objeto é formado pelo somatório de todos os termos compatíveis encontrados. A busca por palavras chave é realizada pela DSpace API e retorna uma lista não ordenada de objetos de aprendizagem condizentes com os termos buscados. O valor do ranking para cada objeto encontrado pela busca por palavra-chave é definido com o valor três. A classe HybridSearch agora possui duas listas não ordenadas de objetos de aprendizagem, cada um com um valor de ranking definido por seu respectivo mecanismo de busca. O método responsável por gerar os resultados finais da busca híbrida, faz a intersecção das duas listas, somando os valores dos rankings definidos anteriormente. A figura 3 apresenta o processo de busca híbrida desde a entrada do termo até a exibição dos resultados. Figura 3. Funcionamento de busca da BH-ROAI A utilização da operação de intersecção se deve ao fato de que um dos objetivos da BH-ROAI é aumentar a precisão da busca, eliminando resultados que possivelmente não tem valor para o usuário. Dessa forma, o número de registros exibidos ao usuário é menor, porém mais preciso. Já com o uso da operação de união, o número de registros retornados é muito grande e impreciso, dificultando a utilização do sistema de busca. 5.3 ORDENAÇÃO DOS RESULTADOS Uma lista de objetos de aprendizagem, ordenadas de acordo com seu ranking é exibida para o usuário, onde os objetos apresentados nas primeiras posições são os que têm o valor de ranking maior. Dessa forma os objetos listados na parte superior dos resultados são aqueles que se aproximam mais dos termos buscados, fazendo com que o usuário encontre de forma mais fácil os resultados mais relevantes. O ranking de cada objeto é parte do funcionamento do mecanismo de busca e não é apresentado para o usuário, que visualiza apenas as informações resumidas do objeto. 6. RESULTADOS Para avaliar como o novo mecanismo de busca se comporta foram efetuados testes em laboratório. Estes testes avaliaram o funcionamento da ferramenta em três pontos: precisão, cobertura e ordenação. Para a realização dos testes foram cadastrados 137 objetos de aprendizagem, coletados dos professores da UDESC. Os resultados destas buscas podem ser vistos no quadro 3 que contém todos os dados avaliados nos testes 466

5 Quadro 3. Resultados obtidos com os testes realizados no ROAI Figura 6. Cobertura das buscas realizadas Um dos pontos mais importantes da BH-ROAI é a ordenação dos objetos. Para verificar o desempenho dessa funcionalidade, foram avaliados os objetos que apareceram na primeira posição de cada busca. Foram contabilizados os casos onde o primeiro objeto era o mais relevante. A figura 7 mostra o gráfico resultante deste estudo. Em 80% dos casos, o primeiro registro foi o mais relevante entre todos os buscados. Figura 7. Gráfico que mostra o desempenho da ordenação dos objetos na BH-ROAI A figura 5 apresenta o gráfico de precisão atingida pelas buscas realizadas. É possível visualizar que as buscas atingiram uma precisão alta, em virtude da proposta do uso da intersecção, que fez com que os resultados finais fossem filtrados. Apenas 4% dos objetos retornados pelas buscas não tinha relação com o termo buscado. As análises foram feitas visualmente, para determinar quais objetos tinham relação com a busca e quais eram irrelevantes. Figura 5. Gráfico da precisão das buscas realizadas Quanto a cobertura, era esperado que não atingisse bons resultados já que cobertura e precisão são inversamente proporcionais [22]. A figura 6 exibe a porcentagem de buscas que conseguiram atingir mais de 70% de cobertura. Para calcular a cobertura, foi considerada a busca que mais retornou resultados e a quantidade de resultados retornados pela busca híbrida. Em 53% dos casos, a busca híbrida retornou mais de 70% dos objetos que poderiam ser relevantes. Não é possível comparar a ordenação dos registros da BH-ROAI com a ordenação feita pelas buscas semântica e por palavra-chave, pois estes dois mecanismos não contam com um algoritmo de ordenação específico. 7. ANÁLISE DOS RESULTADOS Com base nos testes feitos foi possível observar que o ganho principal da nova ferramenta de busca foi na ordenação e precisão dos objetos. A facilidade no uso da busca semântica também é um ponto importante pois possibilita que qulquer usuário leigo utilize a BH-ROAI. Os resultados indicam uma alta precisão, pois a busca híbrida desenvolvida foi feita para ser restritiva, desta forma penalizando a cobertura. Ao optar por uma busca restritiva, apesar da alta precisão encontrada, a cobertura é penalizada, podendo trazer problemas em buscas efetuadas cujos resultados principais são emitidos. O algoritmo de ordenação, cuja função foi exibir os registros mais relevantes nas primeiras posições, foi tratado como um objetivo secundário no desenvolvimento da BH-ROAI, mas que se mostrou um dos pontos mais interessantes desta nova proposta. Em casos cujos termos de busca são muito genéricos ou são extremamente simples, o algoritmo de ordenação se mostrou 467

6 ineficiente, por não conseguir definir quais eram os resultados relevantes. Apesar da interface facilitar a criação da consulta semântica, é preciso que o usuário tenha um objetivo bem definido do que deve ser buscado para que possa tirar o máximo proveito da busca. Quanto mais termos forem especificados, mais precisa será a busca, e os resultados serão ordenados de forma mais precisa. 8. CONCLUSÕES A Web Semântica está revolucionando a forma como o conteúdo digital está disposto na WWW. A estruturação deste conteúdo vai proporcionar a todos os usuários muito mais qualidade nas pesquisas contanto que os mecanismos de busca sejam capazes de inferir sobre esta nova forma de expressar o conteúdo. Assim como a Web cresce, o uso dela como ferramenta de auxilio no ensino também aumenta. Os objetos de aprendizagem são uma forma simples e robusta de se disseminar o conteúdo através da Web. Repositórios foram desenvolvidos para gerenciar estes objetos, chamados de ROA, disponibilizam ferramentas para que o usuário e o desenvolvedor possam manipulá-los. Seguindo essa tendência, o ROAI foi proposto e implantado. O sistema de busca utilizado pelo ROAI por palavra-chave, apesar de ser amplamente difundido pode gerar problemas, e para isso, uma nova abordagem foi implantada, a busca semântica. Esse tipo de busca propõe uma solução para parte dos problemas causados pela busca por palavra-chave, porém agrega dificuldade na construção de uma busca, pois exige que o usuário conheça linguagens específicas de consulta. Considerando o mecanismo de busca do repositório uma das ferramentas mais importantes, pois é através dele que o usuário pode recuperar os conteúdos armazenados a busca híbrida no ROAI se mostrou uma poderosa ferramenta, que deve ser usada de forma complementar aos outros sistemas de busca por ter uma caracteristica restritiva. Seus pontos fortes foram a precisão e ordenação dos objetos. 9. REFERÊNCIAS [1] Bonifacio, A Ontologias e Consulta Semântica: Uma aplicação ao caso Lattes. Dissertação. Universidade Federal do Rio Grande do Sul UFRGS. [2] Araujo, M. e Ferreira, M.A.G.V Construindo uma ontologia para pesquisa de Materiais e Objetos de Aprendizagem baseada na Web Semântica. XV Simpósio Brasileiro de Informática na Educação. Escola Politécnica da Universidade de São Paulo USP. [3] Baghdev, R. et al Hybrid Search: Effectively Combining Keywords and Semantic Searches. United Kingdom. [4] Berners-Lee, T., Hendler J. e Lassila, O The Semantic Web: A new form of web content that is meaningful to computers will unleash a revolution of new possibilities. Scientific American. [5] Berners-Lee, T., Hendler, J e Lassila, O The Semantic Web. Scientific American. Disponível em: < Acesso em 24 de maio de [6] Gruber, T A Translation Approach to Portable Ontology Specifications. Knowledge Acquition Journal, Londres, v. 5, n.2, p [7] Welty, C Ontology Research. Al Magazine. Califórnia, v. 24, n.3, p. 12. [8] Uschold, M e Gruninger, M Ontologies: Principles, Methods and Applications. Kownledge Engineering Review Journal, v. 11, n. 2. [9] Ferlin, J Repositório de objetos de aprendizagem para a área de informática. Trabalho de Conclusão de Curso. Universidade do Estado de Santa Catarina UDESC. [10] Dspace Sistema Gerenciador de Repositórios Digitais DSpace. Disponível em: < Acesso em 05 Maio. [11] DCMI Dublin Core Metadata Initiative. Dublin Core Metadata Element Set, Version 1.1. [12] Kemczinski, A., Lucena, S. V. S., Woll, F. V., Hounsell, M. S. e Murakami, E A methodology for defining essential metadata to catalog learning objects in repositories. 5o Congresso Latinoamericano de Objetos de Aprendizagem. - São Paulo. LACLO2010 Porto Alegre. SBC. [13] Apache Lucene Apache Lucene Core. Disponível em: < Acesso em 27 de Maio. [14] Kochhann, Fábio H. e Kemczinski, Avanilde Busca Semântica no Repositório de Objetos de Aprendizagem. Trabalho de conclusão de curso. Universidade do Estado de Santa Catarina, Curso de Ciência da Computação. [15] Koutsomitropoulos, D., Solomou, G., Papatheodorou, T Innovations in information Technology. International Conference. P [16] Bikakis, N., Giannopoulos, G., Dalamagas, T. e Sellis, T Integrating keywords and semantics on document annotation and search. Proceedings of the 2010 international conference on On the move to meaningful internet systems: Part II. P [17] Rocha, Cristiano, Schwabe, Daniel e Marcus, A A hybrid approach for searching in the semantic web. Proceedings of the 13th international conference on World Wide Web New York, NY, USA. [18] Wang, Haofen, Zhang, Kang, Liu, Qiaoling, Tran, Thanh e Yu Yong Q2Semantic: A Lightweight Keyword Interface to Semantic Search. Departament od Computer Science & Engineering Shanghai Jiao Tong University. [19] Javascript ECMAScript Language Specification. Edição 5.1. [20] Soboroff, I Dynamic test collections: measuring search effectiveness on the live web. In Proceedings of the 29 th annual international ACM SIGIR conference on Research and development in information retrieval (SIGIR 06). ACM, New York, NY, USA,