Máquinas de Busca. Estruturas de Dados II Prof. a Mariella Berger. 1. Objetivo

Transcrição

1 Estruturas de Dados II Prof. a Mariella Berger Máquinas de Busca 1. Objetivo O objetivo deste trabalho é implementar máquinas de buscas baseadas em diferentes modelos clássicos de recuperação de informação. 2. Implemetação (Parte I) Modelo Booleano com Tabela Hash Inicialmente o seu trabalho é implementar uma máquina de busca baseada no modelo booleano utilizando Tabela Hash, conforme discutido em sala. Sua implementação deverá ser na linguagem C e você deverá implementar para tratamento de colisão de sua tabela hash os métodos encadeamento, hashing linear e rehashing. Neste módulo você deverá levar em conta a posição das palavras nos textos. Buscas de palavras entre aspas significa que os termos contidos entre as aspas aparecem exatamente na posição em que eles são apresentados na query. Você deverá ter como saída a query seguida de um enter seguido da lista de documentos similares, sendo apresentado um documento por linha. Exemplo: : Feriado é sinônimo de feliz. : Bom! Estou feliz em revê-lo! Arquivo de entrada dos Documentos: Arquivo de Entrada de Buscas (queries): feliz feliz Resultado na tela: feliz feliz

2 3. Implemetação (Parte II) Modelo Espaço Vetorial O seu trabalho agora é implementar uma máquina de busca baseada no modelo vetorial, também discutido em sala. Sua implementação deverá ser na linguagem C. Você deverá implementar duas versões deste modelo: a primeira utilizando TF- IDF para o cálculo dos pesos dos termos e a segunda utilizando como peso dos termos apenas a frequência em que eles aparecem no documento. Exemplo: D1: Shipment of gold damaged in a fire D2: Delivery of silver arrived in a silver truck D3: Shipment of gold arrived in a truck Arquivo de entrada dos Documentos: D1 D2 D3 Arquivo de Entrada de Buscas (queries): gold silver truck Resultado obtido na tela: gold silver truck D2 D3 D1 Os cálculos para obtenção desta resposta seguem no fim desta especificação. Obs: Neste módulo não haverá pesquisa levando em consideração a posição das palavras (não haverá buscas com queries entre aspas). 4. Ponto Extra (módulo não obrigatório): Implemetação (Parte III) Modelo Booleano com Árvore B O seu trabalho agora é implementar uma máquina de busca baseada no modelo booleano utilizando Árvore B, conforme também discutido em sala. Sua implementação deverá ser na linguagem C. Neste módulo você também deverá levar em conta a posição das palavras nos textos. Buscas de palavras entre aspas significa que os termos contidos entre as aspas aparecem exatamente na posição em que eles são apresentados na query. Você deverá ter como saída a query seguida de um enter seguido da lista de documentos similares, sendo apresentado um documento por linha. Exemplo:

3 : Feriado é sinônimo de feliz. : Bom! Estou feliz em revê-lo! Arquivo de entrada dos Documentos: Documentos1.txt Documentos2.txt Arquivo de Entrada de Buscas (queries): feliz feliz Resultado na tela: feliz feliz 5. Formatação de Entrada e Saída O trabalho será subdividido em 2 módulos: Modulo de Indexação e Módulo de Busca Módulo de Indexação O trabalho será testado da seguinte maneira:./trab1 -i tipomodelo entradadocs indicegerado onde: tipomodelo é o modelo que utilizaremos para criar o índice. Pode ser: booleanoenc (utilizando hash e tratamento de colisão por encadeamento), booleanohl (utilizando hash e tratamento de colisão por hashing linear), booleanorh (utilizando hash e tratamento de colisão por rehashing), booleanoab (utilizando árvore B), vetorial (utilizando frequência como peso) e vetorialidf (utilizando TF-IDF como peso). entradadocs é o arquivo que possui, um por linha, o nome dos arquivos a serem indexados. Os arquivos estarão no diretório corrente ao trab1. indicegerado é o arquivo que possuirá o índice gerado.

4 4.2. Módulo de Busca O trabalho será testado da seguinte maneira:./trab1 -b tipomodelo indice arquivobuscas onde: tipomodelo é o modelo que utilizaremos para criar o índice. Pode ser booleanoenc, booleanohl, booleanorh, booleanoab, vetorial ou vetorialidf. indice é o arquivo que possui o índice que queremos pesquisar (é o resultado do módulo anterior). arquivobuscas é o arquivo que possui, uma por linha, as queries procuradas. Você deverá ter como saída deste módulo a query seguida de um enter seguida dos nomes dos documentos onde ela aparece (ou do ranking de todos os documentos no caso do modelo vetorial), sendo um documento por linha. 6. Documentação Na documentação deverá ser apresentada uma análise minuciosa dos tempos de indexação e buscas dos métodos, bem como uma descrição de como estes foram implementados. A documentação deverá ser feita em LaTeX. 7. Avaliação A nota do trabalho terá um total de 10 pontos com a possibilidade de 1 ponto extra caso implemente o módulo que utiliza a árvore B; Serão contemplados com nota zero os trabalhos que se enquadrarem em uma ou mais situações abaixo: Plágio; Programa não compila; Não está de acordo com as especificações. 8. Considerações Importantes Modularize o seu código adequadamente. Crie arquivos.c e.h para cada módulo do seu sistema. Em especial, crie arquivos exclusivos para manipular as estruturas de dados dos tipos abstratos de dados que você estiver representando. Seu programa deve ser, obrigatoriamente, compilado com o utilitário make. Crie um arquivo Makefile que gere como executável para o seu programa um arquivo de nome trab1. 9. Entrega Este trabalho deve ser feito em grupo de até 2 componentes e entregue até o 10 de abril de 2015 (sexta), às 23:59:59hs. Ele deve ser enviado para mberger@inf.ufes.br.

5 O assunto da mensagem deve ser ed2:trab1:nome1:nome2 Ex: ed2:trab1:mariella Berger:Jociel Andrade O nome do arquivo com o trabalho enviado em anexo deve ser trab1.tar.gz. Ele será descompactado da seguinte forma: tar -xvzf trab1.tar.gz e deverá gerar um arquivo chamado Makefile, com as regras de compilação do programa, os arquivos com os códigos dos programas e o arquivo com a documentação em latex. Ao digitar: make all deve ser gerado o executável trab1 e a documentação em PDF a partir dos fontes em Latex. O recebimento dos trabalhos é automatizado. Siga as instruções à risca pois algum erro na submissão pode inviabilizar a entrega do seu trabalho. Não escreva o seu nome com caracteres estendidos (á, ç, etc.). Não deixe para entregar seu trabalho no último instante. Você poderá perder o prazo e ter seu trabalho invalidado. No seguinte à data de entrega será disponibilizado na página da disciplina a lista com os nomes de todos os trabalhos entregues no prazo. Verifique se seu nome estará na lista para evitar problemas futuros. 10. Observação Importante Mais detalhes serão discutidos em sala de aula. Considerações feitas em sala terão mais relevância do que as contidas nesta especificação. 11. Dúvidas Em caso de dúvidas no trabalho contate-me em mariellaberger@gmail.com.

6 12. Cálculos da seção Implemetação (Parte II) Modelo Espaço Vetorial

7