Mário J. Gaspar da Silva. Construção e Operação de Recursos Públicos em Ambiente Universitário: O Motor de Pesquisa Tumba!

Transcrição

1

2

3 Construção e Operação de Recursos Públicos em Ambiente Universitário: O Motor de Pesquisa Tumba! Mário J. Gaspar da Silva FCUL/DI e LASIGE/XLDB mjs@di.fc.ul.pt

4 Tumba! - entrada

5 Tumba! resultados

6 Tumba! cluster clusters

7 Tumba! - related relacionadas

8 Tumba! inlinks Inlinks

9 Ferramentas Tumba! term tools

10 Tumba! deep web Deep Web

11 A Web Portuguesa (Web da Portugalidade) As comunidades na web têm padrões sociais distintos (Gibson, 1998) e podem ser reconhecidas através da estrutura de links (Kumar, 1999) Existe uma comunidade Web a que chamamos a Web Portuguesa (A web das pessoas relacionadas com Portugal).

12 Razões para um Motor de Busca da Web Portuguesa Sociológicas O que é que os portugueses procuram na Web? Culturais Preservação da informação como herança cultural Linguísticas Quais as línguas utilizadas? Que vocabulário? Construção de corpora de português Segurança e protecção

13 Sumário O tumba! na perspectiva do utilizador Arquitectura do Software Gestão e Manutenção Utilização O tumba! enquanto serviço público Conclusões

14 Tumba! Web Crawlers Repository Indexing Engine Ranking Engine Presentation Engine

15 DataWarehouse/WebWareHouse

16 XMLBase Purifica a Web (em XML) Purificar É + q corrigir formatos (converter documentos bem-formados, a la htmltidy) Inferência de meta-dados (língua,...) Objectivo Reduzir excepções em aplicações de processamento automático de dados da web

17 Exploração de Contextos (Grease) Contexto Geográfico Reconhecimento entidades Mencionadas Análise do grafo da Web

18 Recolha e Armazenamento - Componentes Sementes (URLs) Web ViúvaNegra (Motor de Recolha) XMLBase Versus (Repositório de Metadados) WebStore (Repositório de Conteúdos)

19 Versus Gerir Meta-informação Web com dimensão temporal Permite ver a Web num momento do passado Permite gerar snapshot da Web a partir de um conjunto de recolhas parciais (incrementais) Políticas de recolha configuráveis Combina modelo de Versions & Workspaces para gestão de dados em engenharia com técnicas de processamento de dados em paralelo.

20 Versus Diagrama de Classes <<abstract>>source externid 1 * name value PartitionKey Source Referência de documento; Version Layer externaltime 1 * Version content 1 * VersionProperty name value Referência para uma foto do documento; Layer * Facet Unidade de tempo no repositório; Facet Referência para derivado de uma versão;

21 WebStore - Arquitectura Reparte conteúdos pelos volumes onde a escrita é autorizada. Novos volumes permitem aumentar capacidade de armazenamento ou balancear a carga

22 WebStore - Endereçamento de Conteúdos Gestão de duplicados: WebStore recebe conteúdo e atribui-lhe chave De conteúdo existente, se checksum idêntico De conteúdo armazenado Chave codifica: volume + localização do conteúdo no volume + checksum

23 Arq. Software WebStore WebStore API Gestão de Volumes WebStore (Content Keys, Duplicates Managent, Compression) Storage System

24 Tumba! Web Crawlers Repository Indexing Engine Ranking Engine Presentation Engine

25 Fase de Indexação Versus Gerador de Gerador Índices de Índices WebStore Atributos Páginas Índices Termodocumento

26 Fase de Execução Atributos Páginas Motor de Ordenação Motor Apresentação Índice Termo- Documento Webstore

27 SIDRA Motor de Ordenação Word Word Index Index Word Index Query Server Query Broker Page Attributes

28 Motor de Apresentação Multi- Índice Canal Desenvolvido com abordagem MVC (model-view-controller)

29 Análise de Escalabilidade Word Word Index Word Index Index Query Server Query Broker Presentation Engine Pedidos de utilizadores balanceados entre motores de apresentação Conteúdos podem ser replicados Pedidos balanceadospor pool de Query Brokers Atributos podem ser replicados Page Attributes WebStore (Contents Repository) Query Brokers podem distribuir pedidos por vários Query Servers Cada índicepode ser servido por vários Query Servers. Índices termo-documento podem ser replicados

30 Sumário O tumba! na perspectiva do utilizador Arquitectura do Software Gestão e Manutenção Utilização O tumba! enquanto serviço público Conclusões

31 Software Desenvolvimento Plataforma: Linux Oracle metadados BerkeleyDB índices Hsql crawlers Httpd, tomcat, struts (MVC) Ferramentas: Java C++ (e perl, bash,...) Wiki CVS Bugzilla

32 Wiki

33 Wiki Func Specs

34 Bugzilla

35 CVS

36 HW Ambiente de Desenvolvimento 3 servidores linux Desktops

37 HW Ambiente de Produção Rede: FCCN x Servidores F-S 5u (6x scsi, 2X Pentium) 1x Servidor F-S 2u (2x scsi, 1X pentium) 6x Servidor Compac (pentium 200Mhz) x ASUStek 1U, 2x IDE, 1X pentium 2x ASUStek 5U, 5X IDE, 2X pentiumiv

38 Sustentação Projectos de Investigação Serviços de Consultoria Serviços Motor busca é um DNS num nível de abstracção superior.... Motivação!!!

39 Equipa Mário J. Silva (prof. FCUL) Daniel Gomes (BD/FCT) Bruno Martins (BD/FCT) Miguel Costa (BM/FCUL) André Santos (BI/FCT) Nuno Cardoso (Técnico)...4 anos...

40 Sumário O tumba! na perspectiva do utilizador Arquitectura do Software Gestão e Manutenção Utilização O tumba! enquanto serviço público Conclusões

41 Tumba [Temos um Motor de Busca Alternativo!] Serviço Público com dois fitos Motor de busca da comunidade portuguesa Arquivo da Web Portuguesa E ainda: recurso de investigação Ao vivo em

42 Desempenho do Tumba! Até queries /dia 3,5 milhões de documentos em.pt a maior recolha! 95% respondidas em menos de 0.5 seg. com 3 servidores

43 Conclusões Demonstra um motor de busca em operação que serve uma comunidade relativamente grande (10M). Integra conjunto alargado de ferramentas específicas para esta comunidade: Sobre termos (correcção ortogrática, pronúncia, dicionário,...) Integração com Webs profundas Arquivo Arquitectura de software escalável e preparada para operarar sobre hardware debaixo custo Bancada de ensaio de actividades de investigação na língua portuguesa

44 artigos sobre XMLBASE João Campos, Mário J. Silva, Versus: A Model for a Web Repository, CRC'01-4ª Conferência de Redes de Computadores, Covilhã, Novembro de Daniel Gomes, Mário J. Silva, Tarântula - Sistema de Recolha de Documentos da Web, CRC'01-4ª Conferência de Redes de Computadores, Covilhã, Novembro de Daniel Gomes, João Campos, Mário J. Silva, Versus: A Web Repository, WDAS-2002: Workshop on Distributed Data & Structures, Paris, Referências Artigos sobre Tumba! Bruno Martins, Mário J. Silva, Is it Portuguese? Language detection in large document collections, CRC'01-4ª Conferência de Redes de Computadores, Covilhã, Novembro de Miguel Costa, Mário J. Silva, Ranking no Motor de Busca TUMBA, CRC'01-4ª Conferência de Redes de Computadores, Covilhã, Novembro de Mário J. Silva, Tumba!: Relatório de Actividades de 2003 e Plano para 2003, Relatório Técnico TUMBA TR-02-1, Grupo XLDB da Faculdade de Ciências da Universidade de Lisboa, Dezembro de Mário J. Silva, The Case for a Portuguese Web Search Engine, Relatório Técnico DI/FCUL TR-03-3, Departamento de Informática da Faculdade de Ciências da Universidade de Lisboa, Março de Rachel Aires, Sandra Alu ísio, Paulo Quaresma, Diana Santos, Mário J. Silva. An initial proposal for cooperative evaluation on information retrieval in Portuguese. Propor' VI Encontro para o Processamento Computacional da Língua Portuguesa Escrita e Falada, Faro, Junho de (accepted) José Borbinha, Nuno Freire, Mário J. Silva, Bruno Martins. Internet Search Engines and OPACs : Getting the best of two worlds. ElPub ICCC/IFIP 7th International Conference on Electronic Publishing (accepted). Mário J. Silva, Tumba! A Web Search and Archive Combination. Mário J. Silva, The Case for a Portuguese Web Search Engine, 2003.

45 Q?