pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007

Transcrição

1 pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007

2 Agenda A Pesquisa do SAPO Como funciona um motor de Pesquisa APIs de acesso à Pesquisa

3 A Pesquisa do SAPO 40 milhões Pesquisas por mês. 50 Queries por Segundo (QPS). Acordo com Google desde Indexador FAST com cerca de 75 milhões de páginas indexadas.

4 A Pesquisa do SAPO Frontend em mod_perl Perl, Python, PHP, C e C++ Equipa de 10 programadores nas áreas de Pesquisa, Anúncios contextualizados e Directório

5 A Pesquisa do SAPO Interface com menus contextuais. Preview e Gravar página como PDF. Pesquisa de Notícias e Blogs portugueses.

6 Como funciona um motor de Pesquisa Desafios Tempo de Resposta Ranking Volume de Informação

7 Tempo de resposta - ciclo Search, Find, Obtain Mindstorms Acesso rápido à caixa de Pesquisa. Tempo de carregamento da páginas de destino está fora de controle do motor de busca. Resultado pretendido rápido de encontrar na página.

8 Autoridade e Relevância - Desafios Análise estrutural da Web. Autoridade nem sempre qualidade Comportamento dos utilizadores ajuda no ranking. Problemas com Spam.

9 Volume da Informação - Desafios ~15 KB por documento 75 milhões de páginas 1 Terabyte de Indice de Pesquisa Objectivo: No caso Português, garantir 50 QPS em menos de 500ms por Pesquisa, com um Índice de 1 Terabyte.

10 Como funciona um motor de Pesquisa Fases da Pesquisa Crawling e análise de conteúdo Indexação Query

11 Crawlers Percorrem as páginas que irão ser indexadas. Limite de pedidos por site. Vários sites em simultâneo, optimizado para a largura de banda disponível. Crawling distribuído. Master distribui tarefas, cada nó é responsável pelo seu armazenamento.

12 Document Pipeline Conteúdo dos crawlers é enviado para a Document Pipeline. Envio em batch dos documentos. Cada url é um objecto Document. No início do processo, apenas sabemos a url e o conteúdo do documento não processado.

13 Document Pipeline Cada componente na cadeia é um módulo isolado que altera o objecto Document. Módulos desenvolvidos em Python. DOCInit EncodingNormalizer PDF/Flash / doc Converter HTMLParsing LinkExtractor LinkAnalyzer LanguageDetector Vectorizer Lemmatizer GetLocations GetPersonNames GetDateAndTime QualityBoosting RankTuning SerializeDocument Send to Indexer Preparar Documento Analizar estrutura Análise linguística Extracção de Entidades Controle de Qualidade Índice

14 Vectorizer: Clustering de conteúdo [senado aprova, 1] [michael mukasey, 1] [attorney general, 1] [estados unidos, 1] [justiça, 1] [aprova responsável, 1] [alberto gonzales, ] [reformado michael, ] [mukasey substitui, ] [unidos confirmou, ] [oito procuradores, ] [opiniões controversas, ] [juiz reformado, ] [procuradores públicos, ] [substitui alberto gonzales, ] [posições controversas, 1] [aprova responsável, 1] [senado aprova, 1] [attorney general, ] [attorney, ] [oito procuradores, ] [procuradores públicos, ] [interrogatório waterboarding, ] [debate duro, ] [michael mukasey, ] [substitui alberto gonzales, ] Essencial para evitar resultados semelhantes. Vector do documento permite efectuar análise de clusters.

15 Indexação doc1, (pos1,pos2,.., posn) termo doc2, (pos1,pos2,.., posn) docn, (pos1,pos2,.., posn) Índices invertidos optimizados para a intersecção de termos. Posição relativa dos termos é guardada.

16 Indexação 5, (90,125,324) mindstorm 23, (1,25,34) 34, (5, 46) lego 34, (4, 45, 925) 45, (2, 322) 9, (10023) doc lego mindstorm lego U mindstorm = doc34

17 Indexação Cada índice é gerado localmente. Perfil do Índice permite definir quais os campos mais relevantes e qual o peso.

18 Pesquisa em paralelo Publicidade Contextualizada Mindstorms Correcção ortográfica Módulos Contextualizados Pesquisa Distribuída

19 Pesquisa distribuída Cada nó de Pesquisa tem uma porção do índice total de Pesquisa. A um conjunto de nós com o mesmo índice chamamos de Coluna. Uma pesquisa na Coluna devolve sempre os mesmos resultados.

20 Query Ao conjunto de nós que perfazem a totalidade do Índice, mas sem redundância chamamos de Linha. Cada Linha responde a um número limitado de QPS. Uma pesquisa é efectuada em todas as colunas presentes numa Linha.

21 Query A Matriz da Pesquisa é o número de nós [Linhas x Colunas ] Cada Pesquisa é balanceada dentro de cada Coluna para ser servida por um dos nós com o mesmo Índice. O algoritmo de MergeSort ordena os resultados que vêm de cada nó.

22 Query Mindstorms Col 2 Col 0 Merge(Col0, Col1, Col2) Col 1

23 Open source Lucene SolR Motor em Java. Suporte perfis de índices e pesquisa em campos. Baseado no Lucene. Optimizado para conteúdo web. APIs JSON e XML/RPC

24 Agenda A Pesquisa do SAPO Como funciona um motor de Pesquisa APIs de acesso à Pesquisa

25 OpenSearch Protocolo Opensearch da A9 RSS para a Pesquisa. Auto-discovery suportada em Browsers modernos.

26 OpenSearch <?xml version="1.0" encoding="utf-8"?> <OpenSearchDescription xmlns=" <Url> q={searchterms}&count={count}&fs={startindex}&rss=1</url> <Format> <ShortName>SAPO</ShortName> <LongName>Pesquisa SAPO</LongName> <Description>Pesquisa no Directorio SAPO - Portuguese only</description> <Tags>sapo portugal directorio pesquisa</tags> <Image> <SampleSearch>sapo</SampleSearch> <Developer>Joao Pedro Goncalves</Developer> <Contact>joaop@co.sapo.pt</Contact> <Attribution>SAPO - Portugal Online, PT.COM</Attribution> <SyndicationRight>open</SyndicationRight> <AdultContent>false</AdultContent> </OpenSearchDescription>

27 OpenSearch em Perl use WWW::OpenSearch; my $url = " my $engine = WWW::OpenSearch->new($url); # Perform search for "sapo" my $response = $engine->search("sapo"); for my $item ($response->feed->items) { print $item->title, "\n\t", $item->link, "\n"; }

28 Query completion - Collective Intelligence Análise dos queries efectuados na Pesquisa do SAPO Ordenar as pesquisas mais frequentes devolve comportamentos dos Portugueses, um sistema de sugestões de Pesquisa Fonte de informação valiosa para previsão de comportamento dos utilizadores

29 Query completion Integração com Firefox Serviço já disponível Extremamente rápido Interface em JSON e XML ["quarteira",["quarteira","apartamentos quarteira","ferias quarteira","hoteis quarteira","mapa quarteira","hoteis em quarteira","quarteira apartamentos","quarteira nomes de cafes","hotel quarteira sol","apartamentos na quarteira","quarteiratur","quarteirao","orbitur quarteira","quartos quarteira","camping quarteira","parque campismo quarteira"],[],[]]

30 Obrigado! Perguntas? João Pedro Gonçalves Codebits, 14 de Novembro 2007