Web Crawling Coleta Automática na Web. Altigran Silva e Edleno Moura Julho de 2002

Transcrição

1 Web Crawling Coleta Automática na Web Altigran Silva e Edleno Moura Julho de 2002

2 Sumário Algoritmo de coleta Arquitetura Estratégias de escalonamento Aspectos práticos Coleta incremental Páginas duplicadas e Mirrors

3 Coleta de Páginas Objetivo Coleta automática e sistemática de documentos da Web a serem indexados e consultados pela máquina de busca Coletores de Páginas Crawlers = Spiders = Robots Portugues: Navegadores Automáticos (??)

4 Coleta de Páginas Web Início Próxima URL URLs Iniciais URLs a visitar Coletar página URLs visitadas Extrair URLS páginas

5 URL Inicial Exemplo

6 Exemplo Seguindo Links

7 Exemplo

8 Exemplo

9 Exemplo Não serão coletadas!!!

10 Seguindo Links

11 Arquitetura

12 Arquitetura Típica Web Requisições DNS Servidor de Nomes (DNS) Cache de Nomes Requisições HTTP Coletor Coletor Coletor Páginas coletadas Servidor de Armazenamento Base de Páginas URLs extraídas URLs a coletar Escalonador de URLs Iniciais Novas Visitadas

13 Componentes Coletores Responsáveis pela requisição de páginas aos servidores HTTP Extraem os links das páginas recebidas e enviam ao escalonador Requisitam do escalonador uma ou mais URLs a serem coletadas Podem realizar um escalonamento local (short term scheduling)

14 Componentes Servidor de Armazenamento Recebem as páginas ou outros objetos coletados e armazenam em uma base local. Fazem a extração (parsing) de texto Podem tratar vários formatos: Postscript, PDF, Word, Powerpoint, etc.

15 Componentes Servidor de Nomes Atendem requisições DNS dos coletores Mantêm um cache de identificadores DNS (nomes) resolvidos Crucial para evitar que cada coletor faça requisições DNS remotas Potencial ponto de gargalo

16 Componentes Escalonador Responsável por decidir qual a próxima URL a ser coletada Coordena as ações dos coletores Deve garantir protocolo de exclusão Retardo mínimo entre requisições a um mesmo servidor HTTP. Deve garantir que não haverão coletas repetidas Potencial ponto de gargalo

17 Performance Típica Mercator (Maio de 1999) 77.4 M requisições HTTP em 8 dias 112 docs/seg e KB/seg GoogleBot (Abril de 1998) 26 M requisições HTTP em 9 dias 33.5 docs/seg e 200 KB/seg The Internet Archive crawler (Maio de 1997) 4 M HTML docs/dia 46.3 HTML docs/seg and 231 KB/seg

18 Mercator Hardware Digital Ultimate Workstation 533 MHz, Alpha processors, 2 GB de RAM, 118 GB de disco local Conexão de 100 Mbit/sec FDDI Software Escrito Java Procesador Java srcjava otimizado pela Digital.

19 Mercator

20 Escalonamento

21 Escalonamento Motivação A Web é imensa: 10 M de servidores e bilhões de páginas Na prática, é impossível coletar todas as páginas Custo de manutenção e processamento de grandes coleções e índices é muito alto Solução Garantir que somente as melhores páginas serão coletadas

22 Escalonamento Em Profundidade ou LIFO Resultada em uma coleta focada Mais páginas por site Resultados imprevisíveis Pode-se limitar o número de níveis

23 Escalonamento Em Largura ou FIFO Produz uma coleta mais abrangente Visita um maior número de sites Mais usada por ser simples de implementar

24 Escalonamento FIFO com sufixo de URL Exemplo: *.fua.br, *.uol.com.br Escalonamento em dois níveis: sufixo (site) URL Garante cobertura balanceada entre sites Bastante usado

25 Escalonamento Baseadas em ranking de URLs Baseada em conteúdo Simples de avaliar, simples de subverter Baseada em popularidade Difícil de medir (número de acessos) Baseada em conectividade Número de referências (links) Fácil de medir, robusto

26 Prioridade por conectividade Referências (Backlink count) O valor de uma página é proporcional ao número de referências a ela Variações: Todos os links; links internos; links de servidores diferentes Variações recursivas Links de páginas de maior valor tem maior peso Exemplo: PageRank [BP98]

27 Prioridade por conectividade PageRank Um usuário navegando aleatoriamente, seguindo links com probabilidade uniforme d, visitaria uma página p com probabilidade R(p) R( p) PageRank de p R( p) = d T + (1 d) k R( pi) i = 1 C( pi) C( p) p T 1... p k Fan - out de p Páginas que apontam p Número total de páginas d Amortizagem (d ~ 0.14)

28 Comparação de Estratégias Experimento proposto por Cho et. al. Coletar k páginas com vários tipos de escalonamento Randômico, FIFO, backlink e PageRank Critérios de avaliação Freqüência de termos, Backlink, PageRank, tipo de URLs páginas do domínio stanford.edu Resultado: Estratégia baseada em PageRank é a melhor Estratégia baseada em FIFO é boa

29 Comparação de Estratégias Experimento proposto por Najork & Wiener 328 M URLs durante 58 dias usando FIFO Usando somente PageRank como métrica Resultado Estratégia FIFO descobre páginas com alto PageRank primeiro Conclusão Máquinas com ranking baseado em conectividade devem coletar em FIFO

30 Exemplos de Escalonamento AltaVista (versão inicial) Randômico com exclusão por servidor Mercator/Altavista FIFO com exclusão por servidor Alexa Visita alternadamente conjuntos n servidores GoogleBot PageRank

31 Aspectos Práticos

32 Ética Protocolo de exclusão de robôs Recomendação informal para desenvolvedores de robôs para a Web Restrições de acesso robots.txt meta-tags especiais Retardo mínimo entre requisições a um mesmo servidor HTTP.

33 Regras de Exclusão para Sites Robots.txt Descreve regras de restrição para navegação automática em um site Encontra-se sempre na URL raiz de um servidor Deve-se ser requisitado antes de tudo A obediência as regras não é obrigatória Se não forem seguidas, o administrador pode bloquear acesso a todo conteúdo do servidor

34 Regras de Exclusão para Sites Desabilita acesso a partes do site pra qualquer robô User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /private/ Desabilita acesso a todo o site para um robô específico User-agent: Robocopo Disallow: /

35 Regras de exclusão para páginas Uso de metatags em páginas HTML Não coletar, seguir links <meta name="robots" content="noindex"> Coletar, não seguir links <meta name="robots" content="nofollow"> Não indexar, não seguir links <meta name="robots content="noindex,nofollow">

36 Recomendações Evitar rapid fire Usar retardo mínimo entre requisições a um mesmo servidor HTTP Tipicamente 60 segundos Usar o header User-Agent Prover as informações necessárias para os administradores de site Nome do robô, , responsável, instituição, etc. Evitar coleta maciça em horas de tráfego alto

37 Restrições Práticas Sites Gigantes Limitar o número de páginas coletadas uma vez que alguns sites contém um número excessivamente grande páginas Tipos de páginas Não devem ser coletados objetos que não podem ser indexados:.exe,.jpg,.gif,.ram,.au, Problemas: Nem sempre é fácil detectar o tipo de objeto Novos tipos aparecem todo dia

38 Restrições Práticas Caminhos Relativos e ciclos <A HREF=../../../aula/ >Coleta</A> Frames e Frame Sets Buracos Negros e Spider Traps: Links do tipo próximo ano em calendários Objetos de tamanho muito grande

39 Coleta Incremental

40 Caracterização Coletor periódico Atualiza periodicamente a base de páginas em batch Coletor Incremenal Atualiza a base de páginas de maneira incremental e seletiva Melhora o grau de atualidade das páginas Descobre novas páginas mais facilmente

41 Caracterização Objetivos Atualizar as páginas já coletadas Substituir páginas menos imporantes como novas páginas mais importates. Ideia Fazer estimativas de quão frequente as páginas mudam Revisitar somente as páginas que tem grande probalidade de mudar

42 Caracterização Vantagens Economia de banda Melhora da autualidade da base Incorpora novas páginas com mais rapidez

43 Evolução da Web Experimento descrito em Cho & Garcia-Molina, a 24 de junho sites, 720 K páginas Por domínos com(132) edu(78) net/org(30) gov(30) Examinadas 3 K páginas de cada site diariamente

44 Intervalo médio de mudanças Fração das páginas dia 1d-1s 1s-1m 1m-4m >4m

45 Por domínio 0.6 Fração das páginas com netorg edu gov dia 1d-1s 1w-1m 1m-4m >4m

46 Tempo de vida das páginas 70% vive mais de um mês Fração de mudanças 1s 1s-1m 1m-4m >4m

47 Tempo de vida das páginas Domínios.com são mais voláteis.edu e.gov são mais perenes Fração de mudanças 1s 1s-1m 1m-4m >4m

48 Tempo p/ 50% de mudança Em quanto tempo a Web muda 50%? Média global: 50 dias

49 Tempo p/ 50% de mudança com:11 dias, gov: ~120 dias

50 Como muda a Web? Baseado nos resultados experimentais foi obtido um processo de Poisson f T (t) = λ e -λ t (t > 0)

51 no intevalor Percentua de mundança Como muda a Web? Páginas que mudam a cada 20 dias em média Distribuição de Poisson Intervalo em dias

52 Coleta Periódica X Incremental Períodica Incremental

53 Atualizaçao Shadowing X In-Place Shadowing Consiste em armarmazenar as atualizações em um espaço difrente da coleção corrente Permite a disponibilidade da coleção corrente Mais fácil de implementar A coleção corrente fica obsoleta até o momento da reconciliação In-Place Consideravelmente mais complicada Garante a atualidade da coleção corrente

54 Frequência Fixa X Variável Frequência fixa Adotada na coleta períodica Frequência Variável Adequadata para coleta incremental com atualizações in-place

55 Tratamento de Páginas Duplicadas e Mirrors

56 Problema de Duplicação Boa parte do conteúdo da Web se está duplicado em vários sites Os motivos são vários: Balanceamento de carga, alta disponibilidade Atração de tráfego (ex. Tucows) Backup Estimativas Altavista, 1996 : 30% em 30 M de pags. Google, 1997 : 36% em 26 M de pags.

57 Problema de Duplicação Inconveniente para coleta Esforço de coleta inútil Espaço de armazenamento desnecessário Inconveniente para processamento de consultas Maior demanda de processamento Prejuízo na avaliação de similaridade Inconveniente para os usuários

58 Duplicação de Páginas Dadas duas URLs v u determinar se os documentos referenciados tem o mesmo conteúdo ou conteúdo semelhante Verificação exaustiva é inviável!!!

59 Duplicação Exata Detecção por assinatura Para cada URL u é calculada uma assinatura α(u) que é armazenada Se α(u ) = α(u) então u é uma duplicata de u Message Digest 5 (MD5) (Rivest,92) Gera assinaturas de 128 bits Colisão: 1M entradas/seg. em ~600k anos Geração eficiente

60 Duplicação Aproximada Mais comum: baners, datas, etc. Assinaturas não funcionam! Se u é uma duplicata aproximada de u, α(u ) α(u) Solução aproximada (Broder,98) Tomar amostras aleatórias das páginas Gerar assinaturas das amostras

61 Mirrors Na prática, coleções de páginas são duplicadas De servidores com mais de 100 docs, (9.4%) apresentam algum tipo de duplicação (Bharat & Broder, 1998) Mirrors Sites que mantêm coleções de páginas duplicadas de forma sistemática Uso de assinaturas não reduz o número de requisições feitas pelo coletor

62 Mirrors LDP (Linux Doc. Project) = 25Mb, ~ 180 mirrors

63 Detecção de Mirrors Bottom-Up Cho, Shivakumar & Garcia-Molina, 2000 Detecção a partir do conteúdo das páginas Construção progressiva de clusters Top-Down Bharat,Broder & Dean, 1999 Pré-filtragem baseada somente nas URLs Testar somente os que passam na filtragem

64 Bottom-up Passo 1 Determinar pares de páginas similares com base no conteúdo Rid Pid

65 Bottom-up Passo 2 Estrutura de links Rid Pid Pid Link Pid Rid Pid Group by (R1.Rid, R2.Rid) Ra = R1, Ls = Count(R1.Rid), Ld = Count(R2.Rid), Rb = R2

66 Bottom-Up Passo 3 Construção de clusters S { } Para cada (Ra, Ls, Ld, Rb) Se (Ra = Ls = Ld = Rb) S S U {<Ra, Rb> } Union-Find(S) S contém pares de URLs no mesmo cluster

67 Bottom-up Clusters Triviais (pares) Expansão de Clusters

68 Bottom-up Clusters Máximos

69 Resultados de experimento Rank Site Replicas Tamanho 1 TUCOWS WinSock utilities LDP Linux Doc. Project Apache Web server JAVA API Mars Pathnder

70 Top-Down Pré-Filtragem Não considera conteúdo das páginas Baseada somente na estrutura extraída de um conjunto de URLs Algoritmos de análise de URL Teste final baseado em similaridade de conteúdo

71 Pré-Filtragem Baseada em endereço IP Determina hosts que possuem IP idênticos ou muito similares. Baseada nas strings das URL Determina pares de hosts que tem URL altamente similar. Similaridade baseada no modelo vetorial

72 Pré-Filtragem Baseada na conectividade dos hosts Considera um hosts como um documento único Analisa a estrutura de ligação entre estes pseudo-documentos. Dois hosts são considerados mirrors se eles apontam para conjuntos similares de hosts

73 Pré-Filtragem Baseada nas strings da URL + conectividade Dois hosts são considerados mirrors se eles possuem caminhos similares e documentos na mesma posição possuem links similares

74 Experimentos Entrada: 140 M URLs em hosts com >100 URLs Informação de conectividade Para cada algoritmo de pré-filtragem Determinar uma raking de pares de host Testar cada par sugerido usando conteúdo

75 Experimentos Avaliação Precisão: quais pares sugeridos são mirrors Revocação relativa: quais pares são sugeridos considerando todos os métodos foram encontrados por um método em particular

76 Experimentos Resultados Melhores métodos quanto a precisão são os baseados em IP e prefixo de URL Métodos individuais são limitados quanto a revocação Métodos combinados: Precisão: 0.57% Revocação: 0.86%

77 Artigos The Evolution of the Web and Implications for an Incremental Crawler, Junghoo Cho Hector Garcia- Molina Eficient Crawling Through URL Ordering, Junghoo Cho and Hector Garcia-Molina and Lawrence Page Breadth-First Search Crawling Yields High-Quality Pages, Marc Najork Janet L. Wiener Um Retrato da Web Brasileira, Veloso e outros