Arquivar a Web. Daniel Gomes

Transcrição

1 Arquivar a Web Daniel Gomes

2 Arquivar a Web 1.Porquê? 2.Como? 3.Colaborar!

3 Internet originou invenções para transmitir informação

4 Web passou a ser ferramenta de publicação 1. Transmissão de informação entre cientistas Transmissão de dados Transmissão termina com recepção da informação 2. Publicação em larga escala

5 Problema: informação publicada na Web é efémera Acessível durante pouco tempo Passado 1 ano 80% dos conteúdos foram alterados ou desapareçam (Ntoulas, 2004)

6 Quem se lembra da Expo 98?

7 Quando o Figo ganhou o prémio de melhor jogador?

8 Mas isso foi há muito tempo num dia no dia seguinte

9 O modelo de publicação na Web está incompleto Faltam Arquivos que garantam persistência de acesso à informação ao longo do tempo

10 Surge assim o interesse pela criação de Arquivos da Web 1996 Internet Archive (Mundial) 1996 Kulturarw (Suécia) 2001 Nedlib (UE) Digital Deposit (Portugal) 16 países com iniciativas nacionais 2006 Tomba (Portugal/FCUL) 2007 Arquivo da Web Portuguesa (Portugal/FCCN)

11 Casos de uso para Arquivos da Web Jornalista documenta artigo Webmaster recupera versão perdida de página Historiador analisa documentos digitais Utilizador da Web visita Favorito quebrado Outros?

12 Arquivar a Web Como?

13 Depósito imposto ao autor Recolha activa pelo Arquivo Analogia com depósito legal clássico Imaturidade/inexistência de tecnologias Custos elevados para autores Difícil de impor legalmente As leis têm fronteiras, a Internet não. Analogia com motores de busca Tecnologia adaptável Custo de mais 1 visitante

14 Como é feita a recolha? Automática a partir de um conjunto de endereços Iterativamente são seguidas ligações e arquivados os conteúdos index.html contacts.html about.html

15 O que arquivar?

16 E se esta adolescente se tornar numa Cantora famosa? (que era marrona ) Nobel da Física? (que tinha dificuldade em Matemática)

17 Devemos arquivar este blog? Qualquer critério de selecção é subjectivo Tudo pode ser interessante Tentar arquivar o máximo possível

18 Arquivos da Web já guardam a informação publicada Falta garantir acesso eficiente à informação arquivada

19 Wayback Machine Implica conhecer endereço onde estava a informação

20 Queremos é Googlar o passado!

21 Googlar o passado é diferente Presente Conteúdos online Redirecção para a Web actual Pesquisas por termo Apresentação de resultados dentro de uma dimensão temporal Passado Conteúdos offline Reprodução de conteúdo arquivado Pesquisa por <termo, intervalo de tempo> Apresentação de resultados dentro de múltiplas dimensões temporais Pequenas diferenças que implicam grandes alterações

22 Caso de estudo Aplicação do PageRank num arquivo da Web

23 PageRank: pressupostos Cada página é identificada por um endereço único (URL) Páginas importantes se recebem: Muitas ligações Ligações de páginas importantes

24 Cálculo de PageRank tempo URL A 6 URL C URL B 7 1 URL E 8 URL D

25 tempo 2009 Cálculo de PageRank sobre arquivo URL D URL A 6 URL C URL E URL B URL A URL B 6 URL A 6 1 URL B 1 URL C URL C URL D URL D URL E URL E URL A 6 URL B 1 URL C

26 tempo Computação de PageRank dados históricos é pesada URL D URL A 6 URL C URL E URL B URL A URL B 6 URL A 6 1 URL B 1 URL C URL C URL D URL D URL E URL E URL A 6 URL B 1 URL C

27 Ligações inter-temporais tempo URL A 1 URL A 1 URL B 1 URL C 2 URL E 20 5 URL E 4 URL E é importante em 2009? Apenas 1 ligação em 2009 Maioria das ligações recebidas entre 2003 e 2005 Conteúdo pode ter mudado completamente Temos que adaptar PageRank ao arquivo Apenas ligações dentro do mesmo tempo Recolhas não são instantâneas Mesmo tempo significa: Mesmo dia, mês, ano?

28 Solução do Arquivo: mesmo mês tempo URL A 1 Mesmo mês URL E Não considera ligações para o passado nem para o futuro + Menos ligações => computação mais leve - É necessário agrupar versões por mês - Porém URL A 1 URL B 1 Mesmo mês URL E URL C 2

29 Acumulação de ligações provenientes no mesmo mês do mesmo URL PR sobre arquivo Sempre o mesmo URL A que aponta para o URL B tempo 9/10/2004 8/10/2004 7/10/2004 URL A 6 URL A 6 URL A 6 URL B 18 URL A é arquivado frequentemente Jornal diário URL B é arquivado 1 vez por ano Página da editora

30 Solução do Arquivo: apenas a versão do URL com data mais próxima tempo 9/10/2004 URL A 6 8/10/2004 URL A 6 7/10/2004 URL A 6 URL B 6

31 Como avaliar as nossas soluções? Nenhuma será perfeita Podem melhorar ou piorar os resultados Avaliação é obrigatória Recuperação de Informação convencional Text REtrieval Conference Conjunto de dados (.GOV) Conjunto de pesquisas Número de baixas durante a guerra no Iraque Conjunto de respostas relevantes Identificadores das páginas Permite avaliar comparativamente as soluções

32 Problema: não há bancadas de testes para dados temporais A Web é recente, não tinha história Problema novo! Aproximação adoptada Criar uma bancada para dados Web temporais (proposta de mestrado) Procure resultados acerca das baixas na guerra do Iraque de Analisar logs das pesquisas Nº cliques nas posições cimeiras

33 Muitos problemas a resolver na pesquisa temporal

34 União faz a força: Archive-Access project Liderado pelo Internet Archive Criação/adaptação de ferramentas: Heritrix, NutchWAX

35 NutchWAX não está pronto-a-usar Versão PT Inexistente Grafismo Pouco cuidado Resposta 40M URLs, >20s Relevância Baixa

36 AWP: NutchWAX + 2 anos de trabalho Versão PT OK Correcção de charsets Grafismo Melhoria de usabilidade Resposta 130M URLs, <5s

37 Melhoria no acesso a conteúdos Teste arquivados Acesso à página arquivada do de 18 Janeiro AWP vs. Internet Archive Resultado AWP: 9s vs. Internet Archive: 28s Porém AWP tem menos carga

38 AWP: NutchWAX + 2 anos de trabalho Relevância Reestruturação dos índices para guardarem mais características das páginas nº de ligações recebidas Novo algoritmo de ordenação

39 Distância entre termos passou a ser considerada Pesquisa: Presidente República 1. O Presidente do clube um espectador disse que era uma república das bananas 2. O Presidente da República comunicou que O resultado 2 passou a ser considerado mais relevante

40 E ainda

41

42 Integração de colecções externas

43 2009

44 2008

45 2005

46 2003

47 2001

48 Colaborar!

49 rarc: Todos podemos colaborar! Servidor rarc Repositório de conteúdos Cliente rarc Cliente rarc Cliente rarc

50 Recuperar cópias Servidor rarc Repositório de conteúdos Cliente rarc Cliente rarc Cliente rarc

51 Estimativas e resultados iniciais PCs normais têm 100 GB de disco 4,5 milhões de portugueses usam a Internet Se cada um contribuir com 10% (10 GB) 4,5M contribuidores (10%) 45 PB recolhas (0,1%) 450 TB 225 recolhas 1 recolha da Web portuguesa = ~ 2TB Já temos uma replicada! Média de 21 GB doados por contribuidor

52 Como aderir?

53 Contribuidores

54 Localização das cópias

55 Colaborar todos os dias Seguir recomendações para autores Não esconder ligações Usar formatos adequados Sugerir sítios web portugueses para arquivo Fornecer conteúdos históricos Divulgar!

56 Desafios e projectos Pesquisa de imagens Classificação automática de conteúdos Bancada de teste para resultados de pesquisas Para saber mais:

57 Conclusões Arquivar a Web é importante Não basta guardar a informação publicada Garantir que se mantém acessível Todos podemos colaborar

58 Obrigado pela atenção Daniel Gomes