Arquivar a Web. Daniel Gomes

Transcrição

1 Arquivar a Web Daniel Gomes daniel.gomes@fccn.pt

2 Arquivar a Web 1.Porquê? 2.Como? 3.Colaborar!

3 Era uma vez Há muito, muito tempo (70 s) Numa terra muito, muito longe (Califórnia) Um grupo de cientistas loucos (Vinton Cerf et al.) Queria transmitir bytes de forma aberta. E conseguiu! Assim nasceu a Internet

4 Bytes organizados em formatos transmitem informação

5 Surgem novas invenções para transmitir informação

6 A Web passou a ser usada para publicar informação 1. Transmitir informação entre cientistas 2. Publicar informação para o mundo Qual é a diferença entre Transmitir e Publicar?

7 Transmitir Fim de transmissão com sucesso

8 Publicar Publicação implica persistência de acesso Transmissão termina com recepção

9 Problema 80% dos conteúdos da Web são alterados ou desaparecem passado 1 ano (Ntoulas, 2004) Informação publicada na Web acessível durante pouco tempo

10 Quem se lembra da Expo 98?

11 Quando o Figo ganhou o prémio de melhor jogador?

12 Mas isso foi há muito tempo num dia no dia seguinte

13 O modelo de publicação na Web está incompleto Faltam Arquivos que garantam persistência de acesso à informação ao longo do tempo

14 Surge assim o interesse pela criação de Arquivos da Web 1996 Internet Archive (Mundial) 1996 Kulturarw (Suécia) 2001 Nedlib (UE) Digital Deposit (Portugal) 16 países com iniciativas nacionais 2006 Tomba (Portugal/FCUL) 2007 Arquivo da Web Portuguesa (Portugal/FCCN)

15 Casos de uso para Arquivos da Web Jornalista documenta artigo Webmaster recupera versão perdida de página Historiador analisa documentos digitais Utilizador da Web visita Favorito quebrado Outros?

16 Arquivar a Web Como?

17 Depósito imposto ao autor Recolha activa pelo Arquivo Analogia com depósito legal clássico Imaturidade/inexistência de tecnologias Custos elevados para autores Difícil de impor Analogia com motores de busca Tecnologia adaptável Custo de mais 1 visitante

18 Como é feita a recolha? Automática e iniciada a partir de um conjunto de endereços Iterativamente são seguidas ligações e recolhidos os conteúdos index.html contacts.html about.html

19 O que arquivar?

20 E se esta adolescente se tornar numa Cantora famosa? (que era marrona ) Nobel da Física? (que tinha dificuldade em Matemática)

21 Devemos arquivar este blog? Qualquer critério de selecção é subjectivo Tudo pode ser interessante Tentar arquivar o máximo possível

22 Arquivos da Web já guardam a informação publicada Falta garantir acesso eficiente à informação arquivada

23 Wayback Machine Implica conhecer endereço onde estava a informação

24 Queremos é Googlar o passado!

25 Googlar o passado é diferente Presente Conteúdos online Pesquisas por termo Resultados dentro de uma dimensão temporal Um URL por resultado Passado Conteúdos offline Pesquisa por <termo, intervalo de tempo> Resultados dentro de múltiplas dimensões temporais Várias versões de um URL ao longo do tempo Pequenas diferenças que implicam grandes alterações

26 Caso de estudo Aplicação do PageRank simplificado num arquivo da Web

27 Cálculo de PageRank tempo URL A 6 URL C URL B 7 1 URL E 8 URL D

28 Cálculo de PageRank histórico tempo URL D URL A 6 URL C URL E URL B URL A URL B 6 URL A 6 1 URL B 1 URL C URL C URL D URL D URL E URL E URL A 6 URL B 1 URL C

29 tempo Cálculo de PageRank histórico simplificado é complicado URL D URL A 6 URL C URL E URL B 1 Computação pesada URL A URL B 6 URL A 6 1 URL B 1 URL C URL C URL D URL D URL E URL E URL A 6 URL B 1 URL C

30 Ligações inter-temporais tempo URL A 6 URL A 6 URL A 6 URL A 6 URL B 1 URL B 1 URL C URL C 20 URL C é importante em 2009? Ligações recebidas entre 2003 e 2005 Conteúdo poder ter mudado completamente PageRank faz sentido? Ajustar pesos consoante tempo e conteúdo Como? Não considerar ligações do passado? Intervalo de tempo? Manter ligações recebidas ao longo do tempo é sinal de reputação!

31 Acumulação de ligações PR histórico tempo 2009 PR normal tempo URL A URL B URL A 6 URL B URL A é arquivado frequentemente Jornal diário URL B é arquivado 1 vez por ano Página da editora PR normal do URL B seria apenas 6 No PR não há versões de URL

32 Muitos problemas a resolver na pesquisa temporal

33 União faz a força: Archive-Access project Liderado pelo Internet Archive Criação/adaptação de ferramentas: Heritrix, NutchWAX

34 NutchWAX não está pronto-a-usar Relevância Baixa Resposta 40M URLs, >20s Versão PT Inexistente Grafismo Pouco cuidado

35 AWP: NutchWAX + 2 anos de trabalho Relevância Novo algoritmo de ordenação Resposta 130M URLs, <5s Versão PT OK Correcção de charsets Grafismo Melhoria de usabilidade

36 E ainda

37

38 Integração de colecções externas

39 2009

40 2007 Bug do Arquivo? Evitar erros de publicação na Web Ligações escondidas em Javascript ou Flash Código específico para determinado browser Formatos inadequados ou com erros

41 2005

42 2004

43 2003

44 2000

45 1996

46 Colaborar!

47 rarc: Todos podemos colaborar 1 recolha da Web portuguesa = ~ 2TB PCs normais têm 100 GB de disco 4,5 milhões de portugueses usam a Internet Se cada um contribuir com 10% (10 GB) 4,5M contribuidores (10%) 45 PB recolhas (1%) 4,5 PB 2250 recolhas (0,1%) 450 TB 225 recolhas 4500 (0,01%) 45 TB 22,5 recolhas

48 Replicar cópias Servidor rarc Repositório de conteúdos Cliente rarc Cliente rarc Cliente rarc

49 Recuperar cópias Servidor rarc Repositório de conteúdos Cliente rarc Cliente rarc Cliente rarc

50 Como aderir?

51 Contribuidores

52 Localização das cópias

53 Colaborar todos os dias Seguir recomendações para autores Não esconder ligações Usar formatos adequados Sugerir sítios web portugueses para arquivo Fornecer conteúdos históricos Divulgar Divulgar Divulgar

54 Desafios e projectos Pesquisa de imagens Classificação automática de conteúdos Geração de Navegrafias durante a recolha Bancada de teste para resultados de pesquisas Para saber mais:

55 Conclusões Arquivar a Web é importante Não basta guardar a informação publicada Garantir que se mantém acessível Todos podemos colaborar

56 Obrigado pela atenção Daniel Gomes