Pesquisa no Passado. Miguel Costa Engenheiro, Investigador, Aluno de Doutoramento

Tamanho: px

Começar a partir da página:

Download "Pesquisa no Passado. Miguel Costa Engenheiro, Investigador, Aluno de Doutoramento"

Heitor Varejão
5 Há anos
Visualizações:

1 Pesquisa no Passado Miguel Costa Engenheiro, Investigador, Aluno de Doutoramento Faculdade de Letras da UL - 21 de Maio, 2012

2 Do Papel ao Digital Enciclopédia Britannica abandona edição impressa ao fim de 244 anos Livros E-Books Diários Blogs Álbuns de fotos Flick Cartas Redes Sociais 2

3 conteúdos (milhões) 1995: 11,4 milhões 1997: 200 milhões 1998: 800 milhões 2005: 19,2 mil milhões 2008: 1 bilião 2012:??? Evolução da World Wide Web anos 3

4 Muitas Tecnologias Novas Flash RSS Móvel 4

5 A Web é Efémera 50 dias - 50% dos documentos são alterados (Cho and Garcia-Molina. 2000) 1 ano - 80% dos documentos ficam inacessíveis (Ntoulas, Cho and Olson. 2004) 27 meses - 13% citações para a Web desaparecem ( 2007) 5

6 404 - Página Não Encontrada 6

7 Iniciativas de Arquivos da Web +77 iniciativas em 39 países +193 mil milhões de documentos desde

Arquivo da Web Portuguesa Disponível desde 2010: http://arquivo.

8 Arquivo da Web Portuguesa Disponível desde 2010: Mil milhões de documentos pesquisáveis por endereço (URL) e texto entre 1996 e

9 Pesquisa por Endereço (URL) 9

13 Pesquisa Textual 13

14 Pesquisa Textual 14

15 Complementar aos Motores de Busca Hoje Arquivo da Web Tempo 15

16 Casos de Uso Utilizador visita Favorito desaparecido Jornalista revisita notícia passada Webmaster recupera versão perdida do site Historiador analisa documentos digitais Web designer faz portfólio de sites antigos Professor recupera slides Outros? 16

17 Onde está a Informação? 17

18 Como é feito a Pesquisa? Pesquisa Resultados 18

19 Recolha de Dados Automática a partir de um conjunto de endereços Recursivamente são seguidas ligações e arquivados os conteúdos Web Crawlers 19

20 Recolha de Dados Automática a partir de um conjunto de endereços Iterativamente são seguidas ligações e arquivados os conteúdos Web Crawlers 20

21 Preservação de Dados Adicionar metadados Localização 1 Replicar Migrar ou Emular Curar dados Localização 2 21

22 Como é feito a Pesquisa? Pesquisa Resultados Recolha Preservação 22

23 Indexação Extração Documento 1 <HTML> O rio era frio </HTML> Criação de estruturas de dados Ficheiro Invertido Documento 2 <HTML> O frio que </HTML> era 1 frio 1 2 rio 1 23

24 Recuperação era 1 frio 1 2 rio era rio [1996, 2000] frio 1041 rio era frio rio

25 Ordenação

26 Maximizar Relevância Objetivo Relevante Não Relevante Para todas as pesquisas 26

27 Ordenação Extração de Sinais de Relevância Criação de Funções de Relevância Seleção de Funções de Relevância Combinação de Funções (Modelo) 27

28 Os termos da pesquisa estão: quantas vezes no título? próximo entre eles no texto? Sinais de Relevância A página: tem muitas versões diferentes? tem muitos links a apontar para ela? Os utilizadores: clicaram quantas vezes a página? quanto tempo viram a página? 28

29 Ordenação Extração de Sinais de Relevância Criação de Funções de Relevância Seleção de Funções de Relevância Combinação de Funções (Modelo) 29

30 valor Modelar os Sinais de Relevância nº. versões Exemplo de nº. de versões: f v td = log 10(x) log 10 (y) = log y(x) Parâmetros: x = nº. versões da página d y = máximo nº. de versões 30

31 Ordenação Extração de Sinais de Relevância Criação de Funções de Relevância Seleção de Funções de Relevância Combinação de Funções (Modelo) 31

32 Selecionar Funções Com bons resultados Não redundantes Computacionalmente leves 32

33 Ordenação Extração de Sinais de Relevância Criação de Funções de Relevância Seleção de Funções de Relevância Combinação de Funções (Modelo) 33

34 Combinar Funções p h d = n f n(d) n=1 34

35 Como é feito a Pesquisa? Pesquisa Resultados Apresentação Ordenação Recolha Preservação Indexação Recuperação 35

36 Para saber Mais Ver: publicações vídeos Seguir notícias: Twitter Facebook Linkedin RSS feeds 36

37 Seguir recomendações para autores Não esconder ligações Usar formatos adequados Colaborar Sugerir sítios web portugueses para arquivo Fornecer conteúdos históricos Divulgar! 37

38 Desafios e Projetos Pesquisa de imagens Classificação automática de conteúdos Etiquetagem comunitária de conteúdos Reconhecimento de entidades mencionadas Para saber mais: 38

39 Obrigado 39

40 1996: SAPO 40

41 1998: Abertura da EXPO 98 41

42 2001: Figo melhor jogador do mundo 42

43 2003: Portugal apoia a guerra no Iraque 43

44 2004: Grécia vence Euro

45 O que faz a FCCN? Gestão da rede de Investigação e Ensino Nacional Serviços de Rede DNS Segurança & Serviços à Comunidade Serviços Avançados

Documentos relacionados

Arquivar a Web. Daniel Gomes

Arquivar a Web. Daniel Gomes Arquivar a Web Daniel Gomes daniel.gomes@fccn.pt http://www.arquivo.pt Arquivar a Web 1.Porquê? 2.Como? 3.Colaborar! Era uma vez Há muito, muito tempo (70 s) Numa terra muito, muito longe (Califórnia)