Como publicar conteúdos na Web preserváveis para o futuro

Tamanho: px

Começar a partir da página:

Download "Como publicar conteúdos na Web preserváveis para o futuro"

Sílvia Gomes Varejão
6 Há anos
Visualizações:

1 Como publicar conteúdos na Web preserváveis para o futuro Hugo Viana hugo.viana@fccn.pt Página 1

2 Sumário Página 2 O que são Motores de Busca Como públicar conteúdos Web preserváveis Protocolo de exclusão de Robôs Como criar um ficheiro Robots.txt

3 O que são os motores de busca É um software que varre toda a Internet em busca de informação desejada (documentos ou endereços de páginas web). Página 3

4 Componentes de um motor de busca Web conventional Página 4 Batedor Armazenamento Indexador Ordenador Apresentador

5 Batedores A partir de um conjunto inicial de URLs (raizes), os batedores do motor de busca iniciam uma recolha da Web, percorrendo todos as ligações criadas dentros dos Web sites. Página 5

6 Informação é recolhida automaticamente Página 6

7 Armazenamento Após a recolha ter terminado, toda a informação recolhida da web fica armazenada no repositório para ser indexada. Página 7

8 Indexador e ordenador O indexador extrai as palavras contidas nas páginas armazenadas e constrói índices que irão permitir efectuar pesquisas rápidas. Página 8

9 Apresentador O apresentador recebe os termos pesquisados pelos utilizadores, acede à informação dos índices e apresenta os resultados da pesquisa na forma de links para as páginas. Página 9

10 Apresentador do Google Página 10

11 Esquema de motor de busca conventional Página 11

12 Componentes de um arquivo Web com motor de busca Página 12 Batedor Armazenamento Indexador Ordenador Apresentador Reprodução de conteúdo

13 Armazenamento Após a recolha ter terminado, toda a informação recolhida da web fica armazenada no repositório para ser indexada e reproduzida. Página 13

14 Reprodução de conteúdo Arquivo.pt (2011) Página 14

15 Esquema de um motor de busca para arquivos da Web Página 15

16 Apresentador do Arquivo.pt (pesquisa por URL) Página 16

17 Apresentador do Arquivo.pt (pesquisa por termos) Página 17

18 Como públicar conteúdos Web preserváveis? 18

19 Uma ligação por conteúdo Página 19

20 Mapa de navegação para utilizadores Página 20

21 Mapa do sitio Página 21

22 Data de publicação correctamente identificada 0 2 / 1 1 / 2 1 m e a Recolhid Página 22 14

23 Manter o mesmo endereço ao longo do tempo PSD2011.com (2011) Página 23

24 PSD2011.com (2014) Página 24

25 Outras recomendações: Robots.txt 25

26 Robots.txt?! Para que serve?! Página 26

27 Protocolo de exclusão de Robôs: Robots.txt Trata-se de um arquivo que, apesar da imponência do nome, não é robô e, na maioria das vezes, é de uma simplicidade impressionante. Página 27

28 Página 28

29 arquivada pelo Arquivo.pt Página 29

30 Página 30

31 arquivada pelo Internet Archive Página 31

32 Respeito pelos direitos de autor Página 32

33 Para que serve Robots.txt Página 33 Páginas protegidas por login; Páginas protegidas por formulários; Conteúdo repetidos; Informação privada.

34 Protocolo de exclusão de Robôs É importante que os autores autorizem a recolha de conteúdos importantes (para evitar problemas como o do robots.txt deverá estar na raiz do sítio web (ex. Página 34

35 Dicas para criar o seu Robots.txt 35

36 Permitir o arquivo pelo Arquivo. pt User-agent: Arquivo-web-crawler Disallow: Página 36

37 Controlar acess0s consecutivos User-agent: * Disallow: Crawl-delay: 100 # exige 100 segundos entre acessos Página 37

38 Proibir acesso a diretoria usando o robots.txt User-agent: Arquivo-web-crawler Disallow: /calendar/ Página 38

39 Proibir a recolha e indexação usando a meta tag ROBOTS <meta name="robots" content="noindex, NOFOLLOW" /> <html> <head> <title></title> <META NAME= ROBOTS CONTENT= NOINDEX,NOFOLLOW > </head> Página 39

40 Cuidado com os Robots.txt dos CMS s Página 40

41 Robots.txt do Wordpress por omissão User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Página 41

42 Robots.txt do Joomla por omissão User-agent: * Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Página 42

Como testar o Robots.txt https://www.google.

43 Como testar o Robots.txt Página 43

44 com/webmasters/tools/robotstesting-tool Página 44

45 Exemplos de Robots.txt User-agent: * Allow: / User-agent: * Disallow: /nutchwax/search Disallow: /search Disallow: /wayback/ Disallow: /wayback/wayback/ Página 45

46 Desafío: Verificar o Robots.txt Página 46

47 Não tenho o Robots.txt, e agora?! 47

48 O Arquivo.pt recolhe o seu conteúdo. Página 48

49 Limitações impostas pelo Arquivo.pt tamanho máximo dos conteúdos descarregados da Web número de conteúdos por sítio número de ligações que o batedor percorre desde um endereço inicial até chegar a um conteúdo Página 49

50 Caso pretenda saber mais: Página 50

51 Obrigado! Página 51

Documentos relacionados

Arquivo.pt. Blogs que ficam para a História Daniel Gomes

Arquivo.pt. Blogs que ficam para a História Daniel Gomes Arquivo.pt Blogs que ficam para a História Daniel Gomes Gazeta de Lisboa foi 1º jornal impresso português, iniciado em 1715 Gazeta de Lisboa foi suspenso em 1762. 300 anos depois as suas publicações continuam