Crawling. Marcelo K. Albertini. Faculdade de Computação, Universidade Federal de Uberlândia. Crawling 1 / 26
|
|
- Ricardo Beretta Rijo
- 7 Há anos
- Visualizações:
Transcrição
1 Organização e Recuperação de Informação: Crawling Marcelo K. Albertini Faculdade de Computação, Universidade Federal de Uberlândia Crawling 1 / 26
2 É difícil projetar um crawler? Buscadores devem capturar e acumular documentos da web Pegar conteúdo de docs é mais fácil para outros sistemas de ORI E.g., indexar arquivos no seu disco rígido: somente fazer uma recursão nos diretórios no computador Para ORI na web, pegar conteúdo de docs leva mais tempo......devido à latência Crawler (ou robô de indexação ou rastreador web) é o programa que captura documentos para um buscador indexar É difícil fazer um? Crawling 3 / 26
3 Operação do crawler OperBasic URL = Uniform Resource Locator endereço da página Inicializar fila com URLs de páginas iniciais Repetir Pegar URL da fila Capturar e processar página Extrair URLs da página Adicionar URLs para fila Premissa fundamental: a web é bem conecada Crawling 4 / 26
4 Exercício: qual é o problema deste crawler? filaurls := (urls de inicializaç~ao bem escolhidas) enquanto filaurls n~ao está vazia: url := filaurls.pegarultimoeremover() pagina := url.capturar() urlscapturados.adicionar(url) novosurls := pagina.extrairurls() para cada url em novosurls: se url n~ao está em urlscapturados e nem em filaurls: filaurls.adicionar(url) fim para adicionarparaindiceinvertido(pagina) fim enquanto Crawling 5 / 26
5 Quais são os problemas desse crawler simples Para grande quantidade de docs é necessário distribuir. Não podemos indexar tudo: necessitamos amostrar. Duplicatas: precisamos usar detecção de duplicatas Spam e armadilhas de aranhas: usar detecção de spam Cortesia: necessário esparsar requisições para evitar sobrecarregar um site Recência: necessário capturar periodicamente Devido ao tamanho da web, podemos fazer re-capturas apenas para um pequeno subconjunto de páginas Outra vez, problema de amostragem ou prioritização Crawling 6 / 26
6 Magnitude do problema de crawling Para capturar 20,000,000,000 páginas em um mês......precisamos obter quase 8000 páginas por segundo Na verdade: muito mais pois muitas da páginas serão duplicatas, indisponíveis, spam etc. Crawling 7 / 26
7 O que um crawler deve fazer? Cortesia Não sobrecarregar um site Pegar páginas apenas autorizadas: robots.txt Protocolo de exclus~ao de rob^os Sitemaps: Protocolo de inclus~ao de rob^os Robustez Resistência a armadilhas, duplicatas, páginas e sites muito grandes, páginas dinâmicas etc Crawling 8 / 26
8 Robots.txt Protocolo para robots acessar um website Exemplos: User-agent: * Disallow: /yoursite/temp/ User-agent: searchengine Disallow: / Importante: armazenar o arquivo robots.txt de cada site que estamos acessando Crawling 9 / 26
9 Exemplo de robots.txt (nih.gov) User-agent: PicoSearch/1.0 Disallow: /news/information/knight/ Disallow: /nidcd/... Disallow: /news/research_matters/secure/ Disallow: /od/ocpl/wag/ User-agent: * Disallow: /news/information/knight/ Disallow: /nidcd/... Disallow: /news/research_matters/secure/ Disallow: /od/ocpl/wag/ Disallow: /ddir/ Disallow: /sdminutes/ Crawling 10 / 26
10 O que todo crawler deve fazer Capacidade de operação distribuída Ser escalável: capacidade de aumentar taxa de captura por meio da adição de mais máquinas Capturar páginas de qualidade mais alta primeiro Operação contínua: obter versões recentes das páginas capturadas anteriormente Crawling 11 / 26
11 Fronteira URL URLs capturados e processados Fronteira URL: encontrado, mas não capturado URLs não vistos Crawling 13 / 26
12 Fronteira URL Fronteira URL é estrutura de dados que guarda e gerencia URLs que vimos, mas que não foram capturados ainda Pode incluir múltiplas páginas do mesmo servidor Deve evitar captura de todas ao mesmo tempo Deve manter processos de crawling ocupados Crawling 14 / 26
13 Passos em crawling Escolher uma URL da fronteira Capturar o documento na URL Verificar se documento já é conhecido (se sim, pular os passos seguintes) Indexar o documento Extrair URLs do documento Para cada URL extraída: Falha a certos testes (e.g., é spam)? Sim: ignorar Já na fronteira?: pular Crawling 15 / 26
14 Arquitetura básica www DNS captura processar docs obtidos modelos robots.txt conteúdo visto? filtro URL conjunto de URLs duplicata URL eliminar fronteira URL Crawling 16 / 26
15 Normalização de URLs Alguns URLs extraídos de documentos são relativos Exemplo podemos achar aboutsite.html O que é o mesmo que: Durante processamento, devemos normalizar todas as URLs relativas Crawling 17 / 26
16 Conteúdo visto Para cada página obtida: verificar se conteúdo já está no índice Usar impressões digitais do documento com função hash ou composições de palavras Pular documentos cujo conteúdo já foi indexado Crawling 18 / 26
17 Distribuindo o crawler Rodar múltiplos processos de crawling em computadores distintos Normalmente em computadores geograficamente afastados Particionar servidores a serem rastreados nesses computadores Crawling 19 / 26
18 Crawler distribuído www DNS captura docs pega obtidos URL envia para outros nós processar conteúdo filtro divisor eliminar visto? de URL de URL servidores duplicado fronteira URL de outros nós Crawling 20 / 26
19 Fronteira URL: duas considerações principais Cortesia: não sobrecarregar servidor E.g., inserir um intervalor de tempo entre requisições sucessivas para um mesmo servidor Recência: capturar algumas páginas (e.g., sites de notícias) com maior frequência que outros Problema complexo: não é possível usar fila de prioridade simples Crawling 21 / 26
20 Fronteira URL de Mercator prioritizador 1 F F filas de frente escolha fila de frente & roteador de fila de trás 1 3 B B filas traseiras : servidor único em cada Fluxo de URLs de entrada do topo para a fronteira Filas de frente gerenciam prioridades Filas traseiras garantem cortesia 3 3 escolha fila de trás heap Crawling 22 / 26
21 Fronteira URL de Mercator: filas de frente prioritizador 1 F F filas de frente seletor de fila de frente& roteador de fila de trás Prioritizador atribui para URL um número inteiro de prioridade entre 1 e F. Então coloca URL à fila correspondente Heurística para atribuir prioridade: taxa de recência, PageRank etc Seleção das filas de frente é iniciada por filas traseiras Escolher uma fila de frente a partir do qual seleciona-se próximo URL: rodízio, Crawling 23 / 26
22 Fronteira de URL de Mercator: filas traseiras seletor de fila de frente & roteador de fila de trás 3 1 B B filas traseiras Servidor único em cada 3 3 seletor de fila de trás heap Invariante 1. Cada fila traseira é mantida com páginas enquanto a captura está em progresso Invariante 2. Cada fila traseira somente contém URLs de um único servidor Mantém uma tabela de servidores para filas traseiras Na heap: Uma entrada para cada fila traseira Crawling 24 / 26
23 Fronteira URL de Mercator prioritizador 1 F F filas de frente escolha fila de frente & roteador de fila de trás 1 3 B B filas traseiras : servidor único em cada Fluxo de URLs de entrada do topo para a fronteira Filas de frente gerenciam prioridades Filas traseiras garantem cortesia 3 3 escolha fila de trás heap Crawling 25 / 26
24 Armadilha para aranha Servidor malicioso que gera uma sequência infinita de páginas linkadas Armadilhas sofisticadas geram páginas que não são facilmente identificadas como dinâmicas Crawling 26 / 26
Crawling. Marcelo K. Albertini. Faculdade de Computação, Universidade Federal de Uberlândia. Crawling 1 / 26
Organização e Recuperação de Informação: Crawling Marcelo K. Albertini Faculdade de Computação, Universidade Federal de Uberlândia Crawling 1 / 26 Contedo 1 Um crawler simples 2 Crawling 2 / 26 É difícil
Leia maisConteúdo 1 Um crawler simples 2 Crawling 2 / 28
Organização e Recuperação de Informação: Crawling Marcelo K. Albertini Faculdade de Computação, Universidade Federal de Uberlândia Crawling 1 / 28 Conteúdo 1 Um crawler simples 2 Crawling 2 / 28 É difícil
Leia maisRedes P2P. Apresentadora: Luciana Pereira Oliveira. Duração: 40 minutos Data: 20/07/
Redes P2P Apresentadora: Luciana Pereira Oliveira lpo@cin.ufpe.br www.cin.ufpe.br/~lpo Duração: 40 minutos Data: 20/07/2004 Roteiro Introdução Características Arquiteturas Estudo de caso (CHORD) Aplicações
Leia maisIntrodução à Informática
Introdução à Informática Aula 3 http://www.ic.uff.br/~bianca/introinfo/ Aula 3-12/09/2007 1 Objetivo da disciplina O objetivo dessa disciplina é dar ao aluno noções básicas de computação. Serão apresentados
Leia maisArquivo.pt. Blogs que ficam para a História Daniel Gomes
Arquivo.pt Blogs que ficam para a História Daniel Gomes Gazeta de Lisboa foi 1º jornal impresso português, iniciado em 1715 Gazeta de Lisboa foi suspenso em 1762. 300 anos depois as suas publicações continuam
Leia maisANÁLISE E PROJETO DE BANCO DE DADOS
ANÁLISE E PROJETO DE BANCO DE DADOS ESTRUTURAS E INDEXAÇÃO FELIPE G. TORRES ARQUIVOS Um arquivo é uma sequência de registros. Em muitos casos do mesmo tipo. Se cada registro no arquivo tem exatamente o
Leia maisProtocolo HTTP. Professor Leonardo Larback
Protocolo HTTP Professor Leonardo Larback Protocolo HTTP No final da década de 1980, Tim Berners-Lee criou o protocolo HTTP (HyperText Transfer Protocol) e o padrão de arquivo HTML (HyperText Markup Language)
Leia maisComo publicar conteúdos na Web preserváveis para o futuro
Como publicar conteúdos na Web preserváveis para o futuro Hugo Viana hugo.viana@fccn.pt Página 1 Sumário Página 2 O que são Motores de Busca Como públicar conteúdos Web preserváveis Protocolo de exclusão
Leia maisDesenvolvimento de Aplicações Distribuídas
Nomeação Pontifícia Universidade Católica de Minas Gerais Instituto de Ciências Exatas e Informática DAD (2019/01) Tópicos Apresentação da disciplina Introdução Desafios e características Arquitetura Comunicação
Leia maisReplicação em sistemas web
Sistemas Distribuídos abril de 2018 Servidores Web tolerância a falhas desempenho/escalabilidade desempenho: uso de servidores mais potentes (scale-up x scale-out) caching uso de servidores replicados
Leia maisRedes de Computadores e Aplicações Camada de aplicação IGOR ALVES
Redes de Computadores e Aplicações Camada de aplicação IGOR ALVES Camada de aplicação Um protocolo da camada de aplicação define como processos de uma aplicação, que funcionam em sistemas finais diferentes,
Leia maisInformática I. Aula 2. Ementa
Informática I Aula 2 http://www.ic.uff.br/~bianca/informatica1/ Aula 2-29/08/2007 1 Ementa Noções Básicas de Computação (Hardware, Software e Internet) HTML e Páginas Web Internet e a Web Javascript e
Leia maisFirewall - Inspeção com estado. (Stateful Inspection)
Proxy e FIREWALL Firewall - Inspeção com estado. (Stateful Inspection) As primeiras gerações de firewall eram ditos "stateless". Cada pacote é analisado individualmente, sem levar em conta pacotes anteriores
Leia maisPara onde vamos. Recuperação de Informação na WEB. Medidas de Avaliação. Recuperação de informação na WEB
Onde Estamos 1 Para onde vamos Medidas de Avaliação Recuperação de Informação na WEB 2 Sites de Busca (search engines/buscadores) Permitem ao usuário submeter sua expressão de busca e recuperar uma lista
Leia maisIntrodução à Computação
Introdução à Computação Jordana Sarmenghi Salamon jssalamon@inf.ufes.br jordanasalamon@gmail.com http://inf.ufes.br/~jssalamon Departamento de Informática Universidade Federal do Espírito Santo Agenda
Leia maisFilas de prioridade. Marcelo K. Albertini. 3 de Dezembro de 2013
Filas de prioridade Marcelo K. Albertini de Dezembro de / Filas de prioridade O que é uma fila de prioridade? Estrutura de dados que generaliza a ideia de ordenação. Coleções de elementos: inserir e remover
Leia maisFilas de prioridade. Marcelo K. Albertini. 27 de Novembro de 2014
Filas de prioridade Marcelo K. Albertini de Novembro de / Filas de prioridade O que é uma fila de prioridade? Estrutura de dados que generaliza a ideia de ordenação. Coleções de elementos: inserir e remover
Leia maisIntrodução. Conceitos Básicos. Conceitos Básicos. Conceitos Básicos
Introdução Laboratório de Computação para Ciências Módulo II Prof. Guilherme Tavares de Assis Universidade Federal de Ouro Preto UFOP Instituto de Ciências Exatas e Biológicas ICEB Mestrado Profissional
Leia maisConstrução de Sites. Introdução ao Universo Web. Prof. Nícolas Trigo
Construção de Sites Introdução ao Universo Web Prof. Nícolas Trigo trigo.nicolas@gmail.com CONCEITOS BÁSICOS Internet à conglomerado de redes de computadores que permite o acesso a informações e a transferência
Leia maisGerência de Redes de Computadores RMON. Prof. Alex Furtunato
Gerência de Redes de Computadores RMON Prof. Alex Furtunato alex.furtunato@ifrn.edu.br Limitações da MIB-II O gerenciamento é realizado em cada dispositivos individualmente Os dispositivos gerenciados
Leia maisINFORMÁTICA. Indique a opção que contenha todas as afirmações verdadeiras. a) I e II b) II e III c) III e IV d) I e III e) II e IV
INFORMÁTICA 01. Analise as seguintes afirmações relativas a conceitos de Internet. I - O SPAM é caracterizado pela utilização indevida do servidor POP de uma empresa ou outra entidade para enviar uma grande
Leia maisReplicação em sistemas web
Sistemas Distribuídos maio de 2015 Servidores Web tolerância a falhas desempenho/escalabilidade desempenho: uso de servidores mais potentes (scale-up x scale-out) caching Servidores Web tolerância a falhas
Leia maisRecuperação de informação na WEB
Recuperação de Informação na Sites de Busca (search engines/buscadores) Permitem ao usuário submeter sua expressão de busca e recuperar uma lista (geralmente ordenada) de endereços de páginas (URLs) que
Leia maisAplicações Gerais de Informá5ca
Aplicações Gerais de Informá5ca Prof. Marcos V. O. de Assis mvoassis@gmail.com marcos.assis@ufpr.br hap://mvoassis.wordpress.com O que vimos até agora? Introdução à Informá5ca Estrutura geral do Computador
Leia maisRedes de Computadores
Instituto Superior Politécnico de Ciências e Tecnologia Redes de Computadores Prof Pedro Vunge I Semestre de 2017 SUMÁRIO I - Introdução às Redes de Computadores 1.4 Principais componentes de uma rede
Leia maisIntrodução. Conceitos Básicos. Conceitos Básicos. Conceitos Básicos
Conceitos Básicos Introdução Tópicos Especiais Modelagem de Dados Prof. Guilherme Tavares de Assis Universidade Federal de Ouro Preto UFOP Instituto de Ciências Exatas e Biológicas ICEB Mestrado Profissional
Leia maisBruno Antunes da Silva UFSCar - Sorocaba
Bruno Antunes da Silva UFSCar - Sorocaba Introdução HDFS Arquitetura Leitura e escrita Distribuição de nós Controle de réplicas Balancer MapReduce Conclusão Aplicações web com grandes quantidades de dados
Leia maisConcurso PM-PE Prova de Informática 2014
Concurso PM-PE Prova de Informática 2014 Prova de Informática para oficiais comentada pelo professor Jeferson Bogo, do curso Gran Cursos Online. Obs.: a questão de número 30 foi anulada. 25. (PM-PE 2014,
Leia maisManual de Instalação NF-e Captura Express
Manual de Instalação NF-e Captura Express Versão 1.1 Abril 2012 1 Controle de Alterações Nome Data Versão Observação Marcello Paz 20/04/2012 1.0 Criação do documento Thaís Oliveira 03/01/2014 1.1 Atualização
Leia maisJoomla na otimização de sites para buscadores de Internet SEO. Marcio Junior Vieira marcio@ambientelivre.com.br
Joomla na otimização de sites para buscadores de Internet SEO Marcio Junior Vieira marcio@ambientelivre.com.br Agenda O CMS Joomla. Vantagens do Joolma O que é SEO? Joomla e SEO Tipos de Buscas Práticas
Leia maisManual de instalação, configuração e utilização do Enviador XML
Manual de instalação, configuração e utilização do Enviador XML 1 Manual de instalação, configuração e utilização do Enviador XML 1. Conceitos e termos importantes XML Empresarial: é um sistema web (roda
Leia maisComo publicar informação preservável para o futuro
Como publicar informação preservável para o futuro Funcionamento do Arquivo.pt Funcionamento do Arquivo.pt 1 2 Recolha Reprodução Recolha é feita de forma automática por um Robot Reprodução de páginas
Leia maisLaboratório - Uso do Wireshark para examinar uma captura UDP DNS
Laboratório - Uso do Wireshark para examinar uma captura UDP DNS Topologia Objetivos Parte 1: Registrar as informações de configuração IP de um PC Parte 2: Usar o Wireshark para capturar consultas e respostas
Leia maisQuando Distribuir é bom
Quando Distribuir? Se não precisar, não distribua. Problema de natureza descentralizada Rede de manufatura com atividades concorrentes de engenharia em locações remotas; Teleconferência; Automação industrial.
Leia maisSistemas Distribuídos. Plano de Curso. Plano de Curso 04/03/12 ! EMENTA:
Sistemas Distribuídos Prof. Msc. André Luiz Nasserala Pires nassserala@gmail.com! EMENTA: Plano de Curso! Conceitos. Comunicação entre processos (IPC). Programação de aplicações cliente- servidor. Sincronização
Leia maisA CASA DO SIMULADO DESAFIO QUESTÕES MINISSIMULADO 128/360
1 DEMAIS SIMULADOS NO LINK ABAIXO CLIQUE AQUI REDE SOCIAL SIMULADO 128/360 INFORMÁTICA INSTRUÇÕES TEMPO: 30 MINUTOS MODALIDADE: CERTO OU ERRADO 30 QUESTÕES CURTA NOSSA PÁGINA MATERIAL LIVRE Este material
Leia maisRede de computadores Servidor. Professor Carlos Muniz
Rede de computadores Professor Carlos Muniz Definição Em informática, um servidor é um sistema de computação que fornece serviços a uma rede de computadores. Esses serviços podem ser de natureza diversa,
Leia maisSistemas de Arquivos. Diretórios Gerenciamento de Espaço em Disco
Sistemas de Arquivos Diretórios Gerenciamento de Espaço em Disco Implementação de Diretórios (1) Contém informações que permitem acessar os arquivos As entradas do diretório fornecem informações para encontrar
Leia maisUniversidade de São Paulo. Escola Superior de Agricultura Luiz de Queiroz. Seção Técnica de Informática. Manual do Usuário. Curriculum Vitae ESALQ
Universidade de São Paulo Escola Superior de Agricultura Luiz de Queiroz Seção Técnica de Informática Curriculum Vitae ESALQ Luciano Roberto Tapia Marcelo Corrêa Alves Sérgio Roberto Sigrist Piracicaba
Leia maisArquivo da Web Portuguesa
Arquivo da Web Portuguesa Uma infraestrutura de suporte à investigação científica Hugo Viana hugo.viana@fccn.pt DataStorm Workshop 2015 O esforço de preservar o que nasceu Efémero 50 dias - 50% dos documentos
Leia maisCriptografia Simétrica e Assimétrica, Hash, e Assinatura Digital
Criptografia Simétrica e Assimétrica, Hash, e Assinatura Digital Segurança da Informação Charles Tim Batista Garrocho Instituto Federal de São Paulo IFSP Campus Campos do Jordão garrocho.ifspcjo.edu.br/sega6
Leia maisIntrodução a Sistemas Distribuídos
Sistemas Distribuídos Mauro Lopes Carvalho Silva Professor EBTT DAI Departamento de Informática Campus Monte Castelo Instituto Federal de Educação Ciência e Tecnologia do Maranhão Objetivos Nesta aula
Leia maisNotas da Aula 7 - Fundamentos de Sistemas Operacionais
Notas da Aula 7 - Fundamentos de Sistemas Operacionais 1. Organização de um Processo em Memória Quando um processo é criado, o SO aloca uma porção da memória física da máquina para a criação do espaço
Leia maisInternet Explorer 8.0 Navegador (Browser)
Internet Explorer 8.0 Navegador (Browser) O Internet Explorer 8 foi projetado para facilitar a navegação e a interação com sites na Internet ou na intranet. Sempre que você usa a Internet, ou um software
Leia maisSistemas de arquivos distribuídos. ECO036 - Sistemas Paralelos e Distribuídos
Sistemas de arquivos distribuídos ECO036 - Sistemas Paralelos e Distribuídos Sistemas de arquivos distribuídos - Daniel Nogueira 20938 - Felipe Castro Simões 21525 Sumário 1. Introdução 2. Sistemas de
Leia maisBem-vindo ao curso delta Efetuar picking e embalar para o SAP Business One, versão 9.1. Você deve ter bons conhecimentos do processo de picking e
Bem-vindo ao curso delta Efetuar picking e embalar para o SAP Business One, versão 9.1. Você deve ter bons conhecimentos do processo de picking e embalagem para compreender integralmente o conteúdo deste
Leia maisEstruturas de Comunicação de Dados Aula 3 Camadas de Aplicação e Transporte
Estruturas de Comunicação de Dados Aula 3 Camadas de Aplicação e Transporte Escola Maria Eduarda Ramos de Barros Curso técnico em redes de computadores Carpina - PE Roteiro Aplicações de Rede Transporte
Leia maisArquiteturas. capítulo
Arquiteturas capítulo 2 Modelos de arquitetura de sistemas distribuídos Clientes realizam pedidos a servidores Client invocation invocation Server result Server result Client Key: Process: Computer: Modelos
Leia maisindexação e hashing Construção de Índices e Funções Hash Diego Gomes Tomé - MSc. Informática Orientador: Prof. Dr. Eduardo Almeida October 13, 2016
indexação e hashing Construção de Índices e Funções Hash Diego Gomes Tomé - MSc. Informática Orientador: Prof. Dr. Eduardo Almeida October 13, 2016 Universidade Federal do Paraná indexação e hashing Índices
Leia maisINTRODUÇÃO À INTERNET E À WORLD WIDE WEB
INTRODUÇÃO À INTERNET E À WORLD WIDE WEB CURSO TÉCNICO DE INFORMÁTICA MODALIDADE SUBSEQÜENTE DESENVOLVIMENTO WEB I PROF. ALEXANDRO DOS SANTOS SILVA 1 1 SUMÁRIO Conceitos básicos Histórico Principais modelos
Leia maisSistemas Distribuídos Aspectos de Projeto de SD. Aspectos de Projeto em SD. Transparência 14/03/12. ! Transparência; ! Abertura; !
Sistemas Distribuídos Aspectos de Projeto de SD Prof. Msc. André Luiz Nasserala Pires nassserala@gmail.com Aspectos de Projeto em SD! Transparência;! Abertura;! ;! Heterogeneidade;! Segurança;! Tratamento
Leia maisProjeto de um buscador
Organização e Recuperação de Informação: Projeto de um buscador Marcelo K. Albertini Faculdade de Computação, Universidade Federal de Uberlândia Projeto de um buscador 1 / 43 Projeto de um buscador The
Leia maisTeoria dos Grafos Aula 8
Teoria dos Grafos Aula 8 Aula passada Grafos com pesos, caminhos e distâncias Ideia e algoritmo de Dijkstra Dijkstra o próprio Aula de hoje Corretude de Dijkstra Fila de prioridades e Heap Dijkstra eficiente
Leia maisAcesso do bloco HTTPS para uma site específico no Roteadores RV016, RV042, RV042G e RV082 VPN
Acesso do bloco HTTPS para uma site específico no Roteadores RV016, RV042, RV042G e RV082 VPN Objetivo O protocolo hyper text transfer seguro (HTTPS) é uma combinação do protocolo hyper text transfer (HTTP)
Leia maisCCT0298 ANALISE DE REDES Aula : Trafego HTTP
CCT0298 ANALISE DE REDES Aula : Trafego HTTP O que é o protocolo HTTP? Hyper Text Transfer Protocol é o protocolo usado na World Wide Web para a distribuição e recuperação de informação. A troca de informações
Leia maisINTRODUÇÃO A PROGRAMAÇÃO PARA WEB
INTRODUÇÃO A PROGRAMAÇÃO PARA WEB PROF. ME. HÉLIO ESPERIDIÃO Navegador O navegador também conhecido como web browser é um programa que habilita seus usuários a interagirem com documentos hospedados em
Leia maisINTRODUÇÃO À TECNOLOGIA DA INFORMAÇÃO ACESSO, ATRIBUTOS E OPERAÇÕES COM ARQUIVOS PROFESSOR CARLOS MUNIZ
INTRODUÇÃO À TECNOLOGIA DA OPERAÇÕES COM ARQUIVOS PROFESSOR CARLOS MUNIZ INTRODUÇÃO O Sistema de Arquivos é o modo como as informações são armazenadas nos dispositivos físicos de armazenamento, exemplo
Leia maisCross-Site Scripting. Paulo Ricardo Lisboa de Almeida. 1 Universidade Positivo
Cross-Site Scripting Paulo Ricardo Lisboa de Almeida 1 Cross-Site Scripting - XSS Foco no ataque aos usuários finais O servidor não é diretamente afetado Dificuldade na detecção dos ataques Podem comprometer
Leia maisMatemática Discreta 12
Universidade Federal do Vale do São Francisco Curso de Engenharia da Computação Matemática Discreta 12 Prof. Jorge Cavalcanti jorge.cavalcanti@univasf.edu.br - www.univasf.edu.br/~jorge.cavalcanti 1 Introdução
Leia maisACH2025. Laboratório de Bases de Dados Aula 8. Indexação e Hashing Parte 1. Professora: Fátima L. S. Nunes SISTEMAS DE INFORMAÇÃO
ACH2025 Laboratório de Bases de Dados Aula 8 Indexação e Hashing Parte 1 Professora: Fátima L. S. Nunes Conceitos básicos Boa parte das consultas a BD referem-se a apenas uma parte pequena dos registros.
Leia maisAULA 03: PROCESSAMENTO PARALELO: MULTIPROCESSADORES
ORGANIZAÇÃO E ARQUITETURA DE COMPUTADORES II AULA 03: PROCESSAMENTO PARALELO: MULTIPROCESSADORES Prof. Max Santana Rolemberg Farias max.santana@univasf.edu.br Colegiado de Engenharia de Computação MULTIPROCESSADORES
Leia maisEstruturas básicas de redes Internet Padronização e Protocolos
Estruturas básicas de redes Internet Padronização e Protocolos Universidade Católica de Pelotas Cursos de Engenharia da Computação Disciplina: Rede Computadores I 2 Agenda Estruturas básicas de redes A
Leia maisQuestionário de revisão para AV1 de Informática Aplicada Valor 1,0 ponto - Deverá ser entregue no dia da prova.
Questionário de revisão para AV1 de Informática Aplicada Valor 1,0 ponto - Deverá ser entregue no dia da prova. 1) Observe os seguintes procedimentos para copiar um arquivo de uma pasta para outra pasta
Leia maisREDES DE COMPUTADORES
REDES DE COMPUTADORES Prof. Esp. Fabiano Taguchi fabianotaguchi@gmail.com http://fabianotaguchi.wordpress.com SUÍTE TCP 1 Camada de aplicação Protocolo Hypertext Transfer Protocol 2 HTTP Uma página WWW
Leia maisUNIVERSIDADE ESTADUAL DE PONTA GROSSA SETOR DE CIÊNCIAS AGRÁRIAS E DE TECNOLOGIA DEPARTAMENTO DE INFORMÁTICA
UNIVERSIDADE ESTADUAL DE PONTA GROSSA SETOR DE CIÊNCIAS AGRÁRIAS E DE TECNOLOGIA DEPARTAMENTO DE INFORMÁTICA LEONARDO WILLIAM SILVEIRA FLORINDO RODRIGO VIEIRA ORTIZ DFS Distributed File System PONTA GROSSA
Leia maisAula 2. Prof: Carlos Eduardo de Carvalho Dantas
Programação de Sistemas Distribuídos e Concorrência Aula 2 Prof: Carlos Eduardo de Carvalho Dantas (carloseduardoxpto@gmail.com) http://carloseduardoxp.wordpress.com O medo é o pai da moralidade Friedrich
Leia maisSistemas Distribuídos
Sistemas Distribuídos Motivação Aplicações Motivam Possibilita Engenharia Motivação! Aplicações cada vez mais complexas! Qual a técnica mais comum para redução de complexidade? " Modularização Dividir
Leia maisINTERNET P R O F. M A R C O A N T Ô N I O PROF. MARCO ANTÔNIO
INTERNET P R O F. M A R C O A N T Ô N I O PROF. MARCO ANTÔNIO Conceito É uma rede de computadores interligadas, que possibilita o acesso a informações sobre e em qualquer lugar do mundo. Rede das Redes
Leia maisRedes de Computadores e Internet
Redes de Computadores e Internet CEA145 Teoria e Fundamentos de Sistemas de Informação Universidade Prof. MSc. Federal George de H. G. Ouro Fonseca Preto DECEA / João Monlevade Universidade
Leia maisPesquisa em Memória Secundária. Prof. Jonas Potros
Pesquisa em Memória Secundária Prof. Jonas Potros Pesquisa em Memória Secundária Pesquisa em memória secundária: arquivos que contém mais registros do que a memória interna pode armazenar. Algoritmos e
Leia maisCapítulo 11 Sistemas de Arquivos
Sistemas Operacionais Prof. Esp. André Luís Belini Bacharel em Sistemas de Informações MBA em Gestão Estratégica de Negócios Capítulo Sistemas de s Introdução O armazenamento e a recuperação de informações
Leia maisINTERNET. Definição. Rede internacional de computadores que permite comunicação e transferência de dados entre outros serviços.
INTERNET Prof. Luiz A. Nascimento Definição 2 Rede internacional de computadores que permite comunicação e transferência de dados entre outros serviços. Utiliza o protocolo TCP/IP É a rede das redes. Normalmente
Leia maisPor exemplo, no endereço temos:
O protocolo de envio de e-mail (SMTP: Simple Mail Transfer Protocol) fornece códigos que relatam todo o trâmite da mensagem. Na ocorrrência de uma situação de erro, uma mensagem de retorno é enviada ao
Leia maisComo criar utilizadores
Como criar utilizadores Existem três tipos de contas de Utilizadores, que contém toda a informação referente a um utilizador do domínio, nomeadamente: nome; password; grupos a que pertence no domínio,
Leia maisCaracterísticas de Sistemas Distribuídos
Características de Sistemas Distribuídos Carlos Ferraz cagf@cin.ufpe.br 2002-2003 Carlos A. G. Ferraz 2 Tópicos O conceito de Sistemas Distribuídos Infra-estrutura básica Exemplos Vantagens e desvantagens
Leia maisProtocolo HTTP. Eduardo Ferreira dos Santos. Fevereiro, Ciência da Computação Centro Universitário de Brasília UniCEUB 1 / 22
Protocolo HTTP Eduardo Ferreira dos Santos Ciência da Computação Centro Universitário de Brasília UniCEUB Fevereiro, 2017 1 / 22 Sumário 1 Denições 2 Implementação HTTP 3 Protocolo HTTP/1.1 2 / 22 Denições
Leia maisCaracterísticas de Sistemas Distribuídos
Tópicos O conceito de Características de Carlos Ferraz cagf@cin.ufpe.br Infra-estrutura básica Exemplos Vantagens e desvantagens Convergência digital Características 2002-2003 Carlos A. G. Ferraz 2 O Conceito
Leia mais4 o Fórum Brasileiro de CSIRTs 17 e 18 de setembro de 2015 São Paulo, SP
4 o Fórum Brasileiro de CSIRTs 17 e 18 de setembro de 2015 São Paulo, SP Uso de Flows no Tratamento de Incidentes - Estudo de Caso do CSIRT Unicamp Daniela Barbetti daniela@unicamp.br Agenda: CSIRT Unicamp
Leia maisEscola Politécnica da Universidade de São Paulo
Escola Politécnica da Universidade de São Paulo Departamento de Engenharia de Telecomunicações e Controle PTC3450 - Redes de Comunicação - 1o semestre 2017 Lista de Exercícios Suplementares 1 1) (2014-P1)
Leia maisHashing Externo. SCC-503 Algoritmos e Estruturas de Dados II. Thiago A. S. Pardo M.C.F. de Oliveira Cristina Ciferri
Hashing Externo SCC-503 Algoritmos e Estruturas de Dados II Thiago A. S. Pardo M.C.F. de Oliveira Cristina Ciferri 1 Hashing 0 1 chave de busca K = LOWELL 2 h(k) endereço 4 (RRN 4) 3 4 5... LOWELL......
Leia maisSGCD 2.0 Sistema Gerenciador de Conteúdo Dinâmico
Sistema Gerenciador de Conteúdo Dinâmico No final de 2007, o Serviço Técnico de Informática da UNESP Marília, disponibilizou para a comunidade acadêmica e administrativa o Sistema Dinâmico de websites
Leia maisTempos e Estados Globais. ECO036 - Sistemas Paralelos e Distribuídos
Tempos e Estados Globais ECO036 - Sistemas Paralelos e Distribuídos Tópicos Abordados - Tempo - Relógios e Ordenação de eventos. - Relação Happened- Before - Relógios Lógicos - Vetor de Relógios - Relógios
Leia maisEscalonamento de processos
de processos Carlos Gustavo A. da Rocha Nos computadores atuais frequentemente temos vários processos (threads) competindo por um pequeno número de CPUs Nestes casos uma escolha deve ser feita de qual
Leia maisRede EtherTalk Macintosh (MacOS 8.x/9.x/X, versão 10.1)
Impressora a laser em cores Phaser 6200 Rede EtherTalk Macintosh (MacOS 8.x/9.x/X, versão 10.1) Esta seção fornece as etapas de instalação e solução de problemas para Macintosh (MacOS 8 até X, versão 10.1):
Leia maisDesafios para os profissionais da informação. Alexandra Lourenço
Desafios para os profissionais da informação Alexandra Lourenço web archive porquê? Processo de recolha e armazenamento de dados disponibilizados na World Wide Web, garantindo a sua preservação e disponibilização
Leia maisProgramação com Sockets
ISUTIC 2017 Programação com Sockets Docente: MSc. Angel Alberto Vazquez Sánchez Bibliografía Deitel, H. M. & Deitel, H. Java: How to Program (Late Objects). (Pearson Education Limited, 2014), Chapter 27
Leia maisWWW = WORLD WIDE WEB
Internet WWW = WORLD WIDE WEB DOWNLOAD/UPLOAD Navegadores Motores de Busca Dica de Pesquisa 1) Frases explícitas: professortonzera, informática para concursos 2) Professortonzera facebook 3) Pesquisas
Leia maisSistemas Distribuídos. Professora: Ana Paula Couto DCC 064
Sistemas Distribuídos Professora: Ana Paula Couto DCC 064 Arquiteturas Capítulo 2 Sistemas Distribuídos ORGANIZAÇÃO + INTERAÇÃO SOFTWARE ARQUITETURAS DE SISTEMAS ARQUITETURAS DE SOFTWARE + MÁQUINA REAL
Leia maisCONCEITOS BÁSICOS DE INTERNET. Disciplina: INFORMÁTICA 1º Semestre Prof. AFONSO MADEIRA
CONCEITOS BÁSICOS DE INTERNET Disciplina: INFORMÁTICA 1º Semestre Prof. AFONSO MADEIRA conceito inicial Amplo sistema de comunicação Conecta muitas redes de computadores Apresenta-se de várias formas Provê
Leia maisVamos fazer um pequeno experimento
1 Vamos fazer um pequeno experimento Dividam-se em dois grupos: Mestre Escravo Projeto de Sistemas Distribuídos Comunicação entre Processos Prof. Msc. Marcelo Iury de Sousa Oliveira marceloiury@gmail.com
Leia maisAntispam corporativo e Gateway
Antispam corporativo e Email Gateway Sua empresa livre de ataques dirigidos, ransomware, vírus, phishing e e-mails indesejados. O e-mail é a principal ferramenta de comunicação entre empresas no mundo
Leia maisEstruturas de Dados Algoritmos de Ordenação
Estruturas de Dados Prof. Eduardo Alchieri (introdução) Considere uma sequência arbitrária S = {s1, s2, s3,...sn} composta por n 0 elementos retirados do conjunto universo U O objetivo da ordenação é arrumar
Leia maisINTRODUÇÃO A SISTEMAS OPERACIONAIS
INTRODUÇÃO A SISTEMAS OPERACIONAIS Prof. Me. Hélio Esperidião DEFINIÇÃO DE SISTEMA OPERACIONAL. O sistema operacional é uma camada de software colocada sobre o hardware para gerenciar todos os componentes
Leia maisSI06 DIMENSÃO TECNOLÓGICA I
1 2 1. Apresentar os principais tipos de software. 2. Compreender os componentes básicos de uma rede de telecomunicações. 3. Compreender como o uso da internet participa no processo de acesso à informação.
Leia maisSumário 1. Perfil Fórum Tarefa Wiki Glossário Mensagem Privada Notas...
Sumário 1. Perfil... 3 1.1. Modificar Perfil... 3 1.2. Mudar a Senha... 7 2. Fórum... 9 2.1. Adicionar um Novo Tópico ao Fórum... 9 2.2. Responder ao Fórum...12 2.3. Inserção de Link no Fórum...14 2.4.
Leia maisMOODLE MANUAL DE UTILIZAÇÃO - ALUNO. Elaborado por: Tecnologia da Informação 2019/1 Versão 1.0
MOODLE MANUAL DE UTILIZAÇÃO - ALUNO Elaborado por: Tecnologia da Informação 2019/1 Versão 1.0 Sumário 1. Acessando a FAINAM VIRTUAL... 1 2. Acessando os cursos... 4 4. Enviando mensagens... 6 5. Recebendo
Leia maisProcessos e Threads e em sistemas distribuídos. Prof. Me. Hélio Esperidião
Processos e Threads e em sistemas distribuídos. Prof. Me. Hélio Esperidião Processos Sistemas operacionais modernos criam vários processadores virtuais, cada um para executar um programa. Para monitorar
Leia maisPolítica de Segurança de Informações
Política de Segurança de Informações Junho/2016 Edge Brasil Gestão de Ativos Ltda. 1. Apresentação A Política de Segurança da Informação da Edge Brasil Gestão de Ativos Ltda. ( Edge Investimentos ), aplica-se
Leia mais