VERIFICAÇÃO DE UNICIDADE DE URLS EM COLETORES DE PÁGINAS WEB
|
|
|
- Roberto Sabrosa
- 5 Há anos
- Visualizações:
Transcrição
1 VERIFICAÇÃO DE UNICIDADE DE URLS EM COLETORES DE PÁGINAS WEB Wallace Favoreto Orientador: Prof. Nivio Ziviani Universidade Federal de Minas Gerais LATIN - LAboratory for Treating INformation 1
2 Agenda Introdução Definição do Problema Objetivos Trabalhos Relacionados Arquitetura de um Coletor Algoritmo Proposto (VEUNI) Experimentos ClueWeb09 Baseline Requisitos de Tempo e de Espaço Taxa de Coleta Conclusões e Trabalhos Futuros Contribuições LATIN - LAboratory for Treating INformation 2
3 Definição do Problema Algoritmo ingênuo para verificação de unicidade de URLs: LATIN - LAboratory for Treating INformation 3
4 Definição do Problema Considere que: Aproximadamente 1 milhão de URLs deve ser verificada em um ciclo de coleta; O disco tenha tempo de seek igual a 10 milissegundos. O algoritmo ingênuo leva pelo menos 3h para verificar a unicidade de 1 milhão de URLs. Um algoritmo mais eficaz e eficiente é necessário. LATIN - LAboratory for Treating INformation 4
5 Definição do Problema Eficácia: Dizer com certeza se uma URL já foi coletada ou não. Eficiência: Executar em tempo não proibitivo ao funcionamento do restante do coletor. Quais os problemas de um verificador de unicidade de URLs ineficaz e ineficiente? LATIN - LAboratory for Treating INformation 5
6 Definição do Problema Desperdício de espaço de armazenamento. Redução do número de páginas distintas coletadas. Desperdício de banda de internet no fetcher. Redução da expansão da coleta. Desrespeito ao politeness. LATIN - LAboratory for Treating INformation 6
7 Objetivos Propor um novo algoritmo chamado VEUNI (VErificador de UNIcidade de URLs). Discutir a arquitetura do coletor que o algoritmo VEUNI está inserido. Comparar o VEUNI com o melhor algoritmo da literatura. LATIN - LAboratory for Treating INformation 7
8 Trabalhos Relacionados Árvore-B [Pinkerton, 1994] Cache de memória [Heydon & Najork, 1999] batch disk check [Heydon & Najork 2002] LATIN - LAboratory for Treating INformation 8
9 Máquina de Busca - Componentes Coletor Encontra, coleta e armazena páginas da Web. Indexador Mantém um índice de páginas coletadas. Processador de Consultas Realiza buscas eficientes sobre o índice. LATIN - LAboratory for Treating INformation 9
10 Coletor Componentes Fetcher Extrator de URLs Verificador de Unicidade de URLs Escalonador LATIN - LAboratory for Treating INformation 10
11 Arquitetura de um Coletor LATIN - LAboratory for Treating INformation 11
12 Fetcher LATIN - LAboratory for Treating INformation 12
13 Extrator de URLs LATIN - LAboratory for Treating INformation 13
14 Verificador de Unicidade de URLs LATIN - LAboratory for Treating INformation 14
15 Escalonador LATIN - LAboratory for Treating INformation 15
16 Algoritmo Proposto - VEUNI O algoritmo VEUNI é parte do coletor. Ciclo de coleta: LATIN - LAboratory for Treating INformation 16
17 VEUNI Entrada e Saída LATIN - LAboratory for Treating INformation 17
18 Repositório de URLs (R) LATIN - LAboratory for Treating INformation 18
19 Algoritmo Proposto - VEUNI LATIN - LAboratory for Treating INformation 19
20 VEUNI - Exemplo de Funcionamento Escalonamento R 0 R 1 R 2 R N-1 LATIN - LAboratory for Treating INformation 20
21 VEUNI - Exemplo de Funcionamento Escalonamento R 0 R 1 R 2 R N-1 LATIN - LAboratory for Treating INformation 21
22 VEUNI - Exemplo de Funcionamento Escalonamento R 0 R 1 R 2 R N-1 LATIN - LAboratory for Treating INformation 22
23 VEUNI - Exemplo de Funcionamento Escalonamento R 0 R 1 R 2 R N-1 LATIN - LAboratory for Treating INformation 23
24 VEUNI - Entrada L id Escalonamento R 0 R 1 R 2 R N-1 L id L id : URLs coletadas no ciclo id. LATIN - LAboratory for Treating INformation 24
25 VEUNI - Entrada M id Escalonamento R 0 R 1 R 2 R N-1 L id M id L id : URLs coletadas no ciclo id. M id : Metadados das páginas coletadas no ciclo id. LATIN - LAboratory for Treating INformation 25
26 VEUNI - Entrada E id URLs Extraídas hash E id AUX 1 AUX 2 AUX N-1 LATIN - LAboratory for Treating INformation 26
27 VEUNI - Entrada E id URLs Extraídas hash E id AUX 1 AUX 2 AUX N-1 LATIN - LAboratory for Treating INformation 27
28 VEUNI - E id e AUX i Escalonamento R 0 R 1 R 2 R N-1 L id AUX 1 AUX 2 AUX N-1 M id E id L id : URLs coletadas no ciclo id. M id : Metadados das páginas coletadas no ciclo id. E id : URLs extraídas do ciclo id que pertencem a R 0. LATIN - LAboratory for Treating INformation 28
29 VEUNI - AUX 0 Escalonamento R 0 R 1 R 2 R N-1 L id M id E id AUX 0 AUX 1 AUX 2 AUX N-1 L id : URLs coletadas no ciclo id. M id : Metadados das páginas coletadas no ciclo id. E id : URLs extraídas do ciclo id que pertencem a R 0. AUX 0 : URLs extraídas para o R 0 em ciclos anteriores. LATIN - LAboratory for Treating INformation 29
30 VEUNI - Entrada Escalonamento R 0 R 1 R 2 R N-1 L id M id E id AUX 0 AUX 1 AUX 2 AUX N-1 L id : URLs coletadas no ciclo id. M id : Metadados das páginas coletadas no ciclo id. E id : URLs extraídas do ciclo id que pertencem a R 0. AUX 0 : URLs extraídas para o R 0 em ciclos anteriores. LATIN - LAboratory for Treating INformation 30
31 VEUNI - Saída Escalonamento R 0 R 1 R 2 R N-1 AUX 1 AUX 2 AUX N-1 NovoR 0 L id : URLs coletadas no ciclo id. M id : Metadados das páginas coletadas no ciclo id. E id : URLs extraídas do ciclo id que pertencem a R 0. AUX 0 : URLs extraídas para o R 0 em ciclos anteriores. LATIN - LAboratory for Treating INformation 31
32 VEUNI - Saída Escalonamento NovoR 0 R 1 R 2 R N-1 AUX 1 AUX 2 AUX N-1 R 0 R 0 L id : URLs coletadas no ciclo id. M id : Metadados das páginas coletadas no ciclo id. E id : URLs extraídas do ciclo id que pertencem a R 0. AUX 0 : URLs extraídas para o R 0 em ciclos anteriores. LATIN - LAboratory for Treating INformation 32
33 VEUNI Primeiro Refinamento LATIN - LAboratory for Treating INformation 33
34 VEUNI - Intercalação LATIN - LAboratory for Treating INformation 34
35 VEUNI - Intercalação LATIN - LAboratory for Treating INformation 35
36 VEUNI Inserção de Novos servidores LATIN - LAboratory for Treating INformation 36
37 Experimentos Requisitos de tempo e espaço Tempo de atualização das estruturas de dados. Espaço requerido para armazenamento das estruturas de dados. Taxa de coleta Medir a taxa no decorrer da coleta. Número de páginas/segundo. LATIN - LAboratory for Treating INformation 37
38 ClueWeb09 Simulação de uma coleta utilizando as páginas da ClueWeb09. Evita a necessidade de utilização do fetcher, do extrator de URLs e do escalonador. Experimento mais controlado. Reprodução facilitada. 350 milhões de URLs foram extraídas da ClueWeb09. LATIN - LAboratory for Treating INformation 38
39 Coleta Simulada Conjunto de URLs da ClueWeb09: 350 milhões # de URLs em cada ciclo de coleta: 1 milhão # de URLs coletadas em cada ciclo: 100 mil # de URLs extraídas em cada ciclo: 900 mil 350 ciclos de coleta realizados. LATIN - LAboratory for Treating INformation 39
40 Baseline DRUM (Disk Repository with Update Management) LATIN - LAboratory for Treating INformation 40
41 Resultados Requisito de Tempo LATIN - LAboratory for Treating INformation 41
42 Resultados Requisito de Tempo LATIN - LAboratory for Treating INformation 42
43 Resultados Requisito de Espaço LATIN - LAboratory for Treating INformation 43
44 Resultados Requisito de Espaço LATIN - LAboratory for Treating INformation 44
45 Resultados Tempo de Coleta LATIN - LAboratory for Treating INformation 45
46 Resultados Tempo de Coleta LATIN - LAboratory for Treating INformation 46
47 Resultados Taxa de Coleta LATIN - LAboratory for Treating INformation 47
48 Resultados Taxa de Coleta LATIN - LAboratory for Treating INformation 48
49 Conclusões O algoritmo VEUNI é mais eficiente que o algoritmo baseline. O algoritmo VEUNI requer mais espaço de armazenamento que o algoritmo baseline. A taxa de coleta do coletor que utiliza o algoritmo VEUNI praticamente se mantém no decorrer da coleta. LATIN - LAboratory for Treating INformation 49
50 Trabalhos Futuros Comparar o algoritmo VEUNI com uma implementação do algoritmo DRUM que não utilize Berkeley DB. Estudar maneiras de simplificar a representação das URLs, sem perder a eficiência relatada. LATIN - LAboratory for Treating INformation 50
51 Contribuições Apresentação da arquitetura de um coletor de páginas da Web. (Capítulo 2) Algoritmo VEUNI para verificar unicidade de URLs (Capítulo 3) Discussão de propostas que levaram ao algoritmo VEUNI (Seção 3.3) Ambiente de experimentação controlado que utiliza informação da ClueWeb09 (Seção 4.2) LATIN - LAboratory for Treating INformation 51
52 Perguntas LATIN - LAboratory for Treating INformation 52
VERIFICAÇÃO DE UNICIDADE DE URLS EM COLETORES DE PÁGINAS WEB
VERIFICAÇÃO DE UNICIDADE DE URLS EM COLETORES DE PÁGINAS WEB WALLACE FAVORETO HENRIQUE VERIFICAÇÃO DE UNICIDADE DE URLS EM COLETORES DE PÁGINAS WEB Dissertação apresentada ao Programa de Pós-Graduação
Rickson Guidolini Orientador: Nivio Ziviani Co-orientador: Adriano Veloso
Detecção de Réplicas de Sítios Web em Máquinas de Busca Usando Aprendizado de Máquina Rickson Guidolini Orientador: Nivio Ziviani Co-orientador: Adriano Veloso Universidade Federal de Minas Gerais LATIN
Detecção de Réplicas de Sítios Web Usando Aprendizado Semi-supervisionado baseado em Maximização de Expectativas. Cristiano Rodrigues de Carvalho
Detecção de Réplicas de Sítios Web Usando Aprendizado Semi-supervisionado baseado em Maximização de Expectativas Cristiano Rodrigues de Carvalho Orientador: Nivio Ziviani Co-orientador: Adriano Veloso
Introdução à Avaliação de Desempenho
Introdução à Avaliação de Desempenho Tecnologia em Redes de Computadores IFSULDEMINAS Câmpus Inconfidentes Prof. Kleber Rezende kleber.rezende@ifsuldeminas.edu.br Motivação Para que se preocupar com Avaliação
Avaliação de Desempenho
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Avaliação de Desempenho Introdução Aula 1 Marcos José Santana Regina Helena Carlucci Santana
SSC643 -Avaliação de Desempenho de Sistemas Computacionais Sarita Mazzini Bruschi
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação SSC643 -Avaliação de Desempenho de Sistemas Computacionais Sarita Mazzini Bruschi Material
Uma Proposta para Migração de Páginas Linux
Uma Proposta para Migração de Páginas Linux 1 - Introdução 2 - Gerencia de Memória em Sistemas Operacionais com Suporte a NUMA 2.1 O Gerente de Memória do Linux 2.2 Estratégias para Migração de Páginas
Um Repositório Chave-Valor com Garantia de Localidade de Dados. Patrick A. Bungama Wendel M. de Oliveira Flávio R. C. Sousa Carmem S.
Um Repositório Chave-Valor com Garantia de Localidade de Dados Patrick A. Bungama Wendel M. de Oliveira Flávio R. C. Sousa Carmem S. Hara Agenda Motivação Desafios ALOCS Princípios de funcionamento Experimentos
Escalonamento de Atualizações de Páginas Web Usando Programação
Escalonamento de Atualizações de Páginas Web Usando Programação Genética Aécio Solano Rodrigues Santos Orientador: Nivio Ziviani Departamento de Ciência da Computação Universidade Federal de Minas Gerais
Introdução à Avaliação de Desempenho
Introdução à Avaliação de Desempenho Tecnologia em Redes de Computadores IFSULDEMINAS Câmpus Inconfidentes Prof. Kleber Rezende kleber.rezende@ifsuldeminas.edu.br Motivação Para que se preocupar com Avaliação
SSC546 -Avaliação de Desempenho de Sistemas
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação SSC546 -Avaliação de Desempenho de Sistemas Parte 1 -Aula 2 Sarita Mazzini Bruschi Material
ARQUITETURA DE COMPUTADORES
01001111 01110010 01100111 01100001 01101110 01101001 01111010 01100001 11100111 11100011 01101111 00100000 01100100 01100101 00100000 01000011 01101111 01101101 01110000 01110101 01110100 01100001 01100100
Energy-Efficient Real-Time Heterogeneous Server Clusters
1 Energy-Efficient Real-Time Heterogeneous Server Clusters Cosmin Rusu, Alexandre Ferreira, Claudio Scordino, Aaron Watson, Rami Melhem e Daniel Mossé Clayton Reis da Silva creis@ic.uff.br Apresentação
William Stallings Arquitetura e Organização de Computadores 8 a Edição
William Stallings Arquitetura e Organização de Computadores 8 a Edição Capítulo 8 Suporte do sistema operacional slide 1 Objetivos e funções Conveniência: Tornar o computador mais fácil de usar. Eficiência:
Escalonamento Adaptativo para o Apache Hadoop
Escalonamento Adaptativo para o Apache Hadoop 1 Andrea Schwertner Charão 1 {cassales,andrea}@inf.ufsm.br 1 Departamento de Linguagens e Sistemas de Computação Centro de Tecnologia Universidade Federal
Capítulo 11: Implementação de Sistemas de Arquivos. Operating System Concepts 8th Edition
Capítulo 11: Implementação de Sistemas de Arquivos Sobre a apresentação (About the slides) Os slides e figuras dessa apresentação foram criados por Silberschatz, Galvin e Gagne em 2009. Esse apresentação
SSC546 -Avaliação de Desempenho Parte 1 Sarita Mazzini Bruschi
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação SSC546 -Avaliação de Desempenho Parte 1 Sarita Mazzini Bruschi Material baseado nos slides
Metodologia de Pesquisa Científica Trabalho de Avaliação de Tese de Outros
Metodologia de Pesquisa Científica Trabalho de Avaliação de Tese de Outros Aluno:Leandro Toss Hoffmann Prof.: Dr. Gilberto Câmara São José dos Campos, 21 de agosto de 2009. Ficha técnica da tese avaliada
Etapa III - Implementação de Operadores da Álgebra Relacional; Etapa IV - Comparação experimental de varredura sequencial x acesso aleatório
UFU/FACOM/BCC GBC053 - Gerenciamento de Banco de Dados - 2018/2 Trabalho de Implementação Prof. Ilmério Reis da Silva O trabalho semestral da disciplina em epígrafe tem como objetivo a implementação de
Compressão de Textos. Introdução. Introdução. Introdução. O volume de informação textual disponível on-line é imenso:
Compressão de Textos Estrutura de Dados II Prof. Guilherme Tavares de Assis Universidade Federal de Ouro Preto UFOP Instituto de Ciências Exatas e Biológicas ICEB Departamento de Computação DECOM O volume
Organização e Arquitetura de Computadores I
Organização e Arquitetura de Computadores I Entrada e Saída Slide 1 Entrada e Saída Dispositivos Externos E/S Programada Organização e Arquitetura de Computadores I Sumário E/S Dirigida por Interrupção
CONCURSO PÚBLICO PARA PROVIMENTO DE CARGO EFETIVO PROFESSOR DE ENSINO BÁSICO, TÉCNICO E TECNOLÓGICO Edital 20/2015 Campus Rio Pomba FOLHA DE PROVA
Tema 01: CONCORRÊNCIA ENTRE PROCESSOS Descreva os problemas que podem existir entre os processos concorrentes e os mecanismos para solução desses problemas utilizados por Sistemas Operacionais atuais.
Sistemas Operacionais
Introdução Sistemas Operacionais Gerência do processador (Escalonamento na prática) Aula 06 Sistemas atuais tem uma série de particularidades Multiprocessadores e multicore Existência de memória cache
Gerência de Configuração: Terminologia. Leonardo Gresta Paulino Murta
Gerência de Configuração: Terminologia Leonardo Gresta Paulino Murta leomurta@ic.uff.br Item de configuração Agregação de hardware e/ou software que será passível de gerência de configuração e tratado
Avaliação de Desempenho
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Avaliação de Desempenho Planejamento de Experimentos Aula 2 Marcos José Santana Regina
SSC546 Avaliação de Sistemas Computacionais Parte 1 -Aula 3 Sarita Mazzini Bruschi
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação SSC546 Avaliação de Sistemas Computacionais Parte 1 -Aula 3 Sarita Mazzini Bruschi Material
PROCESSOS. Sistemas Operacionais. Vinícius Pádua
PROCESSOS Sistemas Operacionais Processo Conceito mais importante em SO SO também é um processo Multiprogramação Relembrando Execução simultânea de vários processos CPU salta de processo em processo Ilusão
Sistemas Operacionais Abertos. Prof. MSc. André Yoshimi Kusumoto
Sistemas Operacionais Abertos Prof. MSc. André Yoshimi Kusumoto andrekusumoto.unip@gmail.com Gerência de Processos Componentes do Sistema Um programa não faz nada a não ser que suas instruções sejam executadas
Arquitetura de Sistemas Operativos
Arquitetura de Sistemas Operativos Sistemas Operativos 2011/2012 1 Threads Conceito Um processo é um programa em execução. A execução de um processo é sequencial: pode-se caracterizar um processo pelo
Conceitos, Arquitetura e Design
capítulo 1 Conceitos, Arquitetura e Design 1.1 O que são os serviços de diretórios? Segundo a Wikipédia: Um serviço de diretório é um software que armazena e organiza informações sobre os recursos e os
Lista de Exercícios Escalonamento de CPU. 1. Considere o seguinte conjunto de processos, com o tamanho do tempo de burst de CPU dado em milissegundos:
Lista de Exercícios Escalonamento de CPU 1. Considere o seguinte conjunto de processos, com o tamanho do tempo de burst de CPU dado em milissegundos: Tempo de Serviço Prioridade 10 3 1 1 P3 2 3 P4 1 4
Material baseado nos slides de: Marcos José Santana Regina Helena Carlucci Santana
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação SSC643 -Avaliação de Desempenho de Sistemas Computacionais Aula 3 Sarita Mazzini Bruschi
SSC0640 Sistemas Operacionais I
SSC0640 Sistemas Operacionais I 11ª Aula Threads Profa. Sarita Mazzini Bruschi sarita@icmc.usp.br Slides adaptados de Marcos José Santana / Regina H. C. Santana / Luciana A. F. Martimiano baseados no livro
Ferramentas de monitoramento e análise de modelos espaciais dinâmicos em tempo-real
Ferramentas de monitoramento e análise de modelos espaciais dinâmicos em tempo-real Antônio José da Cunha Rodrigues Orientador: Tiago Garcia de Senna Carneiro Departamento de Computação UFOP 22 de julho
Introdução. descrever os tipos de interfaces e linguagens oferecidas por um SGBD. mostrar o ambiente de programas dos SGBD s
Introdução Contribuição do Capítulo 2: discutir modelos de dados definir conceitos de esquemas e instâncias descrever os tipos de interfaces e linguagens oferecidas por um SGBD mostrar o ambiente de programas
Sistemas de Bases de Dados 1.º teste (com consulta limitada: 2 folhas identificadas) - Duração: 2 horas
DI-FCT/UNL 28 de abril de 2018 Sistemas de Bases de Dados 1.º teste (com consulta limitada: 2 folhas identificadas) - Duração: 2 horas N. º : Nome: Grupo 1 (7 valores) 1 a) Para cada uma das seguintes
4 passos até à Gestão de Capacidade
4 passos até à Gestão de Capacidade arquivo.pt 2/54 Estamos a perde a internet 50 dias - 50% dos documentos estão a ser alterados (Cho and Garcia-Molina. 2000) 1 ano - 80% dos documentos ficam inacessiveis
Teoria da Computação Aula 8 Noções de Complexidade
Teoria da Computação Aula 8 Noções de Complexidade Prof. Esp. Pedro Luís Antonelli Anhanguera Educacional Motivação: Por que estudar algoritmos? Perguntas: - Por que estudar algoritmos se os computadores
Sistemas Operacionais. Prof. André Y. Kusumoto
Sistemas Operacionais Prof. André Y. Kusumoto andrekusumoto.unip@gmail.com Conceitos Básicos Escalonamento de CPU O objetivo da multiprogramação é ter sempre algum processo em execução para maximizar a
Algoritmos Distribuídos para Roteamento em Redes Ad Hoc
Algoritmos Distribuídos para Roteamento em Redes Ad Hoc Tiago Rodrigues Chaves Orientador: Ricardo Augusto Rabelo de Oliveira Programa de Pós-Graduação em Ciência da Computação PPGCC/UFOP 26 de julho de
Equivalência de Fluxos e Modelagem Hierárquica. Profa. Jussara M. Almeida 1 o Semestre de 2014
Equivalência de Fluxos e Modelagem Hierárquica Profa. Jussara M. Almeida 1 o Semestre de 2014 Modelagem Hierárquica Modelos mais sofisticados que podem incluir detalhes adicionais do sistema sendo representado
Gerência de Configuração: Terminologia. Leonardo Gresta Paulino Murta
Gerência de Configuração: Terminologia Leonardo Gresta Paulino Murta leomurta@ic.uff.br Item de configuração Agregação de hardware e/ou software que será passível de gerência de configuração e tratado
Davidson Rodrigo Boccardo
Fundamentos em Sistemas de Computação Davidson Rodrigo Boccardo flitzdavidson@gmail.com Componentes de um SO Gerenciamento de Processos Sistema de Arquivos Gerenciamento de Entrada/Saída Gerenciamento
Complexidade de Algoritmos
Complexidade de Algoritmos ACH2002 - Introdução à Ciência da Computação II Delano M. Beder Escola de Artes, Ciências e Humanidades (EACH) Universidade de São Paulo dbeder@usp.br 08/2008 Material baseado
Capítulo 2 Livro do Mário Monteiro Componentes Representação das informações. Medidas de desempenho
Capítulo 2 Livro do Mário Monteiro Componentes Representação das informações Bit, Caractere, Byte e Palavra Conceito de Arquivos e Registros Medidas de desempenho http://www.ic.uff.br/~debora/fac! 1 2
http://www.ic.uff.br/~debora/fac! 1 Capítulo 2 Livro do Mário Monteiro Componentes Representação das informações Bit, Caractere, Byte e Palavra Conceito de Arquivos e Registros Medidas de desempenho 2
Avaliação de Desempenho
Avaliação de Desempenho Clock do Sistema Cristal de Quartzo envia onda de sinais constantes que são convertidas em sinais digitais 1GHz = 1 bilhão de pulsos Taxa de pulsos = taxa de clock Incremento de
Um Protótipo de Servidor Multimídia com Mecanismos de QoS
Um Protótipo de Servidor Multimídia com Mecanismos de QoS Laboratório de Modelagem, Análise e Desenvolvimento de Sistemas de Computação e Comunicação - LAND COPPE/UFRJ Autores Adriane de Quevedo Cardozo
Sistemas Operacionais. Escalonamento de processos
Sistemas Operacionais Escalonamento de processos 1 Escalonamento de Processos Sistemas Interativos Algoritmos para Sistemas Interativos: First-Come-First-Served (FIFO) Round-Robin; Prioridade; Múltiplas
Trata-se do processo de auditoria dos requisitos e da qualidade, assim como dos resultados das medições de controle de qualidade, de maneira a
Aula 18 1 2 Trata-se do processo de auditoria dos requisitos e da qualidade, assim como dos resultados das medições de controle de qualidade, de maneira a garantir o uso de padrões de qualidade e definições
Nem todos os problemas algorítmicos que podem ser resolvidos em princípio podem ser resolvidos na prática: os recursos computacionais requeridos
Nem todos os problemas algorítmicos que podem ser resolvidos em princípio podem ser resolvidos na prática: os recursos computacionais requeridos (tempo ou espaço) podem ser proibitivos. 1 Suponha que duas
E S C O L A T É C N I C A E S T A D U A L R E P Ú B L I C A
1. COMPETÊNCIAS GOVERNO DO ESTADO DO RIO DE JANEIRO Conhecer as partes integrantes de um sistema de informação e suas respectivas funções. Analisar as necessidades do usuário e definir o sistema operacional
Processos O conceito de processos é fundamental para a implementação de um sistema multiprogramável. De uma maneira geral, um processo pode ser entend
Concorrência Nos sistemas Monoprogramáveis somente um programa pode estar em execução por vez, permanecendo o processador dedicado a esta única tarefa. Os recursos como memória, processador e dispositivos
INTRODUÇÃO À ARQUITETURA E ORGANIZAÇÃO DE COMPUTADORES. Função e Estrutura. Introdução Organização e Arquitetura. Organização e Arquitetura
Introdução Organização e Arquitetura INTRODUÇÃO À ARQUITETURA E ORGANIZAÇÃO DE COMPUTADORES Eduardo Max Amaro Amaral Arquitetura são os atributos visíveis ao programador. Conjunto de instruções, número
Treinamento em Análise Quantitativa & Planejamento de Capacidade. Virgilio A. F. Almeida
Treinamento em Análise Quantitativa & Planejamento de Capacidade Virgilio A. F. Almeida DATAPREV Rio de Janeiro 08 Dezembro de 2009 Módulo #6b Projetos de Experimentos Departamento de Ciência da Computação
Gerência de Recursos. Gerência do Processador
Gerência de Recursos Gerência do Processador Escalonamento Não-Preemptivos e Preemptivos Preempção - possibilidade de o SO interromper um processo em execução e substituí-lo por um outro. O Escalonamento
ÁRVORE B+ Vanessa Braganholo Estruturas de Dados e Seus Algoritmos
ÁRVORE B+ Vanessa Braganholo Estruturas de Dados e Seus Algoritmos ÁRVORES B+ É semelhante à árvore B, exceto por duas características muito importantes: Armazena dados somente nas folhas os nós internos
Sistemas Operacionais
Introdução Sistemas Operacionais Gerência do processador (Escalonamento na prática) Aula 06 Sistemas atuais tem uma série de particularidades Multiprocessadores e multicore Existência de memória cache
Complexidade de Algoritmos. Edson Prestes
Edson Prestes Existem famílias de problemas cuja solução é alcançada de forma semelhante. O relacionamento entre problemas: caso especial; versão abstração; similar. Exemplos: A inserção de um elemento
Processadores. Principal função é executar programas armazenados na memória principal.
Processadores Principal função é executar programas armazenados na memória principal. Registradores São memórias pequenas de alta velocidade, usada para armazenar resultados temporários e certas informações
Curso: Redes de Computadores
Curso: Redes de Computadores Cadeira de Introdução a Sistemas Operacionais. Bibliografia Sistemas Operacionais Modernos Andew S. Tanembaum Sistema Operacionais Abraham Silberchatz, Peter Galvin e Greg
Desempenho dos Computadores
Arquitectura de Computadores II Engenharia Informática (11545) Tecnologias e Sistemas de Informação (6621) Desempenho dos Computadores Fonte: Arquitectura de Computadores, José Delgado, IST, 2004 Nuno
Características Linux - CentOS
FACULDADE DE TECNOLOGIA SENAC GOIÁS Sistemas Operacionais Leandro Soares, Rodrigo Mascarenhas, Pedro Henrique, Jonatas Edward Características Linux - CentOS Lucília Ribeiro GOIÂNIA, 2015 Leandro Soares,
Processos ca 3 pítulo
Processos capítulo 3 Introdução: Threads Para executar um programa, o sistema operacional cria um determinado números de processos virtuais. O sistema operacional mantém uma tabela de processos que contém
Métodos de Classificação
Métodos de Classificação 261 Objetivos e Caracterizações O acesso a um conjunto de dados é facilitado se o mesmo está armazenado conforme uma certa ordem, baseada num critério conhecido. O objetivo básico
Sistemas Operacionais: Escalonamento de processos
Sistemas Operacionais: Escalonamento de processos Escalonamento Critérios de escalonamento Algoritmos de escalonamento Escalonamento em multiprocessadores Escalonamento tempo real Características de processos
Sistemas Operacionais
Sistemas Operacionais Slides adaptados de Prof. Dr. Marcos José Santana, Prof. Dra. Regina Helena Carlucci Santana e Sarita Mazzini Bruschi baseados no livro Sistemas Operacionais Modernos de A. Tanenbaum
Análise do desempenho computacional dos métodos Inserção Direta, Bolha, ShellSort e ComboSort
Análise do desempenho computacional dos métodos Inserção Direta, Bolha, ShellSort e ComboSort SILVA, Paulo; SCHANTZ, Douglas; VILNECK, Igor; SILVEIRA, Felipe; CHICON, Patricia Mariotto Mozzaquatro Universidade
Universidade Federal de Ouro Preto
Outubro de 2012 WSCAD-WIC 2012 - Petrópolis - RJ A parallel simulator for large scale wireless sensor network (1) Universidade Federal de Ouro Preto A parallel simulator for large scale wireless sensor
Edital de Seleção 024/2017 PROPESP/UFAM. Prova de Conhecimento. Caderno de Questões
Edital de Seleção 024/2017 PROPESP/UFAM Prova de Conhecimento Caderno de Questões CANDIDATO: «Nome» INSCRIÇÃO: «Inscrição» Assinatura conforme identidade INSTRUÇÕES PARA O CANDIDATO: Verifique o seu nome
FUNDAMENTOS DE ARQUITETURAS DE COMPUTADORES SISTEMAS DE COMPUTAÇÃO. Cristina Boeres
FUNDAMENTOS DE ARQUITETURAS DE COMPUTADORES SISTEMAS DE COMPUTAÇÃO Cristina Boeres Sistema de Computação! Conjunto de componentes integrados com o objetivo de manipular dados e gerar informações úteis.
SUPORTE ATLASSIAN 2017 SUPORTE ATLASSIAN
SUPORTE ATLASSIAN 2017 1 Se as ferramentas Atlassian são de alto nível de importância dentro da sua organização, considere nosso Suporte Platinum. Mantenha sua equipe focada no que realmente interessa
Algoritmos de Substituição de Páginas. Igor Gustavo Hoelscher Renan Arend Rogério Corrêa Medeiros
Algoritmos de Substituição de Páginas Igor Gustavo Hoelscher Renan Arend Rogério Corrêa Medeiros 2 Introdução No momento em que ocorre uma page fault o sistema operacional precisa escolher uma página a
Sâmia Rodrigues Gorayeb. Arquitetura de Computadores Organização e Funcionamento
Sâmia Rodrigues Gorayeb Arquitetura de Computadores Organização e Funcionamento Arquitetura de Computadores Organização e Funcionamento Agenda: 1. O que é o computador 2. Como funciona um computador 3.
Soluções em tecnologia da informação que viabilizam implementar uma arquitetura computacional escalável, sólida e confiável em nuvem distribuída.
Manual do ustorage Soluções em tecnologia da informação que viabilizam implementar uma arquitetura computacional escalável, sólida e confiável em nuvem distribuída. Versão 1.0 Jessica Nunes jessica@usto.re
Organização de Computadores Computação paralela; Sistema de entrada e saída (I/O); Suporte a Sistema operacional. Professor: Francisco Ary
Organização de Computadores Computação paralela; Sistema de entrada e saída (I/O); Suporte a Sistema operacional Professor: Francisco Ary Computação Paralela Capacidade de um sistema computacional executar
Gerência de Configuração: Planejamento. Leonardo Gresta Paulino Murta
Gerência de Configuração: Planejamento Leonardo Gresta Paulino Murta leomurta@ic.uff.br Fases preparatórias para a implementação de GC Preparação do plano de GC Organização da equipe de GC Organização
Gerenciamento de Memória
Gerenciamento de Memória Prof. Clodoaldo Ap. Moraes Lima Paginação Espaço de endereço de um processo pode ser não contíguo; ao processo é alocado memória física sempre que disponível. Divide memória física
heapsort (int *x, int n) { int i, e, s, f, aux; /*fase de pré-processamento - cria heap inicial*/ for (i=1; i<n; i++) { e = x[i]; s = i; f = (s-1)/2;
![heapsort (int *x, int n) { int i, e, s, f, aux; /*fase de pré-processamento - cria heap inicial*/ for (i=1; i<n; i++) { e = x[i]; s = i; f = (s-1)/2;](/thumbs/82/86806582.jpg "heapsort (int *x, int n) { int i, e, s, f, aux; /*fase de pré-processamento - cria heap inicial*/ for (i=1; i<n; i++) { e = x[i]; s = i; f = (s-1)/2;")
heapsort (int *x, int n) { int i, e, s, f, aux; /*fase de pré-processamento - cria heap inicial*/ for (i=1; i0 && x[f]
Arquitetura e Organização de Computadores
UNIVERSIDADE FEDERAL RURAL DO SEMI-ÁRIDO DEPARTAMENTO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIA DA COMPUTAÇÃO Arquitetura e Organização de Computadores Suporte ao Sistema Operacional Prof. Sílvio
FUNDAMENTOS DE ARQUITETURAS DE COMPUTADORES MEMÓRIA CACHE CAPÍTULO 5. Cristina Boeres
FUNDAMENTOS DE ARQUITETURAS DE COMPUTADORES MEMÓRIA CACHE CAPÍTULO 5 Cristina Boeres Introdução! Diferença de velocidade entre Processador e MP O processador executa uma operação rapidamente e fica em
Sistemas de Bases de Dados 1.º teste (com consulta limitada: 2 folhas identificadas) - Duração: 2 horas
DI-FCT/UNL 28 de abril de 2018 Sistemas de Bases de Dados 1.º teste (com consulta limitada: 2 folhas identificadas) - Duração: 2 horas N. º : Nome: Grupo 1 (7 valores) 1 a) Para cada uma das seguintes
Arquitetura de um Ambiente de Data Warehousing
Arquitetura de um Ambiente de Data Warehousing Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Arquitetura Típica usuário usuário... usuário
Bruno Antunes da Silva UFSCar - Sorocaba
Bruno Antunes da Silva UFSCar - Sorocaba Introdução HDFS Arquitetura Leitura e escrita Distribuição de nós Controle de réplicas Balancer MapReduce Conclusão Aplicações web com grandes quantidades de dados
Organização de Computadores I
Organização de Computadores I Aula 2 Material: Diego Passos http://www.ic.uff.br/~debora/orgcomp/pdf/parte2.pdf Organização de Computadores I Aula 2 1/29 Tópicos de Computação. de um Sistema de Computação..
Carlos Eduardo Batista. Centro de Informática - UFPB
Estrutura de Dados Carlos Eduardo Batista Centro de Informática - UFPB bidu@ci.ufpb.br Motivação para o uso da linguagem C Entendendo Estrutura de Dados Revisão da Linguagem C Tipos primitivos Vetores
Material baseado nos slides de: Marcos José Santana Regina Helena Carlucci Santana
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação SSC643 Avaliaçãode Desempenhode Sistemas Computacionais Aula 5 Sarita Mazzini Bruschi
Medidas de Avaliação
Medidas de Avaliação Medidas de Avaliação Para a maioria dos sistemas computacionais é necessário criar medidas para aferir sua eficácia e eficiência; A medida mais comum é o tempo e o espaço. Quanto menor
Bancos de Dados Notas de Aula Introdução Prof. Dr. Daniel A. Furtado
Bancos de Dados Notas de Aula Introdução Prof. Dr. Daniel A. Furtado Definição de Banco de Dados De uma forma genérica, um banco de dados é definido como uma coleção de dados relacionados. Os dados são
Aula 16. Tópicos Especiais II Banco de Dados. Prof. Dr. Dilermando Piva Jr.
16 Aula 16 Tópicos Especiais II Banco de Dados Prof. Dr. Dilermando Piva Jr. Site Disciplina: http://fundti.blogspot.com.br/ Sistemas de Arquivos O computador tem facilitado bastante a vida dos seres
SOP - TADS Threads. Revisão Ultima aula. Programa em execução Cada processo têm sua própria CPU
SOP - TADS Threads Prof. Ricardo José Pfitscher dcc2rjp@joinville.udesc.br Material cedido por: Prof. Rafael Rodrigues Obelheiro Prof. Maurício Aronne Pillon Revisão Ultima aula Processos [1/3] Conceito:
Estudo Comparativo de Técnicas de Escalonamento de Tarefas Dependentes para Grades Computacionais
Estudo Comparativo de Técnicas de Escalonamento de Tarefas Dependentes para Grades Computacionais Candidato Alvaro Henry Mamani Aliaga 1 Orientador Alfredo Goldman Instituto de Matemática e Estatística
01 Análise de Algoritmos (parte 1) SCC201/501 - Introdução à Ciência de Computação II
01 Análise de Algoritmos (parte 1) SCC201/501 - Introdução à Ciência de Computação II Prof. Moacir Ponti Jr. www.icmc.usp.br/~moacir Instituto de Ciências Matemáticas e de Computação USP 2010/2 Moacir
11/8/2010. Tópicos. Organização e Indexação de Dados em Memória Secundária
/8/00 Tópicos Organização e Indexação de Dados em Memória Secundária Disciplina Bancos de Dados II Prof Renato Fileto INE/CTC/UF Bancos de dados e acesso a memória secundária Noções de organização de dados
Análise empírica de algoritmos de ordenação
Análise empírica de algoritmos de ordenação Mario E. Matiusso Jr. (11028407) Bacharelado em Ciências da Computação Universidade Federal do ABC (UFABC) Santo André, SP Brasil mario3001[a]ig.com.br Resumo:
Arquitetura e Organização de Computadores
UNIVERSIDADE FEDERAL RURAL DO SEMI-ÁRIDO DEPARTAMENTO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIA DA COMPUTAÇÃO Arquitetura e Organização de Computadores Suporte ao Sistema Operacional Prof. Helcio
5.1. Fluxo para geração do Roadmap
46 5 VelvetH-DB Os Sistemas Gerenciadores de Banco de Dados (SGBDs), foram criados com o intuito de permitir o armazenamento e manipulação de grandes volumes de dados, fornecendo uma aplicação que garanta,
Classificação e Pesquisa
Classificação e Pesquisa Pesquisa de Dados - Seqüencial - Binária Prof. Rodrigo Rocha prof.rodrigorocha@yahoo.com http://www.bolinhabolinha.com Onde Estamos Ementa Pesquisa de Dados Seqüencial Binária