Armazenamento de Dados na Nuvem Google:
|
|
- Luiz Fernando Rosa Leal
- 8 Há anos
- Visualizações:
Transcrição
1 Armazenamento de Dados na Nuvem Google: O Google File System Markus Endler PUC-Rio Agenda Características da Infra-estrutura Google Novos Requisitos Arquitetura Interação entre os componentes Operações de leitura e escrita Operação de anexação Modelo de Consistência Anexação concorrente Operação de log Testes de Desempenho 1
2 Características da Intra-estrutura Google Milhares de PCs em um cluster >1000 PCs com disco, >300 TB total de espaço Distribuição massiva de processamento Cada PC é montado a partir de componentes comuns e baratos Acesso contínuo a dados por centenas de clientes Vários tipos de falha em cada nó: Bugs da aplicação, bugs do sistemas operacional Falha humana Falhas de disco, de memória, de rede, de fornecimento de energia Falhas em conectores Falhas ocorrem sempre! Por isso, monitoramento, tolerância a falhas e recuperação automática são elementos essenciais de um FS Visão Geral Users Spell Checkers Spell Checkers Google Google Web Web Google Web Ad Ad Ad Front-end Processing Index Index Index Index Index Index Index Index D D D Dndex Document Core Processing BigTable Google File System Logical Dada View Physical Dada View 2
3 Tipos de Arquivos e Padrões de Acesso Projeto do GFS foi guiado por observações sobre padrões de acesso a dados que diferem dos princípios tradicionais de sistemas de arquivos distribuídos (DFSs) Maioria dos arquivos são enormes (multi-gb); cada um com milhares de objetos de aplicação (p.ex. páginas web) Trabalha-se com conjuntos de dados que crescem rapida- e continuamente Maioria dos arquivos sofre modificacões apenas na forma de anexações concorrentes Escritas em pontos aleatórios (random write) praticamente não ocorrem Arquivos são lidos de forma sequencial Isso vale para: Dados de entrada, intermediários e resultados dados de arquivos, dados estatísticos, fluxos (streams) de dados Foco do GFS: Operação de anexação e garantias de atomicidade com o mínimo de custo de sincronização Evitando caches, pode-se relaxar os requisitos de consistência Principais Requisitos do Projeto Devido alta taxa de falhas, é necessário monitorar, detectar e se recuperar de falhas de forma extremamente eficiente O sistema hospeda um número modesto de arquivos de multiplos GBs Workload de leitura: leituras de grandes blocos de dados de streams, e.g cada read envolve >1 MB reads de um mesmo cliente geralmente são sequenciais Seek pra frente e pra trás são raríssimos Workload de escrita: Writes sequenciais de grandes blocos de dado Writes, em sua grande maioria, são simples anexações (escritas no final) 3
4 Principais Requisitos de Projeto Sistema precisa tratar acessos massivamente concorrentes Garantir atomicidade com o mínimo de overhead de sincronização Grande largura de banda (taxa de acesso) sustentada é mais importante do que baixa latência de acesso Usar abstrações convencionais (hierarquia de diretórios e path names) Prover uma API simples do tipo UNIX (create, delete, open, close, read, write) e Mais 2 operações super-otimizadas: log snapshot e record append Arquitetura do GFS Um master server (seu estado é replicado em backups) Centenas/milhares de chunk servers Espalhados por vários racks; São processos de usuário Linux; Chunk = bloco de 64 MB, identificado por um ID global de 64-bits; Arquivo = formado por 1+ chunks Cada chunk é replicado em 3 chunk servers (default), mas usuário pode definir número de réplicas; Milhares de clientes acessam arquivos hospedados em diferentes nós 8 4
5 Principais elementos: Clientes Master Chunkservers Arquitetura do GFS Os Masters mantém os meta-dados, incluindo o mapeamento da árvore de diretórios para os chunks 9 Arquitetura do GFS Duas etapas: 1. obter o chunk handle e locations; 2. obter dados contidos em um chunk 10 5
6 Master Server Armazena todos os metadados em memória, incluindo: Hierarquia de diretórios Informações para controle de acesso (por arquivo) Mapeamento de arquivo conjunto de chunks Localização de cada chunk nos chunkservers Metadados em memória garantem acesso rápido, Faz a coleta de lixo de chunks órfãos (com < # de réplicas) Controla a migração de chunks entre chunkservers Comunica-se periodicamente com os chunkservers (Heartbeat) para atualizar metadados, enviar comandos e receber status Master logicamente centralizado simplifica muito as estratégias de alocação e replicação de chunks, baseadas em conhecimento global do sistema. 11 Cliente GFS Código que implementa a API do GFS e é ligado à aplicação Faz a comunicação inicial com o master para consultar meta-dados, i.e. conhecer os chunkservers responsável pelo chunk Interage com o(s) chunkserver(s) diretamente para as escritas e leituras Clientes não fazem o cache de chunks overhead de manter a consistência não vale a pena para o padrão de acesso predominante Clientes fazem o cache de meta-dados (por tempo limitado) Em especial, a localização dos chunks nos chunk servers Geralmente, cliente consulta master server por vários chunks de uma vez só 12 6
7 Exemplo Interação Cliente-Master Fonte: S.Ghemawat, The Google File System Cliente traduz (FileName,offset) chunkindex do arquivo envia (filename,chunkindex) p/ master e recebe chunkhandle cacheia esse handle, indexado por (filename,chunkindex) Interage com chunkserver mais próximo indicando (chunkhandle, faixa de bytes) Chunk server Armazena chunks de 64MB no disco local como arquivo convencional do FS Linux (+ número de versão e checksum) Chunk server não faz cache dos dados lidos, exceto pelo buffer cache padrão do Linux Atende requisições do Master para: Informar... quais são os chunks que hospeda seu status (de acesso ao seu disco) criar novos chunks remover alguns de seus chunks 7
8 Interação Master-Chunk server O Master não persiste a informação sobre qual chunkserver hospeda uma réplica de um chunk. " Em vez disso, faz uma consulta regular (Heartbeat)" para obter estado dos chunk servers:" Chunkserver está operacional? " Houve falhas de disco no chunkserver? " Existem réplicas de chunks corrompidas?" Quais réplicas de chunk o chunkserver hospeda?" para enviar comandos:" Remover determinado chunk" Criar determinado chunk" Isso facilita gerenciar o dinamismo do conjunto de chunkservers" Determinação de Chunk Server Primário/Secundário Gerenciamento é feito através de leases, dados pelo Master O primário define uma ordem serial, e todos os secundários adotam essa ordem Um Lease: expira a cada 1 minuto, mas pode ser aumentado pode ser revogado (quando Master desconfia de falha do primário) 8
9 Exemplo de Operação de leitura Fonte: S.Ghemawat, The Google File System Exemplo de Operação de escrita Fonte: S.Ghemawat, The Google File System 1. Cliente envia bloco de dados para todos os chunk servers 2. Dados são armazenados em buffer local de cada chunk server 9
10 Exemplo de Operação de escrita Fonte: S.Ghemawat, The Google File System 5. cliente envia uma requisição de escrita (write request wr) para servidor primário. 6. chunkserver primário atribui número serial ao wr, e encaminha o wr com esse número serial para os chunk servers secundários; 7. Todos chunkservers secundários confirmam escrita ao primário; 8. chunkserver primário responde ao cliente; 9. se escrita falha em um chunkserver, cliente é notificado e tenta novamente Fluxo de controle vs fluxo de dados Fonte: S.Ghemawat, The Google File System Fluxo de Controle: Mestre Primário Secundários Fluxo de dados: Envio para o mais próximo de uma cadeia de chunk servers, e em sequência linear para os demais (otimizando a largura de banda inter- e intra-cluster) 10
11 Operação de Anexação Record Append é uma operação muito comum e importante: Para combiar/mesclar resultados de vários processamentos (de vários nós) Uso de Arquivos como se fosse uma fila entre produtores e consumidores Centenas de produtores anexadores concorrentes Bloco de dados do cliente é copiado como um todo (atomicamente), e não como vários writes menores Cliente1 Cliente2 Operação de Anexação Algoritmo: 1. Aplicação gera uma requisição de anexação. 2. Cliente GFS traduz requsição e envia para o master server, que responde com o chunk handle e localização dos ch-servers primário e secundários) 3. Cliente envia dados para todos ch-servers (como no wr). 4. Primário verifica se dados cabem no chunk 5. Se couber, adiciona no final, manda secundários fazerem o mesmo, espera confirmação e informa cliente 6. Se não couber, faz padding no final do chunk, manda secundários fazerem o mesmo, espera confirmação, e notifica cliente que não coube. 7. Nesse caso, cliente refaz o record append no próximo chunk (possivelmente criando um novo chunk) 11
12 Modelo de Consistência Mutações do espaço de arquivos são tratadas pelo Master, que garante a sua atomicidade (veremos mais adiante) Estado das atualizações em chunks dependem da execução bemsucedida de possíveis anexações concorrentes. Como os chunk servers de um chunk específico são atualizados em ordem diferente por diferentes clientes, a depender da proximidade do cliente (vide fluxo de dados), durante certo tempo, os chunks podem apresentar regiões com conteúdo indefinido. Cliente A Secondary Replica Primary Replica Cliente B Secondary Replica Modelo de Consistência Uma região de um arquivo está: Consistente todos clientes enxergam dados idênticos independente de qual réplica acessam Definida é consistente e todos conseguem ver o resultado de todas as escritas em sua totalidade Indefinida é consistente, todos clientes veem os mesmos dados, mas visão (ainda) não reflete uma sequência coerente das escritas (e.g. fragmentos mesclados de diferentes escritas) Em caso de falhas, uma modificação pode deixar uma região temporariamente inconsistente (clientes podem ver dados diferentes em momentos diferentes) O GFS permite que as aplicações diferenciem regiões definidas e indefinidas (regiões ainda não estáveis pelos anexações concorrentes) 12
13 Anexações Concorrentes Cada anexação (possivelmente, uma de várias concorrentes) é garantidamente uma adição atômica, pelo menos uma vez, de um bloco de dados ao chunk; Porém, o offset (local exato) da escrita é definido pelo GFS (pode ser diferente do esperado pelo cliente) O offset retornado para o cliente ( ) determina o fim de uma região indefinida que contém o bloco de dados escrito, mas o GFS poderá ter intercalado paddings, frações de blocos, ou blocos replicados. No final de uma sequência de k anexações com sucesso, a região modificada do arquivo garantidamente torna-se definida e contendo os dados adicionados pelas k anexações. Cliente1 Início do próximo append Cliente2 Estado indefinido Estado definido Operação de Log Master e chunkservers são projetados para reiniciar e restaurar estado em poucos segundos Chunks estão replicados e Master determina a realocação de chunks Mas os metadados? O log de operação mantém um registro histórico de todas as mudanças em metadados O log também define uma ordem total das operações concorrentes Faz-se um checkoint periódico do log O log e os checkpoints são replicados em múltiplos nós O Estado do Master (seus metadados) é replicado em vários masters de backup distribuídos em vários racks, que entram em ação se o Master principal falhar Requisições de clientes só são respondidas quando o log tiver sido atualizado em todos Masters backup 13
14 Testes de Desempenho Em dois clusters: Cluster A: Para pesquisa e desenvolvimento Usuários: >100 engenheiros Tarefas inciadas por usuários, e executam algumas horas; Cada tarefa tipicamente lê MB s-tb s de dados, transforma os mesmos, e escreve resultados de volta no GFS Cluster B: Uso em produção Tarefas típicas exeutam dias/semanas. Continuamente geram e processam conjuntos de dados de múltiplos TBs Nenhuma interferência humana Obs: os clusters estavam executando aproximadamente uma semana quando os dados foram coletados Snapshot durante os testes: Testes de Desempenho Resultados: 14
15 Testes de Desempenho Durante os testes: Ambos clusters estavam com alta atividade de leitura Cluster B também estava no meio de uma rajada de escritas. Em ambos, o Master recebia requisições por segundo e não mostrou ser o gargalo. Testes com falhas: Um chunkserver do cluster B foi parado (kill), e continha chunks totalizando 600 GB de dados. O Cluster apresentou uma limitação: só foi capaz de clonar 90 clones em paralelo Cada operação de clonagem consome 6.25 MB/s. Demorou 23 minutos para recompor todos os chunks Note que isso equivale a 440 MB/s Conclusão O GFS suporta processamento de dados em larga escala usando hardware coum (commodity hardware) Trata falhas de componentes como normais, e não como excessão. Otimizado para grandes arquivos, e operação de anexação (por escritores concorrentes) Define vários estágios de consistência dos dados anexados Tolerância a falhas: Monitoramento continuo Replicação de dados cruciais (p.ex. Metadados) Checksums de partes do chunk para detectar corrupção dos dados em nível de disco Garantir alta vazão, desacoplando o fluxo de controle do fluxo de dados 15
16 Perguntas? Bibliografia: Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung, The Google File System, OSDI
Seminário: Google File System (GFS)
UNIVERSIDADE FEDERAL DE SANTA CATARINA UFSC Disciplina: Sistemas Operacionais I INE5355 Alunos: Armando Fracalossi 06132008 Maurílio Tiago Brüning Schmitt 06132033 Ricardo Vieira Fritsche 06132044 Seminário:
Leia maisFunções de um SO. Gerência de processos Gerência de memória Gerência de Arquivos Gerência de I/O Sistema de Proteção
Sistemas de Arquivos Funções de um SO Gerência de processos Gerência de memória Gerência de Arquivos Gerência de I/O Sistema de Proteção 2 Sistemas Operacionais Necessidade de Armazenamento Grandes quantidades
Leia maisSistemas de Arquivos. Sistemas Operacionais - Professor Machado
Sistemas de Arquivos Sistemas Operacionais - Professor Machado 1 Armazenamento da Informação a Longo Prazo 1. Deve ser possível armazenar uma quantidade muito grande de informação 2. A informação deve
Leia maisGoogle File System. Danilo Silva Marshall Érika R. C. de Almeida
Google File System Danilo Silva Marshall Érika R. C. de Almeida Tópicos abordados Sistemas de arquivos Sistemas de arquivos distribuídos Google File System Gmail File System Linux Windows Gspace Referências
Leia maisCapítulo 6 Sistemas de Arquivos
Capítulo 6 Sistemas de Arquivos 6.1 Arquivos 6.2 Diretórios 6.3 Implementação do sistema de arquivos 6.4 Exemplos de sistemas de arquivos 1 Armazenamento da Informação a Longo Prazo 1. Deve ser possível
Leia maisSistemas Operacionais: Sistema de Arquivos
Sistemas Operacionais: Sistema de Arquivos Sistema de Arquivos Arquivos Espaço contíguo de armazenamento Armazenado em dispositivo secundário Estrutura Nenhuma: seqüência de bytes Registros, documentos,
Leia maisProjeto: Camada Independente de Dispositivo
Projeto: Camada Independente de Dispositivo Introdução Esse documento tem como finalidade demonstrar como será implementada a Camada Independente de Software. Estrutura A camada independente de software
Leia maisSistemas Operacionais
Sistemas Operacionais Gerência de Arquivos Edson Moreno edson.moreno@pucrs.br http://www.inf.pucrs.br/~emoreno Sumário Conceituação de arquivos Implementação do sistemas de arquivo Introdução Sistema de
Leia maisimplementação Nuno Ferreira Neves Faculdade de Ciências de Universidade de Lisboa Fernando Ramos, Nuno Neves, Sistemas Operativos, 2014 2015
Sistemas de ficheiros: implementação Nuno Ferreira Neves Faculdade de Ciências de Universidade de Lisboa Objetivos da aula Descrever algunsdetalhes daimplementação deumsistema de ficheiros Discutir algoritmos
Leia maisFundamentos de Banco de Dados
Fundamentos de Banco de Dados SISTEMAS BASEADOS NO PROCESSAMENTO DE ARQUIVOS Sistema A Funcionário Pagamento Cargo Sistema B Funcionário Projeto SISTEMAS GERENCIADORES DE BANCO DE DADOS (SGBD) Sistema
Leia maisProf. Luiz Fernando Bittencourt MC714. Sistemas Distribuídos 2 semestre, 2013
MC714 Sistemas Distribuídos 2 semestre, 2013 Virtualização - motivação Consolidação de servidores. Consolidação de aplicações. Sandboxing. Múltiplos ambientes de execução. Hardware virtual. Executar múltiplos
Leia maisBanco de Dados. Uma coleção de dados relacionados [ELMASRI/NAVATHE]
1/6 Banco de Dados O que é um Banco de Dados? Uma coleção de dados relacionados [ELMASRI/NAVATHE] Conjunto de dados integrados que tem por objetivo atender a uma comunidade específica [HEUSER] Um conjunto
Leia maisSistemas Operacionais
Sistemas Operacionais SISTEMAS DE ARQUIVOS MACHADO/MAIA: CAPÍTULO 11 Prof. Pedro Luís Antonelli Anhanguera Educacional SISTEMAS DE ARQUIVOS - INTRODUÇÃO O armazenamento e a recuperação de informações é
Leia maisVisão do Usuário da DSM
Memória Compartilhada Distribuída Visão Geral Implementação Produtos 1 Memória Compartilhada Distribuída Mecanismos tradicionais de comunicação via RPC/RMI ou mensagens deixam explícitas as interações
Leia maisMÓDULO 8 ARQUITETURA DOS SISTEMAS DE BANCO DE DADOS
MÓDULO 8 ARQUITETURA DOS SISTEMAS DE BANCO DE DADOS Quando falamos em arquitetura, normalmente utilizamos esse termo para referenciar a forma como os aplicativos computacionais são estruturados e os hardwares
Leia maisBC 1518 - Sistemas Operacionais Sistema de Arquivos (aula 10 Parte 2) Prof. Marcelo Z. do Nascimento
BC 1518 - Sistemas Operacionais Sistema de Arquivos (aula 10 Parte 2) Prof. Marcelo Z. do Nascimento 1 Gerência de espaço em disco Cópia de segurança do sistema de arquivo Roteiro Confiabilidade Desempenho
Leia maisSistemas Operacionais
Sistemas de Entrada/Saída Sistema de Entrada/Saída - Redundant Array of Independent Disks 0 - Matriz de Discos sem Tolerância a Falhas 1 - Espelhamento 2 - Código de Hamming 3 - Transferência Paralela
Leia maisSistemas Operacionais 3º bimestre. Dierone C.Foltran Jr. dcfoltran@yahoo.com
Sistemas Operacionais 3º bimestre Dierone C.Foltran Jr. dcfoltran@yahoo.com Sistema de Arquivos (1) Todas as aplicações precisam armazenar e recuperar informações. Considerações sobre os processos: Espaço
Leia maisFundamentos de Arquivos e Armazenamento Secundário
Fundamentos de Arquivos e Armazenamento Secundário Cristina D. A. Ciferri Thiago A. S. Pardo Leandro C. Cintra M.C.F. de Oliveira Moacir Ponti Jr. Armazenamento de Dados Armazenamento primário memória
Leia maisCapacidade = 512 x 300 x 20000 x 2 x 5 = 30.720.000.000 30,72 GB
Calculando a capacidade de disco: Capacidade = (# bytes/setor) x (méd. # setores/trilha) x (# trilhas/superfície) x (# superfícies/prato) x (# pratos/disco) Exemplo 01: 512 bytes/setor 300 setores/trilha
Leia maisPrevayler. Perola. André Luís Sales de Moraes Juliana Keiko Yamaguchi Tatiana Yuka Takaki
Prevayler Perola André Luís Sales de Moraes Juliana Keiko Yamaguchi Tatiana Yuka Takaki Prevayler Prevayler é a implementação em Java do conceito de Prevalência. É um framework que prega uma JVM invulnerável
Leia maisSistema de Arquivos FAT
Sistemas Operacionais Sistema de Arquivos FAT Edeyson Andrade Gomes www.edeyson.com.br FAT A FAT é o sistema de arquivos usado pelo MS-DOS e outros sistemas operacionais baseados em Windows para organizar
Leia maisHoje é inegável que a sobrevivência das organizações depende de dados precisos e atualizados.
BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br INTRODUÇÃO Hoje é
Leia maisFundamentos de Sistemas Operacionais
Fundamentos de Sistemas Operacionais Sistema de Arquivos - II Prof. Galvez Implementação de Arquivos Arquivos são implementados através da criação, para cada arquivo no sistema, de uma estrutura de dados
Leia maisUFRJ IM - DCC. Sistemas Operacionais I. Unidade IV Sistema de arquivos. Prof. Valeria M. Bastos Prof. Antonio Carlos Gay Thomé 13/06/2012 1
UFRJ IM - DCC Sistemas Operacionais I Unidade IV Sistema de arquivos Prof. Valeria M. Bastos Prof. Antonio Carlos Gay Thomé 13/06/2012 1 ORGANIZAÇÃO DA UNIDADE Sistema de Arquivos Gerenciamento de E/S
Leia maisAcadêmicos: Luís Fernando Martins Nagata Gustavo Rezende Vinícius Rezende Santos
Acadêmicos: Luís Fernando Martins Nagata Gustavo Rezende Vinícius Rezende Santos Pilhas de Dispositivos Drivers no Windows Vista podem fazer todo trabalho sozinho; Uma requisição pode passar por uma seqüência
Leia maisIntrodução a Informática. Prof.: Roberto Franciscatto
Introdução a Informática Prof.: Roberto Franciscatto 2.1 CONCEITO DE BIT O computador só pode identificar a informação através de sua elementar e restrita capacidade de distinguir entre dois estados: 0
Leia mais*O RDBMS Oracle é um sistema de gerenciamento de banco de dados relacional.
Arquitetura Oracle e seus componentes Hoje irei explicar de uma forma geral a arquitetura oracle e seus componentes. Algo que todos os DBA s, obrigatoriamente, devem saber de cabo a rabo. Vamos lá, e boa
Leia maisArmazenamento Secundário. SCE-183 Algoritmos e Estruturas de Dados II
Armazenamento Secundário SCE-183 Algoritmos e Estruturas de Dados II 1 Armazenamento secundário Primeiro tipo de armazenamento secundário: papel! Cartões perfurados HDs, CD-ROM, floppy disks, memórias
Leia maisProf. Marcos Ribeiro Quinet de Andrade Universidade Federal Fluminense - UFF Pólo Universitário de Rio das Ostras - PURO
Conceitos básicos e serviços do Sistema Operacional Prof. Marcos Ribeiro Quinet de Andrade Universidade Federal Fluminense - UFF Pólo Universitário de Rio das Ostras - PURO Tipos de serviço do S.O. O S.O.
Leia maisSistemas de Ficheiros. Ficheiros Diretórios Implementação de sistemas de ficheiros Exemplos de sistemas de ficheiros
Sistemas de Ficheiros Ficheiros Diretórios Implementação de sistemas de ficheiros Exemplos de sistemas de ficheiros 1 Armazenamento de Informação de Longo Prazo 1. Deve armazenar grandes massas de dados
Leia maisUniversidade Federal de Minas Gerais. Sistemas Operacionais. Aula 23. Sistemas Operacionais Distribuídos
Aula 23 Distribuídos SOs de Rede Em sistemas operacionais de rede você sabe quando é local e quando é remoto. Assim, o trabalho não muda, com exceção de comandos para acesso remoto: - telnet - ftp - etc.
Leia maisSistemas de Ficheiros. 1. Ficheiros 2. Directórios 3. Implementação de sistemas de ficheiros 4. Exemplos de sistemas de ficheiros
Sistemas de Ficheiros 1. Ficheiros 2. Directórios 3. Implementação de sistemas de ficheiros 4. Exemplos de sistemas de ficheiros Organização de um Sistema Operativo System Call Handler File System 1...
Leia maisBanco de Dados Oracle. Faculdade Pernambucana - FAPE
Faculdade Pernambucana - FAPE Visão Geral dos Componentes Principais da Arquitetura Oracle Servidor Oracle É o nome que a Oracle deu ao seu SGBD. Ele consiste de uma Instância e um Banco de Dados Oracle.
Leia maisTópicos em Sistemas Distribuídos. Modelos de Comunicação
Tópicos em Sistemas Distribuídos Modelos de Comunicação Comunicação em SD Comunicação entre processos Sockets UDP/TCP Comunicação em grupo Broadcast Multicast Comunicação entre processos Conceitos básicos
Leia maisCOORDENAÇÃO DE TECNOLOGIA (COTEC) ABRIL/2011
SERVIÇOS BÁSICOS DE TECNOLOGIA DA INFORMAÇÃO E COMUNICAÇÃO COORDENAÇÃO DE TECNOLOGIA (COTEC) ABRIL/2011 Rua do Rouxinol, N 115 / Salvador Bahia CEP: 41.720-052 Telefone: (71) 3186-0001. Email: cotec@ifbaiano.edu.br
Leia maisRoteamento e Comutação
Roteamento e Comutação Design de Rede Local Design Hierárquico Este design envolve a divisão da rede em camadas discretas. Cada camada fornece funções específicas que definem sua função dentro da rede
Leia maisIFPE. Disciplina: Sistemas Operacionais. Prof. Anderson Luiz Moreira
IFPE Disciplina: Sistemas Operacionais Prof. Anderson Luiz Moreira SERVIÇOS OFERECIDOS PELOS SOS 1 Introdução O SO é formado por um conjunto de rotinas (procedimentos) que oferecem serviços aos usuários
Leia maisEstruturas de Armazenamento e Indexação. Rafael Lage Moreira Barbosa 10.1.4217
Estruturas de Armazenamento e Indexação Rafael Lage Moreira Barbosa 10.1.4217 Estruturas de Armazenamento Banco de Dados são armazenados fisicamente como arquivos de registro, que em geral ficam em discos
Leia maisSistemas Operacionais Arquivos. Carlos Ferraz (cagf@cin.ufpe.br) Jorge Cavalcanti Fonsêca (jcbf@cin.ufpe.br)
Sistemas Operacionais Arquivos Carlos Ferraz (cagf@cin.ufpe.br) Jorge Cavalcanti Fonsêca (jcbf@cin.ufpe.br) Copyright Carlos Ferraz Cin/UFPE Implementação do Sistema de Arquivos Sistemas de arquivos são
Leia mais1 http://www.google.com
1 Introdução A computação em grade se caracteriza pelo uso de recursos computacionais distribuídos em várias redes. Os diversos nós contribuem com capacidade de processamento, armazenamento de dados ou
Leia maisOrganização de Computadores 1
Organização de Computadores 1 SISTEMA DE INTERCONEXÃO (BARRAMENTOS) Prof. Luiz Gustavo A. Martins Arquitetura de von Newmann Componentes estruturais: Memória Principal Unidade de Processamento Central
Leia maisSOP - TADS Sistemas de Arquivos Cap 4 Tanenmbaum
SOP - TADS Sistemas de Arquivos Cap 4 Tanenmbaum Prof. Ricardo José Pfitscher dcc2rjp@joinville.udesc.br Material cedido por: Prof. Rafael Rodrigues Obelheiro Prof. Maurício Aronne Pillon Cronograma Introdução
Leia maisProf. Luiz Fernando. Unidade III ADMINISTRAÇÃO DE
Prof. Luiz Fernando Unidade III ADMINISTRAÇÃO DE BANCOS DE DADOS Administração de SGBDs De todo o tipo de pessoal envolvido com desenvolvimento, manutenção, e utilização de bancos de dados há dois tipo
Leia maisGERENCIAMENTO DE DISPOSITIVOS
2 SISTEMAS OPERACIONAIS: GERENCIAMENTO DE DISPOSITIVOS E ARQUIVOS Introdução à Microinformática Prof. João Paulo Lima Universidade Federal Rural de Pernambuco Departamento de Estatística e Informática
Leia maisSISTEMA GERENCIADOR DE BANCO DE DADOS
BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br SISTEMA GERENCIADOR
Leia maisFaculdades Santa Cruz - Inove. Plano de Aula Base: Livro - Distributed Systems Professor: Jean Louis de Oliveira.
Período letivo: 4 Semestre. Quinzena: 5ª. Faculdades Santa Cruz - Inove Plano de Aula Base: Livro - Distributed Systems Professor: Jean Louis de Oliveira. Unidade Curricular Sistemas Distribuídos Processos
Leia maisSistemas Distribuídos. Professora: Ana Paula Couto DCC 064
Sistemas Distribuídos Professora: Ana Paula Couto DCC 064 Consistência e Replicação Capítulo 7 Agenda Razões para Replicação Replicação como técnica de escalabilidade Modelos de Consistência centrados
Leia maisSistemas Distribuídos RPC
Sistemas Distribuídos RPC Disciplina: Sistemas Distribuídos Prof.: Edmar Roberto Santana de Rezende Faculdade de Engenharia de Computação Centro de Ciências Exatas, Ambientais e de Tecnologias Pontifícia
Leia maisGUIA DE BOAS PRÁTICAS
GUIA DE BOAS PRÁTICAS Sumário Requisitos para um bom funcionamento...3 Menu Configurações...7 Como otimizar o uso da sua cota...10 Monitorando o backup...8 Manutenção de arquivos...12 www.upbackup.com.br
Leia mais04/08/2012 MODELAGEM DE DADOS. PROF. RAFAEL DIAS RIBEIRO, M.Sc. @ribeirord MODELAGEM DE DADOS. Aula 1. Prof. Rafael Dias Ribeiro. M.Sc.
MODELAGEM DE DADOS PROF. RAFAEL DIAS RIBEIRO, M.Sc. @ribeirord MODELAGEM DE DADOS Aula 1 Prof. Rafael Dias Ribeiro. M.Sc. @ribeirord 1 Objetivos: Apresenta a diferença entre dado e informação e a importância
Leia maisSistemas Distribuídos. Professora: Ana Paula Couto DCC 064
Sistemas Distribuídos Professora: Ana Paula Couto DCC 064 Processos- Clientes, Servidores, Migração Capítulo 3 Agenda Clientes Interfaces de usuário em rede Sistema X Window Software do lado cliente para
Leia maisAULA 16 - Sistema de Arquivos
AULA 16 - Sistema de Arquivos Arquivos podem ser vistos como recipientes que contêm dados ou como um grupo de registros correlatos. Os arquivos armazenam informações que serão utilizadas, em geral, por
Leia maisMultiplexador. Permitem que vários equipamentos compartilhem um único canal de comunicação
Multiplexadores Permitem que vários equipamentos compartilhem um único canal de comunicação Transmissor 1 Receptor 1 Transmissor 2 Multiplexador Multiplexador Receptor 2 Transmissor 3 Receptor 3 Economia
Leia maisSISTEMAS DE ARQUIVOS Sistemas operacionais
Técnico em Informática SISTEMAS DE ARQUIVOS Sistemas operacionais Professor Airton Ribeiro de Sousa Sistemas operacionais Sistema de Arquivos pode ser definido como uma estrutura que indica como os dados
Leia maisCapítulo 6. Gerenciamento de Arquivos. 6.1 Arquivos 6.2 Diretórios 6.3 Implementação (6.3.1 a 6.3.6) 6.4 Exemplos
Capítulo 6 Gerenciamento de Arquivos 6.1 Arquivos 6.2 Diretórios 6.3 Implementação (6.3.1 a 6.3.6) 6.4 Exemplos 1 Armazenamento de longo prazo 1. Deve guardar grandes volumes de dados. 2. Informação armazenada
Leia mais3 Um Framework Orientado a Aspectos para Monitoramento e Análise de Processos de Negócio
32 3 Um Framework Orientado a Aspectos para Monitoramento e Análise de Processos de Negócio Este capítulo apresenta o framework orientado a aspectos para monitoramento e análise de processos de negócio
Leia maisOn Scalability of Software-Defined Networking
On Scalability of Software-Defined Networking Bruno dos Santos Silva bruno.silva@ic.uff.br Instituto de Computação IC Universidade Federal Fluminense UFF 24 de Setembro de 2015 B. S. Silva (IC-UFF) On
Leia maisFundamentos de Sistemas Operacionais. Sistema de Arquivos. Prof. Edwar Saliba Júnior Março de 2007. Unidade 03-002 Sistemas de Arquivos
Sistema de Arquivos Prof. Edwar Saliba Júnior Março de 2007 1 Objetivos Facilitar o acesso dos usuários ao conteúdo dos arquivos; Prover uma forma uniforme de manipulação de arquivos, independente dos
Leia maisRoteiro. Sistemas Distribuídos. Sistemas de Arquivos Distribuídos. Sistema de arquivos distribuídos
Sistemas Distribuídos Sistemas de Arquivos Distribuídos Roteiro Sistema de arquivos distribuídos Requisitos Arquivos e diretórios Compartilhamento Cache Replicação Estudo de caso: NFS e AFS Sistemas Distribuídos
Leia maisEstrutura Interna do KernelUNIX Sistema O. Estrutura Interna de Arquivos (1) Estrutura Seqüência. User application. Standard Unix libraries
Sistemas de Arquivos (Aula 23) Funções Profa. Gerência Sistema de um processos SO Patrícia D. CostaLPRM/DI/UFES de de de Proteção memória I/O Arquivos Necessidade 2 Sistemas Operacionais 2008/1 Grandes
Leia maisUnix: Sistema de Arquivos. Geraldo Braz Junior
Unix: Sistema de Arquivos Geraldo Braz Junior 2 Arquivos Um arquivo é visto pelo SO apenas como uma seqüência de bytes: nenhuma distinção é feita entre arquivos ASCII, binários, etc.; Muitos programas
Leia maisArquitetura de Banco de Dados
Arquitetura de Banco de Dados Daniela Barreiro Claro MAT A60 DCC/IM/UFBA Arquitetura de Banco de dados Final de 1972, ANSI/X3/SPARC estabeleceram o relatório final do STUDY GROUP Objetivos do Study Group
Leia maisBancos de dados distribuídos Prof. Tiago Eugenio de Melo tiagodemelo@gmail.com. http://www.tiagodemelo.info
Bancos de dados distribuídos Prof. Tiago Eugenio de Melo tiagodemelo@gmail.com Última atualização: 20.03.2013 Conceitos Banco de dados distribuídos pode ser entendido como uma coleção de múltiplos bds
Leia maisSistema de Arquivos EXT3
Sistema de Arquivos EXT3 Introdução Ext3 é uma nova versão do Ext2. Possui as mesmas estruturas do ext2, além de adicionar as propriedades do Journal. O uso do Ext3 melhora na recuperação do sistema(dados),
Leia maisSistemas de Informação. Sistemas Operacionais 4º Período
Sistemas de Informação Sistemas Operacionais 4º Período SISTEMA DE ARQUIVOS SUMÁRIO 7. SISTEMA DE ARQUIVOS: 7.1 Introdução; 7.2 s; 7.3 Diretórios; 7.4 Gerência de Espaço Livre em Disco; 7.5 Gerência de
Leia maisSistemas Operacionais
Sistemas Operacionais Sistemas Operacionais Prof. Marcelo Sabaris Carballo Pinto Gerenciamento de Dispositivos Gerenciamento de Dispositivos de E/S Introdução Gerenciador de Dispositivos Todos os dispositivos
Leia maisENHANCED SERVER FAULT- TOLERANCE FOR IMPROVED USER EXPERIENCE. André Esteves nº3412 David Monteiro
ENHANCED SERVER FAULT- TOLERANCE FOR IMPROVED USER EXPERIENCE André Esteves nº3412 David Monteiro INTRODUÇÃO É proposto uma arquitectura de servidor Web dividida que tolera perfeitamente tanto falhas na
Leia maisSISTEMAS OPERACIONAIS. Sistemas de Arquivos Apostila 09
SISTEMAS OPERACIONAIS Sistemas de Arquivos Apostila 09 1.0 INTRODUÇÃO Sistema de Arquivos: conceito de arquivo, métodos de acesso, estrutura de diretório, estrutura do sistema de arquivos, métodos de alocação
Leia maisTUTORIAL PRÁTICO SOBRE Git. Versão 1.1
TUTORIAL PRÁTICO SOBRE Git por Djalma Oliveira Versão 1.1 "Git é um sistema de controle de revisão distribuida, rápido e escalável" (tradução rápida do manual). Basicamente é
Leia maisSistemas Operacionais Arquivos
Universidade Estadual de Mato Grosso do Sul UEMS Curso de Licenciatura em Computação Sistemas Operacionais Arquivos Prof. José Gonçalves Dias Neto profneto_ti@hotmail.com Introdução Os arquivos são gerenciados
Leia maisTópicos. Atualizações e segurança do sistema. Manutenção Preventiva e Corretiva de Software (utilizando o MS Windows XP)
teste 1 Manutenção Preventiva e Corretiva de Software (utilizando o MS Windows XP) Rafael Fernando Diorio www.diorio.com.br Tópicos - Atualizações e segurança do sistema - Gerenciamento do computador -
Leia maisBanco de Dados. Introdução. João Eduardo Ferreira Osvaldo Kotaro Takai. jef@ime.usp.br DCC-IME-USP
Banco de Dados Introdução João Eduardo Ferreira Osvaldo Kotaro Takai jef@ime.usp.br DCC-IME-USP Importância dos Bancos de Dados A competitividade das empresas depende de dados precisos e atualizados. Conforme
Leia maisSistemas de Arquivos NTFS, FAT16, FAT32, EXT2 e EXT3
Sistemas de Arquivos NTFS, FAT16, FAT32, EXT2 e EXT3 Os sistemas de arquivos é a parte do SO responsável pelo gerenciamento dos arquivos (estrutura, identificação, acesso, utilização, proteção e implementação).
Leia maisRAID Redundat Arrays of Inexpensive Disks
RAID Redundat Arrays of Inexpensive Disks Criado em alternativa para os discos grandes e caros. Justificativa: Substituindo discos grandes por muitos discos pequenos, o desempenho melhoraria mais cabeças
Leia maisHardware (Nível 0) Organização. Interface de Máquina (IM) Interface Interna de Microprogramação (IIMP)
Hardware (Nível 0) Organização O AS/400 isola os usuários das características do hardware através de uma arquitetura de camadas. Vários modelos da família AS/400 de computadores de médio porte estão disponíveis,
Leia maisUm retrospecto da aula passada... Um retrospecto da aula passada... Principais Aspectos de Sistemas Operacionais. Gerência de E/S
Um retrospecto da aula passada... Principais Aspectos de Sistemas Operacionais Laboratório de Sistemas Operacionais Aula 2 Flávia Maristela (flavia@flaviamaristela.com) Romildo Martins (romildo@romildo.net)
Leia maisSISTEMAS OPERACIONAIS LIVRES. Professor Carlos Muniz
SISTEMAS OPERACIONAIS LIVRES Agendar uma tarefa Você deve estar com logon de administrador para executar essas etapas. Se não tiver efetuado logon como administrador, você só poderá alterar as configurações
Leia maisNanoDataCenters. Aline Kaori Takechi 317055
NanoDataCenters Aline Kaori Takechi 317055 INTRODUÇÃO Introdução Projeto Europeu: NICTA National ICT Australia FP7 7th Framework Program Rede formada por Home Gateways Objetivo: distribuir conteúdo Dispositivos
Leia maisAdmistração de Redes de Computadores (ARC)
Admistração de Redes de Computadores (ARC) Instituto Federal de Educação, Ciência e Tecnologia de Santa Catarina - Campus São José Prof. Glauco Cardozo glauco.cardozo@ifsc.edu.br RAID é a sigla para Redundant
Leia maisGerenciamento de Entrada e Saída Hélio Crestana Guardia e Hermes Senger
Gerenciamento de Entrada e Saída Hélio Crestana Guardia e Hermes Senger O controle da entrada e saída (E/S ou I/O, input/output) de dados dos dispositivos é uma das funções principais de um sistema operacional.
Leia maisSistemas Operacionais
Sistemas Operacionais Gerenciamento de Memória Norton Trevisan Roman Marcelo Morandini Jó Ueyama Apostila baseada nos trabalhos de Kalinka Castelo Branco, Antônio Carlos Sementille, Paula Prata e nas transparências
Leia maisSistemas Operacionais
Sistemas Operacionais FATEC-PB Professor: Gustavo Wagner gugawag@gmail.com 1 Capítulo 6 Sistemas de Arquivos 6.1 Arquivos 6.2 Diretórios 6.3 Implementação do sistema de arquivos 6.4 Exemplos de sistemas
Leia maisTrabalhos Relacionados 79
Trabalhos Relacionados 79 6 Avaliação e Testes Neste capítulo são apresentados alguns testes que foram realizados com o a solução de Gerenciamento de Mobilidade (API SIP User Agent) e com o sistema publish/subscribe
Leia maisArquitetura e Organização de Computadores I
Arquitetura e Organização de Computadores I Interrupções e Estrutura de Interconexão Prof. Material adaptado e traduzido de: STALLINGS, William. Arquitetura e Organização de Computadores. 5ª edição Interrupções
Leia maisPROGRAMA DE PÓS-GRADUAÇÃO POSEAD. Curso Banco de Dados. Resenha Crítica: Backup e Recovery Aluno: Wilker Dias Maia
PROGRAMA DE PÓS-GRADUAÇÃO POSEAD Curso Banco de Dados Resenha Crítica: Backup e Recovery Aluno: Wilker Dias Maia Brasília 2012 SUMÁRIO 1- INTRODUÇÃO... 3 2- DESCRIÇÃO DO ASSUNTO... 4 2.1- Estrutura fisica
Leia maisAula 01 Visão Geral do Linux
Instituto Federal de Educação, Ciência e Tecnologia de Santa Catarina Administração de Redes de Computadores Aula 01 Visão Geral do Linux Prof. Gustavo Medeiros de Araujo Profa.
Leia mais? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase.
? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase.? Desde de 1994, a Microsoft lança versões do SQL SERVER
Leia maisModelos de Arquiteturas. Prof. Andrêza Leite andreza.lba@gmail.com
Modelos de Arquiteturas Prof. Andrêza Leite andreza.lba@gmail.com Agenda Introdução Arquitetura de Sistemas Distribuídos Clientes e Servidores Peer-to-Peer Variações Vários Servidores Proxy Código Móvel
Leia maisAs principais características da abordagem de um banco de dados versus a abordagem de processamento de arquivos são as seguintes:
SGBD Características do Emprego de Bancos de Dados As principais características da abordagem de um banco de dados versus a abordagem de processamento de arquivos são as seguintes: Natureza autodescritiva
Leia maisNotas da Aula 15 - Fundamentos de Sistemas Operacionais
Notas da Aula 15 - Fundamentos de Sistemas Operacionais 1. Software de Entrada e Saída: Visão Geral Uma das tarefas do Sistema Operacional é simplificar o acesso aos dispositivos de hardware pelos processos
Leia maisESPECIFICAÇÕES TÉCNICAS e OPERACIONAIS. BioMatch Server e BioMatch Client
ESPECIFICAÇÕES TÉCNICAS e OPERACIONAIS BioMatch Server e BioMatch Client ÍNDICE A) Objetivo...3 B) Pré-Requisitos...3 C) Características Operacionais...4 D) Aplicação e Performance...6 E) Descrição dos
Leia maisDisciplina de Banco de Dados Introdução
Disciplina de Banco de Dados Introdução Prof. Elisa Maria Pivetta CAFW - UFSM Banco de Dados: Conceitos A empresa JJ. Gomes tem uma lista com mais ou menos 4.000 nomes de clientes bem como seus dados pessoais.
Leia maisSistema de Arquivos. Ambientes Operacionais. Prof. Simão Sirineo Toscani stoscani@inf.pucrs.br www.inf.pucrs.br/~stoscani
Sistema de Arquivos Ambientes Operacionais Prof. Simão Sirineo Toscani stoscani@inf.pucrs.br www.inf.pucrs.br/~stoscani Gerência de Arquivos É um dos serviços mais visíveis do SO. Arquivos são normalmente
Leia maiswww.victorpinheiro.jimdo.com www.victorpinheiro.jimdo.com
SERVIÇOS DE REDES DE COMPUTADORES Prof. Victor Guimarães Pinheiro/victor.tecnologo@gmail.com www.victorpinheiro.jimdo.com www.victorpinheiro.jimdo.com Modelo TCP/IP É o protocolo mais usado da atualidade
Leia maisTRABALHO COM GRANDES MONTAGENS
Texto Técnico 005/2013 TRABALHO COM GRANDES MONTAGENS Parte 05 0 Vamos finalizar o tema Trabalho com Grandes Montagens apresentando os melhores recursos e configurações de hardware para otimizar a abertura
Leia maisBACHARELADO EM SISTEMAS DE INFORMAÇÃO EaD UAB/UFSCar Sistemas de Informação - prof. Dr. Hélio Crestana Guardia
O Sistema Operacional que você usa é multitasking? Por multitasking, entende-se a capacidade do SO de ter mais de um processos em execução ao mesmo tempo. É claro que, num dado instante, o número de processos
Leia maisSistemas Operacionais Gerência de Dispositivos
Universidade Estadual de Mato Grosso do Sul UEMS Curso de Licenciatura em Computação Sistemas Operacionais Gerência de Dispositivos Prof. José Gonçalves Dias Neto profneto_ti@hotmail.com Introdução A gerência
Leia mais