Computação em Grade. A Perspectiva do Gerenciamento de Dados

Tamanho: px
Começar a partir da página:

Download "Computação em Grade. A Perspectiva do Gerenciamento de Dados"

Transcrição

1 Departamento de Informática PUC-Rio Programa de Pós-Graduação em Informática Disciplina: Seminários de Sistemas Distribuídos Professores: Markus Endler Renato Cerqueira Noemi Rodriguez Computação em Grade A Perspectiva do Gerenciamento de Dados Marcelo Nery dos Santos Julho / 2005

2 Introdução... 3 Protocolos... 3 GridFTP... 4 Chirp... 6 Serviços Globus... 7 Reliable File Transfer (RFT) Service... 7 Global Access to Secondary Storage (GASS) Service... 8 Replica Location Service (RLS) [9]... 8 Aplicações Condor... 9 STORK... 9 DiskRouter... 9 Batch-Aware Distributed File System Miscellaneous Google File System Estimativa de Desempenho na Cópia Conclusões Referências

3 Introdução O ambiente de computação em grade gera novas demandas sobre os mecanismos de entrada e saída. As aplicações precisam acessar os dados armazenados remotamente para que o objetivo final seja atingido. Os sistemas de arquivos distribuídos tradicionais, como o NFS e AFS, permitem que a aplicação acesse os dados como se eles fossem locais, porém, alguns problemas encontrados nesses sistemas impedem a sua ampla disseminação e criam a necessidade de um mecanismo alternativo para o gerenciamento e transferência dos dados na grade. No NFS, através da definição de mount points para um servidor de arquivos remoto, a aplicação observa os dados como arquivos regulares no disco. Essa solução, aparentemente simples, possui problemas na administração da rede e dos servidores NFS, bem como problemas de segurança e disponibilidade ao tratar de um cenário multi organizacional. Além disso, o sistema foi concebido em um cenário de uso mais interativo, onde um erro no sistema de comunicação poderia ser tratado explicitamente pelo usuário final. Considerando o aspecto de desempenho, a utilização de dados remotos pode degradar o funcionamento das aplicações que precisam acessar o arquivo de dados em múltiplas leituras. Nessas situações, é aconselhável que o arquivo seja replicado em uma área local e que o resultado seja armazenado posteriormente no servidor. O AFS provê os mecanismos de acesso aos dados de uma forma mais abrangente, entre instituições. Entretanto, o seu uso não está amplamente disseminado e o esforço para disponibilizá-lo o torna uma alternativa pouco viável, visto que um problema inerente a esse tipo de sistema consiste no controle de acesso aos dados e na manutenção das informações de acesso, de uma forma centralizada, por parte de várias instituições que acessam a grade. Algumas alternativas foram desenvolvidas pela comunidade de computação em grade, visando obter um maior desempenho na transferência e uma maior acessibilidade dos dados. O objetivo desse documento é realizar um levantamento geral das técnicas e sistemas propostos. Os trabalhos relacionados ao Legion [1] e ao OurGrid [2] não estão contemplados nesse documento em função da maior abrangência e disponibilidade dos sistemas aqui apresentados, em especial, o Globus [21] e o Condor [22]. Protocolos Essa seção visa apresentar os diversos protocolos de comunicação utilizados na transferência dos dados. No ambiente de computação em grade, os protocolos priorizam, normalmente, uma alta taxa de desempenho sustentável em detrimento a uma baixa latência de comunicação. As operações críticas envolvem um grande volume de 3

4 dados, onde um pequeno atraso no início da transferência não compromete a operação de um modo geral. GridFTP O GridFTP define extensões ao protocolo FTP permitindo a transferência de dados de uma forma segura, confiável e com um alto desempenho. Uma implementação do serviço [3] está disponível no Globus Toolkit 4 e é usado pelo Reliable File Transfer (RTF) Service no Globus. O FTP foi escolhido como base para o sistema por várias razões (1) a existência de canais de controle separados dos canais de dados, (2) pela ampla difusão do protocolo e (3) pela capacidade de definição de um conjunto de extensões previsto na especificação do protocolo. As principais funcionalidades do GridFTP são: 1. Controle de Transferência Externo. Um cliente, devidamente autenticado, é capaz de mediar a transferência de dados entre dois servidores de dados. Dessa forma, o cliente realiza operações remotamente e é capaz de iniciar, monitorar e controlar a transferência de dados. 2. Autenticação, Integridade e Confidencialidade. Utilizando o Generic Secutiry Service e suportando a definição de vários níveis de confidencialidade e integridade dos dados. A autenticação também é usada para validar as partes envolvidas na comunicação, ou seja, o cliente e os dois servidores de dados. 3. Transferência Particionada (striped). Um conjunto de informações disponíveis em um conjunto de máquinas é enviado para o destino em vários canais. Essa técnica visa fazer um uso otimizado da rede, onde, mesmo que uma máquina não consiga utilizar toda a capacidade da rede, um conjunto de máquinas faz o uso compartilhado resultando em um alto desempenho na operação como um todo. 4. Transferência Paralela. Utiliza vários canais TCP paralelos entre a mesma fonte e destino, de forma a obter uma taxa agregada de transferência maior que a taxa de um único canal. Essa técnica pode ser usada conjuntamente à técnica anterior. 5. Transmissão de Dados Parciais. Além da função de resume existente no FTP, o GridFTP também permite a transferência de regiões arbitrárias do arquivo. Permitindo que apenas um determinado conjunto de informações seja transferido. Devido aos erros que podem acontecer na transferência, a continuação do trabalho de forma otimizada é importante. 6. Negociação automática do buffer TCP. O uso de um tamanho de buffer adequado pode aumentar o desempenho da comunicação em redes de longa distância. O GridFTP também permite que o valor seja atribuído manualmente, considerando essa atividade suscetível a erros. 4

5 Alguns resultados experimentais estão disponíveis. Três configurações de rede foram utilizadas: LAN, a 612Mbps; MAN, a 1Gbps; e a WAN, a 30Gbps, nesse caso, cada máquina possui um link de 1Gbps de conexão com a rede. Figura 1 - GridFTP A Figura 1 - GridFTP - apresenta a comparação entre o GridFTP e duas implementações do protocolo FTP, o ncftp e o wuftp. Nenhuma característica de paralelismo, particionamento ou autenticação foi utilizada. Podemos observar que o desempenho da implementação do GridFTP, no Globus, foi um pouco superior. No teste de paralelismo, definindo vários canais paralelos entre o cliente e o servidor, podemos observar 4 curvas: 1. Iperf: como o limite de banda calculado por uma ferramenta. 2. Globus Mem: onde a leitura de informações é feita do /dev/zero e escrita é realizada para /dev/null. 3. Globus Disk: onde a leitura e escrita de informações são realizadas no disco. 4. Bonnie: como uma ferramenta para medição de desempenho no sistema de arquivos local. Figura 2 - GridFTP - Paralelismo 5

6 Na Figura 2 - GridFTP - Paralelismo - observamos o desempenho do GridFTP próximo as condições ideais para as três configurações de rede, com o desempenho do Globus Mem equivalente a taxa máxima que pode ser atingida pela rede, e o desempenho do Globus Disk limitado pelo desempenho do sistema de arquivos. A degradação de desempenho no caso da WAN em relação ao número de streams se deve a realização de várias chamadas a função de seek, para atender o elevado número de streams. Figura 3 - GridFTP - Particionamento Na Figura 3 - GridFTP - Particionamento - observamos o uso praticamente total da rede WAN pela utilização de vários servidores paralelamente. O desempenho da operação usando o disco não atingiu a capacidade da rede e a justificativa é a limitação da capacidade dos discos de um dos centros de computação utilizados no teste da rede WAN. O servidor GridFTP se mostrou estável com a presença de 1800 clientes concorrentes executando em diversas máquinas remotas. Chirp O protocolo Chirp [4] é utilizado pelas aplicações do Condor para realizar o acesso aos dados remotos. O NeST, Network Storage, é um aplicação de armazenamento de dados para computação em grade (software-only storage appliance) [5]. O NeST possui uma arquitetura de transferência de dados genérica, suportando vários protocolos, incluindo o GridFTP e NFS. A Figura 4 - NeST - apresenta uma comparação de desempenho para diversos protocolos de transferência. O teste consiste na solicitação de um arquivo de 10MB por parte de 4 clientes, usando cada um dos protocolos disponíveis, e no último caso (NeST vs JOBS) cada um dos clientes usou um dos quatro protocolos disponíveis. 6

7 Figura 4 - NeST Um estudo mais aprofundado sobre o desempenho no GridFTP e do Chirp pode ser obtido em [6], o uso de CPU desses protocolos pode ser observado na Figura 5 - Uso de CPU. Figura 5 - Uso de CPU Serviços Globus Os serviços de acesso e gerenciamento de dados são utilizados para viabilizar um uso mais simples dos protocolos disponíveis. A recuperação de falhas, escolha do protocolo adequado, e o gerenciamento da cópia são realizados pelo serviço e o cliente final simplesmente realiza uma solicitação. No Condor, o NeST possui esse papel, no Globus, alguns globus services foram definidos. São eles: Reliable File Transfer (RFT) Service Embora o GridFTP ofereça suporte para a recuperação de falhas, o controle da operação é feito pelo cliente da transferência e uma falha no cliente pode resultar em uma operação parcialmente concluída entre os servidores. Caso o cliente não possua um mecanismo de persistência para a continuação da operação, os dados permanecerão 7

8 inconsistentes e a operação como um todo terá falhado. Além disso, o canal de controle deve permanecer aberto durante toda a transferência, o que dificulta clientes móveis, ou com uma conectividade instável. Nesse sentido, a criação de um serviço de transferência de arquivos é necessária, onde clientes realizam a solicitação e o servidor é responsável por manter o canal de controle e o estado das transferências. O Reliable File Transfer Service [7] atua como um proxy, permitindo que os usuários solicitem as operações de transferência através do recebimento de descrições do trabalho a ser realizado. Diversas operações podem ser realizadas pelo serviço, mapeando as solicitações em comandos a serem executados pelo RFT usando o GridFTP. O RFT é responsável pelo gerenciamento dessas solicitações, representando o cliente. Global Access to Secondary Storage (GASS) Service O GASS [8] define um espaço de nomes global através de URLs e permite que as aplicações acessem os dados usando as interfaces padrão de entrada e saída através da cópia dos dados para a área local (staging). O objetivo do GASS não é disponibilizar um sistema de arquivos distribuído de propósito geral, e sim funcionalidades para o uso comum em sistemas de computação em grade, como transferência de executáveis e leitura de arquivos de configuração. Os padrões de acesso aos dados considerados foram: (1) acesso somente leitura a um arquivo; (2) escrita compartilhada de um arquivo, sem de controle de concorrência; (3) acesso para concatenação de informações, como em arquivos de log; e (4) acesso aleatório de leitura e escrita, também sem controle de concorrência. Dessa forma, as operações podem ser realizadas sem levar em consideração outras aplicações que estejam acessando o arquivo. A abertura e o fechamento dos arquivos são feitos através de funções especiais, como, globus gass fopen e globus gass fclose. Essas funções ativam o mecanismo de cache do GASS e de acordo com a política realiza a cópia do arquivo remoto. Replica Location Service (RLS) [9] A utilização de réplicas na grade reduz a latência no acesso aos dados, melhorando o desempenho das aplicações distribuídas. O serviço de localização de réplicas mantém um mapeamento entre nomes lógicos e nomes de arquivos reais armazenados na grade. O serviço visa substituir o catálogo global de réplicas existente nas versões anteriores do Globus Toolkit. A versão distribuída do serviço provê um maior desempenho e escalabilidade. A semântica da palavra réplica deve ser observada atentamente, visto que na grande maioria dos casos, não existe um controle de versões mantendo a integridade dos arquivos, garantindo que todos eles possuem o mesmo conteúdo. 8

9 Aplicações Condor O objetivo do projeto Condor é permitir a utilização dos recursos na rede com um enfoque ao nível institucional. A utilização de recursos compartilhados entre várias instituições é possível pela integração com o Globus, através do Condor-G [12]. O casamento de máquinas disponíveis com processos a serem executados é feito pelo mecanismo de ClassAds, que visa casar os requisitos das publicações sobre recursos e solicitações. Diversas características podem ser especificadas, inclusive indicando preferências não obrigatórias para a escolha de uma máquina, como a priorização de uma maior quantidade de memória. Uma das grandes preocupações do sistema consiste na possibilidade de migração de processos entre as diversas máquinas, o que depende da realização de checkpoints. Diversos aspectos nessa linha, inclusive sobre a possibilidade da realização de checkpoints sem a necessidade de recompilação do código estão apresentados em [13]. A questão de entrada e saída dos processos também é amplamente estudada e o Parrot [14] normalmente é utilizado para que as aplicações tenham acesso aos dados remotos com pouca ou nenhuma necessidade de recompilação. A seguir, apresentamos alguns sistemas desenvolvidos pelo grupo de trabalho do Condor. STORK O Stork [15] foi desenvolvido com o objetivo de tratar as transferências de dados na grade de uma forma sistemática, assim como são os processos submetidos pelos usuários, tratando as transferências como uma operação tão importante quanto a submissão de processos. O Stork é um agendador das operações de transferências de dados na grade, permitindo que essas operações sejam agendadas, executadas, monitoradas, gerenciadas e retomadas em caso de falha. Os principais desafios enfrentados no sistema se refere a heterogeneidade dos recursos, ao tratamento das falhas nas operações, aos diferentes requisitos de transferência (em relação as necessidades das aplicações), e as limitações dos recursos a serem utilizados. Além disso, as falhas no Stork podem ser tratadas pela utilização de diversos protocolos diferentes, na tentativa de minimizar os erros irrecuperáveis ao tentar vários protocolos em caso de erro em algum deles. O uso compartilhado de CPU e da rede [16] pode resultar em ganhos gerais de desempenho, mantendo uma alta utilização de ambos os recursos ao longo do tempo, dado que eles podem ser usados independentemente. DiskRouter O DiskRouter [17] visa otimizar a transferência de dados em redes de longa distância fazendo com que a informação seja tratada de forma especializada em cada ponto na rede. Utilizando buffers em disco e memória nas estações intermediárias para armazenar os dados, o desempenho pode ser melhorado. Ele também pode ser usado como um 9

10 ponto de armazenamento de dados próximo aos centros de processamento. Dessa forma, o resultado de algum processo pode ser rapidamente transferido para uma estação próxima, liberando a CPU para o processamento de outro processo, enquanto a transferência do resultado passa a ser encaminhada para o destino através da rede de longa distância pelo DiskRouter. O sistema é capaz de bloquear os escritores caso o espaço do buffer seja esgotado, evitando perda de dados. Além disso, é possível fazer uma avaliação dos dados em transito para definir algum protocolo de compressão, e otimizar os parâmetros do TCP em relação a cada um dos links existentes no caminho formado pelos diversos roteadores. O DiskRouter pode ser usado conjuntamente com o Stork, definindo estratégias para o fluxo dos dados. Batch-Aware Distributed File System O BAD-FS [18] é uma implementação de um sistema de arquivos distribuído que faz com que um gerenciador de dados seja capaz de controlar diversas políticas do sistema, como consistência, caching e replicação. O gerenciador possui um maior conjunto de informações e pode tratar o sistema de uma forma mais específica do que os sistemas de arquivos distribuídos tradicionais, atingindo um melhor desempenho, um tratamento de erros mais adequado e uma implementação simplificada. O BAD-FS faz uso de vários componentes do grupo do Condor, como o NeST, os mecanismos para atribuição de processos do Condor, o Parrot para acesso aos dados pelas aplicações, e o mecanismo de casamento entre ofertas de máquinas e solicitação de processos, ClassAds. Miscellaneous Kosar et al. [19], apresentam um framework com capacidade de monitoração e de ajustes automáticos que ampliam a taxa de transferência em um grande percentual, como observado na Figura 6 - Auto Tuning. Figura 6 - Auto Tuning 10

11 Google File System Seguindo a linha de que os sistemas de arquivos distribuídos tradicionais foram desenvolvidos com um propósito diferente dos necessários em sistemas de computação em grade, o Google possui um sistema de arquivos específico para o tratamento de grandes volumes de informação [20]. O sistema se baseia no uso de dispositivos de armazenamento comuns, e deve ser capaz de manipular eficientemente grandes arquivos, da ordem de centenas de megabytes ou dezenas de gigabytes. O padrão de acesso aos dados deve ser otimizado para um alto desempenho, com pouca preocupação com o aspecto de latência e o uso de cache de dados no cliente não é estritamente necessário pelas características observadas no acesso aos dados pelo sistema. Além das operações comuns dos sistemas de arquivos, como criação, deleção, abertura, fechamento, leitura e escrita, duas funções foram definidas por terem um grande uso no ambiente de aplicação do sistema: snapshot e append. Com o objetivo de obter uma cópia de uma árvore de arquivos e de concatenar informações atomicamente em um arquivo com baixo custo. A arquitetura do sistema é composta por um mestre único e diversos servidores de dados. Os clientes se comunicam com o mestre para obtenção de metadados sobre as informações, como a localização do dado nos diversos servidores e o identificador interno. O mestre é responsável por manter o espaço de nomes global, e verificar o funcionamento dos diversos servidores através de mensagens de heart beat. A Figura 7 - Arquitetura do Google File System apresenta a arquitetura. Figura 7 - Arquitetura do Google File System A utilização de um único mestre simplifica bastante a implementação e toda a informação que o mestre oferece é mantida em memória, garantindo uma resposta rápida sem sobrecarga do processo. O sistema é capaz de gerenciar milhares de 11

12 máquinas, com seus dispositivos de armazenamento, de forma confiável e com um bom desempenho. Estimativa de Desempenho na Cópia Considerando o escalonamento de processos em um ambiente de computação em grade, a informação sobre o tempo necessário para realizar a transferência dos dados, entre a origem e o candidato a processar o dado, pode ser um critério importante. Pode ser interessante que um processador mais lento seja utilizado, caso o custo associado à transferência do dado para um servidor com maior capacidade de processamento seja maior. Considerando a existência de réplicas da informação em diversos pontos de armazenamento, a escolha da fonte dos dados também pode ser obtida caso alguma estimativa esteja presente. Vazhkudai et al [10], argumentam que a modelagem analítica de sistemas, apesar de amplamente utilizada para sistemas compostos por CPU, discos e aspectos de rede a nível de roteador, não se aplicam ao tratar sobre a transferência de arquivos em uma rede real. Isso se deve, especialmente, pela natureza imprevisível do comportamento do sistema e pela falta de um conjunto completo dos dados a serem modelados. Em contrapartida, eles propõem uma técnica que utiliza dados históricos na tentativa de prever o comportamento futuro, considerando todo o esforço da transferência de dados fim a fim, e não tratando os componentes individualmente. Diversas funções matemáticas, como média ponderada, mediana, ou modelos de regressão podem ser usados como preditores. Os parâmetros utilizados podem consistir de tamanho do arquivo, origem e destino da transferência, número de fluxos (streams) usados, entre outros. Além dos dados históricos, o uso de pacotes de teste pode ser utilizado para avaliar as condições da rede no momento que antecede a transmissão. No caso de pacotes de teste, é recomendável a utilização de pacotes de tamanho variável e incremental. Evitando que o cálculo da estimativa seja retardado por um eventual link de baixa qualidade, ou prejudicado, pelo uso de pacotes muito pequenos. A Figura 8 - Erro da Estimativa - apresenta o erro da estimativa considerando a técnica baseada no histórico (PastMavg) e as demais técnicas baseadas em regressão. 12

13 Figura 8 - Erro da Estimativa De acordo com os experimentos realizados, o uso de técnicas de regressão aumentou a precisão da estimativa em 5 a 10% comparada a técnica que considera apenas o histórico. Pelo baixo ganho obtido, acreditamos que a simplicidade da solução baseada apenas no histórico deve ser considerada. E que o uso de pacotes de teste, não considerados nos experimentos citados nos artigos, pode gerar resultados interessantes. Conclusões A definição de sistemas especializados está presente nas mais diversas áreas da computação. As decisões de projeto que fizeram com que antigos sistemas obtivessem sucesso em um determinado contexto podem não ser válidas no contexto atual. Novas avaliações do uso do sistema devem ser realizadas e adaptações, ou completas reestruturações, são necessárias, objetivando atender a nova demanda computacional. Nesse sentido, os mecanismos de gerenciamento de dados devem ser estudados e definidos levando em consideração as características das mais diversas soluções disponíveis. Novos sistemas podem ser criados com o objetivo de otimizar o funcionamento para um caso específico, como no ambiente de computação em grade, onde o desempenho e a disponibilidade tem um papel fundamental. O objetivo final é beneficiar o cliente final da aplicação, disponibilizando novas funcionalidades com um alto desempenho. Na construção de um sistema de arquivos distribuído, diversos aspectos devem ser tratados, como o conjunto de operações oferecidas, bem como o desempenho nas funcionalidades mais críticas, viabilizando um amplo uso do sistema. As diversas técnicas e sistemas apresentados nesse trabalho, como os protocolos de comunicação, os sistemas existentes e os mecanismos para estimativa de tempo de transferência de dados, são essenciais para a modelagem e definição de um sistema de arquivos especializado, visando a manipulação de dados em um novo sistema de computação em grade. 13

14 Referências [1] Andrew S. Grimsaw, Wm. A. Wulf. Legion--A View From 50,000 Feet. Proceedings of the Fifth IEEE International Symposium on High Performance Distributed Computing, IEEE Computer Society Press. Los Alamitos, California, August [2] Nazareno Andrade, Walfredo Cirne, Francisco Brasileiro, Paulo Roisenberg. OurGrid: An Approach to Easily Assemble Grids with Equitable Resource Sharing. Proceedings of the 9th Workshop on Job Scheduling Strategies for Parallel Processing. Seattle, Washington, June [3] Bill Allcock, John Bresnahan, Raj Kettimuthu, Mike Link, Catalin Dumitrescu, Ioan Raicu, Ian Foster. The Globus Striped GridFTP Framework and Server. Submitted to the 2005 High Performance Distributed Computing Conference (HPDC 14). To appear, July [4] "Chirp Protocol" Consultado em Julho de [5] John Bent, Venkateshwaran Venkataramani, Nick LeRoy, Alain Roy, Joseph Stanley, Andrea C. Arpaci Dusseau, Remzi H. Arpaci-Dusseau, Miron Livny. Flexibility, Manageability, and Performance in a Grid Storage Appliance. Proceedings of the Eleventh IEEE Symposium on High Performance Distributed Computing. Edinburgh, Scotland, July [6] George Kola, Tevfik Kosar and Miron Livny, Profiling Grid Data Transfer Protocols and Servers. In Euro-Par Pisa, Italy, September [7] W.E. Allcock, I. Foster, R. Madduri. Reliable Data Transport: A Critical Service for the Grid. Building Service Based Grids Workshop, Global Grid Forum 11, June [8] J. Bester, I. Foster, C. Kesselman, J. Tedesco, S. Tuecke. GASS: A Data Movement and Access Service for Wide Area Computing Systems. Sixth Workshop on I/O in Parallel and Distributed Systems. Atlanta, Georgia, May [9] Manual do Usuário do Globus Toolkit 4. Replica Location Service. Consultado em Julho de [10] J. M. Schopf, S. Vazhkudai. Predicting Sporadic Grid Data Transfers. 11th IEEE International Symposium on High-Performance Distributed Computing (HPDC-11), IEEE Press. Edinburg, Scotland, July [11] S. Vazhkudai, J. M. Schopf, I. Foster. Predicting the Performance of Wide Area Data Transfers. Proceedings of the 16th International Parallel and Distributed Processing Symposium (IPDPS 2002), Fort Lauderdale, Florida, April

15 [12] James Frey, Todd Tannenbaum, Ian Foster, Miron Livny, and Steven Tuecke, Condor-G: A Computation Management Agent for Multi-Institutional Grids, Journal of Cluster Computing volume 5, pages , [13] Victor C. Zandy, Barton P. Miller, and Miron Livny, Process Hijacking, The Eighth IEEE International Symposium on High Performance Distributed Computing (HPDC8). Redondo Beach, California, August 1999, pp [14] Douglas Thain and Miron Livny, Parrot: Transparent User-Level Middleware for Data-Intensive Computing. Workshop on Adaptive Grid Middleware. New Orleans, Louisiana, September [15] Tevfik Kosar and Miron Livny, Stork: Making Data Placement a First Class Citizen in the Grid. In Proceedings of 24th IEEE Int. Conference on Distributed Computing Systems (ICDCS2004). Tokyo, Japan, March [16] Jim Basney and Miron Livny, Improving Goodput by Co-scheduling CPU and Network Capacity. International Journal of High Performance Computing Applications, Volume 13(3), Fall [17] G. Kola and M. Livny. Diskrouter: A flexible infrastructure for high performance large scale data transfers. Technical Report CS-TR , University of Wisconsin, [18] John Bent, Douglas Thain, Andrea Arpaci-Dusseau, Remzi Arpaci-Dusseau, and Miron Livny, Explicit Control in a Batch Aware Distributed File System. Proceedings of the First USENIX/ACM Conference on Networked Systems Design and Implementation. San Francisco, CA, March [19] Tevfik Kosar, George Kola and Miron Livny, A Framework for Selfoptimising, Fault-tolerant, High Performance Bulk Data Transfers in a Heterogeneous Grid Environment. Proceedings of 2nd Int. Symposium on Parallel and Distributed Computing (ISPDC2003). Ljubljana, Slovenia, October [20] Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung. The Google File System. 19th ACM Symposium on Operating Systems Principles, Lake George, NY, October, [21] I. Foster, C. Kesselman, S. Tuecke. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International J. Supercomputer Applications, 15(3), [22] Michael Litzkow, Miron Livny, and Matt Mutka. Condor - A Hunter of Idle Workstations. Proceedings of the 8th International Conference of Distributed Computing Systems, pages June,

2 Trabalhos Relacionados

2 Trabalhos Relacionados 2 Trabalhos Relacionados Nesse capítulo, apresentamos os trabalhos relacionados ao GridFS, entrando em mais detalhes sobre os sistemas citados durante a introdução e realizando algumas considerações sobre

Leia mais

1 http://www.google.com

1 http://www.google.com 1 Introdução A computação em grade se caracteriza pelo uso de recursos computacionais distribuídos em várias redes. Os diversos nós contribuem com capacidade de processamento, armazenamento de dados ou

Leia mais

Marcelo Nery dos Santos. GridFS Um Servidor de Arquivos para Grades e Ambientes Distribuídos Heterogêneos. Dissertação de Mestrado

Marcelo Nery dos Santos. GridFS Um Servidor de Arquivos para Grades e Ambientes Distribuídos Heterogêneos. Dissertação de Mestrado Marcelo Nery dos Santos GridFS Um Servidor de Arquivos para Grades e Ambientes Distribuídos Heterogêneos Dissertação de Mestrado Dissertação apresentada como requisito parcial para obtenção do grau de

Leia mais

Introdução. Definição de um Sistema Distribuído (1) Definição de um Sistema Distribuído(2) Metas de Sistemas Distribuídos (2)

Introdução. Definição de um Sistema Distribuído (1) Definição de um Sistema Distribuído(2) Metas de Sistemas Distribuídos (2) Definição de um Sistema Distribuído (1) Introdução Um sistema distribuído é: Uma coleção de computadores independentes que aparecem para o usuário como um único sistema coerente. Definição de um Sistema

Leia mais

Camadas de Serviço de Hardware e Software em Sistemas Distribuídos. Introdução. Um Serviço Provido por Múltiplos Servidores

Camadas de Serviço de Hardware e Software em Sistemas Distribuídos. Introdução. Um Serviço Provido por Múltiplos Servidores Camadas de Serviço de Hardware e Software em Sistemas Distribuídos Arquiteutra de Sistemas Distribuídos Introdução Applications, services Adaptação do conjunto de slides do livro Distributed Systems, Tanembaum,

Leia mais

Faculdade Integrada do Ceará FIC Graduação em Redes de Computadores

Faculdade Integrada do Ceará FIC Graduação em Redes de Computadores Faculdade Integrada do Ceará FIC Graduação em Redes de Computadores Disciplina - Sistemas Distribuídos Prof. Andrey Halysson Lima Barbosa Aula 8 Sistema de Arquivos Distribuído Sumário Problemas Solução

Leia mais

Sistemas de Arquivos Distribuídos. Universidade Federal do ABC Prof. Dr. Francisco Isidro Massetto

Sistemas de Arquivos Distribuídos. Universidade Federal do ABC Prof. Dr. Francisco Isidro Massetto Sistemas de Arquivos Distribuídos Universidade Federal do ABC Prof. Dr. Francisco Isidro Massetto Conceitos Dois tipos Stateless Statefull Statefull Mantém informações de estado Nome do arquivo Ponteiro

Leia mais

Roteiro. Sistemas Distribuídos. Sistemas de Arquivos Distribuídos. Sistema de arquivos distribuídos

Roteiro. Sistemas Distribuídos. Sistemas de Arquivos Distribuídos. Sistema de arquivos distribuídos Sistemas Distribuídos Sistemas de Arquivos Distribuídos Roteiro Sistema de arquivos distribuídos Requisitos Arquivos e diretórios Compartilhamento Cache Replicação Estudo de caso: NFS e AFS Sistemas Distribuídos

Leia mais

Um Modelo de Virtualização em Grades Computacionais para Inserção de Recursos Ociosos

Um Modelo de Virtualização em Grades Computacionais para Inserção de Recursos Ociosos Um Modelo de em Grades Computacionais para Inserção de Recursos Ociosos Apresentado por: Josiney de Souza e Rubens Massayuki Suguimoto CI853 - Tópicos em Redes de Computadores III Prof. Aldri Luiz dos

Leia mais

Pg. Autoria. Versão atual V10, nov 2008 C. Geyer. Sistemas de Arquivos Distribuídos: DFS. Projeto de. Sistemas de Arquivos Distribuídos (DFS) Súmula

Pg. Autoria. Versão atual V10, nov 2008 C. Geyer. Sistemas de Arquivos Distribuídos: DFS. Projeto de. Sistemas de Arquivos Distribuídos (DFS) Súmula Autoria 1 versão Alunos de disciplina do PPGC Sistemas de Arquivos Distribuídos: DFS Versão atual V10, nov 2008 C. Geyer Sistemas Distribuidos Sistema de Arquivos Distribuídos 1 Sistemas Distribuidos Sistema

Leia mais

CSGrid: um Sistema para Integração de Aplicações em Grades Computacionais

CSGrid: um Sistema para Integração de Aplicações em Grades Computacionais CSGrid: um Sistema para Integração de Aplicações em Grades Computacionais Maria Julia de Lima, Taciana Melcop, Renato Cerqueira, Carlos Cassino, Bruno Silvestre, Marcelo Nery, Cristina Ururahy 1 Grupo

Leia mais

Planejamento para Implantação do GridUnesp. II Workshop GridUnesp Outubro de 2006

Planejamento para Implantação do GridUnesp. II Workshop GridUnesp Outubro de 2006 Planejamento para Implantação do GridUnesp II Workshop GridUnesp Outubro de 2006 2 Roteiro O que é Grid Porque Grid? Conceitos gerais. Componentes de um Grid. Exemplo: o SPRACE (São Paulo Regional Analysis

Leia mais

O que é Grid Computing

O que é Grid Computing Grid Computing Agenda O que é Grid Computing Grid vs Cluster Benefícios Tipos de Grid Aplicações Ferramentas e padrões Exemplos no mundo Exemplos no Brasil Grid no mundo dos negócios Futuro O que é Grid

Leia mais

Tipos de Sistemas Distribuídos (Cluster e Grid)

Tipos de Sistemas Distribuídos (Cluster e Grid) Tipos de Sistemas Distribuídos (Cluster e Grid) Sistemas Distribuídos Mauro Lopes Carvalho Silva Professor EBTT DAI Departamento de Informática Campus Monte Castelo Instituto Federal de Educação Ciência

Leia mais

Planejamento de execução de aplicação baseada no tipo de tarefa com o foco na análise de desempenho

Planejamento de execução de aplicação baseada no tipo de tarefa com o foco na análise de desempenho Planejamento de execução de aplicação baseada no tipo de tarefa com o foco na análise de desempenho Emerson da Silva Borges, Maurício Amaral de Almeida Pós-Graduação / Strictu Sensu - Programa de Mestrado

Leia mais

4 Resultados Experimentais

4 Resultados Experimentais 4 Resultados Experimentais Diversos testes foram realizados para avaliar o comportamento do sistema. Os testes têm o objetivo de comparar a taxa de transferência obtida pelos métodos de cópia baseados

Leia mais

SISTEMA DE ARQUIVOS DISTRIBUÍDOS

SISTEMA DE ARQUIVOS DISTRIBUÍDOS SISTEMA DE ARQUIVOS DISTRIBUÍDOS Sistemas Distribuídos 331 Arquivo: objeto que existe após criação, é imune a falhas temporárias e é persistente até que seja destruído Propósito de arquivos: armazenamento

Leia mais

Universidade Federal de Minas Gerais. Sistemas Operacionais. Aula 23. Sistemas Operacionais Distribuídos

Universidade Federal de Minas Gerais. Sistemas Operacionais. Aula 23. Sistemas Operacionais Distribuídos Aula 23 Distribuídos SOs de Rede Em sistemas operacionais de rede você sabe quando é local e quando é remoto. Assim, o trabalho não muda, com exceção de comandos para acesso remoto: - telnet - ftp - etc.

Leia mais

Google File System. Danilo Silva Marshall Érika R. C. de Almeida

Google File System. Danilo Silva Marshall Érika R. C. de Almeida Google File System Danilo Silva Marshall Érika R. C. de Almeida Tópicos abordados Sistemas de arquivos Sistemas de arquivos distribuídos Google File System Gmail File System Linux Windows Gspace Referências

Leia mais

Estratégia de Implantação do GridUNESP. II Brazilian LHC Computing Workshop - GridUNESP

Estratégia de Implantação do GridUNESP. II Brazilian LHC Computing Workshop - GridUNESP Estratégia de Implantação do GridUNESP II Brazilian LHC Computing Workshop - GridUNESP O que é Grid? Grid é um sistema que coordena recursos computacionais geograficamente distribuídos. Usa protocolos

Leia mais

Uma solução de desempenho para a distribuição de documentos: Habilitando a distribuição de documentos em tempo real para corporações globais

Uma solução de desempenho para a distribuição de documentos: Habilitando a distribuição de documentos em tempo real para corporações globais Uma solução de desempenho para a distribuição de documentos: Habilitando a distribuição de documentos em tempo real para corporações globais Visão Geral Desafio Hoje, os aplicativos da web são um tremendo

Leia mais

Arquitetura de Sistemas Distribuídos. Introdução a Sistemas Distribuídos

Arquitetura de Sistemas Distribuídos. Introdução a Sistemas Distribuídos Introdução a Sistemas Distribuídos Definição: "Um sistema distribuído é uma coleção de computadores autônomos conectados por uma rede e equipados com um sistema de software distribuído." "Um sistema distribuído

Leia mais

Um cluster de servidores de email pode ser usado para servir os emails de uma empresa.

Um cluster de servidores de email pode ser usado para servir os emails de uma empresa. CLUSTERS Pode-se pegar uma certa quantidade de servidores e juntá-los para formar um cluster. O serviço então é distribuído entre esses servidores como se eles fossem uma máquina só. Um cluster de servidores

Leia mais

REDES DE COMPUTADORES Prof. Ricardo Rodrigues Barcelar http://www.ricardobarcelar.com

REDES DE COMPUTADORES Prof. Ricardo Rodrigues Barcelar http://www.ricardobarcelar.com - Aula Complementar - MODELO DE REFERÊNCIA OSI Este modelo se baseia em uma proposta desenvolvida pela ISO (International Standards Organization) como um primeiro passo em direção a padronização dos protocolos

Leia mais

Grades Computacionais: Uma Introdução Prática

Grades Computacionais: Uma Introdução Prática Grades Computacionais: Uma Introdução Prática Raphael Y. de Camargo Ricardo Andrade Departamento de Ciência da Computação Instituto de Matemática e Estatística Universidade de São Paulo, Brasil São Paulo,

Leia mais

Características Básicas de Sistemas Distribuídos

Características Básicas de Sistemas Distribuídos Motivação Crescente dependência dos usuários aos sistemas: necessidade de partilhar dados e recursos entre utilizadores; porque os recursos estão naturalmente em máquinas diferentes. Demanda computacional

Leia mais

Proposta para Grupo de Trabalho. GT-Computação em Nuvem para Ciência: Armazenamento de Dados. Roberto Samarone dos Santos Araujo

Proposta para Grupo de Trabalho. GT-Computação em Nuvem para Ciência: Armazenamento de Dados. Roberto Samarone dos Santos Araujo Proposta para Grupo de Trabalho GT-Computação em Nuvem para Ciência: Armazenamento de Dados Roberto Samarone dos Santos Araujo Agosto/2011 1 Título GT-Computação em Nuvem para Ciência: Armazenamento de

Leia mais

CloudNet: dynamic pooling of cloud resources by live WAN migration of virtual machines

CloudNet: dynamic pooling of cloud resources by live WAN migration of virtual machines CloudNet: dynamic pooling of cloud resources by live WAN migration of virtual machines Timothy Wood, Prashant Shenoy, K.K. Ramakrishnan, Jacobus Van der Merwe VEE '11 Proceedings of the 7th ACM SIGPLAN/SIGOPS

Leia mais

SISTEMAS DISTRIBUÍDOS

SISTEMAS DISTRIBUÍDOS SISTEMAS DISTRIBUÍDOS Cluster, Grid e computação em nuvem Slide 8 Nielsen C. Damasceno Introdução Inicialmente, os ambientes distribuídos eram formados através de um cluster. Com o avanço das tecnologias

Leia mais

SISTEMA DE ARMAZENAMENTO (STORAGE)

SISTEMA DE ARMAZENAMENTO (STORAGE) SISTEMA DE ARMAZENAMENTO (STORAGE) Possuir capacidade instalada, livre para uso, de pelo menos 5.2 (cinco ponto dois) TB líquidos em discos SAS/FC de no máximo 600GB 15.000RPM utilizando RAID 5 (com no

Leia mais

Prof. Samuel Henrique Bucke Brito

Prof. Samuel Henrique Bucke Brito - Anéis Ópticos em Backbone www.labcisco.com.br ::: shbbrito@labcisco.com.br Prof. Samuel Henrique Bucke Brito Introdução Em 1980 foi formado o grupo de trabalho ANSI X3T9.5 com a finalidade de desenvolver

Leia mais

Capítulo 8 - Aplicações em Redes

Capítulo 8 - Aplicações em Redes Capítulo 8 - Aplicações em Redes Prof. Othon Marcelo Nunes Batista Mestre em Informática 1 de 31 Roteiro Sistemas Operacionais em Rede Modelo Cliente-Servidor Modelo P2P (Peer-To-Peer) Aplicações e Protocolos

Leia mais

Computação em Grid e em Nuvem

Computação em Grid e em Nuvem Computação em Grid e em Nuvem Computação em Nuvem Molos 1 Definição Um grid computacional é uma coleção recursos computacionais e comunicação utilizados para execução aplicações Usuário vê o grid como

Leia mais

Processos (Threads,Virtualização e Migração de Código)

Processos (Threads,Virtualização e Migração de Código) Processos (Threads,Virtualização e Migração de Código) Roteiro Processos Threads Virtualização Migração de Código O que é um processo?! Processos são programas em execução. Processo Processo Processo tem

Leia mais

Prof. Luiz Fernando Bittencourt MC714. Sistemas Distribuídos 2 semestre, 2013

Prof. Luiz Fernando Bittencourt MC714. Sistemas Distribuídos 2 semestre, 2013 MC714 Sistemas Distribuídos 2 semestre, 2013 Virtualização - motivação Consolidação de servidores. Consolidação de aplicações. Sandboxing. Múltiplos ambientes de execução. Hardware virtual. Executar múltiplos

Leia mais

UTFPR - Sistemas Distribuídos Prof. Cesar Augusto Tacla. Anotações. Copyright Cesar Augusto Tacla 2008 - 1 -

UTFPR - Sistemas Distribuídos Prof. Cesar Augusto Tacla. Anotações. Copyright Cesar Augusto Tacla 2008 - 1 - - 1 - - 2 - - 3 - Segundo (Garg, 2004), são sistemas compostos por múltiplos processadores conectados por uma rede de comunicação, sendo a rede de comunicação uma LAN (Ethernet) ou WAN (Internet). - 4

Leia mais

Metas de um Sistema Distribuído

Metas de um Sistema Distribuído Metas de um Sistema Distribuído Sistemas Distribuídos Mauro Lopes Carvalho Silva Professor EBTT DAI Departamento de Informática Campus Monte Castelo Instituto Federal de Educação Ciência e Tecnologia do

Leia mais

Comparação SDs X Scs

Comparação SDs X Scs Prof. Alexandre Lima Sistemas Distribuídos Cap 9 1/7 Comparação SDs X Scs Distribuição inerente Economia Velocidade Confiabilidade Crescimento incremental Descrição Algumas aplicações envolvem máquinas

Leia mais

Rede de Computadores II

Rede de Computadores II Slide 1 Técnicas para se alcançar boa qualidade de serviço Reserva de recursos A capacidade de regular a forma do tráfego oferecido é um bom início para garantir a qualidade de serviço. Mas Dispersar os

Leia mais

COMPARAÇÃO DE SISTEMAS DE MIDDLEWARE PARA GRADES E CLUSTERS COMPUTACIONAIS

COMPARAÇÃO DE SISTEMAS DE MIDDLEWARE PARA GRADES E CLUSTERS COMPUTACIONAIS COMPARAÇÃO DE SISTEMAS DE MIDDLEWARE PARA GRADES E CLUSTERS COMPUTACIONAIS Paulo H. M. A. Oliveira. Departamento de Ciências de Computação e Estatística - Instituto de Biociências Letras e Ciências Exatas

Leia mais

Desenvolvimento de um componente para Transferência de Arquivos em Ambientes de Alto Desempenho Heterogêneos

Desenvolvimento de um componente para Transferência de Arquivos em Ambientes de Alto Desempenho Heterogêneos Desenvolvimento de um componente para Transferência de Arquivos em Ambientes de Alto Desempenho Heterogêneos Izaias de Faria e M.A R. Dantas Universidade Federal de Santa Catarina (UFSC) Departamento de

Leia mais

Uma Abordagem de Classificação de Imagens de Satélites em uma Configuração de Grid Computacional

Uma Abordagem de Classificação de Imagens de Satélites em uma Configuração de Grid Computacional Uma Abordagem de Classificação de Imagens de Satélites em uma Configuração de Grid Computacional Henrique Silva 1, MAR Dantas 2 1 Departamento de Ciência da Computação Universidade de Brasília (UNB) Caixa

Leia mais

Grids Computacionais. Marcelo Musci. musci@terra.com.br. Computação de Alto Desempenho. Jun/2004. Profa. DSc. Cristiana Bentes

Grids Computacionais. Marcelo Musci. musci@terra.com.br. Computação de Alto Desempenho. Jun/2004. Profa. DSc. Cristiana Bentes Grids Computacionais Marcelo Musci musci@terra.com.br Computação de Alto Desempenho Jun/2004 Profa. DSc. Cristiana Bentes Roteiro Conceituação Características de Grids Aspectos da Computação em Grid Soluções

Leia mais

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Fabiano da Guia Rocha Instituto Federal de Educação, Ciência e Tecnologia de Mato Grosso - Campus Cáceres Av. dos Ramires,

Leia mais

O Padrão Arquitetural Auto-Adaptável

O Padrão Arquitetural Auto-Adaptável MAC5715 - Tópicos Avançados em POO O Padrão Arquitetural Auto-Adaptável Raphael Y. de Camargo e Carlos Alexandre Queiroz 30 de outubro de 2003 1 Intenção O padrão auto-adaptável permite o desenvolvimento

Leia mais

Sistemas Distribuídos. Introdução. Edeyson Andrade Gomes. www.edeyson.com.br

Sistemas Distribuídos. Introdução. Edeyson Andrade Gomes. www.edeyson.com.br Sistemas Distribuídos Introdução Edeyson Andrade Gomes www.edeyson.com.br Agenda Definição de Sistemas Distribuídos Evolução Histórica Exemplos Comparação com Sistemas Centralizados Conclusão 2 Definição

Leia mais

APLICAÇÕES EM SISTEMAS DISTRIBUÍDOS Prof. Ricardo Rodrigues Barcelar http://www.ricardobarcelar.com

APLICAÇÕES EM SISTEMAS DISTRIBUÍDOS Prof. Ricardo Rodrigues Barcelar http://www.ricardobarcelar.com - Aula 6 - ALGORÍTIMOS PARALELOS MPI - Parallel Virtual Machine e PVM - Parallel Virtual Machine 1. INTRODUÇÃO Inicialmente é necessário conceber alguns conceitos para entendimento dos algoritmos paralelos:

Leia mais

Sistemas de Arquivos Distribuídos: DFS. Projeto

Sistemas de Arquivos Distribuídos: DFS. Projeto Curso de Sistemas Distribuídos Sistemas de Arquivos Distribuídos: DFS Projeto Sistemas Distribuidos Sistema de Arquivos Distribuídos 1 Autoria Autoria 1a versão Alunos de disciplina do PPGC Revisões C.

Leia mais

Sistemas Distribuídos. Introdução

Sistemas Distribuídos. Introdução Sistemas Distribuídos Introdução Definição Processos Um sistema distribuído é um conjunto de computadores independentes, interligados por uma rede de conexão, executando um software distribuído. Executados

Leia mais

Grades Computacionais e Grades de Dispositivos Móveis

Grades Computacionais e Grades de Dispositivos Móveis Grades Computacionais e Grades de Dispositivos Móveis Alencar Machado 1 1 Laboratorio de Sistemas de Comptucao LSC Universidade Federal de Santa Maria UFSM Campus UFSM 97105 900 Santa Maria RS Brasil 3

Leia mais

Desempenho de um Cluster Virtualizado em Relação a um Cluster Convencional Similar

Desempenho de um Cluster Virtualizado em Relação a um Cluster Convencional Similar Desempenho de um Cluster Virtualizado em Relação a um Cluster Convencional Similar David Beserra 1, Alexandre Borba¹, Samuel Souto 1, Mariel Andrade 1, Alberto Araujo 1 1 Unidade Acadêmica de Garanhuns

Leia mais

Armazenamento de Dados na Nuvem Google:

Armazenamento de Dados na Nuvem Google: Armazenamento de Dados na Nuvem Google: O Google File System Markus Endler PUC-Rio Agenda Características da Infra-estrutura Google Novos Requisitos Arquitetura Interação entre os componentes Operações

Leia mais

...de forma confiável, consistente, económica. Permite- nos acesso a grandes capacidades. Infra-estrutura de hardware e software

...de forma confiável, consistente, económica. Permite- nos acesso a grandes capacidades. Infra-estrutura de hardware e software Grid computing: O futuro ou a reinvenção da roda? Paulo Trezentos (Paulo.Trezentos@iscte.pt) Algos / INESC-ID 17/12/2002 Agenda Necessidade Enquadramento Grids Standards Implementações Características

Leia mais

Universidade de Brasília

Universidade de Brasília Universidade de Brasília Introdução a Microinformática Turma H Redes e Internet Giordane Lima Porque ligar computadores em Rede? Compartilhamento de arquivos; Compartilhamento de periféricos; Mensagens

Leia mais

Capítulo 8. Sistemas com Múltiplos Processadores. 8.1 Multiprocessadores 8.2 Multicomputadores 8.3 Sistemas distribuídos

Capítulo 8. Sistemas com Múltiplos Processadores. 8.1 Multiprocessadores 8.2 Multicomputadores 8.3 Sistemas distribuídos Capítulo 8 Sistemas com Múltiplos Processadores 8.1 Multiprocessadores 8.2 Multicomputadores 8.3 Sistemas distribuídos 1 Sistemas Multiprocessadores Necessidade contínua de computadores mais rápidos modelo

Leia mais

Considerações no Projeto de Sistemas Cliente/Servidor

Considerações no Projeto de Sistemas Cliente/Servidor Cliente/Servidor Desenvolvimento de Sistemas Graça Bressan Graça Bressan/LARC 2000 1 Desenvolvimento de Sistemas Cliente/Servidor As metodologias clássicas, tradicional ou orientada a objeto, são aplicáveis

Leia mais

Curso: Sistemas de Informação Disciplina: Redes de Computadores Prof. Sergio Estrela Martins

Curso: Sistemas de Informação Disciplina: Redes de Computadores Prof. Sergio Estrela Martins Curso: Sistemas de Informação Disciplina: Redes de Computadores Prof. Sergio Estrela Martins Material de apoio 2 Esclarecimentos Esse material é de apoio para as aulas da disciplina e não substitui a leitura

Leia mais

Sistemas Distribuídos. Ricardo Ribeiro dos Santos ricrs@ec.ucdb.br

Sistemas Distribuídos. Ricardo Ribeiro dos Santos ricrs@ec.ucdb.br Sistemas Distribuídos Ricardo Ribeiro dos Santos ricrs@ec.ucdb.br Curso de Engenharia de Computação UCDB Agosto/2003 Tópicos Conceitos de HW em SD Multiprocessadores e Multicomputadores Conceitos de SW

Leia mais

Um sistema é constituído de um conjunto de processos que executam seus respectivos códigos do sistema operacional e processos e códigos de usuários.

Um sistema é constituído de um conjunto de processos que executam seus respectivos códigos do sistema operacional e processos e códigos de usuários. Os sistemas computacionais atuais permitem que diversos programas sejam carregados na memória e executados simultaneamente. Essa evolução tornou necessário um controle maior na divisão de tarefas entre

Leia mais

Sistema de Arquivos Distribuídos

Sistema de Arquivos Distribuídos Sistema de Arquivos Distribuídos Sistema de Arquivos Distribuídos A interface cliente para um sistema de arquivos é composta por um conjunto de primitivas e operações em arquivos (criar, apagar, ler, escrever)

Leia mais

Proposta de infra-estrutura para Servidores Web baseado em Data Grids

Proposta de infra-estrutura para Servidores Web baseado em Data Grids Proposta de infra-estrutura para Servidores Web baseado em Data Grids Lucas Graebin Instituto de Ciências Exatas e Tecnológicas - Centro Universitário Feevale Cep 93.352-000 - Novo Hamburgo - RS - Brasil

Leia mais

TECNOLOGIA WEB INTERNET PROTOCOLOS

TECNOLOGIA WEB INTERNET PROTOCOLOS INTERNET PROTOCOLOS 1 INTERNET Rede mundial de computadores. Também conhecida por Nuvem ou Teia. Uma rede que permite a comunicação de redes distintas entre os computadores conectados. Rede WAN Sistema

Leia mais

Transparência de Localização. Sistemas de Arquivos Distribuídos. Sistemas de Arquivos Distribuídos. Serviço de Arquivos X Servidor de Arquivos

Transparência de Localização. Sistemas de Arquivos Distribuídos. Sistemas de Arquivos Distribuídos. Serviço de Arquivos X Servidor de Arquivos Sistemas de Arquivos Distribuídos nnetwork File System - NFS (Sun) nandrew File System - AFS (IBM) Serviço de Arquivos X Servidor de Arquivos nserviço de Arquivos o que o sistema de arquivos oferece para

Leia mais

Maestro. Arthur Kazuo Tojo Costa 317497. Universidade Federal de São Carlos Campus Sorocaba Bacharelado em Ciência da Computação

Maestro. Arthur Kazuo Tojo Costa 317497. Universidade Federal de São Carlos Campus Sorocaba Bacharelado em Ciência da Computação Maestro Arthur Kazuo Tojo Costa 317497 Universidade Federal de São Carlos Campus Sorocaba Bacharelado em Ciência da Computação Introdução Sistema Operacional de Redes Detalhes do hardware Multiplexação

Leia mais

Figura 1 Taxas de transmissão entre as redes

Figura 1 Taxas de transmissão entre as redes Conceitos de Redes Locais A função básica de uma rede local (LAN) é permitir a distribuição da informação e a automatização das funções de negócio de uma organização. As principais aplicações que requerem

Leia mais

Arquitetura de SGBD. Prof. Antonio Almeida de Barros Junior

Arquitetura de SGBD. Prof. Antonio Almeida de Barros Junior Arquitetura de SGBD Prof. Antonio Almeida de Barros Junior Agenda Caracterização de SGBDs SGBDs Centralizados SGBDs Cliente-Servidor SGBDs Distribuídos Homogêneos Multi-SGBDs Heterogêneos SGBDs Paralelos

Leia mais

William Stallings Arquitetura e Organização de Computadores 8 a Edição

William Stallings Arquitetura e Organização de Computadores 8 a Edição William Stallings Arquitetura e Organização de Computadores 8 a Edição Capítulo 7 Entrada/saída Os textos nestas caixas foram adicionados pelo Prof. Joubert slide 1 Problemas de entrada/saída Grande variedade

Leia mais

REDES DE COMPUTADORES

REDES DE COMPUTADORES Eriko Carlo Maia Porto UNESA Universidade Estácio de Sá eriko_porto@uol.com.br Última revisão Julho/2003 REDES DE COMPUTADORES INTRODUÇÃO EVOLUÇÃO DOS SISTEMAS DE COMPUTAÇÃO Década de 50 introdução dos

Leia mais

Estudo de Caso 2: Windows Vista

Estudo de Caso 2: Windows Vista Faculdades Integradas de Mineiros Curso de Sistemas de Informação Sistemas Operacionais II Estudo de Caso 2: Windows Vista Grupo 4 Helder / Wagner / Frantyeis Junho/2010 O Windows usa uma estratégia Just-In-Time

Leia mais

UFCG Universidade Federal de Campina Grande. A cooperação entre Universidades e Empresas estimulada pela Lei de Informática: Resultados

UFCG Universidade Federal de Campina Grande. A cooperação entre Universidades e Empresas estimulada pela Lei de Informática: Resultados UFCG Universidade Federal de Campina Grande A cooperação entre Universidades e Empresas estimulada pela Lei de Informática: Resultados Brasília, 03 de dezembro de 2003 Sumário Apresentação Estrutura Parceiros

Leia mais

Sistemas Distribuídos: Conceitos e Projeto Caracterização de Sistemas Distribuídos

Sistemas Distribuídos: Conceitos e Projeto Caracterização de Sistemas Distribuídos Sistemas Distribuídos: Conceitos e Projeto Caracterização de Sistemas Distribuídos Francisco José da Silva e Silva Laboratório de Sistemas Distribuídos (LSD) Departamento de Informática / UFMA http://www.lsd.deinf.ufma.br

Leia mais

Há dois tipos de configurações bidirecionais usados na comunicação em uma rede Ethernet:

Há dois tipos de configurações bidirecionais usados na comunicação em uma rede Ethernet: Comunicação em uma rede Ethernet A comunicação em uma rede local comutada ocorre de três formas: unicast, broadcast e multicast: -Unicast: Comunicação na qual um quadro é enviado de um host e endereçado

Leia mais

Distributed Object-oriented Virtual Environment using Web Services on Grid

Distributed Object-oriented Virtual Environment using Web Services on Grid Distributed Object-oriented Virtual Environment using Web Services on Grid paralela e Felipe L. Severino Programação com Objetos Distribuídos Felipe L. Severino 1/ 15 Introdução; Distributed Object-oriented

Leia mais

INTERNET = ARQUITETURA TCP/IP

INTERNET = ARQUITETURA TCP/IP Arquitetura TCP/IP Arquitetura TCP/IP INTERNET = ARQUITETURA TCP/IP gatewa y internet internet REDE REDE REDE REDE Arquitetura TCP/IP (Resumo) É útil conhecer os dois modelos de rede TCP/IP e OSI. Cada

Leia mais

Unidade 1. Conceitos Básicos

Unidade 1. Conceitos Básicos Unidade 1 Conceitos Básicos 11 U1 - Conceitos Básicos Comunicação Protocolo Definição de rede Rede Internet 12 Comunicação de dados Comunicação de dados comunicação de informação em estado binário entre

Leia mais

Análise do impacto de operações de live migration em ambientes de computação em nuvem Workshop MoDCS 2012.2

Análise do impacto de operações de live migration em ambientes de computação em nuvem Workshop MoDCS 2012.2 Análise do impacto de operações de live migration em ambientes de computação em nuvem Workshop MoDCS 2012.2 Matheus D'Eça Torquato de Melo (mdetm@cin.ufpe.br) Paulo Maciel (prmm@cin.ufpe.br) 12 Roteiro

Leia mais

Extendendo Grids com gerenciamento de recursos de Cloud para computação científica

Extendendo Grids com gerenciamento de recursos de Cloud para computação científica Extendendo Grids com gerenciamento de recursos de Cloud para computação científica 1. Introdução Bruno Barcarollo Gauer 1 1 Universidade Federal do Paraná (UFPR) Curitiba PR Brazil bbg09@inf.ufpr.br A

Leia mais

5.2 MAN s (Metropolitan Area Network) Redes Metropolitanas

5.2 MAN s (Metropolitan Area Network) Redes Metropolitanas MÓDULO 5 Tipos de Redes 5.1 LAN s (Local Area Network) Redes Locais As LAN s são pequenas redes, a maioria de uso privado, que interligam nós dentro de pequenas distâncias, variando entre 1 a 30 km. São

Leia mais

Sistemas Distribuídos Capítulos 3 e 4 - Aula 4

Sistemas Distribuídos Capítulos 3 e 4 - Aula 4 Sistemas Distribuídos Capítulos 3 e 4 - Aula 4 Aula passada Threads Threads em SDs Processos Clientes Processos Servidores Aula de hoje Clusters de Servidores Migração de Código Comunicação (Cap. 4) Fundamentos

Leia mais

análise de ferramentas de transferência para grandes volumes de dados

análise de ferramentas de transferência para grandes volumes de dados análise de ferramentas de transferência para grandes volumes de dados Rômulo Alceu Rodrigues romulo.rodrigues@cptec.inpe.br INPE Eugênio Sper de Almeida eugenio.almeida@cptec.inpe.br INPE Resumo:Nos últimos

Leia mais

Rede d s d e d Com o pu p t u ado d r o es Conceitos Básicos M d o e d los o de d Re R de d s:

Rede d s d e d Com o pu p t u ado d r o es Conceitos Básicos M d o e d los o de d Re R de d s: Tecnologia em Redes de Computadores Redes de Computadores Professor: André Sobral e-mail: alsobral@gmail.com Conceitos Básicos Modelos de Redes: O O conceito de camada é utilizado para descrever como ocorre

Leia mais

Capítulo 8 Arquitetura de Computadores Paralelos

Capítulo 8 Arquitetura de Computadores Paralelos Capítulo 8 Arquitetura de Computadores Paralelos Necessidade de máquinas com alta capacidade de computação Aumento do clock => alta dissipação de calor Velocidade limitada dos circuitos => velocidade da

Leia mais

Tópicos de Ambiente Web Conceitos Fundamentais Redes de Dados

Tópicos de Ambiente Web Conceitos Fundamentais Redes de Dados Tópicos de Ambiente Web Conceitos Fundamentais Redes de Dados Professora: Sheila Cáceres Computador Dispositivo eletrônico usado para processar guardar e tornar acessível informação. Tópicos de Ambiente

Leia mais

Seminário: Google File System (GFS)

Seminário: Google File System (GFS) UNIVERSIDADE FEDERAL DE SANTA CATARINA UFSC Disciplina: Sistemas Operacionais I INE5355 Alunos: Armando Fracalossi 06132008 Maurílio Tiago Brüning Schmitt 06132033 Ricardo Vieira Fritsche 06132044 Seminário:

Leia mais

Relatório de teste em Ambiente de Cluster OpenVMS

Relatório de teste em Ambiente de Cluster OpenVMS Compaq OpenVMS e Digital Networks Relatório de teste em Ambiente de Cluster OpenVMS 14 de agosto de 2001 1 Resumo executivo Testes foram realizados com equipamentos Digital Networks (DNmultilayer 1200

Leia mais

Wireshark. Captura de Protocolos da camada de aplicação. Maicon de Vargas Pereira

Wireshark. Captura de Protocolos da camada de aplicação. Maicon de Vargas Pereira Wireshark Captura de Protocolos da camada de aplicação Maicon de Vargas Pereira Camada de Aplicação Introdução HTTP (Hypertext Transfer Protocol) 2 Introdução Camada de Aplicação Suporta os protocolos

Leia mais

Notas da Aula 15 - Fundamentos de Sistemas Operacionais

Notas da Aula 15 - Fundamentos de Sistemas Operacionais Notas da Aula 15 - Fundamentos de Sistemas Operacionais 1. Software de Entrada e Saída: Visão Geral Uma das tarefas do Sistema Operacional é simplificar o acesso aos dispositivos de hardware pelos processos

Leia mais

Sistemas distribuídos. Grids e Clusters. Arquiteturas de SDs

Sistemas distribuídos. Grids e Clusters. Arquiteturas de SDs UTFPR/Curitiba - Especialização em Teleinformática Sistemas Distribuídos (Prof. Tacla) EXERCÍCIOS Sistemas distribuídos * consultar slides 0010 1. Quais as diferenças entre um sistema distribuído e um

Leia mais

Unidade III FUNDAMENTOS DE SISTEMAS. Prof. Victor Halla

Unidade III FUNDAMENTOS DE SISTEMAS. Prof. Victor Halla Unidade III FUNDAMENTOS DE SISTEMAS OPERACIONAIS Prof. Victor Halla Conteúdo Arquitetura de Processadores: Modo Operacional; Velocidade; Cache; Barramento; Etc. Virtualização: Maquinas virtuais; Gerenciamento

Leia mais

Sistemas Distribuídos. Introdução. Edeyson Andrade Gomes. www.edeyson.com.br

Sistemas Distribuídos. Introdução. Edeyson Andrade Gomes. www.edeyson.com.br Sistemas Distribuídos Introdução Edeyson Andrade Gomes www.edeyson.com.br SUMÁRIO Definições Características Desafios Vantagens Desvantagens 2 Definições DEFINIÇÕES Um sistema distribuído é uma coleção

Leia mais

Sistemas Operacionais 2014 Introdução. Alexandre Augusto Giron alexandre.a.giron@gmail.com

Sistemas Operacionais 2014 Introdução. Alexandre Augusto Giron alexandre.a.giron@gmail.com Sistemas Operacionais 2014 Introdução Alexandre Augusto Giron alexandre.a.giron@gmail.com Roteiro Sistemas Operacionais Histórico Estrutura de SO Principais Funções do SO Interrupções Chamadas de Sistema

Leia mais

Sistemas Distribuídos

Sistemas Distribuídos Sistemas Distribuídos LICENCIATURA EM COMPUTAÇÃO Prof. Adriano Avelar Site: www.adrianoavelar.com Email: eam.avelar@gmail.com O que veremos hoje... Evolução Histórica Motivação Conceitos Características

Leia mais

Xavantes: Structured Process Execution Support for Grid Environments

Xavantes: Structured Process Execution Support for Grid Environments Xavantes: Structured Process Execution Support for Grid Environments Fábio R. L. Cicerre 1, Edmundo R. M. Madeira 1, Luiz E. Buzato 1 1 Instituto de Computação Universidade Estadual de Campinas (UNICAMP)

Leia mais

Sistemas Operacionais. Prof. André Y. Kusumoto andrekusumoto.unip@gmail.com

Sistemas Operacionais. Prof. André Y. Kusumoto andrekusumoto.unip@gmail.com Sistemas Operacionais Prof. André Y. Kusumoto andrekusumoto.unip@gmail.com Introdução Um sistema operacional é um programa que atua como intermediário entre o usuário e o hardware de um computador. O propósito

Leia mais

Resumo. Introdução Cluster Cluster Beowulf Curiosidades Conclução

Resumo. Introdução Cluster Cluster Beowulf Curiosidades Conclução Cluster Resumo Introdução Cluster Cluster Beowulf Curiosidades Conclução Introdução Sua empresa esta precisando fazer um grande processamento; As Nuvens existentes não são suficientes para sua empresa;

Leia mais

Sistemas Distribuídos

Sistemas Distribuídos Sistemas Distribuídos Computação Aula 01-02: Introdução 2o. Semestre / 2014 Prof. Jesus Agenda da Apresentação Definição e surgimento de Sistemas Distribuídos Principais aspectos de Sistemas Distribuídos

Leia mais

Redes de Computadores e suas classificações. Maurício Severich

Redes de Computadores e suas classificações. Maurício Severich Redes de Computadores e suas classificações Maurício Severich Sumário O computador pessoal e a demanda Redes e suas classificações Conectividade Cliente/Servidor Topologia Distância O computador pessoal

Leia mais

Projeto de Sistemas Distribuídos. Prof. Andrêza Leite andreza.lba@gmail.com

Projeto de Sistemas Distribuídos. Prof. Andrêza Leite andreza.lba@gmail.com Projeto de Sistemas Distribuídos Prof. Andrêza Leite andreza.lba@gmail.com Agenda Introdução Exemplos de Sistemas Distribuídos Compartilhamento de Recursos e a Web Principais Desafios para a Implementação

Leia mais

Curso Técnico Integrado em Manutenção e Suporte em Informática

Curso Técnico Integrado em Manutenção e Suporte em Informática Curso Técnico Integrado em Manutenção e Suporte em Informática Disciplina: Infraestrutura de Redes de Computadores 1. Conceitos básicos, Classificação e Topologias de Redes Prof. Ronaldo

Leia mais