APLICAÇÕES EM SISTEMAS DISTRIBUÍDOS Prof. Ricardo Rodrigues Barcelar

Transcrição

1 - Aula 4 - CLUSTER DE COMPUTADORES 1. INTRODUÇÃO Grande parte do tempo, os computadores que utilizamos encontram-se ociosos, ou seja, sem nada para processar. Isso se deve, em grande parte, pelas aplicações que estamos acostumados a utilizar, as quais normalmente estão aguardando por uma interação do usuário ou realizando tarefas de Entrada/Saída. Entretanto, também existem momentos em que o computador encontra-se bastante lento por estar executando uma tarefa que exige muito do processador, como a compilação de vários programas. Em um contexto de se haver dois ou mais computadores, existe uma grande chance de que um deles esteja completamente ocupado e de que os outros estejam ociosos. A partir dessa premissa é que os clusters de computadores podem ser utilizados, pois o objetivo é dividir o processamento das aplicações consideradas "pesadas" entre os diversos processadores que se encontram no estado ocioso. 2. Classificação de Flynn Segundo Flynn, o processo computacional deve ser visto como uma relação entre fluxos de instruções e fluxos de dados. Um fluxo de instruções equivale a uma seqüência de instruções executadas (em um processador) sobre um fluxo de dados aos quais estas instruções estão relacionadas. Baseando-se na possível unicidade e multiplicidade de fluxos de dados e instruções, dividem-se as arquiteturas de computadores em 4 classes. Para cada classe, é apresentada uma esquematização genérica SISD (Single Instruction Stream/Single Data Stream - Fluxo único de instruções/fluxo único de dados) Corresponde ao tradicional modelo Von Neumann. Um processador executa seqüencialmente um conjunto de instruções sobre um conjunto de dados. 1

2 UC M -Fluxo de instruções M-Memória -Fluxo de dados UC-Unidade de Controle -Unidade de Processamento 2.2. SIMD (Single Instruction Stream/Multiple Data Stream - Fluxo único de instruções/fluxo múltiplo de dados) Envolve múltiplos processadores (escravos) sob o controle de uma única unidade de controle (mestre), executando simultaneamente a mesma instrução em diversos conjuntos de dados. Arquiteturas SIMD são utilizadas, por exemplo, para manipulação de matrizes e processamento de imagens. M UC.....Ṃ M Memória 2.3. MISD (Multiple Instruction Stream/Single Data Stream - Fluxo múltiplo de instruções/fluxo único de dados) Envolve múltiplos processadores executando diferentes instruções em um único conjunto de dados. Geralmente, nenhuma arquitetura é classificada como MISD, isto é, não existem representantes desta categoria. Alguns autores consideram arquiteturas pipeline como exemplo deste tipo de organização. 2

3 M UC UC..Ṃ.... M UC Memória 2.4. MIMD (Multiple Instruction Stream/Multiple Data Stream - Fluxo múltiplo de instruções/fluxo múltiplo de dados) Envolve múltiplos processadores executando diferentes instruções em diferentes conjuntos de dados, de maneira independente. Esta classe engloba a maioria dos computadores paralelos. UC M UC. UC. M. M.. Memória 2.5. MIMD versus SIMD Ambos os tipos de organizações computacionais apresentam vantagens e desvantagens. Arquiteturas SIMD, por apresentarem fluxo único de instruções, oferecem facilidades para a programação e depuração de programas paralelos. Além disso, seus elementos de processamento 3

4 são simples, pois são destinados à computação de pequena granulação. Por outro lado, arquiteturas MIMD apresentam grande flexibilidade para a execução de algoritmos paralelos (arquiteturas SIMD geralmente se destinam a processamento de propósito específico), e apresentam bom desempenho em virtude de seus elementos de processamento serem assíncronos. A classificação de Flynn apresenta alguns problemas. Ela não é abrangente o suficiente para incluir alguns computadores modernos (por exemplo, processadores vetoriais e máquinas de fluxo de dados), falhando também, no que concerne a extensibilidade da classificação. Outro inconveniente desta classificação é a falta de hierarquia. A classificação MIMD, por exemplo, engloba quase todas as arquiteturas paralelas sem apresentar subníveis. No entanto, apesar de antiga (proposta em 1972), a classificação de Flynn é bastante concisa e a mais utilizada. A fim de acrescentar novas arquiteturas paralelas surgidas, sem descartar a classificação de Flynn (visto que esta é muito difundida), Duncan propôs uma classificação mais completa, e que permite apresentar uma visão geral dos estilos de organização para computadores paralelos da atualidade. 3. CLUSTER Segundo Marcos Pitanga em seu livro Construindo Supercomputadores com Linux, cluster é um conjunto de computadores autônomos e que interligados comportam-se como um único sistema do ponto de vista do usuário. Ou seja, todos os aspectos relativos à distribuição de tarefas, comunicação, sincronização e organização física do sistema devem ser abstraídos do usuário. 4

5 3.1. Princípios de Cluster Tais princípios devem ser seguidos ao projetar e implementar clusters, independentemente de sua aplicação final ESCALABILIDADE Uma das características mais práticas que deve ser adicionada à configuração de um cluster. Deve existir a possibilidade de acrescentar componentes no cluster sem interromper a disponibilidade dos serviços ativos, como exemplo: acrescentar nós, periféricos e efetuar interconexões de rede; TRANSPARÊNCIA Os clusters devem apresentar-se como um sistema único, isto é, a integração do processamento distribuído deve ser clara e eficiente, independente de qual sistema está operando para prover um determinado serviço (alta performance e/ou alta disponibilidade); CONABILIDADE Como uma aplicação oferecida ao usuário, deve ser garantida a realização da tarefa a qual o cluster foi designado, independente do tipo de sistema usado, garantindo assim a disponibilidade do serviço, mesmo com a possibilidade de existirem falhas; GERENCIAMENTO E MANUTENÇÃO Devem existir mecanismos que permitam um fácil gerenciamento, devido à complexidade de configuração e manutenção de clusters; ABSTRAÇÕES Clusters são formados por uma arquitetura e elementos particulares. Sendo assim, a abstração da combinação entre arquitetura e elementos constituintes fornece um sistema único com o objetivo de oferecer a funcionalidade requisitada, de acordo com o esperado Tipos de Cluster Clusters podem ser implementados de diversas maneiras, contudo são classificados basicamente em três tipos: - Alta disponibilidade - Balanceamento de carga - Alta performance 5

6 Em termos comerciais, o emprego das duas primeiras soluções são mais comuns, enquanto que o último é mais utilizado para aplicações científicas, cujo objetivo é de obter resultados em um menor tempo possível ALTA DISPONIBILIDADE A Alta Disponibilidade está ligada diretamente a nossa crescente dependência pelos computadores. Atualmente, diversas empresas contam com os recursos computacionais para proverem os seus serviços, como e-business, sistemas bancários, sites web, banco de dados, entre outros. Um cluster de Alta Disponibilidade tem como objetivo manter os serviços prestados, por um sistema computacional, disponíveis a todo o momento, mesmo em caso de falhas. Isso é conseguido através da criação de réplicas dos serviços e servidores, onde os computadores agem como um único sistema. Cada um monitora os demais por meio de software e, no caso de ocorrer uma falha, um deles assume os serviços daquele que ficou indisponível. (GARCIA, 2003) BALANCEAMENTO DE CARGA Esta solução tem como objetivo manter o equilíbrio de carga entre diversos servidores, garantindo assim a disponibilidade do serviço em momentos de elevados acessos. A necessidade desta implementação é devido à grande quantidade de tráfego nos servidores que prestam serviço em uma rede, pois, atualmente, um dos maiores problemas enfrentados na Internet são os excessivos acessos quando se tem apenas um servidor. O sistema de cluster baseado em balanceamento de carga consiste em integrar seus computadores para que todas as requisições provenientes dos clientes sejam distribuídas de maneira equilibrada entre os servidores. A tarefa principal é redirecionar essas requisições de entrada por meio de um elemento que fará o balanceamento entre os servidores e os usuários. Portanto, nessa estrutura ter-se-iam múltiplos servidores, mas que parecem ser somente um para o cliente. A figura abaixo exemplifica serviços de comércio eletrônico e provedores de Internet, que necessitam resolver diferenças de carga provenientes de múltiplas requisições de entrada em tempo real. 6

7 ALTA PERFORMANCE Um dos objetivos dessa solução é a obtenção de desempenho na execução de aplicações paralelas ou seqüenciais. O ambiente computacional é concebido para escalonar uma grande quantidade de tarefas a serem executadas de forma paralela. A finalidade principal é de melhorar a utilização dos computadores que possuem uma carga baixa de processamento, distribuindo as tarefas entre os nós para obter resultados no menor tempo possível. Sua utilização é mais comum para resolução de problemas tipicamente paralelos, ou seja, aplicações desenvolvidas para processarem cálculos de forma paralela. A grande vantagem desse sistema é que ele pode ser visto como uma solução alternativa para universidades e empresas de pequeno a médio porte, pois o custo de aquisição de computadores para construir um cluster, são relativamente baixos COMBO (Alta disponibilidade e Balanceamento de Carga) Esta solução combinada visa prover uma solução de alto desempenho aliada a possibilidade da não existência de paradas críticas. Este cluster combinado é uma solução perfeita para ISP e aplicações de rede nas quais a continuidade de suas operações é muito crítica. 7

8 3.3. Componentes de um Cluster Os principais componentes de um cluster de computadores são: a) Nós são os computadores que farão parte do agregado. Estes podem ser desde computadores pessoais até os computadores multiprocessados. b) Sistema operacional existem diversas alternativas como Windows 2000, FreeBSD ou NetBSD, GNU/Linux, dentre outros. O mais utilizado é o GNU/Linux, o qual possui código fonte aberto, permitindo assim realizar ajustes como é o caso do projeto openmosix. c) Rede Local este é um dos componentes que está diretamente ligado a performance do cluster. A placa de rede, o switch e o cabeamento são os responsáveis pela transmissão e recebimento de pacotes entre os nós. Existem tecnologias especialmente voltadas para computação de alto desempenho como Myrinet 1 e SCI. 1 Myrinet: foi desenvolvida para se tornar uma tecnologia de interconexão, baseada em chaveamento e comunicação por pacotes, de baixo custo e de alta performance. Principalmente para a interconexão de clusters de computadores, de diferentes tipos como PCs, estações de trabalho removendo a sobrecarga de comunicação crítica, fornecendo acesso direto ao nível de usuário para interface de rede. 8

9 d) Protocolos conjunto de regras e procedimentos para se efetuar uma comunicação de dados rápida e confiável entre os nós do cluster. O protocolo TCP/IP, apesar de não ser otimizado para tarefas deste tipo, é o mais utilizado nesta área, pois oferece menor custo de implantação. e) Sistema de arquivos o mais conhecido, e utilizado, sistema de arquivos é o NFS (Network File System), mas existem diversas bibliotecas de interfaces a sistemas de arquivos paralelos para redes de estações. Um exemplo é o DFSA (Direct File System Access), utilizado pelo sistema openmosix. f) Ferramentas de comunicação é importante um cluster também possuir ambientes de programação que ofereçam meios para desenvolver programas paralelos, como o MPI (Message Passing Interface). g) Ferramentas de gerenciamento um conjunto de programas para realizar tarefas de monitoramento e gerenciamento de clusters, como é o caso do openmosixview Tendências na Construção de Cluster Alguns modelos físicos que constituem atualmente as principais tendências na construção de clusters de computadores. Cabe ressaltar que, segundo a classificação de Flynn 2, os modelos apresentados, a seguir, pertencem à classe de arquiteturas MIMD MÁQUINAS MACIÇAMENTE PARALELAS (MPP) São multicomputadores construídos com milhares de processadores comerciais conectados por uma rede proprietária de alta velocidade. A proposta é a obtenção de alto desempenho através da utilização de um grande número de processadores. Devido ao fator custo, esses processadores acabam sendo de poder computacional médio ou pequeno. Nesta arquitetura, cada nó possui sua memória local com um espaço de endereçamento próprio, não sendo possível o acesso à memória de nós vizinhos. Esta característica faz com que essas máquinas sejam altamente escaláveis, suportando inúmeros processadores. Cada nó comunica-se com o outro através da rede de interconexão por meio do adaptador de rede (AR). 2 Flynn: Classificação criada em 1972 por Michael Flynn, onde modelos foram concebidos segundo a relação entre o número de fluxos de dados e de instruções existentes em um dado instante. 3 MIMD: Arquitetura com várias unidades de controle, cada uma com seu respectivo processador com processamento assíncrono. 9

10 DISTRIBUTED SHARED MEMORY (DSM) É considerado um novo paradigma na computação paralela, onde, apesar da memória encontrar-se fisicamente distribuída através dos nós, todos os processadores conseguem acessar todas as memórias. O objetivo dessa técnica é agrupar a memória local de cada nó do cluster, de forma a obter um único espaço de endereçamento lógico para o sistema. Tal implementação pode ser desenvolvida tanto por hardware como por software, ou ainda, com a combinação dos dois. A vantagem nessa arquitetura é quanto à programação, pois não necessita usar o paradigma da troca de mensagens. Assim, os programas têm acesso à memória compartilhada da mesma forma como se estivessem acessando variáveis locais REDES DE ESTAÇÕES DE TRABALHO (NOW) São sistemas constituídos por várias estações de trabalho interligadas por uma rede tradicional, como Ethernet ou ATM. Do ponto de vista de uma arquitetura paralela, a rede local também pode ser uma máquina paralela, onde os vários processadores com suas memórias locais são interligados por uma rede de baixo custo. 10

11 MÁQUINAS AGREGADAS (COW) As máquinas agregadas, ou Cluster of Workstations (COW), assim como as NOW, também são constituídos por várias estações de trabalho interligadas, mas com a diferença de serem dedicadas para executar aplicações paralelas. Como são máquinas otimizadas para esse fim, na maioria dos casos, os nós não possuem monitor, teclado e mouse, sendo denominadas de "estações de trabalho sem cabeça" ou headless workstation. O termo Pile-of-PC's também é utilizado para denominar esta organização de máquinas. Como as estações não são utilizadas de forma local, várias otimizações podem ser realizadas nos softwares que serão instalados nestes computadores. 4. CLUSTER BEOWULF Em 1994, a NASA, agência espacial norte-americana, necessitava de um equipamento com poder de processamento da ordem de um gigaflop. Uma máquina de tecnologia RISC com tal nível de desempenho custava em torno de um milhão de dólares. Diante disso, os pesquisadores Thomas Sterling e Donald J. Becker decidiram então interligar 16 computadores pessoais, cada um com um microprocessador 486, usando Linux e uma rede ethernet. Este conjunto atingiu a marca de 70 megaflops. Para a época, era uma velocidade comparável a de pequenos supercomputadores comerciais. O custo total do sistema foi de quarenta mil dólares, ou seja, dez por cento do preço de uma máquina equivalente para a época. 11

12 O sistema é dividido em um nodo controlador denominado front-end (particularmente denomino de nó mestre), cuja função é controlar o cluster, monitorando e distribuindo as tarefas, atua como servidor de arquivos e executa o elo entre os usuários e o cluster. Grandes sistemas em cluster podem distribuir diversos servidores de arquivos, nó de gerencia pela rede para não sobrecarregar o sistema. Os demais nós são conhecidos como clientes ou backends (ou ainda nós escravos), e são exclusivamente dedicados para processamento das tarefas enviadas pelo nó controlador, e não existe a necessidade de teclados e monitores, e eventualmente até sem a utilização de discos rígidos (boot remoto), e podem ser acessadas via login remoto (telnet ou ssh). Entre os requisitos para o sistema operacional de um Cluster Beowulf, estão a necessidade de se ter as bibliotecas para Parallel Virtual Machine (PVM) ou para Message Passing Interface (MPI). Ambos os tipos são usados para a troca de mensagens entre os nós do cluster. 5. OPENMOSIX MOSIX é a sigla para Multicomputer Operating System for UnIX. O OpenMosix é um sistema cujo objetivo é gerenciar clusters provendo uma imagem única do conjunto de computadores. Engloba um conjunto de ferramentas de cluster para Linux, voltado ao tipo Balanceamento de Carga. Uma de suas principais características é a não necessidade de aplicações e recursos de software voltados ao cluster, como acontece com o Beowulf. O OpenMosix é eficiente na tarefa de distribuição dinâmica de processamento entre os computadores do cluster. Esse tipo, assim como o Beowulf, é muito utilizado por universidades em pesquisas e projetos. Por ser baseado em Linux, sua implementação é transparente, além de ser relativamente fácil de instalar. De maneira mais ampla, OpenMosix é uma extensão do kernel do Linux, utilizado para a criação de sistemas simples que utilizam clusters. Faz com que um cluster de computadores se 12

13 comporte como um grande e único supercomputador através da utilização de Migração Preemptiva de Processos e Balanceamento Dinâmico de Carga. A implementação da Migração Preemptiva de Processos é capaz de migrar qualquer processo do usuário, em qualquer instante e para qualquer nó disponível de maneira transparente, desta forma, se um nó com vários processos (a utilizar um destes dois recursos concorrentemente) detecta que outro nó tem disponibilidade superior, isto é, tem menos carga de processador/ram, então o OpenMosix encarrega-se de transladar/migrar um desses processos para esse nó. Como vantagens desta arquitetura podemos citar: - Escalabilidade: completamente transparente, basta lançar um novo nó na rede sem software ou requisitos adicionais, e será automaticamente adaptado pelo cluster como nó; - Adaptatividade: a arquitetura de cada nó é completamente indiferente, desde que a versão do OpenMosix seja igual entre nós; - Não necessidade de recompilação das aplicações: qualquer aplicação poderá beneficiar deste sistema sem alterações ao código. 6. APLICAÇÕES Os clusters podem ser usados para uma infinidade de aplicações. São freqüentemente empregados para tarefas que exijam processamento pesado, como exemplos de aplicações, temos previsão meteorológica (previsão do tempo e condições climáticas), simulações geotérmicas (ou seja, simulação de eventos no solo), renderização de efeitos especiais (muito usado em filmes), simulações financeiras, etc. É também muito comum o emprego de clusters em aplicações de alta disponibilidade como servidores web e servidores bancários, dentre outros. Aplicações de hospedagem de páginas e comércio eletrônico também comumente utilizam Clusters. Basicamente, qualquer tipo de aplicação crítica, ou seja, aplicações que não podem parar de funcionar ou não podem perder dados (como os sistemas de bancos, por exemplo), podem utilizar as tecnologias de cluster, desde que devidamente configurados para não serem sujeitas a falhas graves. Assim, o cluster deve contar com nobreaks ou geradores que garantam o funcionamento do sistema mesmo nos casos de queda de energia, além de meios de manutenção e detecção de falhas eficientes. 7. REFERÊNCIAS PITANGA, Marcos (2003), Computação em Cluster: O Estado da Arte da Computação, Brasport, 1ª Edição BUYYA, Rajkumar (1999), High Performance Cluster Computing: Architectures and Systems, Prentice Hall, volume 1. 13

14 AL GEIST, Adam Beguelin, Jack Dongarra, Weicheng Jiang, Robert Mancheck, Vaidi Sunderam (1994) PVM: Parallel Virtual Machine A users` Guide and Tutorial for Networked Parallel Computing, MIT Press. ALECRIM, Emerson (2004) Cluster: Principais conceitos, Beowulf (2007), MOSIX Cluster and Grid Management (2007), 14