Cluster
Resumo Introdução Cluster Cluster Beowulf Curiosidades Conclução
Introdução Sua empresa esta precisando fazer um grande processamento; As Nuvens existentes não são suficientes para sua empresa; A solução é fazer o processamento dentro da sua empresa; No entanto, como fazer isso?
Introdução Nós podemos fazer de duas formas: Ou compramos uma super máquina; Ou, então, a gente pode fazer a nossa super máquina usando máquinas simples; Mas como podemos construir essa super maquina usando máquinas simples? Fazendo processamento paralelo!
Paralelismo Paralelismo é uma técnica usada em tarefas grandes e complexas para obter resultados mais rápidos, dividindo-as em tarefas menores que serão distribuídas em vários processadores para serem executadas simultaneamente; Hardware: ex. cluster; Sofrware: ex. thread;
Cluster A idéia inicial que conduz ao cluster foi desenvolvida na década de 1960 pela IBM como uma forma de interligar grandes mainframes, visando obter uma solução comercialmente viável de paralelismo; Cluster é um termo amplamente usado, significando uma série de computadores independentes combinados em um sistema unificado de hardware, software e rede; Mesmo ao nível fundamental, quando dois ou mais computadores são utilizados juntamente no intuito de resolverem um problema, já considera-se como sendo um cluster;
Cluster Cada computador que faz parte do cluster recebe o nome de nó (ou node); Geralmente, não há limite para adicionar nós em um Cluster; o cluster deve ser "transparente", ou seja, ser visto pelo usuário ou por outro sistema que necessita deste processamento como um único computador; Os nós do cluster devem ser interconectados, preferencialmente, por uma tecnologia de rede conhecida, para fins de manutenção e controle de custos, como a Ethernet.
Cluster É extremamente importante que o padrão adotado permita a inclusão ou a retirada de nós com o cluster em funcionamento; Além disso, pode ter um alto poder de processamento sem precisar investir em super computadores; Não é necessário haver um conjunto de hardware exatamente igual em cada nó; Só que usem o mesmo SO para facilitar o gerenciamento.
Cluster Quando pode ser usado? Há uma enormidade de aplicações que só podem ser atendidas satisfatoriamente com computação de alto desempenho: sistemas meteorológicos; ferramentas de mapeamento genético; simuladores geotérmicos; programas de renderização de imagens tridimencionais; Em todos estes casos e em qualquer outro tipo de aplicação crítica - que não pode parar de funcionar ou não pode perder dados (os sistemas bancários, por exemplo);
Cluster Classes Classe I Os Clusters de Classe I são construídos quase que inteiramente utilizando tecnologia padrão e de fácil acesso e placas de rede Gigabit Ethernet; Eles serão então mais baratos que os Clusters de Classe II; Classe II Os clusters de Classe II podem utilizar hardware altamente especializado com o objetivo de alcançar alto desempenho;
Cluster Tipos Há vários tipos de cluster, mas os principais são: Cluster de alto desempenho (High Performance Computing Cluster); Cluster de ata disponibilidade (High Availability Computing Cluster); Cluster de balanceamento de carga (Load Balancing). É válido frisar que uma solução de cluster não precisa se "prender" a apenas um tipo, podendo combina-los;
Cluster Tipos (Alto Desempenho) Clusters de alto desempenho são direcionados a aplicações bastante exigentes no que diz respeito ao processamento. O foco deste tipo é o de permitir que o processamento direcionado à aplicação forneça resultados satisfatórios em tempo hábil; Por exemplo, podem se beneficiar deste tipo de cluster por necessitarem analisar uma grande variedade de dados rapidamente e realizar cálculos bastante complexos.
Cluster Tipos (Alto Desempenho) Exemplos de arquiteturas: Symmetric Multiprocessor (SMP); Massively Parallel Processors (MPP) Non-Uniform Memory Access (NUMA); Máquinas SIMD; Multiple Instruction Multiple Data (MIND);
Cluster Tipos (Alto Disponibilidade) Nos clusters de alta disponibilidade, não é aceitável que o sistema pare de funcionar; Para atender a esta exigência, os clusters de alta disponibilidade podem contar com diversos recursos: ferramentas de monitoramento que identificam nós defeituosos ou falhas na conexão; replicação (redundância) de sistemas e computadores para substituição imediata de máquinas com problemas; uso de geradores para garantir o funcionamento em caso de queda de energia; Para isso, é aceitável que haja perda de desempenho;
Cluster Tipos (Balanceamento de Carga) As tarefas de processamento são distribuídas o mais uniformemente possível entre os nós; Não basta ao cluster de balanceamento de carga ter um mecanismo meramente capaz de distribuir as requisições - é necessário que este procedimento seja executado de forma a garantir um "equilíbrio" na aplicação; O balanceamento de carga pode ser utilizado em vários tipos de aplicações, mas o seu uso é bastante comum na internet, já que soluções do tipo têm maior tolerância ao aumento instantâneo do número de requisições;
Cluster Vantagens pode-se obter resultados tão bons quanto ou até superiores que um servidor sofisticado a partir de máquinas mais simples e mais baratas (ótima relação custo-benefício); não é necessário depender de um único fornecedor ou prestador de serviço para reposição de componentes; é possível aumentar a capacidade de um cluster com a adição de nós ou remover máquinas para reparos sem interromper a aplicação;
Cluster Vantagens há opções de softwares para cluster disponíveis livremente, o que facilita o uso de uma solução do tipo em universidades, por exemplo;
Cluster Desvantagens a facilidade de expansão do cluster pode ser uma "faca de dois gumes": a quantidade de máquinas pode aumentar tanto que a manutenção se torna mais trabalhosa, o espaço físico pode ficar impróprio, etc; um cluster tem como base uma rede local, logo, não se pode acrescentar máquinas que estejam muito distantes geograficamente.
Cluster Funcionamento Os nós podem ser mestre ou escravos: Mestre: o que gerencia e controla os escravos; Escravos: os que irão fazer o trabalho pesado; Os escravos podem ser: Dedicados: o nó é utilizado somente para este fim, fazendo com que dispositivos como teclados e monitores sejam dispensáveis; Não-dedicados: cada computador que faz parte do cluster não trabalha exclusivamente nele.
Cluster Funcionamento O mestre possue um elemento fundamental: o middleware; O middleware oferece uma interface para que um administrador possa configurar o cluster, ferramentas para manutenção e otimização, recursos de monitoramento e assim por diante. Exemplos: MPI (Message Passing Interface);
Cluster x Grid Cluster possui um controlador central, um único ponto de onde é possível utilizar todo o poder de processamento do cluster. Os demais nós são apenas escravos que servem a este nó central. Os clusters são mais usados em atividades de pesquisa, resolvendo problemas complicados e na renderização de gráficos 3D. Os grids por sua vez são uma arquitetura mais "democrática" onde embora possa existir algum tipo de controle central, temos um ambiente fundamentalmente cooperativo, onde empresas, universidades ou mesmo grupos de usuários compartilham os ciclos ociosos de processamento em seus sistemas em troca de poder utilizar parte do tempo de processamento do grid.
Cluster Beowulf Esse padrão foi inventado por Donald Becker em 1994 (NASA); Ele é muito utilizado até hoje em dia; O sistema é muito escalável; Você pode monta-lo através de um Linux modificado ou software especializado; BOOKMAN, Charles, Agrupamento de computadores em linux, Ciência Moderna, s/l, 2003, 240pp.
Cluster Beowulf Formado por duas ou mais máquinas simples (não potentes); Um dessas máquinas (mestre) irá controlar as outroas (escravas);
Cluster Beowulf Existem duas versões dele: Com Disco: um disco rígido esta presente em todos os computadores e compartilha uma pasta entre eles para terem acesso ao mesmo arquivo. Outra caracteristica é que cada mestre possue um próprio sistema; Sem Disco: ou também conhecido como Diskless, quando só o mestre tem disco rígido. Os escravos são alimentados em tempo de execução com informações e com o sistema;
Cluster Beowulf
Soluções de Cluster Existem várias soluções de Cluster; A seguir, será mostrado os três mais expressivos: MOSIX OpenSSI Kerrighed
Soluções de Cluster MOSIX O MOSIX (Multicomputer Operating System for Unix) é um conjunto de ferramentas para implementar um Cluster em sistemas Unix; Tem forte ênfase em balanceamento de carga e alto desempenho; suas principais características estão: possibilidade de trabalhar com nós dedicados e não dedicados; migração dinâmica de processos; possibilidade de remoção e inclusão de nós sem interromper o cluster; http://www.mosix.org/
Soluções de Cluster OpenSSI O nome tem como base o conceito de SSI (Single System Image): tem varias máquinas funcionado, mas para o usuário é apenas uma; Ele é open source e destinado para o ambiente Linux; Ele pode lidar com alto desempenho, com alta disponibilidade e também com balanceamento de carga. http://www.openssi.org/
Soluções de Cluster Kerrighed O Kerrighed é outra opção SSI aberta para clusters que tem como base o Linux; Esta solução se destaca principalmente por fazer uso do conceito de Distributed Shared Memory (DSM); Esta abordagem oferece vários benefícios: sistemas desenvolvidos para rodar de maneira centralizada podem ser executados de maneira distribuída dentro da solução; o cluster pode se comportar como se fosse uma máquina com múltiplos processadores. http://www.openssi.org/
Curiosidades Já fizeram Clusters com PlayStation 3: Cluster Condor usou 1,760 PS3 e é significativamente mais barato que um cluster tradicional equivalente (cerca de 5 a 10%). Raspberry PI: Jonh Kiepert, não queria contar com o cluster da sua universidade, resolveu fazer um com 33 placas de Raspberry PI.
Conclusão Mesmo sendo um conceito antigo (1960), ele é muito utilizado hoje em dia; Isso porque os Clusters se relacionam intimamente à otimização de recursos; Clusters pode se tornar ainda mais atraente quando a ideia de cluster é associada a conceitos mais recentes, como Mineiração de Dados (Reduce Map), Computação nas Nuvens e Virtualização.
Referências Aglomerado_Beowulf, disponível em: pt.wikipedia.org/wiki/aglomerado_beowulf Cluster: conceito e características, disponível em: infowester.com/cluster.php Cluster Beowulf, disponível em: vivaolinux.com.br/artigo/cluster-beowulf? pagina=1