Prof. Marcelo de Sá Barbosa SISTEMAS DISTRIBUIDOS

Transcrição

1 Prof. Marcelo de Sá Barbosa SISTEMAS DISTRIBUIDOS

2 1. Introdução a supercomputação 2. Visão geral de Mainframe 3. Cluster de computadores 4. Cluster Beowulf considerações de projeto 5. Cluster x Grid 6. Computação paralela programação paralela 7. Gerenciamento de um cluster

3 Introdução a Supercomputação Supercomputing

4 Supercomputador é um computador com altíssima velocidade de processamento e grande capacidade de memória.tem aplicação em áreas de pesquisa onde grande quantidade de processamento se faz necessária, como pesquisas militares, científica, química, medicina. Supercomputadores são usados para cálculos muito complexos e tarefas intensivas, como problemas envolvendo física quântica, mecânica, meteorologia, pesquisas de clima, modelagem molecular (computação nas estruturas e propriedades de compostos químicos, macromoléculas biológicas, polímeros e cristais) e simulações físicas, como simulação de aviões em túneis de vento, simulação da detonação de armas nucleares e investigação sobre a fusão nuclear. Os primeiros supercomputadores foram criados na década de 1960 por Seymour Cray. Seymour Cray fundou sua própria empresa, a Cray Research, em 1970 e dominou o mercado da supercomputação durante 25 anos ( ).

5 Na década de 70 a Universidade de Illinois montou em conjunto com a Burroughs Corporation o ILLIAC IV, um supercomputador que ficou famoso pelas dimensões. A ficção científica abordou o tema num romance chamado "Colossus". Hoje os supercomputadores são fabricados por empresas como NEC, SUN, IBM, HP, Apple, e etc. A lista atualizada dos 500 sistemas computacionais mais poderosos conhecidos pode ser obtida em top500.org.

6

7 As principais características dos supercomputadores são: Velocidade de processamento: trilhões de operações de ponto flutuante por segundo (TFlops). Conforme a lista Top500 de jun/2010, percebe-se que as empresas fabricantes de (super)computadores tendem a chamar seus próprios produtos de supercomputador (supercomputer) aqueles com processamento superior a 80 TFlops (68º posição até a 1º), e de servidor (server) aqueles com processamento entre 25 e 80 TFlops (500º posição até a 67º); Tamanho: requerem instalações e sistemas de refrigeração especiais; Dificuldade de uso: escolhido por especialistas; Clientes usuais: grandes centros de pesquisa; Penetração social: praticamente zero;

8 Impacto social: muito importante no espaço da investigação, a partir do momento em que fornece cálculos em alta velocidade, permitindo, por exemplo, analisar a ordem do genoma, o número pi, números complexos, o desenvolvimento de cálculos para problemas físicos que requerem uma baixíssima margem de erro, etc. Parques instalados: menos de mil em qualquer lugar no mundo; Custo: atualmente (2010) até centenas de milhões de dólares cada (~ US$ 225MM o Cray XT5);

9 TIPOS DE SUPERCOMPUTADORES Processadores vetoriais paralelos (PVP) Sistemas compostos de poucos processadores poderosos. A interconexão é feita, em geral, por uma matriz de chaveamento (crossbar) de alta vazão. A memória é compartilhada, e os sistemas podem ser classificados como multiprocessadores UMA. Normalmente não utilizam memória cache, usando para essa função um grande número de registradores vetoriais e um buffer de instrução. Exemplos: Cray C-90 (máximo de 16 processadores), Cray T-90 (máximo de 32 processadores), Fujitsu VPP 700 (máximo de 256 processadores). O NEC Sx-6 também é um PVP, e o Earth Simulator, que é um NEC Sx-6, é o número 1 na lista das 500 máquinas mais poderosas do mundo, possuindo 5120 processadores.

10 TIPOS DE SUPERCOMPUTADORES Multiprocessadores simétricos (SMP) Os Symmetric Multiprocessors são sistemas constituídos de processadores comerciais conectados a uma memória compartilhada, podendo também ser classificados como multiprocessadores UMA. Utilizam-se amplamente de memória cache e todos os processadores têm igual acesso ao barramento e à memória compartilhada. São mais fáceis de programar que máquinas que se comunicam por troca de mensagens, já que a forma de programação se aproxima daquela feita em sistemas convencionais, mas tem como desvantagem o uso de um barramento de interconexão (permitindo apenas uma transação por vez).

11 Multiprocessadores simétricos (SMP) Esta limitação pode reduzir a escalabilidade desta classe de sistemas, fazendo com que sistemas comerciais estejam, geralmente, limitados a 64 processadores. Exemplos: IBM R50 (máximo de 8 processadores), SGI Power Challenge (máximo de 36 processadores), SUN Ultra Enterprise (máximo de 64 processadores) e HP/Convex Exemplar X-Class (máximo de 32 nós de 16 processadores cada).

12 TIPOS DE SUPERCOMPUTADORES Máquinas maciçamente paralelas (MPP) Os MPPs (Massively Parallel Processors) são multicomputadores NORMA construídos com milhares de processadores comerciais conectados por uma rede de alta velocidade. O alto desempenho é obtido com o grande número de processadores. O fato de haver troca de mensagens torna a programação mais difícil que nos casos em que a memória é compartilhada. Exemplos: Intel Paragon (máximo de 4000 processadores), Connection Machine CM-5 (máximo de 2048 processadores), IBM SP2 (máximo de 512 processadores) e Cray T3D (máximo de 2048 processadores).

13 TIPOS DE SUPERCOMPUTADORES Máquinas com memória compartilhada distribuída (DSM) Nos sistemas DSM (Distributed Shared Memory), mesmo com a memória sendo distribuída entre os nós, todos os processadores podem acessar todas as memórias. O espaço de endereçamento único, o compartilhamento de dados e o controle de coerência de cache são conseguidos com software. Podem ser sistemas NUMA com memória entrelaçada distribuída, ou sistemas NORMA (com memórias locais), onde as memórias podem ser ligadas através de adaptadores de rede (AR) a uma rede de interconexão específica, que permite o acesso a memórias remotas. A máquina, nos dois casos, é considerada CC-NUMA ou SC-NUMA dependendo da implementação da coerência de cache. Exemplo: SGI Origin (máximo de 512 processadores).

14 TIPOS DE SUPERCOMPUTADORES Máquinas com memória compartilhada distribuída (DSM) Nos sistemas DSM (Distributed Shared Memory), mesmo com a memória sendo distribuída entre os nós, todos os processadores podem acessar todas as memórias. O espaço de endereçamento único, o compartilhamento de dados e o controle de coerência de cache são conseguidos com software. Podem ser sistemas NUMA com memória entrelaçada distribuída, ou sistemas NORMA (com memórias locais), onde as memórias podem ser ligadas através de adaptadores de rede (AR) a uma rede de interconexão específica, que permite o acesso a memórias remotas. A máquina, nos dois casos, é considerada CC-NUMA ou SC-NUMA dependendo da implementação da coerência de cache. Exemplo: SGI Origin (máximo de 512 processadores).

15 TIPOS DE SUPERCOMPUTADORES Redes de estações de trabalho (NOW) As redes de estações de trabalho (NOW Network of Workstations) são constituídas de várias estações de trabalho interligadas por alguma tecnologia tradicional de rede, como Ethernet e ATM. Na prática são redes locais utilizadas na execução de aplicações paralelas. Podem ser vistas como máquinas NORMA de baixo custo, ou sem custo algum caso a rede já exista, ou seja, esta é uma solução significativamente mais barata em relação aos MPPs. A desvantagem clara que se vê em uma rede de estações de trabalho é o fato de que as redes tradicionais costumam ser usadas apenas em tarefas menores (para compartilhar arquivos e acessar impressoras remotas, por exemplo), e geralmente não são otimizadas para operações de comunicação de uma aplicação paralela.

16 Redes de estações de trabalho (NOW) O resultado é uma alta latência nessas operações, o que compromete o desempenho da máquina como um todo. São usadas principalmente em instituições de ensino para o estudo de processamento paralelo e distribuído. Exemplo: Estações de trabalho interligadas por tecnologia Ethernet.