Supercomputador Pleiades

Tamanho: px

Começar a partir da página:

Download "Supercomputador Pleiades"

Marta Brunelli Nunes
7 Há anos
Visualizações:

1 Supercomputador Pleiades Introdução ao Processamento Paralelo e Distribuído Renato Marques Dilli Prof. Adenauer C. Yamin Universidade Católica de Pelotas 1 de maio de 2009 Mestrado em Ciência da Computação PPGINF (UCPel) Pleiades 1 de maio de / 28

2 Roteiro 1 Histórico 2 Motivações 3 Objetivos 4 Arquitetura de Hardware 5 Software 6 Supercomputação Verde 7 Gerenciamento dos Supercomputadores PPGINF (UCPel) Pleiades 1 de maio de / 28

3 Histórico NAS (NASA) Schirra Columbia RTJones Pleiades PPGINF (UCPel) Pleiades 1 de maio de / 28

4 Histórico - Schirra Primeiro a atender necessidades de supercomputação 6 Gabinetes, 4,8 Tflop/s Processadores Power5+, dual-core, 1.9Ghz, 640 cores Memória total 1,2TB, 160TB de disco Sistema Operacional AIX Unix Figura: IBM Power5+ Schirra PPGINF (UCPel) Pleiades 1 de maio de / 28

Histórico - Columbia Avanço na exploração espacial Posição 39 na lista Top500 (novembro/08) 14.

5 Histórico - Columbia Avanço na exploração espacial Posição 39 na lista Top500 (novembro/08) cores, 88,88 Tflop/s (pico teórico) Arquitetura Altix 3700 e 4700 Memória total 28,6TB Sistema Operacional Suse Linux Enterprise PPGINF (UCPel) Pleiades 1 de maio de / 28

6 Histórico - RTJones Instalado em 2007, homenagem a Robert Thomas Jones 512 nodos, 4096 cores em uma arquitetura SGI ICE 8200 Processadores Intel Xeon X5355 (2.66Ghz) 2 Quad-Cores em um nodo, 16 nodos em um IRU, 4 IRU por armário, 8 armários PPGINF (UCPel) Pleiades 1 de maio de / 28

7 Histórico - Pleiades Terceiro lugar no site Top500 (novembro/08) 92 Armários + 8 Armários(RTJones) Processadores Intel Xeon E5473 (3Ghz) PPGINF (UCPel) Pleiades 1 de maio de / 28

8 Motivações Realiza trabalho 6x mais rápido que o Columbia Capacidade de atender 2,5X a atual necessidade computacional Sistema SGI Altix ICE 3,5 X maior que qualquer outro SGI Altix ICE Parceria com SGI e Mellanox Technologies para criar o maior cluster InfiniBand do mundo (>12800 nodos) O sistema atual InfiniBand é 70 % maior que os dois maiores somados 128TBit/s de largura de banda em comunicações IB PPGINF (UCPel) Pleiades 1 de maio de / 28

9 Objetivos Modelar a evolução das galáxias Conduzir cálculos complexos para determinar como surgiu a vida na Terra Refinar métodos de visualização da aeronave V-22 Osprey Tilrotor Realizar complexas simulações de grandes probemas computacionais para o projeto de futuros veículos espaciais Executar modelos para prever alterações climáticas PPGINF (UCPel) Pleiades 1 de maio de / 28

10 Hardware Sistema SGI(R) Altix(R) ICE Hierarquia de Hardware Processadores Nodos Interconexão Memória Armazenamento Sistema de Arquivos PPGINF (UCPel) Pleiades 1 de maio de / 28

11 Hardware - SGI(R) Altix(R) ICE 8200EX 100 Gabinetes (64 nodos em cada, 6400 nodos ao total) 609 TFlops Total de cores: Nodos 5888 nodos (Pleiades) 2 processadores quad-core por nodo Processadores Xeon E5472 (Harpertown) Velocidade do processador de 3Ghz Cache - 6MB por par de cores 512 nodos (RTJones) 2 processadores quad-core por nodo Processadores Xeon X5355 (Clovertown) Velocidade do processador de 2.66 Ghz Cache - 4MB por par de cores PPGINF (UCPel) Pleiades 1 de maio de / 28

12 Hardware - SGI(R) Altix(R) ICE 8200EX PPGINF (UCPel) Pleiades 1 de maio de / 28

13 Hardware - Hierarquia Dois dual-core 64 bits em um chip Quad-Core (compartilhando o barramento de 1600 MHz com a memória) 2 Quad-Cores em um nodo (blade) 16 nodos (compute blades), nomeados como n0-n15 em 1 IRU (individual rack units) 4 IRUs, nomeadas como i0-i3 em um armário 92 armários, nomeados como r1-r76, r81-r88, r121-r124 no cluster PPGINF (UCPel) Pleiades 1 de maio de / 28

14 Hardware - Processadores CPU Quad-Core Xeon X5472 (Harpertown) CPU-Clock - 3GHz Operações de Ponto Flutuante por ciclo de clock - 4 Número de Quad-Cores por nodo - 2 Número de Cores por nodo - 8 Total de nodos no cluster Total de Cores no Cluster FSB MHz, 12,8 GB/s PPGINF (UCPel) Pleiades 1 de maio de / 28

15 Hardware - Nodos Exemplo de um nodo RTJones (2 Quad-Cores 2.66 Ghz, FSB 1333MHz, 10,6 GB/s) PPGINF (UCPel) Pleiades 1 de maio de / 28

16 Hardware - Interconexão Entre nodos - InfiniBand, 6400 nodos em uma topologia hipercubo 10D Dois InfiniBand fabrics independentes rodando a 4x DDR Rede de gerenciamento Gigabit Ethernet Cada IRU tem 2 switches de 24 portas Em cada switch, 16 portas vão para os 16 nodos (compute blades) Cada nodo (compute blade) tem 2 portas InfiniBand, e cada porta conecta a diferentes fabric PPGINF (UCPel) Pleiades 1 de maio de / 28

17 Hardware - Interconexão - InfiniBand As portas restantes são utilizadas para conectar outros IRUs Uma porta do switch do primeiro IRU conecta no leader node PPGINF (UCPel) Figura: Infinibands Pleiades em dois IRUs 1 de maio de / 28

18 Hardware - Interconexão - InfiniBand Taxa inicial de 2,5 GBit/s Codificação 8B/10B Conexão serial bidirecional Tabela: Taxa de transferência teórica - InfiniBand Single(SDR) Double(DDR) Quad(QDR) 1X 2 Gbit/s 4 Gbit/s 8 Gbit/s 4X 8 Gbit/s 16 Gbit/s 32 Gbit/s 12X 24 Gbit/s 48 Gbit/s 96 Gbit/s PPGINF (UCPel) Pleiades 1 de maio de / 28

19 Hardware - Interconexão - InfiniBand Figura: Exemplo InfiniBand PPGINF (UCPel) Pleiades 1 de maio de / 28

20 Hardware - Memória L1 Cache - local para cada core, 32K para cache de instruções, 32K para cache de dados L2 Cache - 12MB por Quad-Core, 6MB compartilhada entre pares de cores, velocidade de 3GHz Tamanho padrão da página - 4KB Memória local por core - 1GB Memória total por nodo (blade) - 8GB Tipo DDR2 FB-DIMMs Total de Memória - 51 TB PPGINF (UCPel) Pleiades 1 de maio de / 28

21 Hardware - Armazenamento SGI InfiniteStorage NEXIS 9000 S2A9900 StorageScaler da DataDirect Networks Figura: NEXIS 9000 Figura: S2A9900 PPGINF (UCPel) Pleiades 1 de maio de / 28

22 Hardware - Armazenamento - NEXIS 9000 Expansível, integrado e ajustado para máxima performance Otimizado para servidores SGI Ip sobre InfiniBand (IB), 10 Gigabit Ethernet ou Gigabit Ethernet Sistema de Arquivos de alta performance, baixa latência e escalável Conjunto de ferramentas para Administração e Gerenciamento 4 a 10 conjuntos RAID com controladores RAID redundantes 48 a 480 drives SAS Até 12 trays de 12 drives SAS idênticos no sistema base Até 6 conjuntos adicionais RAID nível 5 Capacidade máxima de 216TB PPGINF (UCPel) Pleiades 1 de maio de / 28

23 Hardware - Armazenamento - S2A9900 Leitura e escrita na mesma velocidade (6GB/s) Qualidade de serviço em tempo real RAID 6 sem queda de performance 1.2PB em apenas dois armários 1200 drives por sistema Consumo de energia reduzido S2A SleepMode InfiniBand 4X DDR nativo e canal de fibra 8Gbps PPGINF (UCPel) Pleiades 1 de maio de / 28

Hardware - Sistema de Arquivos Lustre Sistema de Arquivos Distribuído de código aberto Suporta milhares de nós e petabytes de capacidade de armazenamento Cada

24 Hardware - Sistema de Arquivos Lustre Sistema de Arquivos Distribuído de código aberto Suporta milhares de nós e petabytes de capacidade de armazenamento Cada arquivo armazenado é considerado um objeto Permite acesso de leitura e escrita concorrente aos objetos compartilhados PPGINF (UCPel) Pleiades 1 de maio de / 28

25 Softwares Ambiente Operacional SUSE Linux Enterprise Server Job Scheduler - PBS (Portable Batch System) Linguagens de Programação Compiladores C, C++, Fortran Ferramentas de Desenvolvimento Intel VTune Performance Analyzer Intel Trace Analyzer Collector Interactive Supercomputing Star-P Plataform MPI OpenMP SGI Message Passing Toolkit PPGINF (UCPel) Pleiades 1 de maio de / 28

26 Supercomputação Verde Pleiades, um dos mais supercomputadores mais eficientes no consumo de energia no mundo Posição 22 no site Green500, com 233,02 MFlops/W e 2090 kw de consumo total Fontes de alimentação com no mínimo 89% de eficiência Pleiades é cerca de 4 vezes mais eficiente que o supercomputador Columbia A NAS limitou o montante de memória necessário da maioria dos usuários, embora algumas poucas aplicações tiveram uma pequena redução em performance por core, resultando uma redução no consumo de energia entre 10% e 15% PPGINF (UCPel) Pleiades 1 de maio de / 28

Gerenciamento dos Supercomputadores A NAS desenvolveu uma ferramenta permite aos usuários uma visão de alto nível em detalhes de nodos e sub-sistemas, incluindo utilização de CPU,

27 Gerenciamento dos Supercomputadores A NAS desenvolveu uma ferramenta permite aos usuários uma visão de alto nível em detalhes de nodos e sub-sistemas, incluindo utilização de CPU, status da fila do PBS, entre outras informações do sistema Figura: Gerenciamento de Supercomputadores PPGINF (UCPel) Pleiades 1 de maio de / 28

28 Obrigado!! Supercomputador Pleiades Renato Dilli - dilli@cefetrs.tche.br PPGINF (UCPel) Pleiades 1 de maio de / 28

Documentos relacionados

Supercomputador Pleiades Introdução ao Processamento Paralelo e Distribuído

Supercomputador Pleiades Introdução ao Processamento Paralelo e Distribuído Renato M. Dilli 1 1 Centro Politécnico Mestrado em Ciência da Computação Universidade Católica de Pelotas (UCPel) dilli@cefetrs.tche.br