Supercomputador Pleiades Introdução ao Processamento Paralelo e Distribuído Renato Marques Dilli Prof. Adenauer C. Yamin Universidade Católica de Pelotas 1 de maio de 2009 Mestrado em Ciência da Computação PPGINF (UCPel) Pleiades 1 de maio de 2009 1 / 28
Roteiro 1 Histórico 2 Motivações 3 Objetivos 4 Arquitetura de Hardware 5 Software 6 Supercomputação Verde 7 Gerenciamento dos Supercomputadores PPGINF (UCPel) Pleiades 1 de maio de 2009 2 / 28
Histórico NAS (NASA) Schirra Columbia RTJones Pleiades PPGINF (UCPel) Pleiades 1 de maio de 2009 3 / 28
Histórico - Schirra Primeiro a atender necessidades de supercomputação 6 Gabinetes, 4,8 Tflop/s Processadores Power5+, dual-core, 1.9Ghz, 640 cores Memória total 1,2TB, 160TB de disco Sistema Operacional AIX Unix Figura: IBM Power5+ Schirra PPGINF (UCPel) Pleiades 1 de maio de 2009 4 / 28
Histórico - Columbia Avanço na exploração espacial Posição 39 na lista Top500 (novembro/08) 14.336 cores, 88,88 Tflop/s (pico teórico) Arquitetura Altix 3700 e 4700 Memória total 28,6TB Sistema Operacional Suse Linux Enterprise PPGINF (UCPel) Pleiades 1 de maio de 2009 5 / 28
Histórico - RTJones Instalado em 2007, homenagem a Robert Thomas Jones 512 nodos, 4096 cores em uma arquitetura SGI ICE 8200 Processadores Intel Xeon X5355 (2.66Ghz) 2 Quad-Cores em um nodo, 16 nodos em um IRU, 4 IRU por armário, 8 armários PPGINF (UCPel) Pleiades 1 de maio de 2009 6 / 28
Histórico - Pleiades Terceiro lugar no site Top500 (novembro/08) 92 Armários + 8 Armários(RTJones) Processadores Intel Xeon E5473 (3Ghz) PPGINF (UCPel) Pleiades 1 de maio de 2009 7 / 28
Motivações Realiza trabalho 6x mais rápido que o Columbia Capacidade de atender 2,5X a atual necessidade computacional Sistema SGI Altix ICE 3,5 X maior que qualquer outro SGI Altix ICE Parceria com SGI e Mellanox Technologies para criar o maior cluster InfiniBand do mundo (>12800 nodos) O sistema atual InfiniBand é 70 % maior que os dois maiores somados 128TBit/s de largura de banda em comunicações IB PPGINF (UCPel) Pleiades 1 de maio de 2009 8 / 28
Objetivos Modelar a evolução das galáxias Conduzir cálculos complexos para determinar como surgiu a vida na Terra Refinar métodos de visualização da aeronave V-22 Osprey Tilrotor Realizar complexas simulações de grandes probemas computacionais para o projeto de futuros veículos espaciais Executar modelos para prever alterações climáticas PPGINF (UCPel) Pleiades 1 de maio de 2009 9 / 28
Hardware Sistema SGI(R) Altix(R) ICE Hierarquia de Hardware Processadores Nodos Interconexão Memória Armazenamento Sistema de Arquivos PPGINF (UCPel) Pleiades 1 de maio de 2009 10 / 28
Hardware - SGI(R) Altix(R) ICE 8200EX 100 Gabinetes (64 nodos em cada, 6400 nodos ao total) 609 TFlops Total de cores: 51200 Nodos 5888 nodos (Pleiades) 2 processadores quad-core por nodo Processadores Xeon E5472 (Harpertown) Velocidade do processador de 3Ghz Cache - 6MB por par de cores 512 nodos (RTJones) 2 processadores quad-core por nodo Processadores Xeon X5355 (Clovertown) Velocidade do processador de 2.66 Ghz Cache - 4MB por par de cores PPGINF (UCPel) Pleiades 1 de maio de 2009 11 / 28
Hardware - SGI(R) Altix(R) ICE 8200EX PPGINF (UCPel) Pleiades 1 de maio de 2009 12 / 28
Hardware - Hierarquia Dois dual-core 64 bits em um chip Quad-Core (compartilhando o barramento de 1600 MHz com a memória) 2 Quad-Cores em um nodo (blade) 16 nodos (compute blades), nomeados como n0-n15 em 1 IRU (individual rack units) 4 IRUs, nomeadas como i0-i3 em um armário 92 armários, nomeados como r1-r76, r81-r88, r121-r124 no cluster PPGINF (UCPel) Pleiades 1 de maio de 2009 13 / 28
Hardware - Processadores CPU Quad-Core Xeon X5472 (Harpertown) CPU-Clock - 3GHz Operações de Ponto Flutuante por ciclo de clock - 4 Número de Quad-Cores por nodo - 2 Número de Cores por nodo - 8 Total de nodos no cluster - 5888 Total de Cores no Cluster - 47104 FSB - 1600MHz, 12,8 GB/s PPGINF (UCPel) Pleiades 1 de maio de 2009 14 / 28
Hardware - Nodos Exemplo de um nodo RTJones (2 Quad-Cores 2.66 Ghz, FSB 1333MHz, 10,6 GB/s) PPGINF (UCPel) Pleiades 1 de maio de 2009 15 / 28
Hardware - Interconexão Entre nodos - InfiniBand, 6400 nodos em uma topologia hipercubo 10D Dois InfiniBand fabrics independentes rodando a 4x DDR Rede de gerenciamento Gigabit Ethernet Cada IRU tem 2 switches de 24 portas Em cada switch, 16 portas vão para os 16 nodos (compute blades) Cada nodo (compute blade) tem 2 portas InfiniBand, e cada porta conecta a diferentes fabric PPGINF (UCPel) Pleiades 1 de maio de 2009 16 / 28
Hardware - Interconexão - InfiniBand As portas restantes são utilizadas para conectar outros IRUs Uma porta do switch do primeiro IRU conecta no leader node PPGINF (UCPel) Figura: Infinibands Pleiades em dois IRUs 1 de maio de 2009 17 / 28
Hardware - Interconexão - InfiniBand Taxa inicial de 2,5 GBit/s Codificação 8B/10B Conexão serial bidirecional Tabela: Taxa de transferência teórica - InfiniBand Single(SDR) Double(DDR) Quad(QDR) 1X 2 Gbit/s 4 Gbit/s 8 Gbit/s 4X 8 Gbit/s 16 Gbit/s 32 Gbit/s 12X 24 Gbit/s 48 Gbit/s 96 Gbit/s PPGINF (UCPel) Pleiades 1 de maio de 2009 18 / 28
Hardware - Interconexão - InfiniBand Figura: Exemplo InfiniBand PPGINF (UCPel) Pleiades 1 de maio de 2009 19 / 28
Hardware - Memória L1 Cache - local para cada core, 32K para cache de instruções, 32K para cache de dados L2 Cache - 12MB por Quad-Core, 6MB compartilhada entre pares de cores, velocidade de 3GHz Tamanho padrão da página - 4KB Memória local por core - 1GB Memória total por nodo (blade) - 8GB Tipo DDR2 FB-DIMMs Total de Memória - 51 TB PPGINF (UCPel) Pleiades 1 de maio de 2009 20 / 28
Hardware - Armazenamento SGI InfiniteStorage NEXIS 9000 S2A9900 StorageScaler da DataDirect Networks Figura: NEXIS 9000 Figura: S2A9900 PPGINF (UCPel) Pleiades 1 de maio de 2009 21 / 28
Hardware - Armazenamento - NEXIS 9000 Expansível, integrado e ajustado para máxima performance Otimizado para servidores SGI Ip sobre InfiniBand (IB), 10 Gigabit Ethernet ou Gigabit Ethernet Sistema de Arquivos de alta performance, baixa latência e escalável Conjunto de ferramentas para Administração e Gerenciamento 4 a 10 conjuntos RAID com controladores RAID redundantes 48 a 480 drives SAS Até 12 trays de 12 drives SAS idênticos no sistema base Até 6 conjuntos adicionais RAID nível 5 Capacidade máxima de 216TB PPGINF (UCPel) Pleiades 1 de maio de 2009 22 / 28
Hardware - Armazenamento - S2A9900 Leitura e escrita na mesma velocidade (6GB/s) Qualidade de serviço em tempo real RAID 6 sem queda de performance 1.2PB em apenas dois armários 1200 drives por sistema Consumo de energia reduzido S2A SleepMode InfiniBand 4X DDR nativo e canal de fibra 8Gbps PPGINF (UCPel) Pleiades 1 de maio de 2009 23 / 28
Hardware - Sistema de Arquivos Lustre Sistema de Arquivos Distribuído de código aberto Suporta milhares de nós e petabytes de capacidade de armazenamento Cada arquivo armazenado é considerado um objeto Permite acesso de leitura e escrita concorrente aos objetos compartilhados PPGINF (UCPel) Pleiades 1 de maio de 2009 24 / 28
Softwares Ambiente Operacional SUSE Linux Enterprise Server Job Scheduler - PBS (Portable Batch System) Linguagens de Programação Compiladores C, C++, Fortran Ferramentas de Desenvolvimento Intel VTune Performance Analyzer Intel Trace Analyzer Collector Interactive Supercomputing Star-P Plataform MPI OpenMP SGI Message Passing Toolkit PPGINF (UCPel) Pleiades 1 de maio de 2009 25 / 28
Supercomputação Verde Pleiades, um dos mais supercomputadores mais eficientes no consumo de energia no mundo Posição 22 no site Green500, com 233,02 MFlops/W e 2090 kw de consumo total Fontes de alimentação com no mínimo 89% de eficiência Pleiades é cerca de 4 vezes mais eficiente que o supercomputador Columbia A NAS limitou o montante de memória necessário da maioria dos usuários, embora algumas poucas aplicações tiveram uma pequena redução em performance por core, resultando uma redução no consumo de energia entre 10% e 15% PPGINF (UCPel) Pleiades 1 de maio de 2009 26 / 28
Gerenciamento dos Supercomputadores A NAS desenvolveu uma ferramenta permite aos usuários uma visão de alto nível em detalhes de nodos e sub-sistemas, incluindo utilização de CPU, status da fila do PBS, entre outras informações do sistema Figura: Gerenciamento de Supercomputadores http://www.nas.nasa.gov/monitoring/ PPGINF (UCPel) Pleiades 1 de maio de 2009 27 / 28
Obrigado!! Supercomputador Pleiades Renato Dilli - dilli@cefetrs.tche.br PPGINF (UCPel) Pleiades 1 de maio de 2009 28 / 28