SGI. SGI Altix. Supercomputadores de memória compartilhada. Paulo Matias. Universidade de São Paulo

Transcrição

1 Supercomputadores de memória compartilhada 1 1 Instituto de Física de São Carlos Universidade de São Paulo Seminários de Arquiteturas Avançadas de Computadores

2 Introdução SGI Duas linhas de máquinas para HPC: Supercomputadores de memória compartilhada: UV Nós convencionais para clusters: ICE 8400 Blades adicionais para racks (supercomputadores): Interfaces PCI Express FPGAs Xilinx

3 UV SGI Processadores Intel Xeon Máximos por rack: UV 10: 32 cores, 512GB RAM. UV 100: 768 cores, 6 TB RAM, 6.9 TFLOPS (teóricos). UV 1000: 2048 cores, 16 TB RAM, 18.5 TFLOPS (teóricos). Rede de interconexão NUMAlink 5 em Torus 2D. MPI Offload Engine

4 4700 SGI Processadores Dual-Core Intel Itanium GHz. Até 78 processadores (156 cores) por rack. Até cerca de 1.5 TB de RAM por rack. Mais de 1 TFLOP por rack. Rede de interconexão NUMAlink 4. Até 1024 cores e 128 TB endereçáveis em uma única instância de Linux.

5 450 SGI Processadores Dual-Core Intel Itanium GHz. Até 38 processadores (76 cores). Até 864 GB de RAM. Rede de interconexão NUMAlink 4.

6 ICE 8400 SGI Processadores: Intel Xeon 5500 (4 cores, 2 threads/core). Intel Xeon 5600 (6 cores, 2 threads/core). Dois processadores e até 96 GB de RAM por blade. Até 64 blades por rack. Rede de interconexão Infiniband 40Gb/s. Topologia: hypercube, enhanced hypercube, all-to-all, ou fat tree.

7 Esquema de memória compartilhada Utilizado pelas máquinas da SGI (exceto ICE). Permite rodar uma única instância do Linux em milhares de processadores. O Linux enxerga como se fosse uma só máquina de memória compartilhada. Facilidade de programação: OpenMP pthreads MPI com backend SHMEM Outras aplicações além de HPC: Bancos de dados in-memory. Virtualização.

8 NUMAlink SGI Coração dos supercomputadores de memória compartilhada da SGI. Chamado de CRAYlink no período em que CRAY era da SGI. Entretanto, puramente marketing. Tecnologia distinta das desenvolvidas pela equipe CRAY. Acessa diretamente memória anexada a outros processadores.

9 NUMAlink Network Memory HUB ASIC HUB ASIC Processors/ (Sockets) SGI Compute Brick

10 Table 1 Summary of SGI NUMAlink interconnect generations Generation Signaling Rate Link Bandwidth per Direction Physical Layer Latency (inc. 3m cable, 24" pcb) Products/Year of Introduction NUMAlink 2 400Mb/s 800MB/s 55 ns Origin 200 and Origin 2000/1997 NUMAlink 3 800Mb/s 1.6GB/s 28 ns Origin 300 and Origin 3000/2000 NUMAlink Mb/s (simul. Bidir) 3.2GB/s 28 ns /2004

11 Table 2 Latency and bandwidth performance of common intereconnect technologies Technology Vendor MPI Latency, µsec, short msg Bandwidth per Link (Unidirectional, MB/s) NUMAlink 4 () SGI RapidArray (XD1) Cray (1) QsNet II Quadrics (2) Infiniband Voltaire (3) High Performance Switch IBM (4) Myrinet XP2 Myricom (5) SP Switch 2 IBM (6) Ethernet Various

12 Table 3 Comparison of Linpack system efficiencies in the November 2004 Top 500 list System/Interconnect Ave. Linpack Efficiency for 256P System, Percent* Sample size, number of systems on list* and NUMAlink HP Superdome Various/Quadrics 75 4 Various/Infiniband 75 3 (one system at 288P) Various/Myrinet Various/Gigabit Ethernet *Linpack Rmax/Rpeak for 256P systems listed on November 2004 Top 500 list (see

13 NUMAlink no TOP500 - Hoje Os dados anteriores eram de Como está o NUMAlink no TOP500 de 06/2010? Número de máquinas com NUMAlink caiu. De 17 máquinas da SGI, apenas 3 usam NUMAlink. As outras são clusters de ICE (Infiniband). Leibniz Rechenzentrum HLRB-II: 4700 com 90,78% de eficiência. 92 a posição em performance, 33 a em eficiência. Eficiência boa, porém 3 a a 5 a em eficiência ( 95%) são ICE! Por que SGI com Infiniband ganha de SGI com NUMAlink?

14 NASA/Ames Research Center/NAS Columbia (2005)

15 NASA/Ames Research Center/NAS Supercomputador Columbia 3700 (Intel Itanium 2, NUMAlink 4). 84 a posição em performance, 133 a em eficiência. Verificou-se em testes (2005) da NASA/Ames que NUMAlink obtinha mais performance que Infiniband. Porém NUMAlink só conectava até 2048 processadores. Portanto foi utilizada rede mista NUMAlink/Infiniband. Supercomputador Pleiades ICE 8200EX/8400EX (Intel Xeon, Infiniband). 6 a posição em performance, 145 a em eficiência. Não é usado NUMAlink.

16 Conclusão SGI Memória compartilhada permite: Facilidade de programação. Facilidade de administração. Arquitetura do NUMAlink é interessante e a princípio forneceria mais eficiência para comunicações one-sided. Ainda não há nenhuma máquina UV (com NUMAlink 5) no TOP500. NUMAlink 5 a princípio conecta até processadores ( cores Xeon). Se NUMAlink 5 escalar para processadores da mesma forma que NUMAlink 4 escala para 2048, provavelmente uma máquina dessas excederia em eficiência uma máquina com Infiniband. Entretanto não há dados disponíveis para confirmar isso.