grifo04 O maior supercomputador da América Latina

Transcrição

1 grifo04 O maior supercomputador da América Latina Luiz Rodolpho Monnerat Petrobras TIC/TIC-E&P Agosto/2012 1

2 Agenda Introdução Supercomputação? O que é isso? Lista dos maiores supercomputadores? Hã? História da Supercomputação No mundo Na Petrobras grifo04 Conclusão 2

3 Supercomputação ou HPC O que é Computação de Alto Desempenho Uso de computadores poderosos para resolver os maiores e mais complexos problemas A Supercomputação também é conhecida como Processamento de Alto Desempenho (PAD) High Performance Computing (HPC) High Performance Technical Computing (HTPC) 3

4 Para que é usada Pesquisa Geofísica (p.e., para procurar petróleo e gás) Simulações nucleares Meteorologia Indústrias químicas e farmacêuticas Indústria aeronáutica Bancos e seguradoras Reservado 4

5 Por que HPC na Petrobras? Atividades de pesquisa, simulação de reservatórios, etc. Principal uso: Geofísica Mais precisamente Processamento Sísmico Geração de imagens da subsuperfície da terra 5

6 Imagens Sísmicas de Sub-superfície 6

7 Usando as Imagens Sísmicas 7

8 TOP500 TOP500: A Fortune 500 da HPC!!! Lista os 500 supercomputadores mais rápidos do planeta para processamento matemático Sublistas TOP100, TOP50, TOP10 Perfil no TOP10 é muito diferente do TOP500 TOP500: Máquinas com componentes commodities TOP10: Máquinas proprietárias 8

9 TOP500 Editada 2 vezes por ano desde 1993 Permite acompanhar históricos e exercitar previsões Petrobras apareceu algumas vezes Em 2004 tínhamos duas máquinas no TOP100 Classificação é feita segundo um único benchmark HPC 9

10 Desempenho medido em TERAFLOPS Classificação no TOP500 Trilhões de operações matemáticas de ponto flutuante por segundo Desempenho segundo LINPACK Solução de equações lineares Precisão dupla (cálculos em 64 bits) Forte comunicação entre processos Processamento Sísmico NÃO usa precisão dupla Usa precisão simples (32 bits) Média comunicação entre processos Um supercomputador projetado para processamento sísmico pode não se classificar bem no TOP500 10

11 TOP10 + brasileirinhos # Nome Marca País Área Power (KW) 1 Sequoia IBM USA Research K Computer Fujitsu Japan Research Mira IBM USA Research SuperMUC IBM Germany Academic Tianhe-1A NUDT China Research Jaguar Cray USA Research Fermi IBM Italy Academic JuQUEEN IBM Germany Research Curie Bull SA France Research Nebulae Dawning China Research Grifo04 Itautec PETROBRAS Industry Tupã Cray INPE Research 457 Galileu Sun/Oracle UFRJ Academic

12 PETROBRAS no TOP500 12

13 TOP500: Evolução do desempenho Fonte: HW Meuer, The Top500 Project: Looking back over 15 years of supercomputing experience, Jan

14 TOP500: S.O. Figura extraída de top500.org 14

15 TOP500 Arquitetura CPU Fonte: HW Meuer, The Top500 Project: Looking back over 15 years of supercomputing experience, Jan

16 Evolução do HPC Anos 80 Anos 90 Hoje Amanhã Tanto a nível mundial quanto na Petrobras 16

17 Evolução de Arquitetura na HPC Fonte: HW Meuer, The Top500 Project: Looking back over 15 years of supercomputing experience, Jan

18 HPC: 80 s Mainframes e máquinas vetoriais HW com custo MUITO alto Hardware & software estável Gerenciamento simples One size fits all. Mesma máquina/ambiente para todas as aplicações 18

19 HPC: 90 s RISC Grandes reduções de custos de hardware (10x) HW com custo alto Processamento Paralelo Atraso no Brasil devido à política de protecionismo Projeto e dimensionamento mais complexos Várias opções Grupos de máquinas distintas de acordo com as aplicações MUITO mais difíceis de gerenciar 19

20 HPC: 2000 s Dominada por Beowulfs e componentes commodities Nova grande redução de custos de hardware (10x) Hardware barato Processamento paralelo ao extremo Ainda MUITO mais difíceis de gerenciar Planejamento e projeto MUITO mais complexos Aspectos ambientais (CPD) Espaço, energia e refrigeração Soluções proprietárias criadas para endereçar estes problemas (p.e. BlueGene) 20

21 Evolução da HPC na Petrobras/TIC-E&P 21

22 Primórdios do Linux na Petrobras 1994 começou-se a brincar com Linux, Uso limitado devido à carência de aplicações compatíveis Usado para emulação de terminais gráficos para ambientes UNIX (Xterminals) Aos poucos foram sendo desenvolvidas algumas aplicações pioneiras para Linux na própria Petrobras O mesmo problema com os Beowulfs Falta de aplicações impediu um maior uso nos anos 90 22

23 Primeiros Beowulfs na Petrobras 1997/98: Simulação de Reservatórios Hardware Desenvolvido com Universidade de São Carlos Diskless 12 nós Aplicação desenvolvida com UNICAMP 1999: Processamento Sísmico (bw1) Home made cluster artesanal Orçamento MUITO restrito Flexibilidade como pré-requisito 72 nós Aplicação totalmente desenvolvida na Petrobras 23

24 bw1: 72 CPUs (1999) 24

25 HPC CPUs CPUs RISC/UNIX Beowulfs 25

26 bw7: 1000 CPUs e 2TB RAM (início 2004) 26

27 CPD Externo (final de 2004) Esgotou-se a capacidade de energia no nosso então único CPD para HPC no Rio Então, alugamos um CPD 150m 2 e 900KVA para processamento científico Nenhum software pago nos servidores Nenhum funcionário 27

28 bwr1: 1300 CPUs no CCTI (2004) 28

29 HPC CPUs 3,500 3,000 2,500 CPUs 2,000 1,500 1, RISC Beowulf 29

30 bwr2: CPUs e 9TB RAM (CCTI) 30

31 2007 (EDISE+CCTI) Número de CPUs para Processamento Sísmico (EDISE+CCTI) CPU cores RISC/UNIX Beowulfs 31

32 Evolução da HPC na Petrobras vs TOP % 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%

33 Top500: Bell s law A Bell s law diz que a cada década surge uma nova plataforma de computação... Fonte: HW Meuer, The Top500 Project: Looking back over 15 years of supercomputing experience, Jan

34 Hora de mudar Em HPC diz-se que quando uma plataforma de hardware se torna padrão é por que ela já está (sendo) ultrapassada Perspectiva de mais um ganho de 10x em desempenho/custo Mas, ganho de 10x em custo não é suficiente! Com a tecnologia atual, não há CPD que aguente! Energia tem sido o fator limitante (mais do que custo!) Soluções proprietárias? Nossa filosofia: quanto mais commodity melhor!!!! 34

35 Top500: Bell s law Computação Heterogênea Fonte: HW Meuer, The Top500 Project: Looking back over 15 years of supercomputing experience, Jan

36 TOP Processamento heterogêneo # Fabricante Computer Cores 1 NUDT Intel X Ghz 6C, NVIDIA GPU 186,368 2 Cray Inc. Cray XT5-HE Opteron 6-core 2.6 GHz 224,162 3 Dawning Intel X5650, NVidia Tesla C2050 GPU 120,640 4 NEC/HP Intel Xeon 6C X5670, Nvidia GPU 73,278 5 Cray Inc. Cray XE6 12-core 2.1 GHz 153,408 6 Bull SA Bull bullx super-node S6010/S ,368 7 IBM PowerXCell 8i 3.2 Ghz / Opteron 122,400 8 Cray Inc. Cray XT5-HE Opteron 6-core 2.6 GHz 98,928 9 IBM Blue Gene/P Solution 294,912 Processamento Paralelo 36

37 Processamento Heterogêneo Processamento envolvendo diferentes tipos de unidades computacionais com modelos de programação distintos Ao invés de nós com vários processadores (cores) idênticos, cada nó tem CPUs de diferentes tipos CPU normal + acelerador CPU normal executa S.O., realiza E/S, etc. Acelerador especializado em operações matemáticas Exemplos Processador Cell (PS3) CPU + GPU CPU + FPGA 37

38 CPU usada no PS3 Disponível também em blades IBM Cada Cell tem um núcleo PowerPC 3.2GHz e oito processadores aritméticos (SPEs) PS3: 182 GFlops, 380 W, US$ 300 (US price) 256 KB de memória por SPE MUITO difícil de programar Cell 38

39 Construímos um cluster de quatro PS3 s no início de 2007 Cell um dos primeiros do mundo e provavelmente o primeiro do Brasil Algoritmos de imageamento sísmico foram portados e executados com sucesso Os algoritmos já tinham sido testados em emuladores de PS3, antes mesmo do lançamento do console Relação custo/desempenho mais de 15 vezes melhor do que a proporcionada com CPUs quadcore, para nosso principal algoritmo sísmico 39

40 CPUs das placas gráficas GPGPU: General Processing on GPUs Alta capacidade de processamento matemático Requer aplicações com alto nível de paralelismo Ambiente de programação relativamente amigável GPU Graphic Processing Units 40

41 GPU Graphic Processing Units Começamos a trabalhar com GPUs em processamento heterogêneo em 2007 Algoritmos de imageamento sísmico foram portados e executados com sucesso Relação custo/desempenho mais de 15 vezes melhor do que a proporcionada com CPUs quadcore 41

42 Desempenho por nó (MContributions/s) Slow single core Fast single core Dual core Quad core Playstation 3 GPU - 2 X Tesla C1060 Fonte: E&P-EXP/GEOF/TG Desempenho medido com o principal algoritmo de imageamento sísmico da Petrobras na época 42

43 Desempenho / $ 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Slow single core Fast single core Dual core Quad core Playstation 3 GPU - 2 X Tesla C1060 Fonte: E&P-EXP/GEOF/TG Desempenho em megacontributions/$ $ = acquisition price at launch date 43

44 Desempenho / Watt Slow single core Fast single core Dual core Quad core Playstation 3 GPU - 2 X Tesla C1060 Fonte: E&P-EXP/GEOF/TG 44

45 Comparação Qualitativa das Tecnologias Multicore GPU Cell/PS3 Cell/Blade Custo Aquisicao Custo/KW Custo/Area TCO Generalidade Portabilidade RoadMap Preservacao Investimento Quanto mais + melhor... 45

46 Cluster grifo01 Em operação desde GPUs em 3 bastidores 3 TB de RAM Rede de 10Gbps por servidor (IB) Desempenho equivalente a um cluster com servidores, cada um com duas CPUs quadcore Ganhos de > 10X em termos de Espaço Energia Investimento 46

47 Reconhecimento Internacional Computational Characteristics of Production Seismic Migration and its Performance on Novel Processor Architectures, no 19th International Symposium on Computer Architecture and High Performance Computing, Outubro de 2008 Seismic imaging on novel computer architectures, no 11th International Congress of the SBGf, Agosto Accelerating Kirchhoff Migration by CPU and GPU Cooperation no 21st International Symposium on Computer Architecture and High Performance Computing, Outubro Etc. 47

48 GPUs no TOP500 GPUs são desenvolvidas para processamento gráfico TOP500 classifica pelo desempenho em processamento 64 bits Proc. Gráfico não requer processamento em 64 bits Then, a maioria dos clusters de GPUs não aparecem no TOP500 grifo01, grifo02 e grifo03 não aparecem no TOP500 Geração atual de GPUs têm bom desempenho 64 bits grifo04 está no TOP500 grifo06 deverá entrar também Na próxima geração teremos opção de escolher GPUs boas para 64 bits ou boas para 32 bits grifo07 em diante NÃO deverão estar no TOP500 48

49 grifo04 : Maior da AL!!! 49

50 grifo servidores 1088 GPUs com 487 mil GPU cores 17 TB de memória RAM (irá para 24 TB em 11/2012) Rede Infiniband DDR (20 Gbps por nó) 17 bastidores & 425 KW Custou R$17 milhões (HW + 4 anos de garantia) Equivalente a um cluster com CPU cores (as mais modernas da época) 400 bastidores (servidores 1U) R$ 180 milhões Mais de 4 MW 50

51 Servidor 1U com duas GPUs -- Fonte de 1400W!!! ventiladores internos (8 counter rotating fans) -- Sérias preocupações com refrigeração... 51

52 Commodity!!!!! grifo04 foi totalmente desenhado e projetado pela equipe da Petrobras para usar componentes commodities TODOS os componentes do grifo04 são de prateleira Pode-se comprá-los todos via web com cartão de crédito O grifo04 pronto não é uma máquina commodity Ninguém consegue comprar o maior supercomputador da AL via web O desenho, instalação, etc. da solução são complexos e fundamentais e têm que focar no teu objetivo Edição HPC da Linux Magazine, Agosto/

53 grifos cluster ano TFLOPS por GPU 32 bits 64 bits Rede por nó grifo ,1 10 Gbps grifo ,1 20 Gbps grifo ,5 20 Gbps grifo ,5 56 Gbps grifo07?? 4 56 Gbps 53

54 Conclusões HPC é fundamental para várias ciências Supercomputadores são classificados segundo o desempenho em um aplicativo específico (LINPACK) Supercomputadores na Petrobras são principalmente usados para geofísica (muito diferente do LINPACK) Petrobras têm acompanhado e se adiantado às tendências mundiais da supercomputação Petrobras foi precursora no uso de GPUs em HPC grifo04 é o maior supercomputador da AL Próximos grifos serão projetados para processamento sísmico e podem não figurar no TOP500 54

55 Muito Obrigado!!! 55

56 Perguntas??? 56