Supercomputador IBM Roadrunner Angelo Gonçalves da Luz Centro Politécnico Universidade Católica de Pelotas (UCPel)

Transcrição

1 Supercomputador IBM Roadrunner Angelo Gonçalves da Luz Centro Politécnico Universidade Católica de Pelotas (UCPel) Abstract. This article aims to describe the main features of Roadrunner supercomputer, as well as its architecture, showing the why is the Roadrunner the supercomputer with more computational power of the present. Resumo. Este artigo tem por objetivo descrever as principais características do supercomputador Roadrunner, assim como sua arquitetura, mostrando o porquê do Roadrunner ser supercomputador com maior poder computacional da atualidade. 1. Introdução O que define o prefixo "super" adicionado a "computador" é a velocidade de seus cálculos, que precisa ser milhares de vezes mais rápidos que a de uma máquina de mesa. O ranking dos supercomputadores, que precisa ser atualizado a cada seis meses, inclui 500 máquinas. O mais lento deles trabalha numa velocidade de 5,9 teraflops, ou 5,9 trilhões de cálculos por segundo. No topo da última lista, que foi publicada em novembro de 2008, está o Roadrunner. Com prioridade ao uso militar, a máquina foi montada em parceria entre a IBM e o Laboratório Nacional Los Alamos, nos Estados Unidos. O nome é uma alusão a uma ave típica do estado do Novo México, onde o supercomputador está instalado, e ao personagem de desenho animado, papa léguas. Não se trata apenas do computador mais veloz já construído, mas também do primeiro a ultrapassar um petaflop, medida de velocidade equivalente a 1 quatrilhão de cálculos por segundo. O Roadrunner utiliza um sistema misto de microprocessadores convencionais de dois núcleos e chips similares aos usados pelo videogame Playstation 3, que são mais rápidos para fazer seqüências de cálculos repetitivos [Veja, 2008]. O Departamento de Energia dos Estados Unidos vai usar o supercomputador para simular matematicamente os efeitos de uma bomba nuclear durante as primeiras frações de segundo que se seguem à explosão. Com isso, poderá verificar a confiabilidade de um arsenal nuclear sem a necessidade de testá-lo de fato. "Até alguns anos atrás, os supercomputadores eram projetados para trabalhar com tipos específicos de cálculos", disse a VEJA o físico

2 Luiz Nunes de Oliveira, coordenador do projeto do supercomputador da Universidade de São Paulo. Agora, eles são programados para atuar em diversos projetos e podem fazer de previsões meteorológicas a mapeamentos do genoma humano. Os avanços nessa área podem ser comemorados pelos usuários de máquinas comuns: a história mostra que os equipamentos de ponta de hoje serão, com aperfeiçoamentos, os nossos computadores de mesa de amanhã. Foram gastos com o Roadrunner, 133 milhões de dólares, com o objetivo de alcançar a performance de 1.7 petaflops, onde já foi alcançando e mantido por alguns minutos petaflops em 25 de maio de 2008, alcançando picos de 1.5 petaflops, tornando-se assim o primeiro supercomputador a sustentar seu desempenho em petaflops, e, conseqüentemente, a liderança do ranking TOP500 de supercomputadores, atingindo praticamente o dobro do desempenho do antigo número 1 do ranking, também da IBM, o Blue Gene, situado no Laboratório Nacional de Livermore (Califórnia, EUA). Para poder ter uma idéia sobre o poder computacional deste supercomputador, D Agostino, diretor da Administração da Segurança Nuclear Americana fez a seguinte comparação, Se todos os 6,5 bilhões de habitantes da Terra usassem calculadoras durante 24 horas por dia, 7 dias por semana, seriam necessários 46 anos para fazerem os cálculos que Roadrunner faz em apenas um dia [Siqueira, 2008]. E para ter uma noção sobre a evolução dos supercomputadores, o Roadrunner levaria uma semana para calcular o que o computador mais rápido, há 10 anos atrás, levaria 20 anos [Lanl, 2008]. 2. TOP500 O projeto TOP500 classifica e detalha a arquitetura dos quinhentos melhores supercomputadores do mundo, a lista é organizada pela universidade de Mannheim, Alemanha, Universidade do Tennessee, EUA e por NERSC/LBNL (National Energy Research Scientific Computing Center/ Lawrence Berkeley National Laboratory). Com inicio em 1993, o TOP500, disponibiliza duas listas anuais com os 500 computadores mais velozes da atualidade, sendo uma no mesmo de junho e outra no mês de novembro. O objetivo do TOP500 é oferecer uma base confiável para rastrear e detectar tendências na computação de alto desempenho. Para medir o desempenho destes supercomputadores é utilizado o Linpack benchmark. Este banchmark mede a taxa de instruções de ponto flutuante, que é

3 determinada através da execução de um programa que resolve um sistema denso de equações lineares [LINPACK, FAQs] Linpack Benchmark Com todo o avanço alcançado nas arquiteturas de computadores, fica cada vez mais difícil comparar o desempenho entre duas máquinas apenas através de suas especificações técnicas. Para isso são utilizados programas benchmarks, que forçam as máquinas a determinadas tarefas para medir o seu desempenho. O Linpack banchmark foi criado por Jack Dongarra, Jim Bunch, Clever Moler e Pete Stewart e é baseado na biblioteca Linpack que provê álgebra linear numérica em computadores digitais. Ela foi escrita em Fortran no inicio dos anos 80 e faz uso das bibliotecas BLAS (Basic Algebra Subprograms) para desempenhar operações em vetores e matrizes. O linpack possui várias versões, a utilizada no TOP500 é uma variação da HPC (high parallel computing), que na sua versão original é permitido escolher o tamanho do problema que faz o computador atingir o desempenho ótimo e também o tamanho da entrada em que metade do desempenho máximo é obtido. Na variação utilizada pelo TOP500 são seguidos os seguintes passos: Resolver um sistema de equações lineares; Variar o tamanho dos problemas; Medir o tempo de execução para cada problema executado. Ao se medir o desempenho para diferentes problemas de tamanho N, se tem os seguintes resultados nas seguintes variáveis: Rmax Devolve o desempenho da máquina em Gflops/s para a maior instância que a máquina executou; Nmax O tamanho da maior instância que a máquina executou; Rpeak O pico de desempenho teórico em Gflops/s para a máquina. Os resultados obtidos pelo Roadrunner nestes testes foram: Nmax Rpeak Nmax

4 3. Roadrunner Este supercomputador foi construído para o U.S Departament of Energy s (DOE) e para a National Nuclear Security Administration (NNSA). Ele possui uma arquitetura híbrida, com processadores IBM PowerXCell e AMD Opteron dual-core especialmente designado a Server blades conectados por Infiniband, utilizando sistema operacional Red Hat e são gerenciados com o software XCAT para computação distribuída. O Roadrunner ocupa aproximadamente 560m² e pesa 220 toneladas. O supercomputador será utilizado no Los Alamos National Laboraty para trabalhar em problemas de segurança nacional, testar torpedos nucleares, executar testes anuais de armas nucleares variadas, predizer as mudanças climáticas de longo prazo, estudar o universo e tentar encontrar uma vacina contra a AIDS, segundo a previsão de John Morisson, encarregado do departamento de alto desempenho do Los Alamos National Laboraty [IBM, 2008]. Uma imagem do supercomputador Roadrunner pode ser vista na Figura 1: Figura 1 - Supercomputador Roadrunner 4. Características 4.1 Arquitetura Hibrida O Roadrunner difere de muitos supercomputadores atuais na medida em que é um sistema híbrido, com dois processadores de arquiteturas diferentes.

5 Supercomputadores normalmente utilizam apenas uma já que é mais fácil programar e modelar. Para conseguir utilizar todo o potencial do Roadrunner, todos os programas têm que serem escritos especialmente para esta arquitetura híbrida. O modelo híbrido consiste de um servidor de processadores Opteron dual-core fabricados pela AMD utilizando o padrão AMD64, e processadores PowerXCell fabricados pela IBM. 5. Desenvolvimento Roadrunner está em desenvolvimento desde 2002, e foi colocado em funcionamento em O Roadrunner foi construído em três fases[wikipedia, 2009] onde alcançou sua ultima fase em Fase 1 A primeira fase do Roadrunner foi a construção de um cluster padrão baseado em Opteron, enquanto avaliavam a viabilidade de continuar a construir e programar a futura versão híbrida. Nesta Fase 1, o Roadrunner atingiu 71 TeraFlops e foi posto em pleno funcionamento no Los Alamos National Laboratory para fazer simulações de armas avançadas desde Mesmo se o Roadrunner não tivesse avançado para a Fase 2 já seria um supercomputador formidável e já estaria no top 10 entre os computadores mais rápidos do mundo. 4.2 Fase 2 A Fase 2, conhecida como AAIS (Advanced Architecture Initial System) inclui a construção de uma pequena versão híbrida do sistema final, usando uma versão mais antiga do processador Cell. Esta fase foi utilizada para construir protótipos de aplicações para a arquitetura híbrida. Ele começou a funcionar em Fase 3 O objetivo da Fase 3 foi atingir e manter o desempenho acima de 1 petaflops. Para isto, mais nodos Opterons e novos processadores PowerXCell foram adicionados à arquitetura. Estes processadores PowerXCell são cinco vezes mais poderosos que os processadores Cell utilizados na Fase 2. Foi construída a escala completa da IBM em Poughkeepsie, Nova York, onde se quebrou a barreira de 1 petaflops durante sua quarta tentativa, em 25 de maio de 2008 ao meio da noite. A maioria das pessoas já haviam se recolhido, em função do adiantamento da hora, conta Don Grice, engenheiro responsável pelo projeto, mas dois técnicos ficaram de guarda para vigiar o supercomputador durante a execução da aplicação e puderam ler o relatório final de velocidade. O sistema completo foi transferido para a sua localização permanente no

6 Novo México no verão de 2008, onde os melhoramentos das aplicações irão prosseguir até o fim de 2009 [Lanl, 2008]. 6. Especificações Técnicas Roadrunner foi projetado exclusivamente para uma concepção híbrida, usando dois modelos diferentes de processadores. 6.1 Opteron AMD Opteron 2210, rodando a 1.8 GHz. Estes são processadores com dois núcleos cada. Opterons podem ser utilizados tanto para operações (monitoramento e armazenamento de dados, etc) quanto para computação (resolução de problemas). O Roadrunner tem um total de processadores Opteron (6480 destinados a computação e 432 a operações) que implica em um total de núcleos. 6.2 PowerXCell IBM PowerXCell 8i, rodando a 3.2 GHz. Estes processadores têm um núcleo para finalidade geral (PPE), e oito núcles especiais para desempenho em operações com ponto flutuante (SPE). Roadrunner tem um total de processadores PowerXCell com núcleos PPE, e núcleos SPE, que dá um total de núcleos. 6.3 Número de núcleos Pela lista Top 500, o Roadrunner diz ter núcleos. É importante saber quais cores são contados. Ao total são núcleos Opteron núcleos Cell = núcleos para ambos os nodos, computacionais e operacionais. O que acontece é que o Roadrunner não utiliza os processadores Opteron destinados a operações ao rodar o Linpack Opteros (2 núcleos) PowerXCell 8i (9 núcleos) = TriBlade Uma TriBlade é constituída por dois dual-core Opterons com 16 GB de RAM e quatro PowerXCell 8i com 16 GB de RAM. Fisicamente, um TriBlade consiste de um LS21 Opteron Blade, uma expansion blade, e dois QS22 Cell blades. O LS21 tem dois Opterons dual-core rodando a 1.8 GHz, com 16 GB de memória para toda a lamina, proporcionando 8 GB para cada CPU. Cada QS22 tem dois PowerXCell 8i, rodando a 3.2 GHz e 8 GB de memória, onde fica 4 GB para cada CPU. A expansão da lâmina conecta dois QS22 através de quatro PCIe x8 ao LS21, dois links para cada QS22. Ele fornece também conectividade externa através de um adaptador InfiniBand DDR 4x. Isto toma uma largura total de

7 quatro faixas para um único TriBlade. Três Triblades se encaixam em um chassi chamado BladeCenter H. Para facilitar a compreensão, a Figura 2 ilustra a arquitetura da TriBlade [Wikipedia]. Figura 2 - Arquitetura da TriBlade 6.5 Connected Unit A connected unit é constituída de 60 BladeCenter H cheio de TriBlades, que são 180 TriBlades. CU sistema de informações: 360 Opterons dual-core com 2,88 TiB RAN. 720 núcleos PowerXCell 8i com 2,88 TiB RAM. 12 System x3755 com dupla 10-Gbit Ethernet cada. 288-port Voltaire ISR2012 Switch com 192 infiniband 4x DDR (180 TriBlades e 20 nodos de I/O) 6.6 Roadrunner Cluster O cluster final é composto de 18 unidades interligadas (CU), que estão ligadas através de oito Switches infiniband ISR2012. Cada CU está ligada através de doze uplinks para cada segundo estágio do Switch, que faz um total de 96 conexões uplink. Sistema global de informação: processadores Opteron com 51,8 TiB de RAM (3,240 blades LS21) 12,960 processadores Cell com 51,8 TiB de RAM ( em 6,480 blades QS22) 216 sistemas de nodos de I/O x3755

8 18 CUs. 270 Racks 1080 BladeCenter H 3240 TriBlades Um total de TB de memória RAM. Consumo de 2.35 MW 6.7 Aplicações Testadas Algumas aplicações já foram testadas no supercomputador Roadrunner, algumas delas são: SPaSM - Scalable Parallel Short-range Molecular Dynamics: Modelo geral de Interação entre partículas, resolve as leis de Newton em níveis atômicos, sendo utilizado principalmente na área de metais. Obteve resultados nas seguintes áreas: resistência de metais, compressão de metais, instabilidade de fluidos. VPIC - VParticle In Cell: técnica para resolução de uma certa classe de equações diferenciais parciais, usado principalmente para simulação de plasma. MILAGRO - Simulação da evolução de um campo de radiação no tempo, considerando as seguintes interações entre as partículas: colisões, perda de massa, reflexões e passagem pelas fronteiras do sistema. Sweep3D - Simulação determinística de transporte de nêutrons e raios gamma. DNS - Direct Numerical Simulation: solução de equações de Navier-Stokes: equações diferencias a derivadas parciais que descrevem o escoamento de fluidos, considerando velocidade e pressão.

9 7. Curiosidades O Roadrunner além de ser a máquina de maior desempenho do mundo, também é uma das máquinas mais econômicas. Segundo o Green500, que disponibiliza uma lista dos computadores mais econômicos dentre os 500 do TOP500, o Roadrunner está localizado na sétima posição [Green500, 2009], como pode ser visto na Figura Conclusões Figura 3 Green500 O Roadrunner, até então, vem alcançando as expectativas de desempenho colocadas sobre ele utilizar esse novo conceito de arquitetura. O modelo híbrido, de processadores Opteron e PowerXCells se revelaram um possibilidade real de evolução para os atuais modelos existentes, atingindo alta performance e baixo consumo de energia, o que de certa forma é um grande avanço pois os supercomputadores de mais alto desempenho também possuem elevado consumo de energia, como pode ser visto na Figura 3, onde entre os 10 primeiros colocados em menor custo de energia, tirando o Roadrunner, o melhor colocado no TOP500 está na posição 41.

10 9. Referências Linpack FAQ, Frequently Asked Questions on the Linpack Benchmark and Top500. Veja, O supercomputador Papa-léguas. Junho de Disponível em Lanl, World's Fastest Computer Disponível em IBM, Fact Sheet & Bacground: Roadrunner Smashes the Petaflop Barrier. Junho de Siqueira, Ethevaldo. Fazendo um quatrilhão de cálculos por segundo. Junho de Disponível em Wikipedia, IBM Roadrunner.Março de Disponível em Green500, The Green500 list, Disponível em