Palestra - Depto. de Informática - UFMA

Transcrição

1 Palestra - Depto. de Informática - UFMA 1 a 5 de setembro de /27 Estado de Arte da Computação Paralela de Alto Desempenho Siang Wun Song Universidade de São Paulo

2 Evolução da Computação Os primeiros processadores: ciclos de aprox. 6 segundos Processador hoje: vários GHz - menos de um nanosegundo de ciclo Processador de hoje é vezes mais rápido Computação paralela usa um grande número de processadores, aumentando mais ainda o poder computacional. 2/27

3 Computação de Alto Desempenho Medida de desempenho: 3/27 1 FLOPS = uma operação ponto flutuante por segundo KFLOPS = 2 10 = aprox op/s MFLOPS = 2 20 = aprox op/s GFLOPS = 2 30 = aprox op/s TFLOPS = 2 40 = aprox op/s

4 Lista TOP500 Lista dos 500 computadores mais poderosos do mundo 4/27 Divulgada duas vezes por ano: em junho e novembro Interesse tanto para fabricantes como para compradores potenciais Benchmark: LINPACK - um sistema linear de 1000 equações a 1000 incógnitas. Computadores com melhor desempenho LINPACK entram na lista Muito material é disponível no site:

5 Manufacturer Computer/Procs 1 NEC Earth-Simulator/ Hewlett-Packard ASCI Q - AlphaServer SC ES45/1.25 GHz/ Linux Networx MCR Linux Cluster Xeon 2.4 GHz - Quadrics/ IBM ASCI White, SP Power3 375 MHz/ Hewlett-Packard SuperDome 750 MHz/HyperPlex/ 128 R max Installation Site R Country/Year peak Earth Simulator Center Japan/ Los Alamos National Lab USA/ Lawrence Livermore National Lab USA/ Lawrence Livermore National Lab USA/ IS Informationssysteme II Germany/2002 5/27

6 Primeiro Colocado O computador mais veloz do mundo: NEC Earth Simulator processadores LINPACK: 35,86 TFLOPS Velocidade pico: 40 TFLOPS Mem. de 10 TB total (2 GB por proc.) CMOS de 0,15 micron 6/27

7 TOP500 List 7/27

8 Perguntas Pergunta: O que vem depois de TFLOPS? 8/27

9 Perguntas Pergunta: O que vem depois de TFLOPS? Resposta: PFLOPS (Peta Flops) 1 PFLOPS = 2 50 = aprox op/s 8/27

10 Perguntas Pergunta: O que vem depois de TFLOPS? Resposta: PFLOPS (Peta Flops) 1 PFLOPS = 2 50 = aprox op/s 8/27 Previsão do Futuro Pergunta: Em que ano teremos computadores de desempenho de PFLOPS? Quem quer dar um palpite?

11 TOP500 List 9/27

12 TOP500 List 10/27

13 TOP500 List 11/27

14 TOP500 List 12/27

15 TOP500 List 13/27

16 TOP500 List 14/27

17 TOP500 List 15/27

18 TOP500 List 16/27

19 TOP500 List 17/27

20 Interconexão dos Processadores Um grafo consiste em vértices e arestas. Pode modelar a interconexão dos processadores: 18/27 Um vértice representa um processador Uma aresta representa um canal de comunicação

21 Hipercubo de dimensão 4 19/27

22 20/27 Hipercubo de dimensão 6

23 Diâmetro e Grau Dois importantes parâmetros numa topologia de interconexão dos processadores: 21/27 Diâmetro: a maior distância que separa dois processadores quaisquer Grau: o número de processadores vizinhos de cada processador. Anel de n processadores Diâmetro: n/2 Grau: 2

24 Diâmetro e Grau Grade tridimensional toroidal Grade tridimensional toroidal n n n, muito usada em supercomputadores reais: 22/27 Diâmetro: n/2 ou Grau: 6 Hipercubo Hipercubo de dimensão d de n = 2 d processadores: Diâmetro: log n Grau: log n

25 Teoria de Grafos Vários grafos importantes têm interesse na interconexão de processadores: e.g. grafo de Bene s, grafo de Bruijn. Grafo de Bruijn Dado inteiro k, os vértices são números binários de k bits: x 1 x 2... x k. Um vértice x 1 x 2... x k é ligado aos vértices x 2 x 3... x k 0 e x 2 x 3... x k 1. Diâmetro: log n Grau: 4 23/27

26 Parte do grafo de Bruijn com k = /

27 Grafo de Bruijn com k = /

28 Uma mágica baseada no grafo de Bruijn Cada vértice de 5 bits codifica uma carta do baralho 26/27 Conhecidas as cores de 5 cartas consecutivas, sabe-se dizer o valor e naipe de cada carta. Ver livro de F. Thompson Leighton. Introduction to Parallel Algorithms and Architectures: arrays, trees, hypercubes. Morgan Kaufmann Publishers ou: song/mac741/magica.html A codificação permite codificar 31 cartas com apenas 35 bits.

29 Desenvolvimento de Algoritmos Paralelos Adotar um modelo de computação paralela: PRAM (memória compartilhada), BSP, CGM, etc. 27/27 Paralelizar um algoritmo encontra várias dificuldades Há trechos que são intrinsecamente sequenciais Como particionar os dados e as computações Como definir a granularidade adequada Granularidade: quantidade de computação feita até necessitar de comunicação Granularidade fina: grau de paralelismo pode ser alto, mas a comunicação fica mais frequente Granularidade grossa: diminui a frequência de comunicação, mas o grau de paralelismo pode ser menor