Computação de alto desempenho

Transcrição

1 Computação de alto desempenho Aleardo Manacero Jr. DCCE/UNESP Grupo de Sistemas Paralelos e Distribuídos

2 Programa 1. Introdução 2. Processadores para CAD 3. Sistemas de memória 4. Programação paralela usando bibliotecas de baixo nível 5. Conectividade e condições de paralelismo

3 Programa 6. Identificação de paralelismo e modelos de paralelização 7. Avaliação de desempenho e otimização de programas paralelos 8. Ambientes de troca de mensagens: MPI 9. OpenMP 10. Programação para GP-GPU

4 Bibliografia Pacheco, P. Parallel Programming with MPI Shen, J.P., and Lipasti, M.H. - Modern Processor Design: Fundamentals of Superscalar Processors Hwang, K. Advanced Computer Architectures Dowd, K. & Severance, D. High Performance Computing

5 Bibliografia Hennessy, J.L., Patterson, D.A., and Goldberg, D. Computer Architecture: A Quantitative Approach, 5th edition, 2012 Patterson, D.A., Hennessy, J.L., et al - Computer Organization and Design: The Hardware/Software Interface, 3rd Edition, 2011 Culler, Singh e Gupta - Parallel Computer Architecture, Etc...

6 Website da disciplina O que tem lá: Avisos sobre a disciplina Material de aula Regras de avaliação

7 Introdução Porque precisamos de desempenho? Porque queremos resolver problemas complexos, grandes ou com muitos dados mas Nossos computadores são LENTOS!!

8 Introdução 18 bilhões de operações aritméticas por segundo é rápido o suficiente? O i7 mais poderoso realiza mais ou menos isso por núcleo Como saber se isso é suficiente!! Vamos a um exemplo prático...

9 Introdução Um sistema de previsão metereológica trabalha usando um cubo cuja base é a área em que se quer prever o tempo e a altura corresponde a altitude a considerar.

10 Exemplo Nesse cubo se faz um reticulado (formando uma matriz tridimensional), com o número de pontos determinado pela precisão desejada.

11 Exemplo

12 Exemplo

13 Exemplo

14 Exemplo

15 Exemplo Considerando-se como sistema os EUA e Canadá (área de 20 milhões de km2), como sendo um cubo de altitude 20km, com pontos de discretização a cada 100m, teríamos pontos para cálculo.

16 Exemplo Se para determinar as condições de cada ponto (temperatura, pressão, umidade, vento) realizarmos 100 operações aritméticas, teremos operações Para fazer a previsão de dois dias, com informações de hora em hora, teremos aproximadamente operações no total.

17 Exemplo Num computador que realize 18 bilhões de operações por segundo (18x109) isso levaria cerca de segundos, o que corresponde a cerca de 31 horas!!! Para reduzir esse tempo para algo factível (meia hora), nosso computador teria que fazer um trilhão de operações por segundo!!

18 Conclusão do exemplo Precisamos de um supercomputador para fazer essa previsão. Mas será que dá para implementar esse supercomputador?? Apenas se usarmos paralelismo...

19 Porque só com paralelismo? Suponham que temos uma máquina capaz de realizar um trilhão de operações por segundo. Se a usarmos para executar o comando for (i=0; i < Um_Trilhão; i++) z[i] = x[i] + y[i]; O que acontecerá??

20 Porque só com paralelismo? Para executar o comando listado é preciso fazer 3 trilhões de acessos à memória em um segundo Se cada acesso ocorresse na velocidade da luz, teríamos como distância d, entre CPU e memória o seguinte: d = v (um acesso) / num de acessos = / = 10-4m = 0.1mm

21 Porque só com paralelismo? Assim o diâmetro da memória é, no máximo, o dobro dessa distância, o que resulta em DIAM = 2 * d = m Se a memória tiver que armazenar as posições dos três vetores do exemplo, então o diâmetro de uma posição é dado por

22 Exemplos de aplicação Produção de batatas pringles Exploração de petróleo Aerodinâmica Geociências Data mining E-commerce

23 Exemplos de aplicação

30 Como se faz CAD? Uso de supercomputadores (processamento vetorial) Uso de máquinas massivamente paralelas Uso de clusters de computadores Uso de grids Uso de processadores paralelos (multicores e GPUs)

31 Arquitetura de um computador É como se definem a organização do hardware e as necessidades de software de um sistema No hardware temos: CPU Cache Memória Barramentos Microcódigos Pipelines

32 Arquiteturas convencionais A máquina de Von Neumann

33 Gargalo de von Neumann A máquina de von Neumann, embora bastante eficiente em sua origem, é um problema pois obriga que se faça sempre um acesso estritamente sequencial aos dados e instruções

34 Gargalo de von Neumann Uma alternativa para esse problema é acelerar os processos de acesso aos dados e instruções e de execução das mesmas, o que é feito através de Memória cache Pipeline

35 Gargalo de von Neumann Cache: Faz o armazenamento intermediário de dados e instruções (normalmente separados) em memória rápida. Seu uso é possível graças ao Princípio da Localidade.

36 Gargalo de von Neumann Pipeline: Substitui a unidade de controle (UC) por unidades especializadas em etapas do processo de execução de uma instrução.

37 Gargalo de von Neumann Outra alternativa o uso de arquiteturas nãoconvencionais (paralelas)

38 Arquiteturas paralelas A forma de estruturação do hardware de sistemas paralelos pode variar bastante. Essas variações envolvem a forma como as máquinas são ligadas e as maneiras de organização dos dados e das instruções dos programas.

39 Classificação de Flynn Uma forma de sistematizar a variedade de configurações é a classificação proposta por Flynn, em termos do fluxo de instruções e dados, que resulta em: SISD sistemas convencionais SIMD computadores vetoriais MISD arrays sistólicos MIMD paralelismo massivo

40 Classificação de Flynn Na classificação de Flynn as siglas têm o seguinte significado: S = single = único fluxo M = multiple = vários fluxos I = instruction stream (fluxo de instruções) D = data stream (fluxo de dados)

41 Como obter o paralelismo? Basicamente são dois tipos de sistemas: Os multiprocessadores X Os multicomputadores A diferença entre eles é a forma de acoplamento entre os elementos de processamento.

42 O que muda no processador? Nada... Exceto pelo maior número de elementos de processamento.

43 O que muda na memória? Quase tudo... No caso de multiprocessadores a memória aparece em três diferentes modelos de acesso: UMA, NUMA e COMA

44 Memória UMA Todos os dados, independente de sua localização física, têm tempo de acesso uniforme para todos os processadores.

45 Memória NUMA Aqui os tempos de acesso mudam conforme a localização física dos dados.

46 Memória NUMA Cluster hierárquico

47 Memória COMA O acesso aos dados é feito exclusivamente em memória cache.

48 E para os multicomputadores? O padrão de acesso é através de troca de mensagens!

49 Como programas tratam a memória? Os modelos de acesso descritos não consideram como se dá o direito de acesso dos programas aos dados na memória. Isso é feito pelos modelos PRAM (Parallel Random Access Machine)

50 Modelos PRAM Definem as formas de acesso para as operações de leitura e escrita na memória. Assim temos: EREW Escrita e Leitura exclusivas CREW Escrita exclusiva, Leitura concorrente ERCW Escrita concorrente, Leitura exclusiva CRCW Escrita e Leitura concorrentes

51 Um pouco de história As máquinas de alto desempenho seguiram, em seus primeiros anos, quatro caminhos: Multiprocessadores com memória compartilhada Multiprocessadores com troca de mensagens Máquinas vetoriais Máquinas massivamente paralelas (SIMD)

52 Multiprocessadores com memória compartilhada COMA crossbar Clusters de SMPs

53 Multiprocessadores com troca de mensagens Conectividade interessante Caltech

54 Máquinas vetoriais Projeto fracassado Seymour Cray fez projeto

55 Máquinas massivamente paralelas (SIMD) Big hit Big fail Uso de transputers

56 Máquinas massivamente paralelas (SIMD)

57 Padrão atual Incremento de ambientes multicomputadores: Clusters (Beowulf), Grades (grid computing) e Soluções multicores (incluindo GPUs) Uso de ambientes mistos, com clusters de nós multiprocessadores Uso de processadores auxiliares de baixo custo

58 CAD no mundo Quem produz equipamentos de CAD, hoje em dia, são basicamente empresas americanas (e poucas japonesas) Quem usa CAD, hoje em dia, está no hemisfério norte Existe um levantamento que ranqueia equipamentos de alto desempenho em funcionamento, o Top500 Report

59 O que diz o Top500 Detalhes em De novembro de 2015 destacam-se: Clusters totalizam mais de 85% das máquinas, embora não sejam as mais potentes Tianhe 2 é a atual nº 1, com quase 34 PFlops 75% das máquinas entre EUA (39.8), China (21.8), Japão (7.4) e Alemanha (6.4)

60 O que diz o Top500 Outros destaques: 7 máquinas na América Latina (6 no Brasil, posições entre 201 e 477, uma no México, 370) 12 máq. no hemisfério sul (Brasil, Austrália(5) e N. Zelândia(1)) A máquina mais potente do Brasil é um cluster no LNCC (456 Tflops) No hemisfério sul o sistema mais potente está na Austrália (posição 17, com 3.5 PFlops)

61 O que diz o Top500 Outros destaques: 426 clusters, usando processadores Intel (Xeon), AMD (Opteron) e Power 104 sistemas com coprocessadores (principalmente Nvidia (66) e Intel Xeon Phi (29)) Uso intenso de Infiniband e 10G como redes de conexão, embora Cray Interconnect e padrões proprietários tenham maior desempenho total

62 Distribuição por países

63 Distribuição por países Alemanha Japão China USA UK

64 Área de aplicação Sistemas desempenho

65 Área de aplicação Universidades Pesquisa Indústria

66 Desempenho global Total #1 #500

67 Previsões do futuro 2019/

68 Tipos de arquitetura desempenho Sistemas

69 Tipos de arquitetura MPP 2003 Clusters SMP Single Constelação

70 Tipos de Sistema Operacional Sistemas desempenho

71 Mecanismos de comunicação Sistemas desempenho

72 Mecanismos de comunicação toróide hipercubo Gigabit Ethernet desconhecido myrinet Infiniband SP switch hipercubo hyperplex G 2010

73 ALGUNS SISTEMAS (nem tão novos!) TEMAS EM USO

74 IBM Stretch Supercomputer

75 IBM Stretch Supercomputer Capacidade de 100 bilhões de operações Por dia!!!! Lançado em 1961 Tinha 150 mil transistores... i7 tem 1.17 bilhões

76 IBM Stretch Supercomputer Algumas inovações importantes: Multiprogramação Pipeline Proteção de memória Byte de oito bits

77 NEC SX8

78 NEC SX8 Cada nó pode executar 128 Gflops Um sistema pode ter até 512 nós, chegando a 65 Tflops e acomodando 64 Tbytes de memória

79 Cray XC-40 Desempenho esperado de 75 Tflops/rack Até 128 Xeon E5 por rack Cray Linux (versão do SuSE Linux)

80 Cray XC-40

81 Cray XT4

82 Cray XT5 (Jaguar)

83 Cray XT5

84 K Computer

85 Sequoia

86 Tianhe

87 Earth Simulator

88 Jaguar

89 Jaguar

90 Titan

91 Cray XD1

92 Cray XD1

93 IBM BlueGene/L

94 IBM BlueGene/L

95 IBM BlueGene/L

96 IBM BlueGene/P

97 IBM RoadRunner

98 IBM RoadRunner

99 IBM RoadRunner

100 IBM RoadRunner

101 IBM RoadRunner

102 D-Wave 2 Quantum Computer

103 D-Wave 2 Quantum Computer

104 O que usar?

105

106 Padrão atual Incremento de ambientes multicomputadores, principalmente através dos conceitos de: cluster de estações de trabalho (Beowulf), computação por grades (grid computing) e computação ubíqua (ubiquitious computing)

107 Padrão atual Incremento no uso de processadores dedicados, como: processadores gráficos (GPU), FPGA e cell processors (caindo em desuso)

108 Clusters

109 Clusters

110 Grids

111 Grids

112 Onde chegaremos

113 Onde chegaremos Lei de Moore Problemas com consumo de energia e resfriamento dos processadores (top500 agregou dados sobre consumo de energia em suas listas) Uso cada vez mais intenso de clusters e suas derivações (multicores, grids, clouds, etc)

114 Onde chegaremos