Computação Paralela: Algoritmos e Aplicações. Prof. Amit Bhaya, Programa de Engenharia Elétrica, COPPE/UFRJ 09/05/ /05/2000

Transcrição

1 Computação Paralela: Algoritmos e Aplicações Prof. Amit Bhaya, Programa de Engenharia Elétrica, COPPE/UFRJ 09/05/ /05/2000 1

2 Conteúdo do minicurso Conteúdo do minicurso Computação paralela e de alto desempenho. Taxonomia básica. A experiência da COPPE. Justificativa e ganhos com o paralelismo. Algoritmos numéricos paralelos síncronos e assíncronos. Modelos matemáticos. Análise de convergência. Exemplos. Resolução de sistemas complexos de grande porte. Algoritmos combinados. Critérios de partição. Distribuição de carga. Exemplos. Técnicas de otimização natural. Meta-heurística. Adequação às máquinas paralelas e de alto desempenho. Exemplos. Perspectivas futuras. Novas Aplicações. Discussão final. Avaliação. 2

3 HIPÓTESES Os alunos (não) têm noções de computação paralela o grupo é heterogêneo Os alunos têm algum conhecimento de métodos numéricos simples 3

4 Bibliografia!T.L. Freeman & C. Phillips, Parallel Numerical Algorithms, Prentice Hall, 1993 * F.Thomson Leighton, Introduction to Parallel Algorithms and Architectures: Arrays. Trees. Hypercubes, Morgan Kaufmann Publishers, 1992 Dan I. Moldovan, Parallel Processing from Applications to Systems, Morgan Kaufmann Publishers, 1993 Daniel E. Lenoski & Wolf-Dietrich Weber, Scalable Share-Memory Multiprocessing, Morgan Kaufmann Publishers, 1995 Geoffrey G. Fox, Roy D. Williams and Paul C. Messina, Parallel Computing Works!, Morgan Kaufmann Publishers, 1994 Russ Miller & Quentin F. Stout, Parallel Algorithms for Regular Architectures: Meshes and Pyramids, MIT Press Cambridge, 1996 Kai Hwang, Advanced Computer Architecture: Parallelism, Scalability, Programmability, McGraw-Hill Series in Computer Engineering, 1993 A. Cichocki & R. Unbehauen, Neural Networks for Optimization and Signal Processing, John Wiley & Sons, 1993 Artigos Obs.: A cada ano os livros vão ficando rapidamente obsoletos 4

5 Noções e conceitos Noções e conceitos Noções e Conceitos de Paralelismo / Taxonomia / Arquiteturas (fundamentos) Algumas considerações sobre software Paralelismo na resolução (iterativa) de equações simultâneas Condições de convergência assíncrona 5

6 Paralelismo O paralelismo é natural no dia a dia!! Exemplos: " Caixas de supermercado ou banco pouca ou nenhuma comunicação entre os agentes com supervisor/ou não múltiplas tarefas/ou não 6

7 Paralelismo (continuação) Paralelismo (continuação) Serviço de despertador (7h) não pode ser feito sequencialmente (por razões óbvias) nenhuma comunicação entre os agentes embarassing parallelism " Aula de ginástica ginastas líder/instrutor/coordenador mesmas operações /sincronizadamente 7

8 No contexto dos computadores No contexto dos computadores Pergunta: se é tão comum e importante porque é que os computadores eram puramente sequenciais? Resposta: o paralelismo trazia problemas extras de: comunicação sincronização hardware/software que somente mais recentemente foram resolvidos. 8

9 No contexto dos computadores( continuação) No contexto dos computadores( continuação) O modelo de Von Neumann de apenas uma CPU Memória CPU execução (uma instrução a cada intervalo de tempo) 9

10 No contexto dos computadores( continuação) No contexto dos computadores( continuação) Mais tarde surgiram os Pipelines Performance : Megaflops (Millions of floating point operations per second) Mips Millions of instructions per second) Nominais (pico) X Linpack (benchmark) 10

11 Evolução de computadores. Evolução de computadores. #1946 ENIAC Pennsylvania #1953 IBM 701 #(Evolução nos semicondutores) # 1975 CRAY supercomputadores ( Megaflops) # 1985 CRAY 2/Y-MP (Gigaflops) paralelismo limitado paralelismo a nível de instruções básicas/pipelines unidades de processamento poderosas e caras/trabalhando em paralelo Objetivo # (Teraflops) 11

12 Evolução de computadores.( contimuação ) Evolução de computadores.( contimuação ) Caltech cube (Fox) # 1985 Multiprocessadores/Intel (128 nós)/n Cube etc. arranjos de múltiplos processadores/cpu s para competir com o preço dos supercomputadores (na mesma faixa de Flopagem) #Hoje a Silicon Graphics/CRAY aumenta o número de processadores #Tendência é de Multiprocessadores/ Multicomputadores/ escaláveis (centenas de nós) a programação dependente das arquiteturas? algoritmos clássicos necessitam ser rederivados? 12

13 Evolução de alguns computadores de alto desempenho Evolução de alguns computadores de alto desempenho 13

14 Processadores vetoriais (com Pipelines) Processadores vetoriais (com Pipelines) Cada instrução é dividida em quatro fases busca de instrução cálculo do endereço do operando busca do operando operação aritmética Algumas dessas fases podem ser feitas concorrentemente (pipelining in vector operations) CRAY $ (system and pipeline/paralelismo) * discussão da taxonomia shared/distributed/vector ficou misturada, todavia é utilizada como referência FUJITSU HITACHI (CRAY 1 (SIMD)) # (CRAY 2 MIMD)) NEC 14

15 Processadores vetoriais (com Pipelines) Processadores vetoriais (com Pipelines) 15

16 Evolução de flopagem Evolução de flopagem 16

17 Objetivos do Paralelismo Objetivos do Paralelismo Reduzir tempos (Possibilidades de cálculos em tempo real ) / simulação em tempo real. Meteorologia. Previsão de tempo (em tempo hábil). Viabilizar a resolução de problemas que não poderiam ser considerados anteriormente Maior precisão (no mesmo tempo) (refinar malhas) superar limites físicos na velocidade de processamento sequencial Desejável (10 15 operações por segundo) Hoje (10 9 operações por segundo) 17

18 Aplicações mais usuais Aplicações mais usuais Previsão do tempo/simulação de fenômenos globais (El Niño) Engenharia: modelos de turbulência/aviões Física do plasma: gases ionizados em altas temperaturas Ciência dos Materiais, Automated Reasoning Economia: modelos nacionais Inteligência Artificial Sistemas de Defesa Obs.: (MULTI + vector ) (VECTOR + multi) 18

19 Aplicações mais usuais Aplicações mais usuais 19

20 Aplicações de Computação de Alto Desempenho Aplicações de Computação de Alto Desempenho 20

21 Mercados da Silicon Graphics Mercados da Silicon Graphics 21

22 1000 Gb 100 Gb 10 Gb Memory capacity Capacidade de Memória Capacidade de Memória Structural Biology Global change. Human genone. Fluid turbulence. Vehicicle Dinamics. Ocean circulation. viscous Fluids Dynamics. super conductor modeling. 1 Gb 10 Mb 48- Hour Weather Airfoil 1980 Oil Reservoir Modeling 3d plasma Modeling Pharmaceutical Design Chemical Dynamics 1993 Semiconductor modeling. Quantum chromodynamics vision and beyond 100 Moflops 1 Gflops 10 Gflops 100 Gflops 1 Tflops System speed 22

23 Linguagem de programação no ambiente paralelo Linguagem de programação no ambiente paralelo vetorial # mais software disponível paralelo # menos software disponível Em geral são extensões (versões paralelas) FORTRAN / (90) (vector) PASCAL / BASIC / C / ADA / OCCAM / (Transputers) (message passing) 80 s Compiladores têm a capacidade de gerar um código paralelo a partir de um código sequencial (vetorização) BIBLIOTECAS BLAS BASIC LINEAR ALGEBRA SUBPROGRAMS 23

24 Estilos de Programação Estilos de Programação 24

25 Programação Paralela Programação Paralela 25

26 Taxonomia de Flynn Taxonomia de Flynn Classificação baseada nas relações entre dados e instruções Single instruction stream -- single data stream (SISD) ( Modelo de Von Neumann ) Single stream-- multiple datas stream (simd) ( inclui máquinas do tipo array ) Multiple instruction stream -- multiple data stream ( mimd ) ( Os sistemas multiprocessadores mais difundidos ) Ponto de partida util. 26

27 Arquiteturas 27

28 Arquiteturas (continuação) Arquiteturas (continuação) 28

29 Arquiteturas (continuação) Arquiteturas (continuação) 29

30 Sistemas de memória local Sistemas de memória local 30

31 Arquiteturas híbridas Arquiteturas híbridas 31

32 Arquiteturas híbridas Arquiteturas híbridas 32

33 Arquitetura hipercúbica Arquitetura hipercúbica 33

34 Arquitetura hipercúbica Arquitetura hipercúbica 34

35 Arquitetura de transputer Arquitetura de transputer 35

36 Arquiteturas do ponto de vista de programas Arquiteturas do ponto de vista de programas 36

37 Array de trnasputers Array de trnasputers 37

38 Conexão via barramento Conexão via barramento 38

39 Conexão via chaves crossbar Conexão via chaves crossbar 39

40 Redes de interconexão Redes de interconexão 40

44 Comparação de arquiteturas (tempo) Comparação de arquiteturas (tempo) 44

45 Arquitetura heterogênea Arquitetura heterogênea 45

46 Tipos de paralelismo (granularidade) Tipos de paralelismo (granularidade) 46

47 Sistemas heterogêneos Sistemas heterogêneos 47

48 Níveis de paralelismo Níveis de paralelismo 48

49 Conceito de speedup Conceito de speedup 49

50 Lei de Amdahl Lei de Amdahl 50

52 Laborarório de computação de alto desempenho coppe/ufrj 1988 # INÍCIO DO PROJETO COMPUTAÇÃO PARALELA Transputer / INMOS Transistor for multicomputer NCP construído na COPPE (08 nós) 1990 # INTEL IPSC 860 / 08 nós Características: Memória: Flopagem: 8 x 8 Mb = 64 Mb 8 x 80 MFlops = 640 MFlops 1995 # CRAY J90 / 04 processadores Características: Memória: 2 Gb memória RAM Flopagem: 4 x 200 MFlops = 800 MFlops 1996 # IBM SP-2 / 04 processadores Características: Memória: 4 x 128 Mb = 512 Mb Flopagem: 4 x 266 MFlops = 1064 MFlops 52

53 Pesquisadores envolvidos Pesquisadores envolvidos INICIAL: 13 (com Doutorado) 30 alunos SISTEMAS E COMPUTAÇÃO: HARDWARE ENGENHARIA CIVIL: CÁLCULO, SIMULAÇÃO E OTIMIZAÇÃO DE ESTRUTURAS ENGENHARIA ELÉTRICA: SIMULAÇÃO E OTIMIZAÇÃO DE REDES ELÉTRICAS ESTATÍSTICAS Período 1990 a 1996 Publicações M.Sc. Número de teses Defendidas D.Sc. Períodos Internacionais Congressos Nacionais Internacionais

54 Decomposição para programação paralela Decomposição para programação paralela 54

55 Integração numérica Integração numérica 55

56 Mapeamento do problema Mapeamento do problema 56

57 Mapeamento do problema Mapeamento do problema 57

58 Programa paralelo (hípercubo) Programa paralelo (hípercubo) 58

59 Ajuste fino de um programa paralelo Ajuste fino de um programa paralelo 59

60 Ajuste fino Ajuste fino 60

61 Aplicação: Simulação de tráfego aéreo Aplicação: Simulação de tráfego aéreo 61

64 Fim da primeira aula Fim da primeira aula 64