Introdução ao Processamento de Alto Desempenho

Transcrição

1 ao Processamento de Alto Desempenho ERAD Nordeste Prof. Dr. Esbel Tomás Valero Orellana Núcleo de Biologia Computacional e Gestão de Informações Biotecnológicas Departamento de Ciências Exatas e Tecnológicas Universidade Estadual de Santa Cruz evalero@nbcgib.uesc.br 21 de Setembro de / 46

2 Apresentação O PROFESSOR Formado em Enganharia Nuclear pelo ISCTN (Havana, Cuba) Mestrado em Modelagem Computacional pelo IP da UERJ (Nova Friburgo, RJ, Brasil) Doutorado em Modelagem Computacional pelo LNCC (Petrópolis, RJ, Brasil) Implantação do O Laboratório de Bioinformática - LABBI na UESC Direção do Núcleo de Biologia Computacional e Gestão de Informações Biotecnológicas - NBCGIB na UESC Criaç o da Rede Colaborativa de Computação de Alto Desempenho e Aplicações da Bahia (Rede CoCADA-Ba) Implantação do Centro de Armazenamento de dados e Computação Avançada da UESC - CACAU 2 / 46

3 Apresentação O EVENTO A Escola Regional de Alto Desempenho (ERAD) - Região Nordeste é um evento organizado pela Rede CoCADA, a qual é composta por instituições de ensino e de pesquisa dos estados da Bahia, Alagoas e Sergipe, bem como por pesquisadores da Universidade Autônoma de Barcelona. O público-alvo do evento é composto por alunos de cursos de graduação e pós-graduação, professores, pesquisadores e profissionais com interesse na área de Processamento de Alto Desempenho (PAD) e seus temas relacionados. Objetivos Promover a área de PAD no estado e na região; Qualificar o público-alvo nos temas pertinentes a essa área; Estabelecer um espaço de referência para o intercâmbio de experiências de ensino, pesquisa e extensão em PAD na região. 3 / 46

4 Apresentação O MINI-CURSO A O Mini-curso A: a Processamento de Alto desempenho pretende fazer um revisão de alguns tópicos gerais PAD. Serão abordadas as principais tecnologias disponíveis e as técnicas de programação paralela mais utilizadas. Programação utilizando multithreads, troca de mensagens e a arquitetura CUDA são apresentadas de forma resumida. O Minicurso se propões servir como base para estudos futuros, mais avançados, sobre os temas abordados. Pelas limitações de tempo e espaço está fora do escopo oferecer uma referência detalhada em programação paralela. 4 / 46

5 Apresentação OS PARTICIPANTES A plateia está formada por... quantos alunos de graduação? 5 / 46

6 Apresentação OS PARTICIPANTES A plateia está formada por... quantos alunos de graduação? de quais cursos? 5 / 46

7 Apresentação OS PARTICIPANTES A plateia está formada por... quantos alunos de graduação? de quais cursos? quantos alunos de pós-graduação? 5 / 46

8 Apresentação OS PARTICIPANTES A plateia está formada por... quantos alunos de graduação? de quais cursos? quantos alunos de pós-graduação? quantos professores, pesquisadores e profissionais com interesse na área de PAD? 5 / 46

9 Tópicos 6 / 46

10 Tópicos Considerações sobre PAD 6 / 46

11 Tópicos Considerações sobre PAD Arquiteturas Modernas com Múltiplos Processadores 6 / 46

12 Tópicos Considerações sobre PAD Arquiteturas Modernas com Múltiplos Processadores Visão Geral sobre 6 / 46

13 Tópicos Considerações sobre PAD Arquiteturas Modernas com Múltiplos Processadores Visão Geral sobre Estudo de caso: Multiplicação de Matizes 6 / 46

14 Tópicos Considerações sobre PAD Arquiteturas Modernas com Múltiplos Processadores Visão Geral sobre Estudo de caso: Multiplicação de Matizes Considerações Finais 6 / 46

15 A evolução 7 / 46

16 Uma linha do tempo Em 1993 começa a ser desenvolvido o primeiro cluster tipo Beowulf 8 / 46

17 Uma linha do tempo Em 1993 começa a ser desenvolvido o primeiro cluster tipo Beowulf 8 / 46

18 Uma linha do tempo O conceito de cluster Beowulf evoluiu... 9 / 46

19 Uma linha do tempo O conceito de cluster Beowulf evoluiu... 9 / 46

20 Uma linha do tempo... e ficou sofisticado 10 / 46

21 Uma linha do tempo... e ficou sofisticado 10 / 46

22 Uma linha do tempo Entretanto, por volta de 2003 novidades tecnológicas chegaram para modificar a forma como se pensava PAD até aquele momento 11 / 46

23 Uma linha do tempo Entretanto, por volta de 2003 novidades tecnológicas chegaram para modificar a forma como se pensava PAD até aquele momento 11 / 46

24 Uma linha do tempo Hoje, quase dez anos depois, nos encontramos com um senário totalmente novo no qual um simples laptop pode possuir um desempenho da ordem dos teraflops; 12 / 46

25 Uma linha do tempo Os modernos clusters passaram a utilizar máquinas multiprocessadas e, em alguns casos, equipadas com poderosas GPUs; As novas arquiteturas híbridas, interligadas por redes cada vez mais rápidas, incrementaram a capacidade computacional disponível. 13 / 46

26 Serial vs Paralelo Algoritmo serial ou sequencial: executado em um único processador, Algoritmo paralelo: executado em dois ou mais processadores, Para cada algoritmo paralelo existe um algoritmo serial que realiza a mesma tarefa, Antes de criar um algoritmo paralelo sempre crie uma versão serial para o mesmo problema. Algoritmo serial: ponto de partida, garante a compreensão do problema, auxilia na validação do programa paralelo. 14 / 46

27 Objetivo de um programa paralelo Objetivo de um algoritmo paralelo: obter um desempenho superior com relação a versão sequencial; Desempenho = tempo de execução, Tempo total de execução = tempo de computação + tempo ocioso + tempo de comunicação, 15 / 46

28 Tempo de execução Tempo de computação: tempo das operações de E/S e cálculos do programa, Tempo ocioso ou tempo de sincronização: Dedicado a sincronizar um algoritmo ou a esperar pelos processos mais lentos, Tempo de comunicação = latência + tempo de transmissão, latência: tempo de preparação da mensagem (pacotes), tempo de transmissão: velocidade real de transmissão (largura de banda). 16 / 46

29 Fatores Para obtermos algoritmos paralelos eficientes devemos considerar: Balanceamento de carga: dividir equitativamente o trabalho entre os processadores, Minimizar as necessidades de comunicação, Minimizar o tempo ocioso, Sobrepor as operações de comunicação e de computação. Minimizar (concentrar) as operações E/S. 17 / 46

30 Projeto de programas paralelos Existem basicamente dois enfoques para projetar programas paralelos: 1 Paralelismo de dados: neste enfoque particionamos os dados, e associamos um subconjunto de dados a cada processo, cada processo executa os mesmos comandos sobre seu subconjunto de dados. 2 Paralelismo de controle: dividimos o problema em tarefas (etapas) independentes, associamos cada tarefa a um processo, cada processo executa comandos diferentes. 18 / 46

31 Projeto de programas paralelos Características do paralelismo de dados: 1 pode ser implementado mais facilmente que o paralelismo de controle, 2 não é prejudicado pela dependência entre as operações, 3 programas deste tipo são facilmente escaláveis (podem ser utilizados para resolver problemas cada vez maiores, apenas colocando mais processos), 4 pouca comunicação entre processos. 19 / 46

32 Projeto de programas paralelos Características do paralelismo de controle: 1 deve considerar a dependência entre as operações, 2 difícil de ser implementado, 3 dificuldades de escalabilidade, 4 grandes necessidades de comunicação. 20 / 46

33 Projeto de programas paralelos Características do paralelismo de controle: 1 deve considerar a dependência entre as operações, 2 difícil de ser implementado, 3 dificuldades de escalabilidade, 4 grandes necessidades de comunicação. A maioria dos programas paralelos envolvem os dois enfoques (dados e controle), O paralelismo de dados é muito mais comum. 20 / 46

34 Projeto de programas paralelos Como construir um programa paralelo: 1 Estudar, implementar e validar uma solução serial para o problema; 21 / 46

35 Projeto de programas paralelos Como construir um programa paralelo: 1 Estudar, implementar e validar uma solução serial para o problema; 2 Dividir os dados do problema entre os processos (PD); 21 / 46

36 Projeto de programas paralelos Como construir um programa paralelo: 1 Estudar, implementar e validar uma solução serial para o problema; 2 Dividir os dados do problema entre os processos (PD); 3 Verificar se a solução paralela pode ser alcançada apenas executando o algoritmo serial em cada conjunto de dados (PD); 21 / 46

37 Projeto de programas paralelos Como construir um programa paralelo: 1 Estudar, implementar e validar uma solução serial para o problema; 2 Dividir os dados do problema entre os processos (PD); 3 Verificar se a solução paralela pode ser alcançada apenas executando o algoritmo serial em cada conjunto de dados (PD); 4 Se o paralelismo de dados não for suficiente, identificar as necessidades de comunicação entre os processos; 21 / 46

38 Projeto de programas paralelos Como construir um programa paralelo: 1 Estudar, implementar e validar uma solução serial para o problema; 2 Dividir os dados do problema entre os processos (PD); 3 Verificar se a solução paralela pode ser alcançada apenas executando o algoritmo serial em cada conjunto de dados (PD); 4 Se o paralelismo de dados não for suficiente, identificar as necessidades de comunicação entre os processos; 5 Introduzir o paralelismo de controle (PC). 21 / 46

39 Análise de Desempenho p = número de processos (processadores) ou threads. n = tamanho do problema. Para avaliar o desempenho de programas seriais se utiliza notação assintótica (O, Ω), Análises assintóticas não são apropriadas para caracterizar o desempenho de programas paralelos. 22 / 46

40 Métricas Tempo de execução, Granularidade, Fator de balanço de carga, Speedup, Eficiência. 23 / 46

41 Tempo de execução Tempo de execução de um programa serial: T (n), apenas depende do tamanho do problema; Tempo de execução de um programa paralelo: T (n, p), depende do tamanho do problema e do número de processadores utilizados na execução; T (n, p) tempo total de execução, tempo transcorrido desde que o primeiro processador começa a execução, até que o último processador completa a execução da última instrução. 24 / 46

42 Tempo de execução Na maioria dos programas T (n, p) é simplesmente o tempo de execução do processo responsável pelas operações de E/S do programa (processo master), Consideramos que cada processo é executado em um processador físico diferente (não existem processos concorrentes), Geralmente para avaliarmos o desempenho de um programa paralelo comparamos ele com o programa serial que resolve o mesmo problema. 25 / 46

43 Speedup Speedup: é a razão do tempo de execução do algoritmo serial T (n) com o tempo de execução do algoritmo paralelo T (n, p), S(n, p) = T (n) T (n, p) T (n) tempo de execução do algoritmo serial mais rápido executado em um processador da máquina paralela, T (n, p) tempo de execução do algoritmo paralelo em p processadores da máquina paralela. 26 / 46

44 Speedup O algoritmo paralelo pode ser diferente do algoritmo serial mais rápido, O speedup fornece um indicador para o aumento da velocidade por utilizarmos uma maquina paralela. De forma geral: 0 < S(n, p) p, Se S(n, p) = p teremos speedup linear, Speedup linear é uma rara ocorrência pois a maioria das soluções paralelas introduzem alguma sobrecarga produto da distribuição de carga e a comunicação entre processos. 27 / 46

45 Speedup Se a sobrecarga da paralelização for muito alta, teremos que T (n) < T (n, p) e S(n, p) < 1 esta situação indesejável é chamada de slowdown. Resumo de speedups: S(n, p) < 1, slowdown, situação indesejável; 1 < S(n, p) < p, sublinear, comportamento geral; S(n, p) = p, linear, ideal não existe sobrecarga; S(n, p) > p, supralinear, situação possível; 28 / 46

46 Eficiência Eficiência: é a medida de utilização dos processos em um programa paralelo em relação ao programa serial. E(n, p) = S(n, p) p = T (n) pt (n, p) 29 / 46

47 Eficiência Eficiência: é a medida de utilização dos processos em um programa paralelo em relação ao programa serial. E(n, p) = S(n, p) p = T (n) pt (n, p) E(n, p) < 1 p, slowdown; 1 p < E(n, p) < 1, sublinear; E(n, p) = 1, linear; E(n, p) > 1, supralinear. 29 / 46

48 Tomadas de tempo Para avaliar o desempenho de programas paralelos devemos realizar tomadas de tempo, Para obtermos tomadas de tempo confiáveis considere as seguintes etapas: 1 Garantir na medida do possível exclusividade na utilização do processador, 2 Sincronizar os processo no inicio do código, 3 Fazer uma tomada de tempo (start), 4 Sincronizar os processo no final do código, 5 fazer uma tomada de tempo (finish), 6 Calcular o tempo transcorrido (finish-start). 30 / 46

49 Lei de Ahmdal A lei de Amdahl, foi formulada por Gene Amdahl em 1967; Estabelece um limite superior para o speedup de um algoritmo paralelo; De forma geral um problema é composto por: Um conjunto de operações de cálculo, Um conjunto de operações de E/S. Um algoritmo serial leva um tempo T s para resolver o problema. 31 / 46

50 Instruções paralelas O programa tem uma fração r = (1 f ) de instruções que são perfeitamente paralelizáveis ; Operações de cálculo; Independentemente do número de processos envolvidos (p), a fração r do programa apresenta speedup linear; O tempo de execução quando paralelizada com p processos é: rt s /p. 32 / 46

51 Instruções seriais Entretanto, temos uma fração f que é inerentemente serial; Operações de E/S; Independentemente do número de processos (p) utilizados; O tempo de execução destas instruções é sempre ft s. 33 / 46

52 Instruções seriais + paralelas 34 / 46

53 Speedup Calculamos o speedup deste programa: S(n, p) = S(n, p) = T s ft s + (1 f )T s /p 1 f + (1 f )/p 35 / 46

54 Speedup Calculamos o speedup deste programa: S(n, p) = S(n, p) = T s ft s + (1 f )T s /p 1 f + (1 f )/p Derivamos S(n, p) com relação a p, obteremos uma derivada sempre positiva indicando S(n, p) é uma função sempre crescente. ds(p) r = dp [(1 r)p + r] / 46

55 Speedup Calculamos o limite de S(n, p) quando p 1 lim S(n, p) = lim p p (1 r) + r/p = 1 (1 r) A função 1/(1 r) é um limite superior para o speedup de um programa paralelo. Lei de Amhdal: o speedup que podemos obter ao paralelizar um programa é limitado por 1/(1 r). 36 / 46

56 Exemplos Cálculo de speedup máximo segunda a lei de Ahmdal 1 r = 0.50, MS = 1/(1 r) = 2, para p > 2, E(n, p). 37 / 46

57 Exemplos Cálculo de speedup máximo segunda a lei de Ahmdal 1 r = 0.50, MS = 1/(1 r) = 2, para p > 2, E(n, p). 2 r = 0.75, MS = 1/(1 r) = 4, para p > 4, E(n, p). 37 / 46

58 Exemplos Cálculo de speedup máximo segunda a lei de Ahmdal 1 r = 0.50, MS = 1/(1 r) = 2, para p > 2, E(n, p). 2 r = 0.75, MS = 1/(1 r) = 4, para p > 4, E(n, p). 3 r = 0.99, MS = 1/(1 r) = 100, para p > 100, E(n, p). 37 / 46

59 Exemplos Cálculo de speedup máximo segunda a lei de Ahmdal 1 r = 0.50, MS = 1/(1 r) = 2, para p > 2, E(n, p). 2 r = 0.75, MS = 1/(1 r) = 4, para p > 4, E(n, p). 3 r = 0.99, MS = 1/(1 r) = 100, para p > 100, E(n, p). 4 Se executarmos o caso 3 com p = 1000 teremos uma eficiência E(n, p) = / 46

60 Exemplos Speedup máximo segunda a lei de Ahmdal 38 / 46

61 Exemplos O pintor de estacas 1 Preparo da tinta = 30s 2 Pintura das estacas = 300s 3 Tempo para a tinta secar = 30s 39 / 46

62 Exemplos O pintor de estacas 1 Preparo da tinta = 30s 2 Pintura das estacas = 300s 3 Tempo para a tinta secar = 30s Pintores Tempo Speedup = = = = = / 46

63 Exemplos A lei de Ahmdal desencoraja a utilização de paralelismo massivo; Não devemos utilizar centos ou mieis de processadores para resolver um único problema; Esta conclusão é correta? O que fazer? 40 / 46

64 Exemplos A lei de Ahmdal desencoraja a utilização de paralelismo massivo; Não devemos utilizar centos ou mieis de processadores para resolver um único problema; Esta conclusão é correta? O que fazer? A formulação de Ahmdal é matematicamente correta; Entretanto, devemos discutir suas hipóteses. 40 / 46

65 Lei de Ahmdal - Hipóteses Em todo programa existe um conjunto de (1 r) instruções que não são paralelizáveis; 41 / 46

66 Lei de Ahmdal - Hipóteses Em todo programa existe um conjunto de (1 r) instruções que não são paralelizáveis; É excessivamente otimista supor que as restantes r instruções são perfeitamente paralelizáveis, sempre teremos alguma sobrecarga produto da paralelização; 41 / 46

67 Lei de Ahmdal - Hipóteses Em todo programa existe um conjunto de (1 r) instruções que não são paralelizáveis; É excessivamente otimista supor que as restantes r instruções são perfeitamente paralelizáveis, sempre teremos alguma sobrecarga produto da paralelização; A principal deficiência da lei de Amdhal é que não considera o tamanho do problema n na formulação. 41 / 46

68 Lei de Gustavfson Em um problema qualquer ao aumentarmos o tamanho do problema n, a fração de instruções seriais (1 r) fica consideravelmente menor; Exemplos 42 / 46

69 Lei de Gustavfson Em um problema qualquer ao aumentarmos o tamanho do problema n, a fração de instruções seriais (1 r) fica consideravelmente menor; Exemplos Escalabilidade: um programa é escalável se podemos manter constante a eficiência E(n, p), incrementando o tamanho do problema n ao mesmo tempo que incrementamos o número de processos p. 42 / 46

70 Lei de Gustavfson Conceitos de trabalho (W ) e sobrecarga (T 0 ); 43 / 46

71 Lei de Gustavfson Conceitos de trabalho (W ) e sobrecarga (T 0 ); O trabalho de um programa serial é justamente seu tempo de execução W (n) = T (n); 43 / 46

72 Lei de Gustavfson Conceitos de trabalho (W ) e sobrecarga (T 0 ); O trabalho de um programa serial é justamente seu tempo de execução W (n) = T (n); O trabalho de um programa paralelo é a soma do trabalho feito por cada processo W (n, p) = pt (n, p); 43 / 46

73 Lei de Gustavfson Conceitos de trabalho (W ) e sobrecarga (T 0 ); O trabalho de um programa serial é justamente seu tempo de execução W (n) = T (n); O trabalho de um programa paralelo é a soma do trabalho feito por cada processo W (n, p) = pt (n, p); A sobrecarga do programa paralelo, é a diferença entre o trabalho feito pelo programa paralelo e o programa serial correspondente T 0 (n, p) = W (n, p) W (n) = pt (n, p) T (n). 43 / 46

74 Lei de Gustavfson A eficiência foi definida na forma E(n, p) = T (n) pt (n, p), Escrevemos a eficiência em função da sobrecarga, Substituímos o denominador pela definição de sobrecarga e obtemos E(n, p) = 1. T 0 (n, p) + 1 T (n) 44 / 46

75 Lei de Gustavfson Ao aumentar o número de processos incrementarmos p aumenta a sobrecarga T 0 (n, p); Se incrementamos n (aumenta T (n)) de forma que a fração T 0 (n, p)/t (n) permanece constante; Podemos então manter a eficiência constante e aumentar o número de processos, Este procedimento diminui o peso das operações seriais no problema. 45 / 46

76 Lei de Gustavfson Fontes de sobrecarga em programas paralelos: Comunicação entre processos, Inatividade de processos, Cálculos adicionais (provocados pela paralelização). Durante as décadas de 70 e 80, a lei de Amdahl foi amplamente aceita nos círculos científicos. Nos últimos anos o conceito de escalabilidade (Lei de Gufstavson) tem aberto novos horizontes ao uso de paralelismo massivo. 46 / 46