Programação Distribuída e Paralela: Introdução à computação paralela. Jorge Barbosa

Transcrição

1 Programação Distribuída e Paralela: Introdução à computação paralela Jorge Barbosa 1

2 Abordagem Clássica Problema Observação Experimentação Física Teoria 2

3 Método cientifico moderno Problema Observação Simulação Numérica Experimentação Física Teoria 3

4 Supercomputação Supercomputação High Performance Computing HPC permite estudar, por simulação, sistemas complexos sem recorrer à experiência real. Exemplo: ensaios nucleares. Baseado em modelos matemáticos e físicos dos sistemas podemos: Simular o comportamento do sistema para diferentes parâmetros do modelo. Prever o Output do sistema para diferentes inputs. 4

5 Simulação Recorre-se à simulação quando o problema é: Demasiado complexo Dispendioso Perigoso Ex: aerodinâmica de nave espacial Ex: This Audi A8 car-crash model contains numerous materials and structural components modeled by 290,000 finite elements (shown here as squares on a grid). The model predicts the extent of deformation in the car after a crash. 5

6 Simulação Principais aplicações de simulação Aerodinâmica (aeronáutica, automóvel, etc) Choque automóvel Simulação de trânsito Análise de dinâmica de fluidos (Ind. Química) Análise estrutural (comportamento de materiais) Desenvolvimento de Medicamentos Benefícios Reduz o tempo de desenvolvimento do produto Aumento da qualidade do produto Reduz a necessidade de construir protótipo de teste 6

7 Computação Paralela Porquê usar Computação Paralela Possibilidade de resolver problemas maiores e mais realistas (maior detalhe/precisão). Desenvolvimento mais económico. Maior liberdade de experimentar. 7

8 Supercomputador Principais características: Computador de uso geral Resolve problemas individuais com elevada capacidade de processamento Custo tipicamente acima dos 10M Utilizados principalmente por laboratórios de investigação governamentais (EUA, Japão, UE, etc) 8

9 Supercomputador A nível comercial: Inicialmente utilizado por: Indústria petrolífera Indústria automóvel Mais recentemente: Indústria farmacêutica Telecomunicações Semicondutores Etc. 9

10 Supercomputador Principais problemas: Supercomputador ΣCPUs Capacidade de processamento throughput Sistemas de I/O limitados Software Sistemas operativos proprietários e inadequados Ambientes de programação inadequados Custos elevados de aquisição e manutenção. Custo por processador elevado. => Procura de alternativas => Beowulf / Cluster 10

11 Beowulf Processadores de uso geral Rede de comunicação de uso geral Linux como Sistema Operativo Message Passing Interface (MPI) Em algumas aplicações obtém-se elevado índice performance/ 11

12 Formas de obter paralelismo na resolução dos problemas Paralelismo Funcional Paralelismo de Dados Pipelining 12

13 Grafo de dependência de Dados Leitura dos dados imagem Análise de histograma Filtro de detecção de arestas X Filtro de detecção de arestas Y Threshold Módulo Grafo directo acíclico Arestas: dependências funcionais Vértices: tarefas 13

14 Paralelismo funcional Tarefas independentes efectuam operações diferentes sobre diferentes dados Exemplo: 1. a = 2 2. b = 3 3. m = (a + b) / 2 4. s = (a 2 + b 2 ) / 2 5. v = s - m 2 Instruções 1 e 2 são independentes Instruções 3 e 4 dependem de 1 e 2 mas são independentes entre si. 14

15 Paralelismo de dados Tarefas independentes aplicam a mesma operação sobre diferentes dados. Exemplo: For (i = 0; i< 99; i++) a[i] = b[i] + c[i] Os elementos dos vectores podem ser somados de forma independente entre si. A operação soma pode ser aplicada simultaneamente sobre diferentes elementos dos vectores b e c. 15

16 Estratégia: Pipelining Dividir o processo em etapas Produzir vários items em simultâneo, igual ao número de etapas. Exemplo: linha de montagem automóvel T 1 T 2 T 3 T 4 16

17 Programação de Computadores Paralelos Extensão dos compiladores: conversão automática de programas sequencias em paralelos. Extensão das linguagens de programação: adicionar operadores paralelos. Criar novas linguagens e compiladores de programação paralela 17

18 Extensão dos compiladores Compilador paralelo Detecta paralelismo em código sequencial Produz código para ser executado em paralelo As principais iniciativas tem sido na obtenção de compiladores que convertam programas em Fortan Vantagens: Aproveitamento dos milhões de linhas de código já desenvolvido Simplifica o desenvolvimento de soluções paralelas Não são necessários novas metodologias de programação Mais fácil desenvolver código sequencial do que paralelo 18

19 Extensão dos compiladores Desvantagens: O código sequencial pode estar escrito de tal forma que impeça uma paralelização eficiente. Os ganhos obtidos com estes compiladores são ainda pouco satisfatórios. 19

20 Extensão das linguagens de programação: adicionar operadores paralelos Adição de funções a uma linguagem sequencial Criação e terminação de processos Sincronização de processos Comunicação entre processos Vantagens: Mais fácil, mais rápido e mais barato Permite a utilização da tecnologia de compiladores já existente Desvantagens: Os compiladores tratam o programa como um conjunto de subprogramas individuais, não efectuando detecção de erros sobre o que pode ocorrer quando considerado como um todo. Programas fáceis de escrever mas difíceis de efectuar Debug. 20

21 Criar novas linguagens e compiladores de programação paralela Desenvolvimento de linguagens paralelas de raiz Por exemplo: OCCAM Adicionar construções paralelas a uma linguagem já existente Fortran 90 High Performance Fortran C* 21

22 Criar novas linguagens e compiladores de programação paralela Vantagens Permite que os programadores comuniquem o paralelismo ao compilador Maior possibilidade de obter elevados desempenhos Desvantagens Desenvolvimento de novos compiladores Novas linguagens podem não se tornar standard Resistência por parte dos programadores 22

23 Programação de Computadores Paralelos: Estado Actual A solução de nível mais baixo é a mais frequente: Acrescentar às linguagens existentes construções paralelas Exemplos são MPI e OpenMP Vantagens: Eficiência Portabilidade Desvantagem: Maior dificuldade na programação e debuging 23

24 Principais temas na Computação Paralela Paralelismo e Lei de Amdahl Granularidade Data Locality Escalonamento e Balanceamento de carga computacional Coordenação e sincronização Modelação de desempenho 24

25 Paralelismo automático nos processadores modernos Paralelismo em operações aritméticas Operações em vírgula-flutuante Paralelismo ao nível da instrução Mais do que uma instrução por ciclo de instrução (Intel hyperthreading no novo P IV) Paralelismo no acesso à memória Sobreposição de operações de memória com processamento Paralelismo ao nível do SO Vários processos paralelos em máquinas SMP 25

26 Paralelismo e Lei de Amdahl Numa aplicação existe sempre uma parte que não pode ser paralelizada. Lei de Amdahl Se s for a parte de trabalho sequencial (1-s) será a parte susceptível de ser paralelizada P - número de processadores Mesmo que a parte paralela seja perfeitamente escalável, o desempenho (Speedup) está limitado pela parte sequencial 26

27 Lei de Amdahl O ganho obtido com a utilização de paralelismo é designado por Speedup : T1 Speedup = T P A lei de Amdahl impõe um limite no Speedup que pode ser obtido com P processadores. (1 s) T P = + P s Speedup = 1 1 s P + s Exemplo: se o tempo total de execução de um algoritmo for 93s e o tempo sequencial mas susceptível de ser paralelizado for 90s, então: (1-s) = 90/93= % do código é paralelizável s = = % é inerentemente sequencial 27

28 Lei de Amdahl Código susceptível de ser paralelizado: Parte do código que executa com Speedup=P se for executado utilizando P processadores. Código inerentemente sequencial: Parte do código não paralelizável, como entrada e saída de dados, inicialização de variáveis, etc. Se P o Speedup=1/s. Para o exemplo anterior o Speedup máximo será: Speedup Máximo = 1/0.032 = Em conclusão: por mais máquinas que se usasse o speedup não ultrapassaria

29 Lei de Amdahl Speedup teórico segundo Amdahl Duas considerações importantes são tiradas da lei de Amdahl: 1. Permite ter uma visão realista, perante um algoritmo, sobre o que se pode esperar do paralelismo. 2. Mostra que para obter ganhos elevados é necessário reduzir ou eliminar os blocos sequenciais do algoritmo. 29

30 Lei de Amdahl Speedup Observado Na realidade o Speedup observado quando se aumenta P é exemplificado na figura ao lado. A diferença surge devido ao factor inerentemente sequencial s não ser constante quando P aumenta. O aumento do número de processadores leva a um aumento dos tempos de comunicação, conflitos no acesso a recursos (memória, rede), ciclos de CPU dispendidos na organização do paralelismo e sincronização de processos. A função Speedup apresenta uma forma crescente até um determinado valor de P, a partir do qual decresce. O número ideal de processadores a usar será inferior ao obtido pela lei de Amdahl. 30

31 Formas de Paralelismo HPC- high performance computing: Sistema único com muitos processadores, com rede dedicada, a trabalharem em conjunto no mesmo problema. Redes de computadores pessoais: Vários sistemas sem rede dedicada ( loosely coupled ) a trabalhar no mesmo problema. Grid Computing Sistemas geograficamente distribuídos, de elevado desempenho, que colaboram de forma dedicada na solução de um problema complexo. 31

32 11/2003 Rank Site Country/Year Computer / Processors Manufacturer Computer Family Model Inst. type Installation Area R max R peak N max n half 1 Earth Simulator Center Japan/2002 Earth-Simulator / 5120 NEC NEC Vector SX6 Research e Los Alamos National Laboratory United States/2002 ASCI Q - AlphaServer SC45, 1.25 GHz / 8192 HP HP AlphaServer Alpha-Server-Cluster Research Virginia Tech United States/2003 X 1100 Dual 2.0 GHz Apple G5/Mellanox Infiniband 4X/Cisco GigE / 2200 Self-made NOW - PowerPC G5 Cluster Academic NCSA United States/2003 Tungsten PowerEdge 1750, P4 Xeon 3.06 GHz, Myrinet / 2500 Dell Dell Cluster PowerEdge 1750, Myrinet Academic Pacific Northwest National Laboratory United States/2003 Mpp2 Integrity rx2600 Itanium2 1.5 GHz, Quadrics / 1936 HP HP Cluster Integrity rx2600 Itanium2 Cluster Research Los Alamos National Laboratory United States/2003 Lightning Opteron 2 GHz, Myrinet / 2816 Linux Networx NOW - AMD NOW Cluster - AMD - Myrinet Research Lawrence Livermore National Laboratory United States/2002 MCR Linux Cluster Xeon 2.4 GHz - Quadrics / 2304 Linux Networx/Quadrics NOW - Intel Pentium NOW Cluster - Intel Pentium - Quadrics Research Lawrence Livermore National Laboratory United States/2000 ASCI White, SP Power3 375 MHz / 8192 IBM IBM SP SP Power3 375 MHz high node Research NERSC/LBNL United States/2002 Seaborg SP Power3 375 MHz 16 way / 6656 IBM IBM SP SP Power3 375 MHz high node Research

33 11/2004 Rank Site Country/Year Computer / Processors Manufacturer R max R peak 1 IBM/DOE United States/2004 BlueGene/L beta-system BlueGene/L DD2 beta-system (0.7 GHz PowerPC 440) / IBM NASA/Ames Research Center/NAS United States/2004 Columbia SGI Altix 1.5 GHz, Voltaire Infiniband / SGI The Earth Simulator Center Japan/2002 Earth-Simulator / 5120 NEC Barcelona Supercomputer Center Spain/2004 MareNostrum eserver BladeCenter JS20 (PowerPC GHz), Myrinet / 3564 IBM Lawrence Livermore National Laboratory United States/2004 Thunder Intel Itanium2 Tiger4 1.4GHz - Quadrics / 4096 California Digital Corporation Los Alamos National Laboratory United States/2002 ASCI Q ASCI Q - AlphaServer SC45, 1.25 GHz / 8192 HP Virginia Tech United States/2004 System X 1100 Dual 2.3 GHz Apple XServe/Mellanox Infiniband 4X/Cisco GigE / 2200 Self-made IBM - Rochester United States/2004 BlueGene/L DD1 Prototype (0.5GHz PowerPC 440 w/custom) / 8192 IBM/ LLNL Naval Oceanographic Office (NAVOCEANO) United States/2004 eserver pseries 655 (1.7 GHz Power4+) / 2944 IBM NCSA United States/2003 Tungsten PowerEdge 1750, P4 Xeon 3.06 GHz, Myrinet / 2500 Dell

34 Legenda Rank: Position within the TOP500 ranking Manufacturer: Manufacturer or vendor Computer: Type indicated by manufacturer or vendor Installation: Site Customer Location: Location and country Year: Year of installation/last major update Installation Area: Field of Application Processors: Number of processors R max : Maximal LINPACK performance achieved R peak : Theoretical peak performance N max : Problem size for achieving R max N 1/2 : Problem size for achieving half of R max The benchmark used in the LINPACK Benchmark is to solve a dense system of linear equations. 34

35 Programação Paralela Modelo Tarefa/Canal de comunicação Abstracção apropriada para desenvolver programas paralelos. Tarefa canal 35

36 Programação Paralela Computação Paralela = conjunto de tarefas, executadas de forma concorrente. Tarefa Programa sequencial (modelo de von Neumann) Memória local Conjunto de portas de I/O As tarefas interagem enviando mensagens pelos canais de comunicação 36

37 Programação Paralela Metodologia de desenvolvimento de programas paralelos: Divisão do Problema Padrões de Comunicação Granularidade da paralelização Escalonamento Abordagem que considera primeiro as características do problema, como a dependência de dados, e deixa para mais tarde os aspectos que dependem da máquina paralela. 37

38 Programação Paralela Problema Partição Comunicação Escalonamento Granularidade 38

39 Partição Consiste na divisão da computação em tarefas e dos dados em blocos mais pequenos. Decomposição do domínio Divisão dos dados em blocos Determinar como processar os dados Decomposição Funcional Divisão do processamento Determinar como associar o processamento aos dados do problema Nesta fase ignora-se as questões práticas, como por exemplo, o número de processadores a utilizar. A atenção deve ser colocada em identificar no problema oportunidades de execução paralela. 39

40 Exemplo de Decomposição de Domínio 3 tarefas 3x3 tarefas 3x3x6 tarefas 40

41 Exemplo de Decomposição Funcional Aquisição de Imagem Aquisição de Imagem Determinação Contorno Determinação Contorno Calculo de Vectores Próprios Calculo de Vectores Próprios Matching 41

42 Checklist da fase de partição As perguntas seguintes devem ter resposta positiva: A partição gerou um número significativo de tarefas em comparação com os processadores disponíveis (10x)? Se não, teremos pouca flexibilidade nos passos seguintes do desenvolvimento. A partição minimiza computação redundante e armazenamento redundante de dados? Se não, o algoritmo poderá não ser escalável. As tarefas geradas têm dimensão equivalente? Se não, podemos ter dificuldade na divisão equilibrada do trabalho pelos processadores. O número de tarefas aumenta com a dimensão do problema? Idealmente o número de tarefas deve crescer com o problema, em vez do tamanho individual das tarefas. Caso contrário o programa paralelo poderá não beneficiar de ter mais processadores disponíveis. 42

43 Padrões de Comunicação As tarefas geradas pela partição deverão executar de forma concorrente mas, em geral, não são independentes. É necessário determinar as comunicações para coordenar a execução das tarefas, as estruturas e algoritmos de comunicação. Determinação dos valores a comunicar entre tarefas Comunicação Local Cada tarefa precisa de dados de um conjunto pequeno de outras tarefas para completar o seu trabalho. Comunicação Global Os dados de uma tarefa são necessários a muitas outras, efectuando por isso uma comunicação global. 43

44 Padrões de Comunicação Comunicação 1:m com complexidade Log 2 P Complexidade P para os outros casos Na comunicação em anel a mensagem não será a mesma do principio ao fim. Notar que o padrão de comunicação ideal para a partição efectuada poderá não ser realizável na máquina alvo. Exemplo: a árvore binária numa rede tipo barramento teria de ser convertida num pipe uma vez que não é possível efectuar comunicações em paralelo. 44

45 Checklist da fase de Comunicação As tarefas efectuam um número equivalente de comunicações? Se não, podemos ter alguma estrutura concentrada numa tarefa que dificultará o escalamento do sistema. Por exemplo, podemos distribuir essa estrutura ou replicá-la pelas tarefas. As tarefas comunicam com um número limitado de tarefas? As comunicações podem ser efectuadas de forma concorrente? Tentar obter padrões de comunicação que possibilitem a concorrência de comunicações, independentemente do computador alvo o permitir. As tarefas podem executar de forma concorrente? Ou estão sequencializadas pelo padrão de comunicação? 45

46 Granularidade da paralelização: aglomeração de tarefas Granularidade: quantidade de computação entre cada comunicação de dados Objectivos: Melhorar o desempenho na máquina alvo Manter o programa escalável Simplificar a programação As tarefas e as estruturas de comunicação desenvolvidas nas 2 fases anteriores são avaliadas em relação à performance esperada. Atendendo às características da máquina alvo podemos ter de reduzir o número de tarefas, juntando tarefas pequenas para formar tarefas maiores. Na programação por Passagem de Mensagens (PVM,MPI) é frequentar tentar obter apenas uma tarefa por processador 46

47 Granularidade da paralelização: aglomeração de tarefas A divisão dos dados tem impacto na quantidade de dados trocada durante o processamento e do número de mensagens. O número de mensagens poderá ter maior impacto numa arquitectura tipo cluster. 47

48 Granularidade da paralelização: aglomeração de tarefas A aglomeração pode melhorar o desempenho: Elimina as comunicações entre as tarefas que foram aglomeradas (a) Redução do número de comunicações (b) 48

49 Checklist da fase de definição de granularidade A aglomeração de tarefas reduziu os custos de comunicação? Se resultou replicação de computação, o seu custo não excede a redução na comunicação? Se resultou replicação de dados, o problema continua a ser escalável? I.e., mantém o mesmo desempenho para problemas maiores, com mais processadores? Resultaram tarefas com idênticos custos de computação e comunicação? O número de tarefas cresce com a dimensão do problema? Se não, o programa não é escalável. Não será adequado para resolver problemas maiores em computadores maiores. Pode o número de tarefas ser ainda mais reduzido, sem prejudicar o balanceamento de carga ou a escalabilidade do programa? Se estamos a paralelizar uma aplicação sequencial já existente, a aglomeração obtida permite a utilização desse código sequencial, reduzindo assim os custos de desenvolvimento? 49

50 Escalonamento Objectivo: Atribuir as tarefas aos processadores minimizando o tempo de processamento. Para atingir o mínimo tempo de processamento é necessário: Atribuir a mesma quantidade de trabalho aos processadores (load balancing) Maximizar a utilização dos processadores, reduzindo os pontos de sincronismo/comunicação Minimizar as comunicações Dois tipos de abordagem: 1. Escalonamento Estático Menor número de tarefas e de maior duração temporal 2. Escalonamento Dinâmico Muitas tarefas de pequena duração 50

51 Exemplo 51

52 Escalonamento Óptimo Os algoritmos são representados por DAGs (direct acyclic graph) onde se evidencia a precedência entre as tarefas. Encontrar o escalonamento óptimo é um problema NP-difícil. Solução: recurso a heurísticas T 1 T 4 T 1 T 2 T 3 T 1 T 2 T 3 T 2 T 5 T 4 T 5 T 6 T 7 T 4 T 5 T 3 T 6 T 8 T 6 T 7 T 7 T 8 T 8 T 9 Problema NP-difícil: significa que não existe um algoritmo que em tempo polinomial encontre a solução óptima. 52

53 Escalonamento Estático A distribuição de carga é efectuada antes de iniciar o processamento do algoritmo. O tempo gasto com o escalonamento é na fase inicial. Aplica-se para: Paralelismo por decomposição de domínio. Problemas regulares onde se sabe a priori o número de operações a executar por elemento de dados (domínio regular). Exemplo: soma de dois vectores de tamanho n Quando as comunicações são estruturadas. Quando a máquina tem uma disponibilidade de processamento constante durante o tempo esperado de processamento. 53

54 Desvantagens: Caracterização do Escalonamento Estático É necessário ter um modelo fiável da máquina paralela para poder estimar o tempo de processamento dos programas submetidos. Conhecer a disponibilidade de processamento da máquina na hora de execução. Garantir que as condições de processamento e comunicação durante a execução são iguais às consideradas na fase de escalonamento. Considerar as dependências funcionais entre tarefas. Vantagens: Não ocupa tempo de processamento durante a execução. É sempre estável. 54

55 Escalonamento Dinâmico A distribuição de carga é efectuada durante o processamento. Aplica-se para: Paralelismo funcional. Paralelismo de dados com domínio irregular. Exemplo: resolução de um sistema de equações esparso Disponibilidade de processamento variável durante o tempo esperado de processamento. Muitas tarefas a executar, sem se saber a priori a evolução da carga computacional. Exemplo: processos de vários utilizadores. 55

56 Desvantagens: Caracterização do Escalonamento Dinâmico Ocupa tempo de processamento durante a execução. Poderá ser instável nas duas situações opostas do sistema: muito e pouco carregado. Vantagens: Redistribuição da carga computacional durante o processamento. Transferência de tarefas de processadores mais carregados para outros mais disponíveis Não é necessário conhecer o comportamento do sistema (modelo). Não é necessário estimar o tempo de processamento. 56

57 Escalonamento Dinâmico: componentes Um algoritmo dinâmico tem os seguintes componentes: Controlo e avaliação da carga dos processadores Definição de um índice de carga dos processadores Início da acção de equilíbrio de carga Acção do receptor (passiva), Acção do emissor (activa) e mista Definição do trabalho a transferir Quantidade de trabalho Escolha das tarefas Quais as tarefas a transferir. 57

58 Estabilidade Avaliação dos algoritmos de escalonamento Um algoritmo é estável se a sua utilização não origina a falha do sistema. Efectividade Um algoritmo é efectivo se o desempenho do sistema melhorar com a sua utilização. Expansibilidade Um algoritmo é expansível se mantiver as mesmas características em problemas de maior dimensão em dados e processadores. Qualidade de Serviço O tempo de espera médio de um processo pelos recursos do sistema até terminar a sua execução. 58

59 Estudo de casos Detecção de arestas: operador de convolução 59