Organização de Computadores 2005/2006 Processamento Paralelo

Transcrição

1 GoBack

2 Organização de Computadores 2005/2006 Processamento Paralelo Paulo Ferreira paf a dei.isep.ipp.pt Maio de 2006 ORGC Processamento Paralelo slide 1

3 Porquê? Definição de computação paralela Alocação de recursos Acesso aos dados, comunicação e sincronização Performance e escalabilidade Hoje em dia História História ORGC Processamento Paralelo slide 2

4 Porquê? Porquê? Definição de computação paralela Alocação de recursos Acesso aos dados, comunicação e sincronização Uma forma de conseguir mais performance. Se um boi lavra um campo, porque não 40 galinhas? Porque não 40 bois, mais depressa? Performance e escalabilidade Hoje em dia História História ORGC Processamento Paralelo slide 3

5 Definição de computação paralela Porquê? Definição de computação paralela Alocação de recursos Acesso aos dados, comunicação e sincronização Um conjunto de elementos de processamento que cooperam para resolver problemas grandes de uma forma rápida. E que problemas temos de resolver? Performance e escalabilidade Hoje em dia História História ORGC Processamento Paralelo slide 4

6 Alocação de recursos Porquê? Definição de computação paralela Alocação de recursos Acesso aos dados, comunicação e sincronização Qual o número de elementos? Qual a performance dos elementos? Quantidade de memória? Performance e escalabilidade Hoje em dia História História ORGC Processamento Paralelo slide 5

7 Acesso aos dados, comunicação e sincronização Porquê? Definição de computação paralela Alocação de recursos Acesso aos dados, comunicação e sincronização Como é que os elementos cooperam e comunicam? Como é que os dados são transmitidos entre processadores? Que primitivas e abstrações existem para a cooperação? Performance e escalabilidade Hoje em dia História História ORGC Processamento Paralelo slide 6

8 Performance e escalabilidade Porquê? Definição de computação paralela Alocação de recursos Acesso aos dados, comunicação e sincronização Performance e escalabilidade Como é que isto se traduz em termos de performance? E em termos de escalabilidade? Escalabilidade quer dizer aumento de performance com o aumento do n o de elementos. Hoje em dia História História ORGC Processamento Paralelo slide 7

9 Hoje em dia Porquê? Definição de computação paralela Alocação de recursos Acesso aos dados, comunicação e sincronização Performance e escalabilidade Hoje em dia Microprocessadores de elevada performance Microprocessadores mais baratos Paralelismo ao nível da instrução já existe. Passo seguinte: Computação paralela História História ORGC Processamento Paralelo slide 8

10 História Porquê? Definição de computação paralela Alocação de recursos Acesso aos dados, comunicação e sincronização Performance e escalabilidade Hoje em dia História História Processadores de 4, 8, 16, 32, 64 bits Uma unidade de execução, várias unidades de execução Passo seguinte? Vários processadores? Vários processos por processador? VLIW? ORGC Processamento Paralelo slide 9

11 História Porquê? Definição de computação paralela Alocação de recursos Acesso aos dados, comunicação e sincronização Performance e escalabilidade Hoje em dia História História Processadores de 4, 8, 16, 32, 64 bits Uma unidade de execução, várias unidades de execução Passo seguinte? Vários processadores? Vários processos por processador? VLIW? Já há: Hyperthreading (Intel) Dual Core (Intel+AMD) 8 Cores * 4 threads (Sun Ultra Sparc T1) ORGC Processamento Paralelo slide 9

12 História Porquê? Definição de computação paralela Alocação de recursos Acesso aos dados, comunicação e sincronização Modelos divergentes Modelo de programação = Primitivas de comunicação = o que existia no hardware Hoje em dia já há mais flexibilidade Performance e escalabilidade Hoje em dia História História ORGC Processamento Paralelo slide 10

13 Hardware de comunicações Escalabilidade não uniforme Interligação Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 11

14 Hardware de comunicações Escalabilidade não uniforme Interligação Mais simples Vários processadores partilham a mesma memória Parecido com o time-sharing nos S.O. multitarefa Extensão dos modelos de programação multitarefa (processos processadores) Arquitectura menos estranha relativamente ao normal Cuidado: Acesso à memória uniforme ou não? Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 12

15 m m m m Hardware de comunicações s i O d vc e I / e Hardware de comunicações M e M e M e M e l t r O c I / l t r O c I / Escalabilidade t e rc I n t ec n on t e rc I n t ec n on não uniforme Interligação Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) or s P r o c e or s P r o c e ORGC Processamento Paralelo slide 13

16 Hardware de comunicações Escalabilidade não uniforme Estilo mainframe Uso de um crossbar Switch que permite a ligação simultânea entre p processadores e m memórias Vantagens: Performance Desvantagens: Custo Interligação Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 14

18 Hardware de comunicações Escalabilidade não uniforme Interligação Message passing Paralelismo de dados (estilo PC) Partilha de um bus de acesso a memória por todos os processadores SMP Simmetric MultiProcessing Vantagens: Custo Desvantagens: Performance A largura de banda do barramento é partilhada por todos os processadores. Caches: problema da coerência? Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 16

20 Escalabilidade Hardware de comunicações Escalabilidade não uniforme Interligação Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 18

21 não uniforme Hardware de comunicações NUMA Non Uniform Memory Access Cada processador tem a sua memória Todos os processadores acedem à memória dos outros, pela interligação Escalabilidade não uniforme Interligação Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 19

22 Interligação Hardware de comunicações Em bus? Em rede? Em switch Coisas novas Hypertransport Escalabilidade não uniforme Interligação Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 20

23 01 1 Hardware de comunicações Escalabilidade não uniforme Interligação Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) 0 01 ORGC Processamento Paralelo slide 21

24 Message passing Hardware de comunicações Escalabilidade não uniforme Entre os processadores circulam mensagens Originalmente implementação em hardware Mais flexível em software Muitos overheads Programação simples Interligação Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 22

25 Paralelismo de dados Hardware de comunicações Escalabilidade não uniforme Interligação SIMD Single Instruction Multiple Data processamento de vectores e matrizes As operações são feitas em paralelo em cada elemento da estrutura de dados. Existe apenas uma instrução para todos os processadores Um processador por elemento da estrutura de dados Processador: recebe instrução, executa instrução Processador de controle: lê programa e envia instruções para os outros Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 23

27 Dataflow Hardware de comunicações Implementar em hardware as expressões matemáticas Cada operação é implementada num nó. Cada nó recebe os operandos e envia o resultado Escalabilidade não uniforme Interligação Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 25

28 b 1 e c + a = d D a g r w a k N f m a g r k N it e M h f g n hi c e u e u q k N Hardware de comunicações ) c b ( ) 1 + b ( f = e c d = d a fl a o t a h p Escalabilidade não uniforme r wo t e Interligação Message passing Paralelismo de dados Dataflow n e k T o e r t so Arquitecturas sistólicas g n i a W s n I n ito t r uc m r F o r wo t e Resumo (memória partilhada) t a c t e Resumo (outros) r wo t e E x c e n e k t o n e k T o t u P ro e r t so ORGC Processamento Paralelo slide 26

29 Arquitecturas sistólicas Hardware de comunicações Escalabilidade não uniforme Interligação Pipeline de elementos de processamento Diferente de dataflow porque cada elemento tem (pode ter) programa local, e memória local Motivação inicial: VLSI permite chips de baixo custo Ligar diferentes chips para fazer um algoritmo Poupar na largura de banda do acesso à memória Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 27

31 Resumo (memória partilhada) Hardware de comunicações Escalabilidade não uniforme Interligação UMA (mesma memória para todos) Bus (aka SMP) PCs Rede Crossbar Mainframes NUMA (cada processador tem uma memória mais sua) Interligação pode ser de vários tipos Message passing Paralelismo de dados Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 29

32 Resumo (outros) Hardware de comunicações Escalabilidade não uniforme Interligação Message passing Paralelismo de dados Paralelismo de dados extensões SIMD dos processadores actuais Message passing entre computadores diferentes é o mais fácil DataFlow e arquitecturas sistólicas Naming: como se acedem aos dados? só se estivermos a fazer hardware Dataflow Arquitecturas sistólicas Resumo (memória partilhada) Resumo (outros) ORGC Processamento Paralelo slide 30

33 Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Naming e Operações Ordenação Replicação Comunicação Redes de interconexão ORGC Processamento Paralelo slide 31

34 Problemas fundamentais Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Naming: como se referenciam os dados partilhados Operações: que operações são permitidas nesses dados Ordenamento: como são coordenados e ordenados os acessos Replicação: como os dados são (ou não) copiados Custo das comunicações: Latência, largura de banda, overhead, ocupação do canal Naming e Operações Ordenação Replicação Comunicação Redes de interconexão ORGC Processamento Paralelo slide 32

35 Modelo de programação sequencial Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Naming: Espaço de endereços virtual Hardware (e compiladores) fazem tradução Operações: Leituras e escritas Ordenamento: Ordem sequencial do programa Sincronização Naming e Operações Ordenação Replicação Comunicação Redes de interconexão ORGC Processamento Paralelo slide 33

36 Performance (programação sequencial) Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Dependências baseadas em referências feitas a variáveis. Compiladores e hardware desrespeitam as ordens Compilador: reordenamento e alocação de registos Hardware: execução fora de ordem Caches: replicação transparente Naming e Operações Ordenação Replicação Comunicação Redes de interconexão ORGC Processamento Paralelo slide 34

37 Modelo de memória partilhada Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Naming e Operações Ordenação Naming: Qualquer processo usa a memória Operações: R/W mais as necessárias para ordenação Modelo mais simples de Ordenação: Dentro de um processo: ordem sequencial Entre processos: concorrência Podemos ter sincronização Compiladores e hardware não cumprem as ordens Replicação Comunicação Redes de interconexão ORGC Processamento Paralelo slide 35

38 Sincronização Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Naming e Operações Ordenação Replicação Comunicação Redes de interconexão Exclusão Mútua Locks Assegurar que certas operações em certos dados são feitas apenas por um processo de cada vez Não dá garantias nenhumas de ordenação Sincronização de eventos Ordenar os eventos para salvaguardar dependências ex: produtor consumidor 3 tipos principais ponto a ponto global grupo ORGC Processamento Paralelo slide 36

39 Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Naming e Operações Ordenação Replicação Comunicação Redes de interconexão Naming: Apenas dos dados privados (não existem dados partilhados) Operações: send e receive send: dados privados são copiados para outro processo receive: dados do processo são copiados para memória Temos obrigatoriamente nomes para os processos Ordenação: Ordem normal dentro de um processo send e receive podem fazer sincronismo ponto a ponto Exclusão mútua garantida Podemos construir endereços globais Process Id + endereço dentro do processo Mas não teremos operações directas nesses endereços ORGC Processamento Paralelo slide 37

40 Naming e Operações Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Existindo no modelo de programação podem ser suportadas: Directamente pelo hardware Pelo sistema operativo Por bibliotecas Pelo compilador Naming e Operações Ordenação Replicação Comunicação Redes de interconexão ORGC Processamento Paralelo slide 38

41 Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização no modelo de programação Hardware tem memória físicamente partilhada Suporte directo pelo hardware Hardware tem memórias independentes pode ser feita pelo sistema operativo Naming e Operações Ordenação Replicação Comunicação Redes de interconexão Pode ser feita pelo compilador/bibliotecas ORGC Processamento Paralelo slide 39

42 Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Message passing Suporte directo pelo hardware mais flexível com matching e buffering Suporte pelo S.O. ou acima Hardware faz o transporte Naming e Operações Ordenação Replicação Comunicação Redes de interconexão Send/Receive em SW (protecção,buffering) S.O.: custo das chamadas ao S.O. ORGC Processamento Paralelo slide 40

43 Ordenação Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Naming e Operações Ordenação Replicação Comunicação Redes de interconexão Não existe nenhuma ordenação exceptuando aquela que é imposta pelos pares send/receive Importante e subtil Uniprocessadores fazem reordenação para ganhar paralelismo ou localidade Estes truques são mais importantes em multiprocessadores Quais são os truques que continuam a ser válidos? Quais são os novos truques? ORGC Processamento Paralelo slide 41

44 Replicação Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Importante para reduzir transferência de dados/comunicação Depende do modelo de naming Uniprocessador: automática Message passing: a replicação tem de estar explícita no SW : problema da coerência das caches Naming e Operações Ordenação Replicação Comunicação Redes de interconexão ORGC Processamento Paralelo slide 42

45 Comunicação Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Sincronização Naming e Operações Ordenação Replicação Comunicação Performance determina o uso das operações Três características fundamentais: Latência: tempo necessário para o início Largura de Banda: Velocidade de transferência Custo: Tempo de CPU necessário Erros normais: Não contar com a latência Não contar com a possibilidade de overlap Redes de interconexão ORGC Processamento Paralelo slide 43

46 Redes de interconexão Problemas fundamentais Modelo de programação sequencial Performance (programação sequencial) Modelo de memória partilhada Cada vez mais importantes: Entre computadores Entre chips (Interconnection Networks) Intra chips Sincronização Naming e Operações Ordenação Replicação Comunicação Redes de interconexão ORGC Processamento Paralelo slide 44

47 Lei de Amdahl Decomposição Atribuição Orquestração Mapeamento ORGC Processamento Paralelo slide 45

48 Lei de Amdahl Lei de Amdahl Decomposição Atribuição Orquestração Mapeamento Um programa tem uma percentagem do seu tempo total de execução série S e o resto do tempo de execução é paralelizável P. Se o total do tempo de programa é 100% então o tempo total é igual a 1, o que implica que 1 = P + S ou de outra forma P = 1 S. Temos assim que o tempo normal de execução será igual a S + (1 S). Se pusermos N processadores a trabalhar na parte paralela e o tempo de execução da parte paralela diminuir de uma forma ideal o tempo de execução será igual a S + (1 S) N. Se N for infinito, então o tempo de execução será apenas de S. Logo o aumento de performance que teremos será o inverso dos tempos ou (S+(1 S)) S o que dá 1 S, isto supondo que a paralelização é perfeita. ORGC Processamento Paralelo slide 46

49 Decomposição Lei de Amdahl A partir de um programa sequencial gerar tarefas O que é uma tarefa: parte do trabalho global que é processada sequencialmente. Muitas ou poucas tarefas? Decomposição Atribuição Orquestração Mapeamento ORGC Processamento Paralelo slide 47

50 Atribuição Lei de Amdahl Decomposição Atribuição Orquestração Mapeamento Atribuir (distribuir) tarefas pelos processos. O que é um processo: entidade que executa as tarefas, tem a obrigação de comunicar com os outros processos para executar as tarefas. Atribuição estática ou dinâmica? Vantagens e desvantagens? Se for dinâmica temos uma fila de tarefas global ou uma fila por processo? Vantagens e desvantagens? ORGC Processamento Paralelo slide 48

51 Orquestração Lei de Amdahl Decomposição Atribuição Orquestração Mapeamento Objectivo: estruturar a comunicação e o acesso aos dados. Que comunicacão vai haver entre que processos? Reduzir os custos da comunicação. Escalonar as tarefas correctamente. Depende muito das primitivas oferecidas e do tipo de comunicação. Depende de onde (em que processo) pomos os dados. ORGC Processamento Paralelo slide 49

52 Mapeamento Lei de Amdahl Decomposição Atribuição Atribuir processos aos processadores. Mais simples e usual: cada processo tem o seu processador. Normalmente o utilizador pode especificar a sua intenção mas o sistema operativo pode decidir de outra maneira. Orquestração Mapeamento ORGC Processamento Paralelo slide 50