Programação Distribuída e Paralela. Jorge Barbosa

Transcrição

1 Programação Distribuída e Paralela Jorge Barbosa 1

2 Máquinas Paralelas Processadores Memória Rede de interligação Classificação das máquinas paralelas 2

3 Processador Escalar Processadores Processador que conclui a execução de uma única instrução por ciclo. A execução de uma instrução envolve: 1. Leitura 2. Descodificação 3. Execução 4. Escrita de resultado O processador só tem capacidade de efectuar qualquer uma das partes para uma instrução. Podendo processar 4 instruções em simultâneo, mas produz apenas um resultado por ciclo. Instruções sucessivas Tempo em ciclos básicos de processamento

4 Processadores Processador Vectorial O processador opera sobre vectores de elementos numa só instrução. Os operandos são vectores em vez de escalares. C = A + B representa a soma de dois vectores A e B. Cray-1 (1976) : um dos primeiros computadores vectoriais. Possuía um único processador vectorial com 12 unidades funcionais paralelas. Até à década de 90, o avanço na capacidade de processamento foi dado com o desenvolvimento de processadores vectoriais. 4

5 Processadores Processador Superescalar Os processadores vectoriais motivaram a implementação de unidades paralelas nos processadores escalares. Surgiram como alternativa aos vectoriais. O processador designa-se de superescalar porque opera sobre valores escalares mas consegue completar a execução de mais de uma instrução por ciclo. Processador com 3 pipelines de instruções. Instruções sucessivas Tempo em ciclos básicos de processamento

6 Organização de Memória Memória Partilhada UMA, NUMA, COMA Memória Distribuída 6

7 Memória Partilhada Numa arquitectura de memória partilhada os processadores possuem um espaço de endereçamento comum que lhes permite comunicar implicitamente, e assim trabalhar em conjunto no mesmo problema. P P P P P BUS Memória Principais dificuldades: Necessário mecanismo que garanta a consistência dos dados E acesso exclusivo à memória 7

8 Memória Partilhada: Consistência Coerência das memórias cache A replicação dos valores partilhados é uma técnica usada para descongestionar o acesso à memória principal. Como garantir a consistência dos valores guardados nas memórias cache? Memory X 7 7 Cache Cache CPU A CPU B 8

9 Memória Partilhada: Consistência Memory X 7 7 Cache 7 Cache CPU A CPU B 9

10 Memória Partilhada: Consistência Memory X 2 7 Cache 2 Cache CPU A CPU B 10

11 Memória Partilhada Três tipos de máquinas em função da forma como os processadores acedem à memória: UMA: Uniform Memory Access NUMA: Non-Uniform Memory Access COMA: Cache Only Memory Architecture P P P P P BUS Memória UMA: Uniform Memory Access Todos os processadores têm acesso uniforme à memória, i.e. Os tempos de acesso são iguais. - Computadores conhecidos também por multiprocessador simétrico (SMP) - Multi-core 11

12 Memória Partilhada P P P P P P BUS BUS Memória Memória Rede NUMA: Non-Uniform Memory Access O tempo de acesso aos dados depende da sua localização. O acesso local é mais rápido. 12

13 Memória Partilhada P P M M P M M P M P P M Rede M P P M M M M P P P COMA: Cache Only Memory Architecture As únicas memórias existentes são cache associadas a cada processador. O modelo pode ser visto como um caso particular das máquinas NUMA. 13

14 Rede de interligação Função da rede de interligação Ligar processadores a bancos de memória partilhada Ligar os processadores entre si Tipos de redes Rede partilhada Rede com switches 14

15 Rede Partilhada vs Rede com Switches 15

16 Rede Partilhada Apenas uma mensagem em cada instante As mensagens são ouvidas por todos os processadores (broadcast) A ordem de acesso à rede é descentralizada Colisão na comunicação requer reenvio da mensagem A rede Ethernet é a mais comum 16

17 Rede com Switches Comunicação ponto-a-ponto entre processadores Todos os processadores têm um caminho directo para um switch Vantagens sobre a rede partilhada Permite o envio de várias mensagens em simultâneo que não usem os mesmos processadores e switches. Sistema escalável: pode-se aumentar o número de nós da rede para suportar maior número de processadores 17

18 Topologias de redes com switches No grafo representativo da rede Vértices = processadores ou switches Arestas = meio de comunicação Dois tipos de topologias Directa Indirecta 18

19 Topologias de redes com switches Topologia Directa Rácio de switches e processadores é 1:1 Cada switch está ligado a 1 processador Pelo menos a um outro switch Topologia Indirecta Rácio de switches e processadores é superior a 1:1 Alguns switches estão ligados apenas a outros switches 19

20 Avaliação das redes de comunicação Node degree (d) número de arestas (ligações) que chegam ao nó. Network diameter (D) É o máximo dos caminhos mais curtos entre quaisquer 2 nós. Bisection width (b) Número mínimo de arestas que são necessárias retirar para dividir a rede em duas partes iguais, i.e. com o mesmo número de nós. Constant edge length? (yes/no) Possibilidade de expandir a rede no espaço 3D de modo a manter o comprimento da aresta inferior a uma constante independentemente da dimensão da rede. Característica importante no escalamento da rede. 20

21 Malhas 2-D 21

22 Malha 2-D Topologia Directa Switches organizados numa grelha 2-D A comunicação é efectuada apenas com os switches vizinhos Variante desta rede considera uma ligação entre switches da periferia da malha 22

23 Avaliação de Malhas 2-D Diameter : Θ(n 1/2 ) Bisection width: Θ(n 1/2 ) Number of edges per switch: 4 Constant edge length? Yes 23

24 Rede Binary Tree Topologia Indirecta n = 2 d nós de processamento, 2n-1 switches 24

25 Avaliação da rede Binary Tree Diameter: 2 log n Bisection width: 1 Edges / node: 3 Constant edge length? No 25

26 Rede Butterfly Topologia Indirecta n = 2 d processadores ligados por n(log n + 1) switches 26

27 Encaminhamento na Rede Butterfly Se o primeiro bit for 1, os restantes bits são enviados pelo link direito, se for 0 são enviados pelo esquerdo. 27

28 Avaliação da Rede Butterfly Diameter: log n Bisection width: n / 2 Edges per node: 4 Constant edge length? No 28

29 Hipercubo Topologia Directa Malha 2 x 2 x x 2 Número de nós é potencia de 2 Endereço dos nós 0, 1,, 2 k -1 O nó i está ligado a k nós cujo endereço difere de i exactamente num único bit 29

30 Endereçamento no Hipercubo 30

31 Ilustração do Hipercubo 31

32 Avaliação da Rede Hipercubo Diameter: log n Bisection width: n / 2 Edges per node: log n Constant edge length? No 32

33 Comparação das Redes Todas têm diâmetro logarítmico exceptuando a malha 2-D As redes butterfly e hipercubo têm bisection width n / 2 Todas têm um valor constante de arestas por nó com excepção da rede hipercubo Apenas a malha 2-D mantém o comprimento de aresta constante com o aumento do tamanho da rede 33

34 Caracterização de desempenho da rede de comunicação Ao nível da utilização da rede interessa saber os tempos envolvidos na transmissão de uma mensagem. O emissor xfer Latência da rede O receptor O emissor e O receptor representam o tempo que os processadores gastam na interacção com a rede. xfer representa o tempo de transferência da mensagem. Transmitir n elementos, sendo G o tempo por elemento, obtém-se T xfer =n x G A Latência da rede depende do número de switches que a mensagem tem de passar. Cada switch introduz um tempo de latência devido à propagação. 34

35 Classificação das máquinas paralelas Taxionomia de Flynn A classificação das máquinas paralelas é um tema controverso devido à grande variedade de arquitecturas desenvolvidas. A classificação mais referida é a de Flynn que considera a relação entre dados e instruções para definir uma classificação conceptual. São definidas 4 arquitecturas: SISD SIMD MISD MIMD 35

36 SISD Classificação das máquinas paralelas 1. Single Instruction, Single Data 2. Um elemento de processamento processa Um elemento de dados por unidade de tempo 3. Exemplo: PC 36

37 SIMD Classificação das máquinas paralelas 1. Single Instruction, Multiple Data 2. A mesma instrução é aplicada a várias unidades de dados em cada instante 3. Exemplo: Processador Vectorial (Cray-1) 37

38 MISD Classificação das máquinas paralelas 1. Multiple Instruction, Single Data 2. Conjunto de elementos de processamento (EP) interligados de forma sequencial e efectuando operações distintas sobre os mesmos dados. 3. Exemplo: Systolic Array É constituído por um conjunto de EPs sincronizados globalmente, onde cada EP é ligado a um pequeno número de EPs vizinhos aos quais transmite os seus resultados. 38

39 MIMD Classificação das máquinas paralelas 1. Multiple Instruction, Multiple Data 2. Cada processador tem uma unidade de controlo independente. Em cada instante os processadores podem executar instruções diferentes de um mesmo programa, devido, por exemplo, a instruções condicionais dependentes dos dados que cada processador tem para processar, ou executar instruções de programas diferentes. 3. Exemplo: 1. Multiprocessadores (maioria dos supercomputadores) 2. Multicomputadores (clusters) 39

40 Taxionomia da Computação Paralela 40

41 Taxionomia da Computação Paralela Modelo de Controlo Refere-se ao número de instruções que podem ser executadas em simultâneo na máquina paralela. Modelo de Memória Refere-se ao número de processadores que podem aceder de forma directa uma dada posição de memória. Arquitectura da máquina Resulta da combinação entre o modelo de controlo e o modelo de memória. Modelo de Execução Refere-se ao número de cópias do programa admissíveis no computador paralelo e à forma como partilham e processam dados. Compilador A função do compilador é traduzir o programa para código eficiente na máquina paralela, independentemente do modelo de programação adoptado. 41

42 Programação de computadores MIMD 42

43 Paralelismo de Dados Tem por base o modelo de execução SIMD Controlo sequencial Acesso paralelo aos dados Não existem construções para sincronização nem variáveis locais Espaço global para definição de variáveis visível por todos os processadores Apropriado para arquitecturas com centenas ou milhares de processadores 43

44 Partilha de memória Espaço de endereçamento global Programação idêntica ao modelo de von Neumann Não são feitas referências a comunicações; apenas posições de memória A utilização deste modelo é adequado para as máquinas que têm o modelo memória partilhada como modelo de execução; são constituídas por poucos processadores (de 1 a algumas dezenas). 44

45 Passagem de Mensagens Definição explicita da interacção entre processos Conceito de distribuição de dados Dados locais; é necessário comunicar para disponibilizar os dados a outros processadores Modelo mais utilizado porque permite ao programador o controlo total da execução, permitindo maximizar o desempenho do sistema. Devido às exigências computacionais dos problemas, foi colocada em segundo plano a facilidade de programação. Programa API API: Parallel Virtual Machine PVM Message Passing Interface MPI Bulk-Synchronous Parallel BSP Unix/Linux/Windows TCP/IP 45

46 Caracterização dos nós do cluster Cada nó do cluster é um computador completo com processador, memória cache, primária e secundária. Memória Remota Ethernet PROCESSADOR Registo Cache Primária Secundária Memória cache : serve de interface para compatibilizar a velocidade de funcionamento dos processadores e da memória primária. 46

47 Caracterização dos nós do cluster Esquema de funcionamento do Windows Processo acede a um elemento de dados Dados na RAM? N Dados no disco? N ERRO S S Existe página livre? N Procura página para libertar S CPU mapeia endereço virtual em físico Lê dados do disco para página livre N Página alterada? S Dados acedidos Escreve página no disco 47

48 Caracterização dos nós do cluster Ao iniciar um processo o S.O. atribui um espaço de endereçamento virtual Este espaço é mapeado em memória secundária (disco), organizada em páginas, ou blocos, de 4KB (Intel x86). Os algoritmos devem: Minimizar o número de acessos aos diferentes níveis de memória Efectuar o maior número possível de cálculos sobre os dados contidos nas páginas carregadas na memória cache e primária, reduzindo os acesso a memória secundária. 48