Arquitetura NUMA 1. Daniel de Angelis Cordeiro. INRIA MOAIS project Laboratoire d Informatique de Grenoble Université de Grenoble, França

Transcrição

1 Arquitetura NUMA 1 Daniel de Angelis Cordeiro INRIA MOAIS project Laboratoire d Informatique de Grenoble Université de Grenoble, França 6 de Outubro de Baseado em slides feitos por Christiane Pousa Ribeiro 1 / 36

2 Outline 1 Introdução Classificação de Flynn 2 Arquiteturas Monoprocessadas 3 Arquiteturas Multiprocessadas Memória Distribuída Memória Compartilhada Uniform memory access 4 Non-uniform memory access Protocolos de Coerência de Cache Programando em Máquinas NUMA 2 / 36

3 Introdução Outline 1 Introdução Classificação de Flynn 2 Arquiteturas Monoprocessadas 3 Arquiteturas Multiprocessadas Memória Distribuída Memória Compartilhada Uniform memory access 4 Non-uniform memory access Protocolos de Coerência de Cache Programando em Máquinas NUMA 3 / 36

4 Introdução Classificação de Flynn Classificação de Flynn Proposta na década de 60, classifica as arquiteturas de computadores baseando-se no número de instruções paralelas e no fluxo de dados: Single Instruction, Single Data stream (SISD): um computador sequencial, que trata um único fluxo de instruções gerado pelo programa (ex: PCs monoprocessados tradicionais); Single Instruction, Multiple Data streams (SIMD): cada instrução é executada em um conjunto diferente de dados, possivelmente por diferentes processadores (ex: processadores vetoriais ou GPUs); 4 / 36

5 Introdução Classificação de Flynn Classificação de Flynn Multiple Instruction, Single Data stream (MISD): cada processador executa um conjunto diferente de instruções (arquitetura incomum); Multiple Instruction, Multiple Data streams (MIMD): cada processador executa um conjunto diferente de instruções, aplicadas em um conjunto distinto de dados (ex: sistemas distribuídos). 5 / 36

6 Introdução Classificação de Flynn Arquiteturas de Computadores Single intruction, Single Data Stream (SISD) Single Instruction, Multiple Data Stream (SIMD) Multiple Instruction Single Data Stream (MISD) Multiple Instruction Multiple Data Stream (MIMD) Monoprocessadores Processadores Vetoriais Memória Compartilhada Memória Distribuída 6 / 36

7 Arquiteturas Monoprocessadas Outline 1 Introdução Classificação de Flynn 2 Arquiteturas Monoprocessadas 3 Arquiteturas Multiprocessadas Memória Distribuída Memória Compartilhada Uniform memory access 4 Non-uniform memory access Protocolos de Coerência de Cache Programando em Máquinas NUMA 7 / 36

8 Arquiteturas Monoprocessadas Arquiteturas Monoprocessadas Características Apenas um elemento de processamento. Programação seqüencial (com uso de interrupções). Sistemas operacionais modernos 2 multiplexam múltiplas tarefas em um único processador (sistemas de multiprogramação). 2 Apple ios < versão 4 não é tão moderno assim. 8 / 36

9 Arquiteturas Monoprocessadas Arquiteturas Monoprocessadas Exemplos Hyperthreading; Processadores multi-core; Processadores AMD dual-core, quad-core, etc. 9 / 36

10 Arquiteturas Monoprocessadas Hyperthreading 10 / 36

11 Arquiteturas Monoprocessadas Multi-core 11 / 36

12 Arquiteturas Monoprocessadas Dual-core 12 / 36

13 Arquiteturas Multiprocessadas Outline 1 Introdução Classificação de Flynn 2 Arquiteturas Monoprocessadas 3 Arquiteturas Multiprocessadas Memória Distribuída Memória Compartilhada Uniform memory access 4 Non-uniform memory access Protocolos de Coerência de Cache Programando em Máquinas NUMA 13 / 36

14 Arquiteturas Multiprocessadas Arquiteturas Multiprocessadas Formadas por múltiplos elementos de processamento; Podem ser classificadas em: Memória distribuída; Memória compartilhada. 14 / 36

15 Arquiteturas Multiprocessadas Memória Distribuída Memória Distribuída Grupo de computadores autônomos (nós) que trabalham juntos como um recurso único; Cada processador possui seus próprios bancos de memória privados; Os nós são interligados por redes de alto desempenho. 15 / 36

16 Arquiteturas Multiprocessadas Memória Distribuída Exemplos 16 / 36

17 Arquitetura NUMA Arquiteturas Multiprocessadas Memo ria Distribuı da Exemplos 16 / 36

18 Arquiteturas Multiprocessadas Memória Distribuída Vantagens de Memória Distribuída Escalabilidade Vertical: é possível aumentar o poder computacional do sistema com a adição de novos componentes a cada um dos nós, individualmente (mais CPUs, mais memória, etc.); Escalabilidade Horizontal: é possível aumentar o poder computacional do sistema com a adição de novos nós no sistema; Alta disponibilidade: a falha de um nó não necessariamente causa a indisponibilidade de todo sistema; Ótimo custo/benefício. 17 / 36

19 Arquiteturas Multiprocessadas Memória Distribuída Exemplos Exemplos clássicos: Aglomerados de computadores (clusters). Exemplo: Beowulf Grades computacionais (grid computing). Exemplos: InteGrade, OurGrid (brasileiros), BOINC, Globus, Grid 5000, etc. 18 / 36

20 Arquiteturas Multiprocessadas Memória Compartilhada Memória Compartilhada P P P P P P P P P Memória Compartilhada P P P P P P P 19 / 36

21 Arquiteturas Multiprocessadas Memória Compartilhada Memória Compartilhada Elementos de processamento compartilham a mesma memória. Programação realizada através de variáveis compartilhadas (mais fácil para programar) e/ou troca de mensagens para realizar comunicação entre processos. Mais difícil obter escalabilidade. Inclusão de novos elementos de processamento é limitada. Aparição de problemas de Coerência de Cache. 20 / 36

22 Arquiteturas Multiprocessadas Memória Compartilhada Tipos de Memória Compartilhada Os sistemas de memória compartilhada podem ser de dois tipos: UMA Uniform memory access NUMA Non-uniform memory access Single intruction, Single Data Stream (SISD) Single Instruction, Multiple Data Stream (SIMD) Multiple Instruction Single Data Stream (MISD) Multiple Instruction Multiple Data Stream (MIMD) Monoprocessadores Processadores Vetoriais Memória Compartilhada Memória Distribuída UMA (SMP) NUMA 21 / 36

23 Arquiteturas Multiprocessadas Memória Compartilhada Uniform memory access O tempo de acesso à memória principal é igual para todos os processadores; Sistemas multiprocessados UMA são chamadas de Sistemas SMP (symmetric multiprocessing); Tipicamente, todos os acessos à memória são realizados através do mesmo barramento: problemas de contenção: competição entre as CPUs pelo acesso ao barramento provoca queda de desempenho; escalabilidade reduzida: em geral, limitada à 32 processadores. 22 / 36

24 Arquiteturas Multiprocessadas Memória Compartilhada Uniform memory access 23 / 36

25 Non-uniform memory access Outline 1 Introdução Classificação de Flynn 2 Arquiteturas Monoprocessadas 3 Arquiteturas Multiprocessadas Memória Distribuída Memória Compartilhada Uniform memory access 4 Non-uniform memory access Protocolos de Coerência de Cache Programando em Máquinas NUMA 24 / 36

26 Non-uniform memory access Motivação Memory gap: processadores modernos operam em uma velocidade consideravelmente maior do que a memória principal: uma instrução pode fazer o processador esperar vários ciclos de processamento até que a memória principal seja acessada; Aumento do tamanho e complexidade dos sistemas paralelos fazem com que aumentar a quantidade de memória cache não seja suficiente para resolver o problema; Em sistemas multiprocessados, apenas um processador tem acesso à memória principal por vez. 25 / 36

27 Non-uniform memory access Solução: NUMA 26 / 36

28 Non-uniform memory access Solução: NUMA 26 / 36

29 Non-uniform memory access NUMA Ao contrário de sistemas SMP, os processadores estão a distâncias diferentes da memória (existência de memória local e remota); Fator NUMA: razão entre o tempo de acesso a uma memória local e tempo de acesso a memória local; Cálculos locais de um processador podem usar a memória mais próxima, reduzindo o problema de contenção de memória. 27 / 36

30 Non-uniform memory access Cache Em relação ao cache, existem dois tipos de arquiteturas NUMA: No Cache NUMA (NC-NUMA); Cache coherent NUMA (CC-NUMA). 28 / 36

31 Non-uniform memory access NC-NUMA C.m* foi o primeiro (1974) sistema NUMA a ser desenvolvido (Universidade Carnegie Mellon). 29 / 36

32 Non-uniform memory access CC-NUMA 30 / 36

33 Non-uniform memory access Protocolos de Coerência de Cache Snooping protocol Controladores de cache monitoram a atividade do barramento e atualizam ou invalidam as entradas do cache conforme necessário. São de dois tipos: Write-invalidate: o processador que irá escrever na memória envia um aviso pelo barramento. Todos os processadores checam se possuem uma cópia em cache e a invalidam. Write-update: um processador envia via broadcast o novo valor de um dado e todas as cópias em cache são atualizadas. Write-invalidate é mais eficiente na utilização da largura de banda do barramento, enquanto Write-update tem a vantagem de fazer os novos valores apareceram mais cedo nos caches. 31 / 36

34 Non-uniform memory access Protocolos de Coerência de Cache Protocolo baseado em Diretório Central Um diretório centralizado mantém informações sobre quais segmentos da memória estão armazenados em múltiplos caches e quais estão presentes no cache de apenas um processador; No momento do acesso à memória, o sistema sabe quais caches precisam ser invalidados ou atualizados; É o protocolo de coerência de cache mais utilizado. 32 / 36

35 Non-uniform memory access Programando em Máquinas NUMA Desafios Ao escrever programas de alto desempenho para máquinas NUMA, o programador deve ter em mente os seguintes problemas: Latência; Largura de banda; Desbalanceamento de carga; Memory affinity. 33 / 36

36 Non-uniform memory access Programando em Máquinas NUMA Desafios Node#6 Node#7 Node#4 Node#5 Node#2 Node#3 Node#0 Node#1 34 / 36

40 Non-uniform memory access Programando em Máquinas NUMA Poĺıticas de Alocação de Memória Trabalho realizado por Christiane Pousa Ribeiro e Jean-François Méhaut no LIG, em Grenoble. Propõem uma interface de programação NUMA-aware onde cabe ao próprio programador definir como e onde alocar as páginas de memória. Provê diferentes poĺıticas de alocação de memória, divididas em três grupos: bind: segmenta blocos de memória e aloca na memória do processador mais próximo; cyclic: blocos de memória são alocados entre os processadores usando alguma heurística tipo round-robin; random: blocos de memória são espalhados aleatoriamente entre os nodos. 35 / 36

41 Non-uniform memory access Programando em Máquinas NUMA Minas Memory affinity management Framework gerencia memory affinity em multiprocessadores de memória compartilhada hierárquicos (ccnuma); duas abordagens distintas: gerenciamento expĺıcito (MAi) ou geração automática de código otimizado (MApp); Otimização de uso de largura de banda e latência em aplicações com padrões de acesso à memória regulares ou irregulares; Interfaces em C, C++ e Fortran / 36