Paralelização de Algoritmos de CFD em Clusters Multi-Core MC7. Escola de Verão Arquiteturas Multi-Core

Transcrição

1 RSS-Verão-01/08 p.1/36 Paralelização de Algoritmos de CFD em Clusters Multi-Core MC7 Escola de Verão 2008 Arquiteturas Multi-Core Renato S. Silva LNCC - MCT Janeiro de 2008

2 RSS-Verão-01/08 p.2/36 Objetivo: Este mini-curso apresentará a utilização dos processadores Multi-Core da Intel na resolução de sistemas de equações lineares que são utilizados na Dinâmica dos Fluidos Computacional (CFD).

3 RSS-Verão-01/08 p.3/36 Ementa Aula 1 Processadores Multi-Core Arquiteturas Paralelas Mem. Compartilhada / Distribuída Arquiteturas híbridos / Clusters Modelos de Programação Aula 2 Linguagens de programação OpenMP Compiladores MPI

4 RSS-Verão-01/08 p.4/36 Ementa Aula 3 Solvers paralelos - Definição e Desempenho Gradiente conjugado (CG) Mem. Compartilhada Mem. Distribuída Híbrido Aula 4 Análise de Desempenho

5 RSS-Verão-01/08 p.5/36 Bibliografia Foster - Designing and Building Parallel Programs - Kumar - Introduction to Parallel Computing Dowd - High Performance Computing Gropp - Using MPI... Culler - Parallel Computer Architeture a Hardware Software approach Mattson - Patterns for Parallel Programming OpenMP - MPI -

6 RSS-Verão-01/08 p.6/36 Paralelização de Algoritmos de CFD em Clusters Multi-Core MC7 Aula 1

7 RSS-Verão-01/08 p.7/36 Agradecimentos Mario Medeiros Ricardo Amorim Intel R Higher Education Program

8 RSS-Verão-01/08 p.8/36 Conteúdo Introdução Processadores Multi-Core Arquiteturas Paralelas Mem. Compartilhada / Distribuída Arquiteturas híbridos / Clusters Modelos de Programação

9 RSS-Verão-01/08 p.9/36 Introdução - Clusters 1992 Linux na Internet 1994 Cluster Beowulf 16 processadores 486 / Pentium FastEthernet - JPL - NASA 1996 Accelerated Strategic Computing Initiative (ASCI) Program ASCI-RED processadores Pentium Pro (1997)

10 RSS-Verão-01/08 p.9/36 Introdução - Clusters 1992 Linux na Internet 1994 Cluster Beowulf 16 processadores 486 / Pentium FastEthernet - JPL - NASA 1996 Accelerated Strategic Computing Initiative (ASCI) Program ASCI-RED processadores Pentium Pro (1997) Commercial Commodity Off the Shelf (COOTS)

11 Definição Clusters RSS-Verão-01/08 p.10/36

12 RSS-Verão-01/08 p.11/36

13 Computação de Alto Desempenho (HPC) Clusters = HPC ao alcance de todos Transferência de responsabilidade pelo desempenho Usuário Hardware Desempenho através do Paralelismo Executar tarefas ao mesmo tempo Duas Formas Nível de Instrução Nível de Aplicação RSS-Verão-01/08 p.12/36

14 Paralelismo a Nível de Instrução Evolução da tecnologia de processadores Mais recursos disponíveis no mesmo chip Varias instruções executadas ao mesmo tempo. É necessário uma quantidade de dados suficiente Responsabilidade: Hardware Compiladores Programador RSS-Verão-01/08 p.13/36

15 Ex.: A = B + C RSS-Verão-01/08 p.14/36

16 Ex.: A = B + C 1. Recebe e decodifica a Instrução 2. Calcula os endereços 3. Recebe os valores 4. Executa a operação 5. Escreve o resultado RSS-Verão-01/08 p.14/36

17 Paralelismo a Nível de Aplicação Paralelização do código (algoritmo) Responsabilidade: Compiladores / Linguagens Programador RSS-Verão-01/08 p.15/36

18 Paralelismo a nível de Instrução Fazendo mais ao mesmo tempo Single Pentium Pro Maq. Duais 2 processadores SMP - Symmetric Multiprocessors Hyper-Threading (HT) 2 processadores Lógicos - 1 Die Duo-Core 2 processadores (Cores) - 1 Die OS já estão preparados para mais de um processador distribuindo os processos nos procs. RSS-Verão-01/08 p.16/36

19 Processador Single uma instrução por ciclo instruções podem levar mais de um ciclo para serem executadas RSS-Verão-01/08 p.17/36

20 Tecnologia Hyper Threading (HT) SMT - Simultameous Multi Threading 2 Processadores Lógicos introduzido 2002 quando uma instrução espera por recursos outra instrução independente pode ser executada transferência de dados da memória Threads - seqüencia de código e os dados associados a essa seq. RSS-Verão-01/08 p.18/36

21 Hyper Threading (HT) Existe disputa pelos recursos computacionais O programador tem que garantir que as Threads são independentes RSS-Verão-01/08 p.19/36

22 Processador Duo-Core 2 Processadores no mesmo Die Dividem o mesmo cache L2 Um avanço em relação ao sistemas Duais facilita a comunicação entre Threads False Sharing RSS-Verão-01/08 p.20/36

23 Vídeos Vídeos Intel RSS-Verão-01/08 p.21/36

24 Plataforma Duo-Core RSS-Verão-01/08 p.22/36

25 Plataforma Quad Core RSS-Verão-01/08 p.23/36

26 Esquema da Plataforma Bensley-2006 C1 C2 L1 L1 L2 PCI MCH Memories RSS-Verão-01/08 p.24/36

27 Esquema da Plataforma Quad Core da Intel C1 C2 L1 L1 L2 C1 C2 L1 L1 L2 MCH Memories RSS-Verão-01/08 p.25/36

28 Arquiteturas Paralelas Classificação quanto a Memória: Memória Distribuída Memória Compartilhada Memória Híbrida RSS-Verão-01/08 p.26/36

29 Memória Distribuída Cada processador só tem acesso a sua memória Redes de Dados RSS-Verão-01/08 p.27/36

30 Memória Distribuída Cada processador só tem acesso a sua memória Redes de Dados CPUs RSS-Verão-01/08 p.27/36

31 Memória Distribuída Cada processador só tem acesso a sua memória Redes de Dados CPUs Memórias RSS-Verão-01/08 p.27/36

32 Memória Compartilhada Todos os processadores acessam toda a memória Memórias Redes de Dados CPUs RSS-Verão-01/08 p.28/36

33 Máquina Híbrida Combinação das anteriores Rede de Dados RSS-Verão-01/08 p.29/36

34 Máquina Híbrida Combinação das anteriores Rede de Dados Memória Distribuída RSS-Verão-01/08 p.29/36

35 Máquina Híbrida Combinação das anteriores Rede de Dados Cores Memórias Memória Distribuída RSS-Verão-01/08 p.29/36

36 Máquina Híbrida Combinação das anteriores Rede de Dados Cores Memória Compartilhada Memórias Memória Distribuída RSS-Verão-01/08 p.29/36

37 Modelos de Programação São dois os principais: Memória Compartilhada (Shared Adress) Passagem de Mensagens (Message-Passing) Mémoria Híbrida Não confundir com a Classificação das máquinas Máqs. atendem a diferentes modelos RSS-Verão-01/08 p.30/36

38 Passagem de Mensagens Cada processador trabalha com a sua própria memória A iteração é feita através de uma rede de transmissão de dados. Enviando e recebendo dados Arquitetura de Memória Distribuída Redes de Dados CPUs Memórias RSS-Verão-01/08 p.31/36

39 Memória Compartilhada Interagem através de read e write na memória Todos os processadores enxergam toda a memória. existe um cache "local" Arquitetura Memória Compartilhada Memórias Redes de Dados CPUs RSS-Verão-01/08 p.32/36

40 OBS.: Troca de mensagens: ambos os modelos dependem de uma rede Explícita x Implícita Facíl emular passagem de mensagem na memória compartilhada a inversa é verdadeira, via software. inclusive em Clusters Máq. híbrida Cray T3E (shemem) Memória Distribuída + Compartilhada IBM, Earth Simulator, Duo/Quad Core RSS-Verão-01/08 p.33/36

41 Modelo Híbrido MPI MPI + OpenMP OpenMP Sem Overlap Comm. + Comp. MPI - Master Thread Overlap Comm. + Comp. threads podem comunicar RSS-Verão-01/08 p.34/36

42 Máquina Híbrida Rede de Dados Cores Memória Compartilhada Memórias Memória Distribuída RSS-Verão-01/08 p.35/36

43 Arquiteturas Híbridas Memória Distribuída com nós de Memória Compartilhada Razão Econômica Granularidade - Processador / Rede de dados Modelos Híbridos Combinação MPI + OpenMP MPI - uma maior granularidade OpenMP - uma menor granularidade RSS-Verão-01/08 p.36/36