COMPUTAÇÃO PARALELA. uma visão geral. Guilherme Galante. v.2.0

Transcrição

1 COMPUTAÇÃO PARALELA uma visão geral Guilherme Galante v.2.0

2 Guilherme Galante Bacharel em Informática Unioeste (2003) Mestre em Ciência da Computação UFRGS (2006) Professor Assistente do curso de Informática/Ciência da Computação desde 2006 Atualmente afastado para doutorado UFPR ( ) Áreas de Atuação: Sistemas de Computação Computação Aplicada

3 Demandas computacionais são cada vez maiores Ciências e Engenharia Ciências e Engenharia Data Mining Aplicações Corporativas

4 Desempenho é fundamental... Três formas de melhorar o desempenho: 1 - Usar um algoritmo/técnica melhor 2 - Usar um computador mais rápido 3 - Computação Paralela =

5 Melhores Técnicas e Algoritmos? Nem sempre é fácil encontrar...

6 Computador mais rápido (CPU)? Qual a tendência que se observa?

7 Computação paralela Uso de diversas unidades de processamento ou computadores para a resolução de um problema em comum Objetivo: - Resolver problemas maiores - Resolver mais rápido - Resolver mais problemas

8 Computação paralela Diversos níveis...

9 Hyperthreading (Simultaneous multithreading) Simula múltiplos processadores pela duplicação de algumas unidades funcionais Permite que múltiplos threads sejam executados em cada núcleo

10 Multicores Consiste em colocar dois ou mais núcleos de processamento (cores) no interior de um único chip Frequências menores Surgiu para minimizar alguns problemas: Consumo Delays na transmissão Aquecimento Latência da Memória Previsão 2017: 512 cores (server) 128 (desktop) Presente hoje também em smartphones, tablets, videogames Power consumption increases by 60% with every 400MHz rise in clock speed - IEEE Review Setembro 2005

11 XBOX 360 PS3

12 SMP e NUMA SMP - Symmetric multiprocessing: NUMA Non-Uniform Memory Access

13 SMP NUMA #procs: 2 a 32 #procs: milhares Até 256 CPU sockets 64 TB RAM SGI - Altix

14 Paralelismo em memória compartilhada Modelo de programação: Aspecto crítico: Múltiplas threads compartilhando dados Sincronização quando diferentes tarefas acessam os mesmos dados Ferramentas para programação: linguagens concorrentes (Ada, Java...) linguagens seqüenciais + extensões/biliotecas (OpenMP, Pthreads, Cilk, HPF)

15 OpenMP Interface de programação aplicativa (API) para desenvolvimento de aplicações multithread em C/C++ e Fortran Define: Variáveis de ambiente Biblioteca de serviços Diretivas de compilação Modelo Fork-Join:

16 Exemplo - #pragma parallel

17 Exemplo 2 - #pragma parallel for

18 SIMD Single Instruction Multiple Data Cada processador executa a mesma instrução em sincronia, mas usando dados diferentes Técnica muito usada nos anos 70 e 80 na construção de supercomputadores Novamente na moda: GPUs e Co-Processadores

19 GPUs e Aceleradoras NVIDIA TESLA 3072 cores Programação: CUDA INTEL Phi 61 cores, 4 threads/core Ghz Programação: Ferramentas INTEL

20 GPUs NVIDIA Fermi

21 CUDA - Compute Unified Device Architecture Extensão para a linguagem de programação C, a qual possibilita o uso de computação paralela nas GPUs NVIDIA Permite a interação CPU GPU Execução do programa é controlada pela CPU que pode lançar kernels, que são trechos de código executados em paralelo por múltiplas threads na GPU

22 CUDA Fluxo de processamento

23 Exemplo código CUDA

24

25 PHI Focado em HPC Grande quantidade de processadores IA SIMD com 512-bits Ghz Knight-Corner (KNF) 61 cores, 4 threads/core 8 GB, GDDR5 (350 GB/s) W x16 PCIe Virtualização TCP/IP

26 Exemplo código Phi Unidade escalar Unidade vetorial

27 Cluster Sistema de computação paralelo formado por um conjunto de computadores (nodos) independentes interligados em rede de alto desempenho

28 Uso: Processamento Sísmico RS

29 Grid Grid é um sistema paralelo distribuído no qual os recursos estão espalhados por múltiplos domínios administrativos Alusão aos Power Grids Mais apropriada para aplicações fracamente acopladas Tarefas independentes com pouca comunicação BOINC Bag-of-tasks

30 GridPP UK e CERN

31 Paralelismo em memória distribuída Modelo de programação: Troca de mensagens entre tarefas cooperantes Bag-of-tasks Aspectos críticos: Comunicação e distribuição dos dados (balanceamento de carga) Ferramentas para programação: Linguagens sequenciais + extensões/bibliotecas MPI (C,C++, Fortran), PVM, Java+RMI, BOINC Memória compartilhada distribuída: Linda, Threadmarks,...

32 MPI Message Passing Interface: troca de mensagens Padrão com diversas implementações: MPICH, OpenMPI... Primitivas para comunicação: Ponto-a-ponto Coletivas Send/Receive

33 Exemplo MPI #include <stdio.h> #include <mpi.h> int main (int argc, char *argv[]) { int rank, size, MPI_Init (&argc, &argv); MPI_Comm_rank (MPI_COMM_WORLD, &rank); MPI_Comm_size (MPI_COMM_WORLD, &size); printf( "Hello world from process %d of %d\n", rank, size ); MPI_Finalize(); return 0; }

34 Berkeley Open Infrastructure for Network Computing Computação voluntária

35 Projetando uma aplicação paralela Problema Detecção do paralelismo Escolha da arquitetura Projeto do software Escolha das ferramentas Implementação Validação e testes de desempenho

36 Projetando uma aplicação paralela 1 - Detectar o paralelismo: Já existe um código sequencial? Paralelismo de dados x funcional A B C Mesma operação sobre dados diferentes Funções diferentes executadas em paralelo

37 Projetando uma aplicação paralela 2 - Escolha da arquitetura Aplicação é desenvolvida em função do hardware disponível Temos mais que uma opção? Usar uma ou combinar?

38 Projetando uma aplicação paralela 3 - Modelo da Aplicação Definir entradas e saídas Modelo da aplicação: SPMD (single program multiple data) Bag-of-Task Pipeline 4 Escolha da Ferramenta Escolha da ferramenta apropriada para a arquitetura e o modelo de aplicação Ferramentas de desenvolvimento e debug

39 Projetando uma aplicação paralela 5 - Implementação Mãos à obra!!! 6 - Validação e testes de desempenho Minha solução está correta? Houve ganhos de desempenho? Tempo de Execução Speedup Eficiência

40 EXEMPLO DE APLICAÇÃO Simulação de Hidrodinâmica Rio Guaíba - RS Área: Computação Científica Paralela/Aplicações Dissertação de Mestrado UFRGS

41 Geração da Malha Particionamento da malha 1 - Decomposição de dados 2 - Cluster de Computadores 3 - SPMD 4 - C + MPI Geração dos Sistemas de Equações Resolução dos Sistemas de Equações Obtenção da solução final sequencial paralelo

42 6 - Desempenho Testes efetuados no Cluster Krusty: 18 nodos

43 K (#4 TOP500) SPARC64 VIIIfx 2.0GHz cores GB Para imitar um valor relativamente minúsculo de inteligência, os pesquisadores utilizaram o Fujitsu K para ligar um total de 1,73 bilhões de neurônios virtuais através de 10,4 trilhões de sinapses virtuais (com 24 bytes de memória em cada sinapse - 1PB)...a simulação demorou 40 minutos

44 Temas: Paralelização MPI + OpenMP Implementação de Métodos matemáticos Conjunto com o prof. Rogério Cloud Computing Modelos Epidemiológicos Conjunto com a prof. Claudia GPU + CUDA TCC 2014 Elasticidade em Banco de Dados Conjunto com os prof. Clodis, Marcio e Luiz Requisitos Conhecimentos em Linux e Programação C

45