CUDA: Compute Unified Device Architecture. Marco Antonio Simões Teixeira

Transcrição

1 CUDA: Compute Unified Device Architecture Marco Antonio Simões Teixeira

2 Sumário Introdução; CUDA: História; CUDA: programando; CUDA e deep learning; Links úteis; Considerações finais. 2

3 INTRODUÇÃO 3

4 O que é CUDA? Compute Unified Device Architecture (CUDA); CUDA é uma plataforma de computação paralela e um modelo de programação inventados pela NVIDIA. Ela permite aumentos significativos de performance computacional ao aproveitar a potência da unidade de processamento gráfico (GPU) (Nvidia). 4

5 O que é CUDA? Milhares de aplicativos e artigos de pesquisa publicados; Suportada por mais de 375 milhões de GPUs habilitadas para CUDA em notebooks, estações de trabalho, clusters de computação e supercomputadores. 5

6 CUDA: História 6

7 CUDA: História As primeiras GPUs foram projetadas como aceleradores gráficos, suportando somente pipelines de função fixa; A primeira GPU NVIDIA foi criada em 1999; Menos de um ano após sua criação, pesquisadores estavam tirando proveito de sua excelente performance de ponto flutuante; Nascia o movimento da GPU de Propósito Geral (GPGPU). 7

8 CUDA: História GPGPU não era fácil: linguagens de programação gráficas como a OpenGL; Os desenvolvedores tinham que mapear cálculos científicos a problemas que poderiam ser representados por triângulos e polígonos; A GPGPU era algo praticamente fora de questão para quem não havia memorizado as últimas APIs gráficas; Até que um grupo de pesquisadores da Stanford University se reuniu para reformular a GPU como um "processador de transmissão". 8

9 CUDA: História Em 2003 uma equipe de pesquisadores liderada por Ian Buck anunciou o Brook, o primeiro modelo de programação a ampliar a linguagem C com construções de paralelismo de dados; Os Brook não apenas eram mais fáceis de serem codificados que os códigos de GPU ajustados manualmente, mas também eram sete vezes mais rápidos que os códigos similares existentes. 9

10 CUDA: História A NVIDIA convidou Ian Buck para juntar-se à empresa e começar a desenvolver uma solução para executar o C na GPU de forma fluida; Juntando o software e o hardware, a NVIDIA apresentou a CUDA em 2006, a primeira solução do mundo para computação de propósito geral em GPUs. 10

11 CUDA: programando 11

12 CUDA: programando Linguagens de alto nível; C, C++, Java, Fortran e Python; 12

13 CUDA: programando Pré-requisitos: Precisa experiencia com C/C++; Não precisa ter experiencia com GPU's; Não precisa experiencia em computação paralela; Não precisa de experiencia em computação gráfica. 13

14 CUDA: programando Computação heterogênea 14

15 CUDA: programando Os dados de entrada da memória CPU são copiados para a memória GPU. 15

16 CUDA: programando O código GPU é executado. 16

17 CUDA: programando O resultado é copiado da memória GPU para CPU. 17

18 CUDA: programando 18

19 CUDA: programando API CUDA para manusear a memória do dispositivo: cudamalloc(), cudafree(), cudamemcpy(); Similar a malloc(), free(), memcpy() em C. 19

20 CUDA: programando 20

21 CUDA: programando 21

22 CUDA: programando 22

23 CUDA e deep learning 23

24 CUDA e deep learning NVIDIA CUDA Deep Neural Network library (cudnn); NVIDIA Deep Learning SDK. 24

25 CUDA e deep learning Em Deep learning with COTS HPC systems [1] foi utilizado a GPU para treinar uma RNA com mais de 1 bilhão de parâmetros, onde foi utilizado o CUDA; Em Caffe: Convolutional Architecture for Fast Feature Embedding [2] foi utilizado o Caffe em parceria com o CUDA para processar mais de 40 milhões de imagens por dia ( 2.5 ms por imagem) em uma placa gráfica tesla k40 ou Titan; 25

26 Links úteis 26

27 Links úteis CUDA C/C++ Basics: Supercomputing 2011 Tutorial, O QUE É CUDA?, _br.html; CUDA Toolkit, 27

28 Considerações finais 28

29 Considerações finais Vantagens: CUDA é uma boa solução para utilizar GPU, por utilizar uma linguagem conhecida; Posso utilizar a GPU para o treinamento de Deep Learning (RNA) e diminuir o tempo de processamento; Desvantagem: Exclusivo para placas NVIDIA; 29

30 Referencias [1] COATES, Adam et al. Deep learning with COTS HPC systems. In: International Conference on Machine Learning p ; [2] JIA, Yangqing et al. Caffe: Convolutional architecture for fast feature embedding. In: Proceedings of the 22nd ACM international conference on Multimedia. ACM, p

31 Aplicações Identificação de placas ocultas em artérias: Ataques cardíacos são a maior causa de mortes no mundo todo. A Harvard Engineering, a Harvard Medical School e o Brigham & Women's Hospital se reuniram para usar GPUs com o objetivo de simular o fluxo sanguíneo e identificar placas arteriais ocultas sem fazer uso de técnicas de imageamento invasivas ou cirurgias exploratórias. 31

32 Aplicações Análise do fluxo de tráfego aéreo: O National Airspace System (Sistema de Espaço Aéreo Nacional) gerencia a coordenação do fluxo de tráfego aéreo em âmbito nacional. Modelos computacionais ajudam a identificar novas maneiras de aliviar congestionamentos e manter o tráfego de aeronaves fluindo de forma eficiente. Utilizando o poder computacional das GPUs, uma equipe da NASA obteve grande ganho de performance, reduzindo o tempo de análise de dez minutos para três segundos. 32

33 Aplicações Visualização de moléculas: Uma simulação molecular denominada NAMD (dinâmica molecular em nanoescala) alcança um grande aumento de performance com o uso de GPUs. Essa aceleração é resultado da arquitetura paralela das GPUs, que permite que desenvolvedores NAMD migrem partes de aplicativos com alta demanda computacional para a GPU utilizando o CUDA Toolkit. 33