Introdução à Programação de GPUs
|
|
|
- Elias Laranjeira
- 5 Há anos
- Visualizações:
Transcrição
1 Introdução à Programação de GPUs com a Plataforma CUDA Pedro Bruel phrb@ime.usp.br 04 de Agosto de 2016 Instituto de Matemática e Estatística Universidade de São Paulo Sobre Pedro Bruel Alfredo Goldman phrb@ime.usp.br gold@ime.usp.br github.com/phrb 254 1/96
2 Pesquisa Meus interesses de pesquisa: Autotuning Stochastic Local Search Model Based Search 2/96 Pesquisa Meus interesses de pesquisa: Autotuning Stochastic Local Search Model Based Search GPUs, FPGAs, cloud Julia Language 2/96 255
3 Pesquisa Meus interesses de pesquisa: Autotuning Stochastic Local Search Model Based Search GPUs, FPGAs, cloud Julia Language Colaboração! 2/96 Parte I 1. Introdução 2. Computação Heterogênea 3. GPUs 4. Plataforma CUDA 5. CUDA C 256 3/96
4 Parte II 6. Retomada 7. Compilação de Aplicações CUDA 8. Boas Práticas em Otimização 9. Análise de Aplicações CUDA 10. Otimização de Aplicações CUDA 11. Conclusão 4/96 Slides O pdf com as aulas e todo o código fonte estão no GitHub: github.com/phrb/intro-cuda 5/96 257
5 Aceleração por Hardware Uso de dispositivos (devices) para acelerar computações aplicadas a grandes conjuntos de dados: 6/96 Aceleração por Hardware Uso de dispositivos (devices) para acelerar computações aplicadas a grandes conjuntos de dados: Associação a um processador hospedeiro (host) 258 6/96
6 Aceleração por Hardware Uso de dispositivos (devices) para acelerar computações aplicadas a grandes conjuntos de dados: Associação a um processador hospedeiro (host) Controle e memória próprios 6/96 Aceleração por Hardware Uso de dispositivos (devices) para acelerar computações aplicadas a grandes conjuntos de dados: Associação a um processador hospedeiro (host) Controle e memória próprios Diferem em especialização e configurabilidade 6/96 259
7 Aceleração por Hardware Uso de dispositivos (devices) para acelerar computações aplicadas a grandes conjuntos de dados: Associação a um processador hospedeiro (host) Controle e memória próprios Diferem em especialização e configurabilidade GPUs, DSPs, FPGAs, ASICs 6/96 Aceleração por Hardware Casos de uso: Aprendizagem Computacional Processamento Digital de Sinais e Imagens Bioinformática Criptografia Meteorologia Simulações /96
8 Aceleração por Hardware 8/96 Aceleração por Hardware Porcentagem de sistemas com aceleradores na Top500: Imagem: top500.org/lists/2016/06/download/top500_201606_poster.pdf [Acessado em 29/07/16] 9/96 261
9 Computação Heterogênea 10/96 Computação Heterogênea Dados recursos computacionais heterogêneos, conjuntos de dados e computações, como distribuir computações e dados de forma a otimizar o uso dos recursos? Imagem: olcf.ornl.gov/titan [Acessado em 29/07/16] /96
10 Computação Heterogênea Recursos computacionais heterogêneos: 11/96 Computação Heterogênea Recursos computacionais heterogêneos: Baixa latência: CPUs 11/96 263
11 Computação Heterogênea Recursos computacionais heterogêneos: Baixa latência: CPUs Alta vazão: GPUs 11/96 Computação Heterogênea Recursos computacionais heterogêneos: Baixa latência: CPUs Alta vazão: GPUs Reconfiguráveis: FPGAs /96
12 Computação Heterogênea Recursos computacionais heterogêneos: Baixa latência: CPUs Alta vazão: GPUs Reconfiguráveis: FPGAs Especializados: ASICs, DSPs 11/96 Computação Heterogênea Recursos computacionais heterogêneos: Baixa latência: CPUs Alta vazão: GPUs Reconfiguráveis: FPGAs Especializados: ASICs, DSPs Memória? 11/96 265
13 Computação Heterogênea Conjuntos de dados: Big Data Data Streams... 12/96 Computação Heterogênea Conjuntos de dados: Big Data Data Streams... Modelos de programação (computações): MapReduce Task Parallelism /96
14 Computação Heterogênea: Escalabilidade Escalabilidade significa não perder desempenho executando em: Múltiplos cores idênticos 13/96 Computação Heterogênea: Escalabilidade Escalabilidade significa não perder desempenho executando em: Múltiplos cores idênticos Novas versões do mesmo core 13/96 267
15 Computação Heterogênea: Portabilidade Portabilidade significa não perder desempenho executando em diferentes: Cores ou aceleradores 14/96 Computação Heterogênea: Portabilidade Portabilidade significa não perder desempenho executando em diferentes: Cores ou aceleradores Modelos de memória /96
16 Computação Heterogênea: Portabilidade Portabilidade significa não perder desempenho executando em diferentes: Cores ou aceleradores Modelos de memória Modelos de paralelismo 14/96 Computação Heterogênea: Portabilidade Portabilidade significa não perder desempenho executando em diferentes: Cores ou aceleradores Modelos de memória Modelos de paralelismo Conjuntos de instruções 14/96 269
17 Computação Heterogênea 15/96 Computação Heterogênea /96
18 Graphics Processing Units 17/96 Graphics Processing Units Originalmente especializadas em processamento gráfico, trabalham com muitos dados e têm alta vazão: 17/96 271
19 Graphics Processing Units Originalmente especializadas em processamento gráfico, trabalham com muitos dados e têm alta vazão: Caches pequenos (kilobytes) 17/96 Graphics Processing Units Originalmente especializadas em processamento gráfico, trabalham com muitos dados e têm alta vazão: Caches pequenos (kilobytes) Sem branch prediction /96
20 Graphics Processing Units Originalmente especializadas em processamento gráfico, trabalham com muitos dados e têm alta vazão: Caches pequenos (kilobytes) Sem branch prediction Milhares de ALUs de maior latência 17/96 Graphics Processing Units Originalmente especializadas em processamento gráfico, trabalham com muitos dados e têm alta vazão: Caches pequenos (kilobytes) Sem branch prediction Milhares de ALUs de maior latência Pipelines de execução 17/96 273
21 Graphics Processing Units Originalmente especializadas em processamento gráfico, trabalham com muitos dados e têm alta vazão: Caches pequenos (kilobytes) Sem branch prediction Milhares de ALUs de maior latência Pipelines de execução threads concorrentes na arquitetura Pascal 17/96 Graphics Processing Units Hoje são usadas em computação de propósito geral, podem ser chamadas de General Purpose GPUs (GPGPUs): /96
22 Graphics Processing Units Hoje são usadas em computação de propósito geral, podem ser chamadas de General Purpose GPUs (GPGPUs): OpenGL: 1992 DirectX: 1995 CUDA: 2007 OpenCL: 2009 Vulkan: /96 Modelo de Hardware Taxonomia de Flynn: Single Instruction Multiple Data (SIMD) 19/96 275
23 Modelo de Hardware Taxonomia de Flynn: Single Instruction Multiple Data (SIMD) Single Instruction Multiple Thread (SIMT)? 19/96 Modelo de Hardware Taxonomia de Flynn: Single Instruction Multiple Data (SIMD) Single Instruction Multiple Thread (SIMT)? Escalonamento e execução: Streaming Multiprocessor (SM) /96
24 Modelo de Hardware Taxonomia de Flynn: Single Instruction Multiple Data (SIMD) Single Instruction Multiple Thread (SIMT)? Escalonamento e execução: Streaming Multiprocessor (SM) Warps 19/96 Modelo de Hardware Taxonomia de Flynn: Single Instruction Multiple Data (SIMD) Single Instruction Multiple Thread (SIMT)? Escalonamento e execução: Streaming Multiprocessor (SM) Warps Grids, blocks e threads 19/96 277
25 Modelo de Hardware Escalonamento de mais alto-nível: Pipelines Texture Processing Cluster (TPC) Graphics Processing Cluster (GPC) 20/96 Modelo de Hardware Escalonamento de mais alto-nível: Pipelines Texture Processing Cluster (TPC) Graphics Processing Cluster (GPC) Memória: Compartilhada: Cache L1, L2; megabytes (Nvidia Pascal) Global: volátil, GDDR5; gigabytes /96
26 Modelo de Hardware Escalonamento de mais alto-nível: Pipelines Texture Processing Cluster (TPC) Graphics Processing Cluster (GPC) Memória: Compartilhada: Cache L1, L2; megabytes (Nvidia Pascal) Global: volátil, GDDR5; gigabytes SSD: não-volátil; terabytes (AMD SSG Fiji, 2017) AMD SSG: anandtech.com/show/10518/amd-announces-radeon-pro-ssg-fiji-with-m2-ssds-onboard [Acessado em 30/07/16] 20/96 Compute Capability e SIMT A Compute Capability especifica características de arquiteturas Single Instruction Multiple Thread (SIMT): 21/96 279
27 Compute Capability e SIMT A Compute Capability especifica características de arquiteturas Single Instruction Multiple Thread (SIMT): Warp: Grupo de threads executadas em paralelo Streaming Multiprocessor (SM): Cria, escalona e executa warps 21/96 Compute Capability e SIMT A Compute Capability especifica características de arquiteturas Single Instruction Multiple Thread (SIMT): Warp: Grupo de threads executadas em paralelo Streaming Multiprocessor (SM): Cria, escalona e executa warps Múltiplas warps concorrentes no mesmo SM Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#hardware-implementation [Acessado em 29/07/16] /96
28 Compute Capability e SIMT Warps: 22/96 Compute Capability e SIMT Warps: Unidade de execução e escalonamento 32 threads 22/96 281
29 Compute Capability e SIMT Warps: Unidade de execução e escalonamento 32 threads 1 instrução em comum por vez 22/96 Compute Capability e SIMT Warps: Unidade de execução e escalonamento 32 threads 1 instrução em comum por vez Threads ativas: estão no branch atual de execução Threads inativas: não estão no branch atual de execução /96
30 Compute Capability e SIMT Warps: Unidade de execução e escalonamento 32 threads 1 instrução em comum por vez Threads ativas: estão no branch atual de execução Threads inativas: não estão no branch atual de execução Threads fora do branch atual executadas sequencialmente 22/96 Compute Capability e SIMT Warps: Unidade de execução e escalonamento 32 threads 1 instrução em comum por vez Threads ativas: estão no branch atual de execução Threads inativas: não estão no branch atual de execução Threads fora do branch atual executadas sequencialmente Eficiência: sem divergência de execução dentro de Warps Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#hardware-implementation [Acessado em 29/07/16] 22/96 283
![pdf [Acessado em 29/07/16] 23/96 Arquitetura Pascal GP100: Compute Capability](/docs-images/96/127676624/images/31-1.jpg "6.0 Imagem: images.nvidia.pdf [Acessado em 29/07/16] 284 24/96")
31 Arquitetura Pascal GP100 Imagem: images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf [Acessado em 29/07/16] 23/96 Arquitetura Pascal GP100: Compute Capability 6.0 Imagem: images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf [Acessado em 29/07/16] /96
32 Arquitetura Pascal GP100: SM Imagem: images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf [Acessado em 29/07/16] 25/96 Arquitetura Pascal GP100 Imagem: images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf [Acessado em 29/07/16] 26/96 285
33 Arquitetura Pascal GP100 Imagem: images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf [Acessado em 29/07/16] 27/96 Plataforma CUDA /96
34 Plataforma CUDA Plataforma para computação paralela Application Programming Interface (API) CUDA Toolkit 28/96 Aceleração por Software 29/96 287
35 Bibliotecas 30/96 Bibliotecas Fáceis de usar /96
36 Bibliotecas Fáceis de usar Aceleração Drop-in 30/96 Bibliotecas Fáceis de usar Aceleração Drop-in Otimizadas por especialistas 30/96 289
37 Bibliotecas Imagem: developer.nvidia.com/gpu-accelerated-libraries [Acessado em 29/07/16] 31/96 Bibliotecas Soma de vetores com a biblioteca Thrust: thrust::device_vector<float> device_input1(input_lenght); thrust::device_vector<float> device_input2(input_lenght); thrust::device_vector<float> device_output(input_lenght); /96
38 Bibliotecas Soma de vetores com a biblioteca Thrust: thrust::device_vector<float> device_input1(input_lenght); thrust::device_vector<float> device_input2(input_lenght); thrust::device_vector<float> device_output(input_lenght); thrust::copy(host_input1, host_input1 + input_lenght, device_input1.begin()); thrust::copy(host_input2, host_input2 + input_lenght, device_input2.begin()); 32/96 Bibliotecas Soma de vetores com a biblioteca Thrust: thrust::device_vector<float> device_input1(input_lenght); thrust::device_vector<float> device_input2(input_lenght); thrust::device_vector<float> device_output(input_lenght); thrust::copy(host_input1, host_input1 + input_lenght, device_input1.begin()); thrust::copy(host_input2, host_input2 + input_lenght, device_input2.begin()); thrust::transform(device_input1.begin(), device_input1.end(), device_input2.begin(), device_output.begin(), thrust::plus<float>()); 32/96 291
39 Diretivas de Compilação 33/96 Diretivas de Compilação Fáceis de usar /96
40 Diretivas de Compilação Fáceis de usar Portáveis, mas desempenho depende do compilador 33/96 Diretivas de Compilação Soma de vetores com OpenACC: #pragma acc data copyin(input1[0:input_lenght],input2[0:input_lenght]), copyout(output[0:input_lenght]) 34/96 293
41 Diretivas de Compilação Soma de vetores com OpenACC: #pragma acc data copyin(input1[0:input_lenght],input2[0:input_lenght]), copyout(output[0:input_lenght]) { } #pragma acc kernels loop independent for(i = 0; i < input_lenght; i++) { output[i] = input1[i] + input2[i]; } 34/96 Linguagens de Programação /96
42 Linguagens de Programação Melhor desempenho, mas mais difíceis de usar 35/96 Linguagens de Programação Melhor desempenho, mas mais difíceis de usar Flexíveis 35/96 295
43 Linguagens de Programação Implementações de CUDA em: C Fortran C++ Python F# 36/96 CUDA C /96
44 CUDA C Modelo de Programação: 37/96 CUDA C Modelo de Programação: Kernels 37/96 297
45 CUDA C Modelo de Programação: Kernels Hierarquia de Threads 37/96 CUDA C Modelo de Programação: Kernels Hierarquia de Threads Hierarquia de Memória /96
46 CUDA C Modelo de Programação: Kernels Hierarquia de Threads Hierarquia de Memória Programação Heterogênea 37/96 CUDA C: Kernel Kernels: Kernels são funções C executadas por threads N threads executam N kernels 38/96 299
47 CUDA C: Kernel Kernels: Kernels são funções C executadas por threads N threads executam N kernels Acessam ID de suas threads pela variável threadidx 38/96 CUDA C: Kernel Kernels: Kernels são funções C executadas por threads N threads executam N kernels Acessam ID de suas threads pela variável threadidx Definidos usando a palavra-chave global Seu tipo deve ser void Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#programming-model [Acessado em 29/07/16] /96
48 CUDA C: Kernel Kernels: Lançados e configurados usando a sintaxe: kernel_name<<<...>>>(...); 39/96 CUDA C: Kernel Kernels: Lançados e configurados usando a sintaxe: kernel_name<<<...>>>(...); Idealmente, são executados em paralelo 39/96 301
49 CUDA C: Kernel Kernels: Lançados e configurados usando a sintaxe: kernel_name<<<...>>>(...); Idealmente, são executados em paralelo Na prática, o paralelismo depende: Número de threads em relação a uma warp 39/96 CUDA C: Kernel Kernels: Lançados e configurados usando a sintaxe: kernel_name<<<...>>>(...); Idealmente, são executados em paralelo Na prática, o paralelismo depende: Número de threads em relação a uma warp Coerência entre ramos de execução Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#programming-model [Acessado em 29/07/16] /96
50 CUDA C: Kernel Escrevendo e lançando (launching) um kernel: #include <cuda_runtime.h> global void VecAdd(float* A, float* B, float* C) { int i = threadidx.x; C[i] = A[i] + B[i]; } 40/96 CUDA C: Kernel Escrevendo e lançando (launching) um kernel: #include <cuda_runtime.h> global void VecAdd(float* A, float* B, float* C) { int i = threadidx.x; C[i] = A[i] + B[i]; } int main() {... VecAdd<<<1, N>>>(A, B, C);... } Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#programming-model [Acessado em 29/07/16] 40/96 303
51 CUDA C: Hierarquia de Threads Thread Block: Agrupamentos de Threads 41/96 CUDA C: Hierarquia de Threads Thread Block: Agrupamentos de Threads Tridimensionais: Db = (Dx, Dy, Dz) /96
52 CUDA C: Hierarquia de Threads Thread Block: Agrupamentos de Threads Tridimensionais: Db = (Dx, Dy, Dz) Tamanho máximo de 1024 threads 41/96 CUDA C: Hierarquia de Threads Thread Block: Agrupamentos de Threads Tridimensionais: Db = (Dx, Dy, Dz) Tamanho máximo de 1024 threads Um Grid é um agrupamento tridimensional de blocks Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#programming-model [Acessado em 29/07/16] 41/96 305
![html#programming-model [Acessado em 29/07/16] 42/96 Relembrando: SM da](/docs-images/96/127676624/images/53-1.jpg "arquitetura Pascal GP100 Imagem: images.nvidia.")
53 CUDA C: Hierarquia de Threads Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#programming-model [Acessado em 29/07/16] 42/96 Relembrando: SM da arquitetura Pascal GP100 Imagem: images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf [Acessado em 29/07/16] /96
54 CUDA C: Hierarquia de Threads global void MatAdd(float A[N][N], float B[N][N], float C[N][N]) { int i = threadidx.x; int j = threadidx.y; C[i][j] = A[i][j] + B[i][j]; } 44/96 CUDA C: Hierarquia de Threads global void MatAdd(float A[N][N], float B[N][N], float C[N][N]) { int i = threadidx.x; int j = threadidx.y; C[i][j] = A[i][j] + B[i][j]; } int main() {... int numblocks = 1; dim3 threadsperblock(n, N); MatAdd<<<numBlocks, threadsperblock>>>(a, B, C);... } Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#programming-model [Acessado em 29/07/16] 44/96 307
55 CUDA C: Hierarquia de Threads global void MatAdd(float A[N][N], float B[N][N], float C[N][N]) { int i = blockidx.x * blockdim.x + threadidx.x; int j = blockidx.y * blockdim.y + threadidx.y; if (i < N && j < N) { C[i][j] = A[i][j] + B[i][j]; } } 45/96 CUDA C: Hierarquia de Threads global void MatAdd(float A[N][N], float B[N][N], float C[N][N]) { int i = blockidx.x * blockdim.x + threadidx.x; int j = blockidx.y * blockdim.y + threadidx.y; if (i < N && j < N) { C[i][j] = A[i][j] + B[i][j]; } } int main() {... dim3 threadsperblock(16, 16); dim3 numblocks(n / threadsperblock.x, N / threadsperblock.y); MatAdd<<<numBlocks, threadsperblock>>>(a, B, C);... } Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#programming-model [Acessado em 29/07/16] /96
56 CUDA C: Hierarquia de Threads Sobre a sintaxe de lançamento e configuração <<< Dg, Db, Ns, S >>>: dim3 Dg determina dimensão e tamanho do grid: Dg.x * Dg.y * Dg.z = numblocks 46/96 CUDA C: Hierarquia de Threads Sobre a sintaxe de lançamento e configuração <<< Dg, Db, Ns, S >>>: dim3 Dg determina dimensão e tamanho do grid: Dg.x * Dg.y * Dg.z = numblocks dim3 Db determina dimensão e tamanho de cada block: Db.x * Db.y * Db.z = threadsperblock 46/96 309
57 CUDA C: Hierarquia de Threads Sobre a sintaxe de lançamento e configuração <<< Dg, Db, Ns, S >>>: dim3 Dg determina dimensão e tamanho do grid: Dg.x * Dg.y * Dg.z = numblocks dim3 Db determina dimensão e tamanho de cada block: Db.x * Db.y * Db.z = threadsperblock size_t Ns = 0: Bytes extras na memória compartilhada cudastream_t S = 0: CUDA stream Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#programming-model [Acessado em 29/07/16] 46/96 CUDA C: Hierarquia de Memória Threads acessam múltiplos espaços de memória durante a execução de um kernel: Local /96
58 CUDA C: Hierarquia de Memória Threads acessam múltiplos espaços de memória durante a execução de um kernel: Local Compartilhada com o block 47/96 CUDA C: Hierarquia de Memória Threads acessam múltiplos espaços de memória durante a execução de um kernel: Local Compartilhada com o block Global 47/96 311
59 CUDA C: Hierarquia de Memória Threads acessam múltiplos espaços de memória durante a execução de um kernel: Local Compartilhada com o block Global: persistente entre kernels da mesma aplicação 47/96 CUDA C: Hierarquia de Memória Threads acessam múltiplos espaços de memória durante a execução de um kernel: Local Compartilhada com o block Global: persistente entre kernels da mesma aplicação Read-only Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#programming-model [Acessado em 29/07/16] /96
![html#programming-model [Acessado em 29/07/16] 48/96 CUDA C:](/docs-images/96/127676624/images/60-1.jpg "Programação Heterogênea Tarefas do host: Alocar memória e")
60 CUDA C: Hierarquia de Memória Fonte: docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#programming-model [Acessado em 29/07/16] 48/96 CUDA C: Programação Heterogênea Tarefas do host: Alocar memória e recursos do device Mover dados (gargalo!) 49/96 313
61 CUDA C: Programação Heterogênea Tarefas do host: Alocar memória e recursos do device Mover dados (gargalo!) Lançar kernel 49/96 CUDA C: Programação Heterogênea Tarefas do host: Alocar memória e recursos do device Mover dados (gargalo!) Lançar kernel Mover resultados (gargalo!) Liberar memória do device /96
62 CUDA C: Programação Heterogênea Tarefas do host: Alocar memória e recursos do device Mover dados (gargalo!) Lançar kernel Mover resultados (gargalo!) Liberar memória do device Tarefas do device: Executar kernel 49/96 CUDA C: Programação Heterogênea 50/96 315
63 Exemplo: Adição de Vetores global void vectoradd(const float *A, const float *B, float *C, int numelements) { int i = blockdim.x * blockidx.x + threadidx.x; } if (i < numelements) { C[i] = A[i] + B[i]; } Fonte: github.com/phrb/intro-cuda [Acessado em 29/07/16] 51/96 Exemplo: Adição de Vetores #include <cuda_runtime.h> /96
64 Exemplo: Adição de Vetores #include <cuda_runtime.h> float *h_a = (float *) malloc(size); if (h_a == NULL) {... }; float *d_a = NULL; err = cudamalloc((void **) &d_a, size); err = cudamemcpy(d_a, h_a, size, cudamemcpyhosttodevice); if (err!= cudasuccess) {... }; 52/96 Exemplo: Adição de Vetores #include <cuda_runtime.h> float *h_a = (float *) malloc(size); if (h_a == NULL) {... }; float *d_a = NULL; err = cudamalloc((void **) &d_a, size); err = cudamemcpy(d_a, h_a, size, cudamemcpyhosttodevice); if (err!= cudasuccess) {... }; int threadsperblock = 256; int blockspergrid = (numelements + threadsperblock - 1) / threadsperblock; 52/96 317
65 Exemplo: Adição de Vetores #include <cuda_runtime.h> float *h_a = (float *) malloc(size); if (h_a == NULL) {... }; float *d_a = NULL; err = cudamalloc((void **) &d_a, size); err = cudamemcpy(d_a, h_a, size, cudamemcpyhosttodevice); if (err!= cudasuccess) {... }; int threadsperblock = 256; int blockspergrid = (numelements + threadsperblock - 1) / threadsperblock; vectoradd<<<blockspergrid, threadsperblock>>>(d_a, d_b, d_c, numelements); err = cudagetlasterror() err = cudadevicesynchronize() if (err!= cudasuccess) {... }; 52/96 Exemplo: Adição de Vetores #include <cuda_runtime.h> float *h_a = (float *) malloc(size); if (h_a == NULL) {... }; float *d_a = NULL; err = cudamalloc((void **) &d_a, size); err = cudamemcpy(d_a, h_a, size, cudamemcpyhosttodevice); if (err!= cudasuccess) {... }; int threadsperblock = 256; int blockspergrid = (numelements + threadsperblock - 1) / threadsperblock; vectoradd<<<blockspergrid, threadsperblock>>>(d_a, d_b, d_c, numelements); err = cudagetlasterror() err = cudadevicesynchronize() if (err!= cudasuccess) {... }; err = cudamemcpy(h_c, d_c, size, cudamemcpydevicetohost); err = cudafree(d_a); if (err!= cudasuccess) {... }; 318 Fonte: github.com/phrb/intro-cuda [Acessado em 29/07/16] 52/96
66 Exemplo: Dica Prática Sempre procure por erros! float *d_a = NULL; err = cudamalloc((void **) &d_a, size); err = cudagetlasterror() err = cudadevicesynchronize() 53/96 Exemplo: Dica Prática Sempre procure por erros! float *d_a = NULL; err = cudamalloc((void **) &d_a, size); err = cudagetlasterror() err = cudadevicesynchronize() if (err!= cudasuccess) { fprintf(stderr, "Failed to allocate device vector A (error code %s)!\n", cudageterrorstring(err)); exit(exit_failure); } Fonte: github.com/phrb/intro-cuda [Acessado em 29/07/16] 53/96 319
67 Mão na massa! Vamos executar alguns exemplos em CUDA C, disponíveis em github.com/phrb/intro-cuda: src/cuda-samples/0_simple/vectoradd 54/96 Mão na massa! Vamos executar alguns exemplos em CUDA C, disponíveis em github.com/phrb/intro-cuda: src/cuda-samples/0_simple/vectoradd src/cuda-samples/5_simulations/fluidsgl src/cuda-samples/5_simulations/oceanfft src/cuda-samples/5_simulations/smokeparticles /96
68 Mão na massa! Vamos executar alguns exemplos em CUDA C, disponíveis em github.com/phrb/intro-cuda: src/cuda-samples/0_simple/vectoradd src/cuda-samples/5_simulations/fluidsgl src/cuda-samples/5_simulations/oceanfft src/cuda-samples/5_simulations/smokeparticles src/mandelbrot_numba 54/96 Recursos O pdf com as aulas e todo o código fonte estão no GitHub: github.com/phrb/intro-cuda Outros recursos: CUDA C: docs.nvidia.com/cuda/cuda-c-programming-guide CUDA Toolkit: developer.nvidia.com/cuda-toolkit Guia de Boas Práticas: docs.nvidia.com/cuda/cuda-c-best-practices-guide GPU Teaching Kit: syllabus.gputeachingkit.com ipython: ipython.org/notebook.html Anaconda: continuum.io/downloads 55/96 321
69 Introdução à Programação de GPUs com a Plataforma CUDA Pedro Bruel phrb@ime.usp.br 04 de Agosto de 2016 Instituto de Matemática e Estatística Universidade de São Paulo Sobre Pedro Bruel Alfredo Goldman phrb@ime.usp.br gold@ime.usp.br github.com/phrb /96
70 Pesquisa Meus interesses de pesquisa: Autotuning Stochastic Local Search Model Based Search GPUs, FPGAs, cloud Julia Language Colaboração! 57/96 Parte I 1. Introdução 2. Computação Heterogênea 3. GPUs 4. Plataforma CUDA 5. CUDA C 58/96 323
71 Parte II 6. Retomada 7. Compilação de Aplicações CUDA 8. Boas Práticas em Otimização 9. Análise de Aplicações CUDA 10. Otimização de Aplicações CUDA 11. Conclusão 59/96 Slides O pdf com as aulas e todo o código fonte estão no GitHub: github.com/phrb/intro-cuda /96
72 Aceleração por Hardware Uso de dispositivos (devices) para acelerar computações aplicadas a grandes conjuntos de dados: Associação a um processador hospedeiro (host) Controle e memória próprios Diferem em especialização e configurabilidade GPUs, DSPs, FPGAs, ASICs 61/96 Aceleração por Hardware 62/96 325
73 Aceleração por Hardware Porcentagem de sistemas com aceleradores na Top500: Imagem: top500.org/lists/2016/06/download/top500_201606_poster.pdf [Acessado em 29/07/16] 63/96 Computação Heterogênea Dados recursos computacionais heterogêneos, conjuntos de dados e computações, como distribuir computações e dados de forma a otimizar o uso dos recursos? Imagem: olcf.ornl.gov/titan [Acessado em 29/07/16] /96
74 Graphics Processing Units Originalmente especializadas em processamento gráfico, trabalham com muitos dados e têm alta vazão: Caches pequenos (kilobytes) Sem branch prediction Milhares de ALUs de maior latência Pipelines de execução threads concorrentes na arquitetura Pascal 65/96 Plataforma CUDA Plataforma para computação paralela Application Programming Interface (API) CUDA Toolkit 66/96 327
75 Linguagens de Programação Melhor desempenho, mas mais difíceis de usar Flexíveis 67/96 CUDA C Modelo de Programação: Kernels Hierarquia de Threads Hierarquia de Memória Programação Heterogênea /96
76 Exemplo: Adição de Vetores #include <cuda_runtime.h> float *h_a = (float *) malloc(size); if (h_a == NULL) {... }; float *d_a = NULL; err = cudamalloc((void **) &d_a, size); err = cudamemcpy(d_a, h_a, size, cudamemcpyhosttodevice); if (err!= cudasuccess) {... }; int threadsperblock = 256; int blockspergrid = (numelements + threadsperblock - 1) / threadsperblock; vectoradd<<<blockspergrid, threadsperblock>>>(d_a, d_b, d_c, numelements); err = cudagetlasterror() err = cudadevicesynchronize() if (err!= cudasuccess) {... }; err = cudamemcpy(h_c, d_c, size, cudamemcpydevicetohost); err = cudafree(d_a); if (err!= cudasuccess) {... }; Fonte: github.com/phrb/intro-cuda [Acessado em 29/07/16] 69/96 Mão na massa! Vamos executar alguns exemplos em CUDA C, disponíveis em github.com/phrb/intro-cuda: src/cuda-samples/0_simple/vectoradd src/cuda-samples/5_simulations/fluidsgl src/cuda-samples/5_simulations/oceanfft src/cuda-samples/5_simulations/smokeparticles src/mandelbrot_numba 70/96 329
77 Dica Prática Sempre procure por erros! float *d_a = NULL; err = cudamalloc((void **) &d_a, size); err = cudagetlasterror() err = cudadevicesynchronize() if (err!= cudasuccess) { fprintf(stderr, "Failed to allocate device vector A (error code %s)!\n", cudageterrorstring(err)); exit(exit_failure); } Fonte: github.com/phrb/intro-cuda [Acessado em 29/07/16] 71/96 Nvidia CUDA Compiler (nvcc) /96
78 Nvidia CUDA Compiler (nvcc) Sistema proprietário 72/96 Nvidia CUDA Compiler (nvcc) Sistema proprietário Usa o compilador C++ do host 72/96 331
79 Nvidia CUDA Compiler (nvcc) Sistema proprietário Usa o compilador C++ do host Compila código CUDA para Parallel Thread Execution (PTX ISA) 72/96 Nvidia CUDA Compiler (nvcc) Sistema proprietário Usa o compilador C++ do host Compila código CUDA para Parallel Thread Execution (PTX ISA) Código do host + Código do device fatbinary /96
80 nvcc: Modelo de programação CUDA SIMD, SIMT Single Program Multiple Data (SPMD) 73/96 nvcc: Modelo de programação CUDA SIMD, SIMT Single Program Multiple Data (SPMD) Device: threads paralelas e independentes Host: não interfere 73/96 333
81 nvcc: Trajetória de Compilação Imagem: docs.nvidia.com/cuda/cuda-compiler-driver-nvcc [Acessado em 29/07/16] 74/96 Measure, Parallelize, Optimize, Deploy Fonte: docs.nvidia.com/cuda/cuda-c-best-practices-guide [Acessado em 29/07/16] /96
82 Measure 76/96 Measure Dado um programa sequencial: Quais funções fazem o trabalho pesado (gargalos)? 76/96 335
83 Measure Dado um programa sequencial: Quais funções fazem o trabalho pesado (gargalos)? É possível paralelizá-las? 76/96 Measure Dado um programa sequencial: Quais funções fazem o trabalho pesado (gargalos)? É possível paralelizá-las? Como o programa se comporta quando: O trabalho é divido entre mais processos? (strong scaling) /96
84 Measure Dado um programa sequencial: Quais funções fazem o trabalho pesado (gargalos)? É possível paralelizá-las? Como o programa se comporta quando: O trabalho é divido entre mais processos? (strong scaling) Há mais trabalho a ser feito? (weak scaling) 76/96 Parallelize 77/96 337
85 Parallelize 77/96 Parallelize /96
86 Optimize 79/96 Optimize Otimização: Processo cíclico 79/96 339
87 Optimize Otimização: Processo cíclico e incremental 79/96 Optimize Otimização: Processo cíclico e incremental Aplicável a diferentes níveis /96
88 Optimize Otimização: Processo cíclico e incremental Aplicável a diferentes níveis Ferramentas são muito importantes 79/96 Optimize Otimização: Processo cíclico e incremental Aplicável a diferentes níveis Ferramentas são muito importantes Eficiência com algoritmos, 79/96 341
89 Optimize Otimização: Processo cíclico e incremental Aplicável a diferentes níveis Ferramentas são muito importantes Eficiência com algoritmos, desempenho com estruturas de dados 79/96 Deploy /96
90 Deploy Preparar a aplicação para a medição 80/96 Deploy Preparar a aplicação para a medição Otimizações e mudanças incrementais 80/96 343
91 Deploy Preparar a aplicação para a medição Otimizações e mudanças incrementais O quanto ainda é possível otimizar? 80/96 Análise de Aplicações CUDA Computação paralela e distribuída é cada vez mais importante, mas código legado: /96
92 Análise de Aplicações CUDA Computação paralela e distribuída é cada vez mais importante, mas código legado: Sequencial 81/96 Análise de Aplicações CUDA Computação paralela e distribuída é cada vez mais importante, mas código legado: Sequencial Paralelismo de baixa granularidade 81/96 345
93 Análise de Aplicações CUDA Computação paralela e distribuída é cada vez mais importante, mas código legado: Sequencial Paralelismo de baixa granularidade Análise ou profiling: 81/96 Análise de Aplicações CUDA Computação paralela e distribuída é cada vez mais importante, mas código legado: Sequencial Paralelismo de baixa granularidade Análise ou profiling: Quais são os hotspots (gargalos, bottlenecks)? /96
94 Análise de Aplicações CUDA Computação paralela e distribuída é cada vez mais importante, mas código legado: Sequencial Paralelismo de baixa granularidade Análise ou profiling: Quais são os hotspots (gargalos, bottlenecks)? Podem ser paralelizados? 81/96 Análise de Aplicações CUDA Computação paralela e distribuída é cada vez mais importante, mas código legado: Sequencial Paralelismo de baixa granularidade Análise ou profiling: Quais são os hotspots (gargalos, bottlenecks)? Podem ser paralelizados? Quais workloads são relevantes? 81/96 347
95 Host e Device Diferenças entre host e device: Modelo de threading 82/96 Host e Device Diferenças entre host e device: Modelo de threading Memória /96
96 Host e Device Diferenças entre host e device: Modelo de threading Memória O que executar em GPUs? 82/96 Host e Device Diferenças entre host e device: Modelo de threading Memória O que executar em GPUs? Grande quantidade de dados 82/96 349
97 Host e Device Diferenças entre host e device: Modelo de threading Memória O que executar em GPUs? Grande quantidade de dados Operações independentes 82/96 Host e Device Diferenças entre host e device: Modelo de threading Memória O que executar em GPUs? Grande quantidade de dados Operações independentes Qual o impacto das transferências de dados? /96
98 Profiling Monitoramento de código em tempo de execução, obtendo informação para otimizar o código 83/96 Profiling Monitoramento de código em tempo de execução, obtendo informação para otimizar o código Instrumentação do Código: Captura de eventos 83/96 351
99 Profiling Monitoramento de código em tempo de execução, obtendo informação para otimizar o código Instrumentação do Código: Captura de eventos Geração de dados 83/96 Profiling Monitoramento de código em tempo de execução, obtendo informação para otimizar o código Instrumentação do Código: Captura de eventos Geração de dados Ferramentas /96
100 Profiling: Flamegraphs Facilitam a análise de: Bottlenecks, hotspots, ou gargalos de desempenho 84/96 Profiling: Flamegraphs Facilitam a análise de: Bottlenecks, hotspots, ou gargalos de desempenho Frequência e duração de chamadas de função: On-CPU 84/96 353
101 Profiling: Flamegraphs Facilitam a análise de: Bottlenecks, hotspots, ou gargalos de desempenho Frequência e duração de chamadas de função: On-CPU Tempo ocioso (espera): Off-CPU 84/96 Profiling: nvprof Profiler de linha de comando, permite a coleta de eventos relacionados a CUDA: /96
102 Profiling: nvprof Profiler de linha de comando, permite a coleta de eventos relacionados a CUDA: CPU e GPU 85/96 Profiling: nvprof Profiler de linha de comando, permite a coleta de eventos relacionados a CUDA: CPU e GPU Execução do kernel 85/96 355
103 Profiling: nvprof Profiler de linha de comando, permite a coleta de eventos relacionados a CUDA: CPU e GPU Execução do kernel Uso e transferência de memória 85/96 Profiling: nvprof Profiler de linha de comando, permite a coleta de eventos relacionados a CUDA: CPU e GPU Execução do kernel Uso e transferência de memória CUDA API /96
104 Profiling: nvprof Profiler de linha de comando, permite a coleta de eventos relacionados a CUDA: CPU e GPU Execução do kernel Uso e transferência de memória CUDA API Gera dados para posterior visualização Fonte: docs.nvidia.com/cuda/profiler-users-guide [Acessado em 29/07/16] 85/96 Profiling: nvvp Fonte: docs.nvidia.com/cuda/profiler-users-guide [Acessado em 29/07/16] 86/96 357
105 Profiling: Ferramentas Fonte: developer.nvidia.com/performance-analysis-tools [Acessado em 29/07/16] 87/96 Debugging Monitoramento de código em tempo de execução, obtendo informação para consertar erros (bugs) /96
106 Debugging Monitoramento de código em tempo de execução, obtendo informação para consertar erros (bugs) Instrumentação do Código: Execução passo-a-passo 88/96 Debugging Monitoramento de código em tempo de execução, obtendo informação para consertar erros (bugs) Instrumentação do Código: Execução passo-a-passo Breakpoints 88/96 359
107 Debugging Monitoramento de código em tempo de execução, obtendo informação para consertar erros (bugs) Instrumentação do Código: Execução passo-a-passo Breakpoints Diferentes threads 88/96 Debugging Monitoramento de código em tempo de execução, obtendo informação para consertar erros (bugs) Instrumentação do Código: Execução passo-a-passo Breakpoints Diferentes threads CUDA gdb e memcheck /96
108 Debugging Monitoramento de código em tempo de execução, obtendo informação para consertar erros (bugs) Instrumentação do Código: Execução passo-a-passo Breakpoints Diferentes threads CUDA gdb e memcheck Facilitam a solução de: Vazamentos de memória 88/96 Debugging Monitoramento de código em tempo de execução, obtendo informação para consertar erros (bugs) Instrumentação do Código: Execução passo-a-passo Breakpoints Diferentes threads CUDA gdb e memcheck Facilitam a solução de: Vazamentos de memória Problemas com fluxo de controle 88/96 361
109 Debugging Monitoramento de código em tempo de execução, obtendo informação para consertar erros (bugs) Instrumentação do Código: Execução passo-a-passo Breakpoints Diferentes threads CUDA gdb e memcheck Facilitam a solução de: Vazamentos de memória Problemas com fluxo de controle... 88/96 Otimização de Aplicações CUDA Diferentes níveis de abstração e prioridade: /96
110 Otimização de Aplicações CUDA Diferentes níveis de abstração e prioridade: Memória 89/96 Otimização de Aplicações CUDA Diferentes níveis de abstração e prioridade: Memória Fluxo de controle 89/96 363
111 Otimização de Aplicações CUDA Diferentes níveis de abstração e prioridade: Memória Fluxo de controle Configuração de execução 89/96 Otimização de Aplicações CUDA Diferentes níveis de abstração e prioridade: Memória Fluxo de controle Configuração de execução Instruções /96
112 Otimizações de Memória São as mais importantes para atingir alto desempenho 90/96 Otimizações de Memória São as mais importantes para atingir alto desempenho Objetivos: Maximizar largura de banda (bandwidth) 90/96 365
113 Otimizações de Memória São as mais importantes para atingir alto desempenho Objetivos: Maximizar largura de banda (bandwidth) Minimizar transferências entre device e host 90/96 Otimizações de Memória São as mais importantes para atingir alto desempenho Objetivos: Maximizar largura de banda (bandwidth) Minimizar transferências entre device e host Boas práticas: /96
114 Otimizações de Memória São as mais importantes para atingir alto desempenho Objetivos: Maximizar largura de banda (bandwidth) Minimizar transferências entre device e host Boas práticas: No device: 90/96 Otimizações de Memória São as mais importantes para atingir alto desempenho Objetivos: Maximizar largura de banda (bandwidth) Minimizar transferências entre device e host Boas práticas: No device: Priorizar execução de computações 90/96 367
115 Otimizações de Memória São as mais importantes para atingir alto desempenho Objetivos: Maximizar largura de banda (bandwidth) Minimizar transferências entre device e host Boas práticas: No device: Priorizar execução de computações Criar e destruir estruturas de dados intermediárias 90/96 Otimizações de Memória São as mais importantes para atingir alto desempenho Objetivos: Maximizar largura de banda (bandwidth) Minimizar transferências entre device e host Boas práticas: No device: Priorizar execução de computações Criar e destruir estruturas de dados intermediárias Accesos agrupados (coalescentes) à memória /96
116 Otimizações de Memória São as mais importantes para atingir alto desempenho Objetivos: Maximizar largura de banda (bandwidth) Minimizar transferências entre device e host Boas práticas: No device: Priorizar execução de computações Criar e destruir estruturas de dados intermediárias Accesos agrupados (coalescentes) à memória No host: 90/96 Otimizações de Memória São as mais importantes para atingir alto desempenho Objetivos: Maximizar largura de banda (bandwidth) Minimizar transferências entre device e host Boas práticas: No device: Priorizar execução de computações Criar e destruir estruturas de dados intermediárias Accesos agrupados (coalescentes) à memória No host: Delegar execução de computações 90/96 369
117 Otimizações de Memória São as mais importantes para atingir alto desempenho Objetivos: Maximizar largura de banda (bandwidth) Minimizar transferências entre device e host Boas práticas: No device: Priorizar execução de computações Criar e destruir estruturas de dados intermediárias Accesos agrupados (coalescentes) à memória No host: Delegar execução de computações Minimizar o número de transferências de dados 90/96 Otimizações de Fluxo de Controle Alta prioridade para atingir alto desempenho /96
118 Otimizações de Fluxo de Controle Alta prioridade para atingir alto desempenho Objetivos: Evitar divergência de fluxo de controle dentro de warps 91/96 Otimizações de Fluxo de Controle Alta prioridade para atingir alto desempenho Objetivos: Evitar divergência de fluxo de controle dentro de warps if, switch, do, for, while 91/96 371
119 Otimizações de Fluxo de Controle Alta prioridade para atingir alto desempenho Objetivos: Evitar divergência de fluxo de controle dentro de warps if, switch, do, for, while Fazer bom uso do threadidx 91/96 Otimizações de Configuração de Execução Como aproveitar totalmente o potencial do device? /96
120 Otimizações de Configuração de Execução Como aproveitar totalmente o potencial do device? Maximizar a ocupância 92/96 Otimizações de Configuração de Execução Como aproveitar totalmente o potencial do device? Maximizar a ocupância Escolher bem os blocks e threads 92/96 373
121 Otimizações de Configuração de Execução Como aproveitar totalmente o potencial do device? Maximizar a ocupância Escolher bem os blocks e threads Execução independente de kernels 92/96 Otimizações de Instruções Baixa prioridade para atingir alto desempenho: /96
122 Otimizações de Instruções Baixa prioridade para atingir alto desempenho: Baixo nível 93/96 Otimizações de Instruções Baixa prioridade para atingir alto desempenho: Baixo nível Aplicadas a hotspots 93/96 375
123 Otimizações de Instruções Baixa prioridade para atingir alto desempenho: Baixo nível Aplicadas a hotspots Feitas por experts Após exaurir outras possibilidades de otimização 93/96 Otimizações de Instruções Baixa prioridade para atingir alto desempenho: Baixo nível Aplicadas a hotspots Feitas por experts Após exaurir outras possibilidades de otimização Escovar bits /96
124 Conclusão Atingir alto desempenho através do uso de aceleradores 94/96 Conclusão Atingir alto desempenho através do uso de aceleradores (GPUs) 94/96 377
125 Conclusão 95/96 Conclusão Custo de implementação, análise e otimização /96
126 Conclusão Custo de implementação, análise e otimização Ferramentas da plataforma CUDA 95/96 Recursos O pdf com as aulas e todo o código fonte estão no GitHub: github.com/phrb/intro-cuda Outros recursos: CUDA C: docs.nvidia.com/cuda/cuda-c-programming-guide CUDA Toolkit: developer.nvidia.com/cuda-toolkit Guia de Boas Práticas: docs.nvidia.com/cuda/cuda-c-best-practices-guide GPU Teaching Kit: syllabus.gputeachingkit.com ipython: ipython.org/notebook.html Anaconda: continuum.io/downloads 96/96 379
127 Introdução à Programação de GPUs com a Plataforma CUDA Pedro Bruel phrb@ime.usp.br 04 de Agosto de 2016 Instituto de Matemática e Estatística Universidade de São Paulo 380
Hierarquia de memória:
INE5645 Programação Paralela e Distribuída Aluno Modelo de Execução CUDA - A execução do programa controlado pela CPU pode lançar kernels, que são trechos de código executados em paralelo por múltiplas
Técnicas de Processamento Paralelo na Geração do Fractal de Mandelbrot
Técnicas de Processamento Paralelo na Geração do Fractal de Mandelbrot Bruno Pereira dos Santos Dany Sanchez Dominguez Esbel Tomás Evalero Orellana Universidade Estadual de Santa Cruz Roteiro Breve introdução
Processamento Paralelo Utilizando GPU
Processamento Paralelo Utilizando GPU Universidade Estadual de Santa Cruz Bruno Pereira dos Santos Dany Sanchez Dominguez Esbel Evalero Orellana Cronograma Breve introdução sobre processamento paralelo
Introdução a CUDA. Esteban Walter Gonzalez Clua. Medialab - Instituto de Computação Universidade Federal Fluminense NVIDIA CUDA Research Center START
Introdução a CUDA START Esteban Walter Gonzalez Clua Medialab - Instituto de Computação Universidade Federal Fluminense NVIDIA CUDA Research Center 1536 cores Dynamic Parallelism Hyper - Q Pipeline
Computação Paralela (CUDA)
Universidade Federal do Amazonas Faculdade de Tecnologia Departamento de Eletrônica e Computação Computação Paralela (CUDA) Hussama Ibrahim hussamaibrahim@ufam.edu.br Notas de Aula Baseado nas Notas de
Fabrício Gomes Vilasbôas
Fabrício Gomes Vilasbôas Apresentação Placas Arquitetura Toolkit e Ferramentas de Debug Pensando em CUDA Programação CUDA Python Programação PyCUDA 1) Grids( padrão Globus) 2) Clusters ( padrão MPI) 3)
5 Unidades de Processamento Gráfico GPUs
5 Unidades de Processamento Gráfico GPUs As GPUs são processadores maciçamente paralelos, com múltiplos elementos de processamento, tipicamente utilizadas como aceleradores de computação. Elas fornecem
Eng. Thársis T. P. Souza
Introdução à Computação de Alto Desempenho Utilizando GPU Seminário de Programação em GPGPU Eng. Thársis T. P. Souza t.souza@usp.br Instituto de Matemática e Estatística - Universidade de São Paulo Introdução
Comparação de eficiência entre OpenCL e CUDA
Aluno: Thiago de Gouveia Nunes Orientador: Prof. Marcel P. Jackowski GPGPU O que é GPGPU? É programação de propósito geral em GPUs. =D GPGPU Existem 2 linguagens populares no mercado para GPGPU, o CUDA
Tópicos em Física Computacional: Introdução a Linguagem CUDA
Tópicos em Física Computacional: Introdução a Linguagem CUDA Aula 06: Introdução a Linguagem CUDA Otimização do Código Carine P. Beatrici IF UFRGS 1 Da Aula Passada... Programa que soma matrizes linearizadas;
INE5645-Programação Paralela e Distribuída Aula 17/09/2018 Nome
INE5645-Programação Paralela e Distribuída Aula 17/09/2018 Nome Para paralelizar códigos de programas, tudo que necessitamos é de uma construção sintática denominada kernel. Seja o kernel: kernel void
Patrício Domingues Dep. Eng. Informática ESTG Instituto Politécnico de Leiria Leiria, Maio Programação Genérica de GPUs
Patrício Domingues Dep. Eng. Informática ESTG Instituto Politécnico de Leiria Leiria, Maio 2012 http://bit.ly/patricio Programação Genérica de GPUs 1 CUDA Teaching Center A ESTG/IPLeiria é um CUDA Teaching
Aplicações em CUDA. Medialab Instituto de Computação Universidade Federal Fluminense NVIDIA CUDA Research Center
Aplicações em CUDA Medialab Instituto de Computação Universidade Federal Fluminense NVIDIA CUDA Research Center Roteiro l Introdução l Eventos l Aspectos históricos l Operações atômicas l Introdução sobre
Arquiteturas de Computadores
Arquiteturas de Computadores Computadores vetoriais Fontes dos slides: Livro Patterson e Hennessy, Quantitative Approach e site do curso EE 7722, GPU Microarchitecture do Prof. David Koppelman Graphical
MC4: Introdução à Programação Paralela em GPU para a Implementação de Métodos Numéricos
MC4: Introdução à Programação Paralela em GPU para a Implementação de Métodos Numéricos Aula 1: Introdução à programação paralela e ao ambiente de programação CUDA Profs.: Daniel Alfaro e Silvana Rossetto
3 Computação de Propósito Geral em Unidades de Processamento Gráfico
3 Computação de Propósito Geral em Unidades de Processamento Gráfico As Unidades de Processamento Gráfico (GPUs) foram originalmente desenvolvidas para o processamento de gráficos e eram difíceis de programar.
Introdução à Programação Paralela através de Padrões. Denise Stringhini Calebe Bianchini Luciano Silva
Introdução à Programação Paralela através de Padrões Denise Stringhini Calebe Bianchini Luciano Silva Sumário Introdução: conceitos de paralelismo Conceitos básicos sobre padrões de programação paralela
Memory-level and Thread-level Parallelism Aware GPU Architecture Performance Analytical Model
Memory-level and Thread-level Parallelism Aware GPU Architecture Performance Analytical Model Sunpyo Hong Hyesoon Kim ECE School of Computer Science Georgia Institute of Technology April 6, 2011 Visão
Ambientes e Ferramentas de Programação para GPU. Denise Stringhini (Mackenzie) Rogério Gonçalves (UFTPR/IME- USP) Alfredo Goldman (IME- USP)
Ambientes e Ferramentas de Programação para GPU Denise Stringhini (Mackenzie) Rogério Gonçalves (UFTPR/IME- USP) Alfredo Goldman (IME- USP) Conteúdo Conceitos de paralelismo Arquitetura de GPU CUDA OpenCL
Introdução ao CUDA. Material elaborado por Davi Conte.
Introdução ao CUDA Material elaborado por Davi Conte. O objetivo deste material é que o aluno possa iniciar seus conhecimentos em programação paralela, entendendo a diferença da execução de forma sequencial
Uma introdução para computação paralela de modelos massivos. Adriano Brito Pereira inf.puc-rio.br
Uma introdução para computação paralela de modelos massivos Adriano Brito Pereira 1021752 apereira @ inf.puc-rio.br Departamento de Informática Novembro / 2010 1 Resultados obtivos com Manta Framework
INE 5645 PROGRAMAÇÃO PARALELA E DISTRIBUIDA PROVA 2 13/11/2017 ALUNO
INE 5645 PROGRAMAÇÃO PARALELA E DISTRIBUIDA PROVA 2 13/11/2017 ALUNO 1. Sockets - Indicar (Verdade/Falso): (2.0) (a) (Verdade/Falso) A comunicação entre processos consiste em transmitir uma mensagem entre
What is? Eduardo Viola Nicola Disciplina de IPPD
What is? Eduardo Viola Nicola evnicola@inf.ufpel.edu.br Disciplina de IPPD Sumário 1)Introdução 2)Princípio Geral de Funcionamento 3)Exemplos de Aplicações 4)Modelo de Programação 5)Linguagens Suportadas
Waldemar Celes. 25 de Agosto de 2014
Introdução a CUDA INF2062 Tópicos em Simulação e Visualização Waldemar Celes celes@inf.puc-rio.br Tecgraf, DI/PUC-Rio 25 de Agosto de 2014 W. Celes Introdução a CUDA 1 GPGPU Programação de propósito geral
Processamento de áudio em tempo real utilizando dispositivos não convencionais:
Processamento de áudio em tempo real utilizando dispositivos não convencionais: Processamento paralelo com Pure Data e GPU. André Jucovsky Bianchi ajb@ime.usp.br Departamento de Ciência da Computação Instituto
de petróleo. Um novo domínio chamado computação de propósito geral em processadores gráficos (GPGPU) surgiu quando os pipelines de gráficos de
12 1 1.1. Motivações Dentre os tipos de técnicas de Inteligência Artificial existentes, as técnicas de Programação Genética (PG) continuam mudando rapidamente conforme os pesquisadores e profissionais
Introdução à Computação: Sistemas de Computação
Introdução à Computação: Sistemas de Computação Beatriz F. M. Souza (bfmartins@inf.ufes.br) http://inf.ufes.br/~bfmartins/ Computer Science Department Federal University of Espírito Santo (Ufes), Vitória,
1.1 Descrição do problema A programação genética (PG) é uma meta-heurística utilizada para gerar programas de computadores, de modo que o computador
1 Introdução 1.1 Descrição do problema A programação genética (PG) é uma meta-heurística utilizada para gerar programas de computadores, de modo que o computador possa resolver problemas de forma automática
Introdução OpenMP. Nielsen Castelo Damasceno
Introdução OpenMP Nielsen Castelo Damasceno Computação de auto desempenho Processamento Paralelo Memória Distribuída e Compartilhada Modelo de programação OpenMP Métricas de Desempenho Computação de auto
Programação em Paralelo. N. Cardoso & P. Bicudo. Física Computacional - MEFT 2010/2011
Programação em Paralelo CUDA N. Cardoso & P. Bicudo Física Computacional - MEFT 2010/2011 N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 1 / 11 CUDA Parte 2 N. Cardoso & P. Bicudo Programação em
Celso L. Mendes LAC /INPE
Arquiteturas para Processamento de Alto Desempenho (PAD) Aula 9 Celso L. Mendes LAC /INPE Email: celso.mendes@inpe.br Aula 9 (3/5): E. Aceleradores Estrutura Planejada i. Estruturas mais Populares ii.
Paralelização do Detector de Bordas Canny para a Biblioteca ITK usando CUDA
Paralelização do Detector de Bordas Canny para a Biblioteca ITK usando CUDA Luis Henrique Alves Lourenço Grupo de Visão, Robótica e Imagens Universidade Federal do Paraná 7 de abril de 2011 Sumário 1 Introdução
UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ DEPARTAMENTO ACADÊMICO DE COMPUTAÇÃO CURSO DE BACHARELADO EM CIÊNCIA DA COMPUTAÇÃO
UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ DEPARTAMENTO ACADÊMICO DE COMPUTAÇÃO CURSO DE BACHARELADO EM CIÊNCIA DA COMPUTAÇÃO JOÃO MARTINS DE QUEIROZ FILHO AJUSTE NAS DIMENSÕES DE KERNELS PARA DISPOSITIVOS
Aplicando Processamento Paralelo com GPU ao Problema do Fractal de Mandelbrot
Aplicando Processamento Paralelo com GPU ao Problema do Fractal de Mandelbrot Bruno Pereira dos Santos¹, Dany Sanchez Dominguez¹, Esbel Valero Orellana¹. 1 Departamento de Ciências Exatas e Tecnológicas
Programação em Paralelo. N. Cardoso & P. Bicudo. Física Computacional - MEFT 2010/2011
Programação em Paralelo CUDA N. Cardoso & P. Bicudo Física Computacional - MEFT 2010/2011 N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 1 / 12 CUDA Parte 3 N. Cardoso & P. Bicudo Programação em
Paradigmas de Processamento Paralelo na Resolução do Fractal de Mandelbrot
Paradigmas de Processamento Paralelo na Resolução do Fractal de Mandelbrot Bruno Pereira dos Santos Dany Sanchez Dominguez Universidade Estadual de Santa Cruz Cronograma Introdução Serial vs Processamento
OpenMP: Variáveis de Ambiente
Treinamento OpenMP C/C++ 1 TREINAMENTO OpenMP C/C++ Módulo 1 Computação de Alto Desempenho Módulo 2 OpenMP: Construtores Paralelos Módulo 3 OpenMP: Diretivas de sincronização Módulo 4 OpenMP: Funções de
Thársis T. P. Souza
Computação em Finanças em Hardware Gráfico SEMAC 2012 - UNESP Thársis T. P. Souza t.souza@usp.br Instituto de Matemática e Estatística - Universidade de São Paulo GPU Computing CUDA Aplicações em Finanças
Arquitetura de Computadores
Arquitetura de Computadores 2018.1 Relembrando... Paralelismo Relembrando... Paralelismo Paralelismo em Instrução Relembrando... Paralelismo Paralelismo em Instrução Paralelismo em Aritmética Relembrando...
Proposta de Melhoria de uma Implementação Paralela para GPUs Usando CUDA - Estudo de Caso em Modelo Atmosférico
Proposta de Melhoria de uma Implementação Paralela para GPUs Usando CUDA - Estudo de Caso em Modelo Atmosférico Fabiano Cassol de Vargas, Matheus Beniz Bieger, Claudio Schepke 1 Laboratório de Estudos
Sparse Matrix-Vector Multiplication on GPU: When Is Rows Reordering Worthwhile?
Sparse Matrix-Vector Multiplication on GPU: When Is Rows Reordering Worthwhile? Paula Prata João Muranho Instituto de Telecomunicações Departamento de Informática Universidade da Beira Interior Instituto
TEMA DE CAPA. Introdução à Programação em CUDA
TEMA DE CAPA Introdução à Programação em CUDA Introdução à Programação em CUDA Nos últimos anos, as placas gráficas (GPU Graphical Processing Unit) ganharam relevância no âmbito da computação paralela.
Processamento de Alto Desempenho utilizando Unidade de Processamento Gráfico - GPU
Processamento de Alto Desempenho utilizando Unidade de Processamento Gráfico - GPU Francisco Ribacionka e Ettore Enrico (STI ) USP/STI/InterNuvem internuvem@usp.br Março -2016 Processamento de Alto Desempenho
OpenMP. Slides baseados em tutorial de Tim Mattson da Intel
OpenMP Slides baseados em tutorial de Tim Mattson da Intel O que é OpenMP? Uma especificação para um conjunto de diretivas de compilação, rotinas de biblioteca e variáveis de sistema que podem ser utilizadas
Implementação de um escalonador de processos em GPU
Implementação de um escalonador de processos em GPU Guilherme Martins guilhermemartins@usp.br 6 de abril de 2017 Guilherme Martins (guilhermemartins@usp.br) Implementação de um escalonador de processos
Paralelismo de dados. (execução de simultaneidade) Tipo de arquitetura paralela SIMD. SIMD (Single Instruction Multiple Data)
Paralelismo de dados (execução de simultaneidade) Em métodos tradicionais de programação (processamento sequencial), uma grande quantidade de dados é processada em um único núcleo de uma CPU, enquanto
SSC510 Arquitetura de Computadores. 6ª aula
SSC510 Arquitetura de Computadores 6ª aula PARALELISMO EM NÍVEL DE PROCESSOS PROFA. SARITA MAZZINI BRUSCHI Tipos de Paralelismo Instrução (granulosidade fina) Paralelismo entre as instruções Arquiteturas
GPU Computing: Implementação do método do Gradiente Conjugado utilizando CUDA
UNIVERSIDADE DE CAXIAS DO SUL CENTRO DE COMPUTAÇÃO E TECNOLOGIA DA INFORMAÇÃO CURSO DE BACHARELADO EM CIÊNCIA DA COMPUTAÇÃO MAURÍCIO GRISA GPU Computing: Implementação do método do Gradiente Conjugado
Paralelismo de dados. (execução de simultaneidade) Tipo de arquitetura paralela SIMD. SIMD (Single Instruction Multiple Data)
Paralelismo de dados (execução de simultaneidade) Em métodos tradicionais de programação (processamento sequencial), uma grande quantidade de dados é processada em um único núcleo de uma CPU, enquanto
Programação Concorrente e Paralela
2010.2 Objetivos princípios e técnicas de programação paralela multiprocessadores memória compartilhada troca de mensagens arquiteturas alternativas multicomputadores troca de mensagens obs: Essa troca
Sistemas Distribuídos
Sistemas Distribuídos Classificação de Flynn Fonte: Professoras. Sarita UFRJ e Thais V. Batista - UFRN Arquiteturas Paralelas Computação Paralela Conceitos Permite a execução das tarefas em menor tempo,
Programação de Alto Desempenho - 2. Prof: Carla Osthoff
Programação de Alto Desempenho - 2 Prof: Carla Osthoff E-mail: osthoff@lncc.br 3- Modelos de programação paralela Shared Memory/Threads Posix Win32 treads OpenMP Message Passing MPI Data Parallel OpenCL/Cuda
Faculdade de Computação 3 a Prova de Arquitetura e Organização de Computadores 2 Parte I Prof. Cláudio C. Rodrigues
Faculdade de Computação 3 a Prova de Parte I Prof. Cláudio C. Rodrigues Nome: Matrícula: Valor: 15 Nome: Matrícula: Valor: 15 Nome: Matrícula: Valor: 15 Nome: Matrícula: Valor: 15 Problemas: P1. Qual o
PARALELIZAÇÃO DO ALGORITMO AES E ANÁLISE SOBRE GPGPU 1 PARALLELIZATION OF AES ALGORITHM AND GPU ANALYSIS
Disciplinarum Scientia. Série: Naturais e Tecnológicas, Santa Maria, v. 16, n. 1, p. 83-94, 2015. Recebido em: 11.04.2015. Aprovado em: 30.06.2015. ISSN 2176-462X PARALELIZAÇÃO DO ALGORITMO AES E ANÁLISE
Patricia Akemi Ikeda
Um estudo do uso eficiente de programas em placas gráficas Patricia Akemi Ikeda Dissertação apresentada ao Instituto de Matemática e Estatística da Universidade de São Paulo para obtenção do título de
Universidade Federal do Pampa Matheus da Silva Serpa. Análise de Desempenho de Aplicações Paralelas em Arquiteturas multi-core e many-core
Universidade Federal do Pampa Matheus da Silva Serpa Análise de Desempenho de Aplicações Paralelas em Arquiteturas multi-core e many-core Alegrete 2015 Matheus da Silva Serpa Análise de Desempenho de
INE 5645 PROGRAMAÇÃO PARALELA E DISTRIBUIDA PROVA 2 12/06/2017. ALUNO Prof. Bosco
INE 5645 PROGRAMAÇÃO PARALELA E DISTRIBUIDA PROVA 2 12/06/2017 ALUNO Prof. Bosco 1. Sockets - Indicar (Verdade/Falso): (a) (Verdade/Falso) Sockets são abstrações utilizadas nos protocolos de comunicação
COMPUTAÇÃO PARALELA COM ACELERADORES GPGPU 1. Emilio Hoffmann De Oliveira 2, Edson Luiz Padoin 3.
COMPUTAÇÃO PARALELA COM ACELERADORES GPGPU 1 Emilio Hoffmann De Oliveira 2, Edson Luiz Padoin 3. 1 Trabalho de Conclusão de Curso 2 Aluno do Curso de Ciência da Computação - emiliohoffmann@hotmail.com
INE 5645 PROGRAMAÇÃO PARALELA E DISTRIBUIDA PROVA 2 12/06/2017 ALUNO
INE 5645 PROGRAMAÇÃO PARALELA E DISTRIBUIDA PROVA 2 12/06/2017 ALUNO 1. Sockets - Indicar (Verdade/Falso): (a) (Verdade/Falso) Sockets são abstrações utilizadas nos protocolos de comunicação UDP e TCP,
Arquitetura de Computadores. Processamento Paralelo
Arquitetura de Computadores Processamento Paralelo 1 Multiprogramação e Multiprocessamento Múltiplas organizações de computadores Single instruction, single data stream - SISD Single instruction, multiple
GPU (Graphics Processing Unit) Bruno Padilha Gregory De Bonis Luciana Kayo
GPU (Graphics Processing Unit) Bruno Padilha - 5745282 Gregory De Bonis - 6431180 Luciana Kayo - 6430992 O que é? O que é? - Processador auxiliar responsável principalmente por operações de ponto flutuante
Infraestrutura de Hardware. Processamento Paralelo Multicores, Multi-Threading e GPUs
Infraestrutura de Hardware Processamento Paralelo Multicores, Multi-Threading e GPUs Perguntas que Devem ser Respondidas ao Final do Curso Como um programa escrito em uma linguagem de alto nível é entendido
Exploração do paralelismo em arquiteturas multicore, multicomputadores e gpus
https://periodicos.utfpr.edu.br/recit Exploração do paralelismo em arquiteturas multicore, multicomputadores e gpus RESUMO A computação paralela visa atender à demanda por alto poder computacional ao utilizar
INF Programação Distribuída e Paralela
INF01008 - Programação Distribuída e Paralela Trabalho Final Multiplicação de Matrizes com APIs de Programação Paralela Cristiano Medeiros Dalbem John Gamboa Introdução Neste trabalho comparamos diferentes
CUDA: Compute Unified Device Architecture. Marco Antonio Simões Teixeira
CUDA: Compute Unified Device Architecture Marco Antonio Simões Teixeira Sumário Introdução; CUDA: História; CUDA: programando; CUDA e deep learning; Links úteis; Considerações finais. 2 INTRODUÇÃO 3 O
Estudo de Técnicas de Otimização de Desempenho para GPUs Utilizando CUDA Aplicado a um Modelo Meteorológico
Fabiano Cassol de Vargas Estudo de Técnicas de Otimização de Desempenho para GPUs Utilizando CUDA Aplicado a um Modelo Meteorológico Alegrete RS 08/2014 Fabiano Cassol de Vargas Estudo de Técnicas de
ESTRATÉGIAS DE OTIMIZAÇÃO DE CÓDIGO EM OPENCL
6ª Jornada Científica e Tecnológica e 3º Simpósio de Pós-Graduação do IFSULDEMINAS 04 e 05 de novembro de 2014, Pouso Alegre/MG ESTRATÉGIAS DE OTIMIZAÇÃO DE CÓDIGO EM OPENCL Claudio André da SILVA JUNIOR
Introdução ao OpenMP
Introdução ao OpenMP Threads em CPU multicore Rogério A. Gonçalves 1,2 Alfredo Goldman 2 1 Departamento de Computação (DACOM) Universidade Tecnológica Federal do Paraná (UTFPR) 2 Departamento de Ciência
Sistemas Distribuídos e Paralelos
Sistemas Distribuídos e Paralelos Aula #6: Programação paralela em sistemas de memória compartilhada. ISUTIC - 2016 Eng. Alexander Rodríguez Bonet Aula de hoje Regiões paralelas. Cláusulas de âmbito. Partilha
30/5/2011. Sistemas computacionais para processamento paralelo e distribuído
Arquitetura de Computadores Sistemas computacionais para processamento paralelo e distribuído Prof. Marcos Quinet Universidade Federal Fluminense UFF Pólo Universitário de Rio das Ostras - PURO Processamento
Jônatas Lopes de Paiva Instituto de Matemática e Estatística Universidade de São Paulo. 06 de maio de 2011
Jônatas Lopes de Paiva jlp@ime.usp.br Instituto de Matemática e Estatística Universidade de São Paulo 06 de maio de 2011 Introdução String-matching O que é? Em que é utilizado Tipos GPU GPGPU String-matching
INE 5645 PROGRAMAÇÃO PARALELA E DISTRIBUIDA PROVA 2 03/07/2017 ALUNO
INE 5645 PROGRAMAÇÃO PARALELA E DISTRIBUIDA PROVA 2 03/07/2017 ALUNO 1. Sockets - Indicar (Verdade/Falso): (a) (Verdade/Falso) A comunicação entre processos consiste em transmitir uma mensagem entre o
ISPC:A SPMP Compiler for High-Performance CPU Programming
ISPC:A SPMP Compiler for High-Performance CPU Programming O paralelismo SIMD (Single Instruction Multiple Data) tem se tornado num mecanismo importante para melhorar o rendimento em CPU's modernas, devido
Computadores e Programação (DCC/UFRJ)
Computadores e Programação (DCC/UFRJ) Aula 3: 1 2 3 Abstrações do Sistema Operacional Memória virtual Abstração que dá a cada processo a ilusão de que ele possui uso exclusivo da memória principal Todo
Disciplina de Arquitetura de Computadores
USP - ICMC - SSC SSC 0510 - Informática - 2o. Semestre 2009 Disciplina de Prof. Fernando Santos Osório Email: fosorio [at] { icmc. usp. br, gmail. com } Página Pessoal: http://www.icmc.usp.br/~fosorio/
Bacharelado em Sistemas de Informação Sistemas Operacionais. Prof. Filipo Mór
Bacharelado em Sistemas de Informação Sistemas Operacionais Prof. Filipo Mór WWW.FILIPOMOR.COM - REVISÃO ARQUITETURAS PARALELAS Evolução das Arquiteturas Evolução das Arquiteturas Entrada CPU Saída von
Paralelização de Algoritmos de CFD em Clusters Multi-Core MC7. Escola de Verão Arquiteturas Multi-Core
RSS-Verão-01/08 p.1/36 Paralelização de Algoritmos de CFD em Clusters Multi-Core MC7 Escola de Verão 2008 Arquiteturas Multi-Core Renato S. Silva LNCC - MCT Janeiro de 2008 RSS-Verão-01/08 p.2/36 Objetivo:
Organização de Computadores Sistema de entrada e saída (I/O) e computação paralela. Professor: Francisco Ary
Organização de Computadores Sistema de entrada e saída (I/O) e computação paralela Professor: Francisco Ary Computação Paralela Capacidade de um sistema computacional ser executado de forma simultânea,
Arquitetura e Programação de GPU. Leandro Zanotto RA: 001962 Anselmo Ferreira RA: 023169 Marcelo Matsumoto RA: 085973
Arquitetura e Programação de GPU Leandro Zanotto RA: 001962 Anselmo Ferreira RA: 023169 Marcelo Matsumoto RA: 085973 Agenda Primeiras Placas de Vídeo Primeira GPU Arquitetura da GPU NVIDIA Arquitetura
PROGRAMAÇÃO PARALELA HÍBRIDA PARA CPU E GPU: UMA AVALIAÇÃO DO OPENACC FRENTE A OPENMP E CUDA
UNIVERSIDADE FEDERAL DE SANTA MARIA CENTRO DE TECNOLOGIA PROGRAMA DE PÓS-GRADUAÇÃO EM INFORMÁTICA PROGRAMAÇÃO PARALELA HÍBRIDA PARA CPU E GPU: UMA AVALIAÇÃO DO OPENACC FRENTE A OPENMP E CUDA DISSERTAÇÃO
Implementação em GPU da Transformada de Legendre
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL INSTITUTO DE INFORMÁTICA CURSO DE CIÊNCIA DA COMPUTAÇÃO EDUARDO DIAS CAMARATTA Implementação em GPU da Transformada de Legendre Trabalho de Graduação. Prof. Dr.
AULA 06: PROGRAMAÇÃO EM MÁQUINAS PARALELAS
ORGANIZAÇÃO E ARQUITETURA DE COMPUTADORES II AULA 06: PROGRAMAÇÃO EM MÁQUINAS PARALELAS Prof. Max Santana Rolemberg Farias max.santana@univasf.edu.br Colegiado de Engenharia de Computação PROGRAMAÇÃO PARALELA
Comparação das Características de Simuladores de Arquiteturas Heterogêneas
Comparação das Características de Simuladores de Arquiteturas Heterogêneas Felipe Leivas Teixeira Andrei Silva Carlos Vinícius Rasch Alves Vinícius Krolow da Silva Prof. Dr. Maurício Lima Pilla (Orientador)
ARQUITETURA DE COMPUTADORES
RCM00014 Haswell wafer ARQUITETURA DE COMPUTADORES Prof. Luciano Bertini Site: http://www.professores.uff.br/lbertini/ Objetivos do Curso Entendimento mais aprofundado do funcionamento
Processadores para computação de alto desempenho
Processadores para computação de alto desempenho Aleardo Manacero Jr. DCCE/UNESP Grupo de Sistemas Paralelos e Distribuídos Introdução Nesta aula apresentaremos características de processadores e como
PROCESSAMENTO PARALELO EM CUDA APLICADO AO MODELO DE GERAÇÃO DE CENÁRIOS SINTÉTICOS DE VAZÕES E ENERGIAS - GEVAZP. André Emanoel Rabello Quadros
PROCESSAMENTO PARALELO EM CUDA APLICADO AO MODELO DE GERAÇÃO DE CENÁRIOS SINTÉTICOS DE VAZÕES E ENERGIAS - GEVAZP André Emanoel Rabello Quadros Dissertação de Mestrado apresentada ao Programa de Pós-Graduação
Matheus S. Serpa, Vinícius G. Pinto, Philippe O. A. Navaux Contato: INTEL MODERN CODE PARTNER
INTEL MODERN CODE: INTRODUÇÃO À PROGRAMAÇÃO VETORIAL E PARALELA PARA O PROCESSADOR INTEL XEON PHI KNIGHTS LANDING Matheus S. Serpa, Vinícius G. Pinto, Philippe O. A. Navaux Contato: msserpa@inf.ufrgs.br
Tópicos Avançados em Sistemas Computacionais: Infraestrutura de Hardware Aula 06
Tópicos Avançados em Sistemas Computacionais: Infraestrutura de Hardware Aula 06 Prof. Max Santana Rolemberg Farias max.santana@univasf.edu.br Colegiado de Engenharia de Computação COMO UM PROGRAMA ESCRITO
Processadores para computação de alto desempenho
Processadores para computação de alto desempenho Aleardo Manacero Jr. DCCE/UNESP Grupo de Sistemas Paralelos e Distribuídos Introdução Nesta aula apresentaremos características de processadores e como
Unidade 12: Introdução ao Paralelismo:
Arquitetura e Organização de Computadores 1 Unidade 12: Introdução ao Paralelismo: Processadores Superescalares Prof. Daniel Caetano Objetivo: Apresentar os conceitos fundamentais da arquitetura superescalar
Taxonomia de Flynn. Procura classificar todas as arquitecturas de computadores com base no processamento das instruções e dos dado.
Multi-processamento Taxonomia de Flynn Arquitecturas SIMD Instruções vectoriais Arquitecturas MIMD Tipos de arquitectura MIMD Memória partilhada Multi-cores Taxonomia de Flynn Procura classificar todas
periféricos: interfaces humano-computador (HCI) arquivo de informação comunicações
Introdução aos Sistemas de Computação (6) Análise de componentes num computador Estrutura do tema ISC 1. Representação de informação num computador 2. Organização e estrutura interna dum computador 3.
Infraestrutura de Hardware. Funcionamento de um Computador
Infraestrutura de Hardware Funcionamento de um Computador Computador: Hardware + Software Perguntas que Devem ser Respondidas ao Final do Curso Como um programa escrito em uma linguagem de alto nível é
ORGANIZAÇÃO E ARQUITETURA DE COMPUTADORES II AULA 02: PROCESSAMENTO PARALELO: PROCESSADORES VETORIAIS
ORGANIZAÇÃO E ARQUITETURA DE COMPUTADORES II AULA 02: PROCESSAMENTO PARALELO: PROCESSADORES VETORIAIS Prof. Max Santana Rolemberg Farias max.santana@univasf.edu.br Colegiado de Engenharia de Computação
1 Introdução. I know because I must know. It's my purpose. It's the reason I'm here. (The Matrix) 1.1 Objetivos do trabalho
1 Introdução I know because I must know. It's my purpose. It's the reason I'm here. (The Matrix) 1.1 Objetivos do trabalho Os hardwares gráficos atualmente podem ser considerados como verdadeiros processadores
Carlos Eduardo Batista Centro de Informática - UFPB
Carlos Eduardo Batista Centro de Informática - UFPB bidu@ci.ufpb.br Motivação Arquitetura de computadores modernos Desafios da programação concorrente Definição de concorrência Correr junto Disputa por
Uso da plataforma CUDA na metaheurística GRASP para resolução do problema da mochila.
MEC-SETEC INSTITUTO FEDERAL MINAS GERAIS - Campus Formiga Curso de Ciência da Computação Uso da plataforma CUDA na metaheurística GRASP para resolução do problema da mochila. Ronan Nunes Campos Orientador:
Processamento de áudio em tempo real em dispositivos computacionais de alta disponibilidade e baixo custo
Processamento de áudio em tempo real em dispositivos computacionais de alta disponibilidade e baixo custo André J. Bianchi 21/10/2013 1 / 33 1 Introdução 2 Metodologia 3 Arduino 4 GPU 5 Android 6 Conclusão
DESENVOLVIMENTO DE UM ALGORITMO PARALELO PARA APLICAÇÃO EM CLUSTER DE COMPUTADORES
DESENVOLVIMENTO DE UM ALGORITMO PARALELO PARA APLICAÇÃO EM CLUSTER DE COMPUTADORES João Ricardo Kohler Abramoski (PAIC/FUNDAÇÃO ARAUCÁRIA), Sandra Mara Guse Scós Venske (Orientadora), e-mail: ssvenske@unicentro.br
Introdução ao OpenCL p. 1
Introdução ao OpenCL Douglas Adriano Augusto douglas@lncc.br Semana Massivamente Paralela 2012 LNCC Introdução ao OpenCL p. 1 Conteúdo Introdução ao OpenCL p. 2 Conteúdo 1. Introdução & contextualização