Programação em Paralelo. N. Cardoso & P. Bicudo. Física Computacional - MEFT 2012/2013

Transcrição

1 Programação em Paralelo CUDA N. Cardoso & P. Bicudo Física Computacional - MEFT 2012/2013 N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 1 / 17

2 CUDA "Compute Unified Device Architecture" Parte 6 N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 2 / 17

3 Outline 1 Bibliotecas do CUDA CUFFT CURAND CUBLAS CUSPARSE Thrust NPP CUDA Math Library N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 3 / 17

4 Bibliotecas do CUDA GPU-Accelerated Libraries CUFFT CUDA Fast Fourier Transforms (FFT) Library Documentação toolkit: CUFFT_Library.pdf CURAND Random Number Generator Documentação toolkit: CURAND_Library.pdf CUBLAS Complete BLAS library Documentação toolkit: CUBLAS_Library.pdf CUSPARSE Sparse Matrix library Documentação toolkit: CUSPARSE_Library.pdf Thrust Templated Parallel Algorithms & Data Structures Documentação toolkit: Thrust_Quick_Start_Guide.pdf NPP Thousands of Performance Primitives for Image & Video Processing Documentação toolkit: NPP_Library.pdf CUDA Math Library of high performance math routines Lista em math_functions.h N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 4 / 17

5 Bibliotecas do CUDA: CUFFT CUFFT CUDA Fast Fourier Transforms (FFT) Library Implementação eficiente de FFTs no CUDA Algumas características: Algoritmos baseados em Cooley-Tukey e Bluestein Interface simples simular com FFTW Transformações 1D, 2D e 3D de números reais e complexos Row-major order (C-order) para dados a 2D e 3D Transformações em precisão simples (SP) e precisão dupla (DP) Transformações "in-place" e "out-of-place" Tamanho da transformação 1D até 128 milhões de elementos Execução em "batch" para efectuar múltiplas transformações Execução "streamed asynchronous" Ouptut dos dados não normalizados: IFFT(FFT(A))=len(A)*A CUFFT Em 4 passos simples 1 Alocar espaço na memória do GPU 2 Criar um plano especificando a configuração da transformação tal como o tamanho e tipo (real, complexo, 1D, 2D,...) 3 Executar o plano tantas vezes quanto as requeridas, indicando o ponteiro para os dados criados no GPU no passo 1. 4 Destruir o plano e Libertar a memória N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 5 / 17

6 Bibliotecas do CUDA: CUFFT Exemplo # define NX 256 # define NY 128 c u f f t H a n d l e plan ; cufftcomplex idata, odata ; cudamalloc ( ( void )& idata, sizeof ( cufftcomplex ) NX NY ) ; cudamalloc ( ( void )& odata, sizeof ( cufftcomplex ) NX NY ) ; (... ) / / Create a 2D FFT plan. c u f f t P l a n 2 d (& plan, NX,NY, CUFFT_C2C ) ; / / Use the CUFFT plan to transform the s i g n a l out of place. cufftexecc2c ( plan, idata, odata, CUFFT_FORWARD) ; / / Inverse transform the s i g n a l i n place. / / D i f f e r e n t p o i n t e r s to i n p u t and output arrays i m p l i e s / / out of place t r a n s f o r m a t i o n cufftexecc2c ( plan, odata, odata, CUFFT_INVERSE ) ; (... ) / / Destroy the CUFFT plan. c u f f t D e s t r o y ( plan ) ; cudafree ( i d a t a ), cudafree ( odata ) ; N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 6 / 17

7 Bibliotecas do CUDA: CURAND CURAND Random Number Generator Geradores: XORWOW pseudorandom generator MRG32k3a pseudorandom generator MTGP32 pseudorandom generator 32 and 64 bit SOBOL and Scrambled SOBOL quasirandom generators Algumas características: Host API for generating random numbers in bulk Inline implementation allows use inside GPU functions/kernels Single- and double-precision, uniform, normal and log-normal distributions N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 7 / 17

8 Bibliotecas do CUDA: CURAND CURAND Exemplo: XORWOW pseudorandom generator #include < s t d i o. h> #include < s t d l i b. h> #include <cuda. h> #include <curand_kernel. h> #define CUDA_CALL( x ) do { i f ( ( x )!= cudasuccess ) { \ p r i n t f ( " E r r o r at %s:%d \ n ", FILE, LINE ) ; return EXIT_FAILURE ; } } while ( 0 ) global void setup_kernel ( curandstate state ) ; global void generate_kernel ( curandstate state, unsigned i n t r e s u l t ) ; i n t main ( i n t argc, char argv [ ] ) { unsigned i n t t o t a l = 0; curandstate devstates ; unsigned i n t devresults, hostresults ; / A l l o c a t e space f o r r e s u l t s on host / hostresults = ( unsigned i n t ) c a l l o c (64 64, sizeof ( i n t ) ) ; / A l l o c a t e space f o r r e s u l t s on device / CUDA_CALL( cudamalloc ( ( void )& devresults, sizeof ( unsigned i n t ) ) ) ; / Set r e s u l t s to 0 / CUDA_CALL( cudamemset ( devresults, 0, sizeof ( unsigned i n t ) ) ) ; / Allocate space f o r prng states on device / CUDA_CALL( cudamalloc ( ( void )& devstates, sizeof ( curandstate ) ) ) ; (... ) N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 8 / 17

9 Bibliotecas do CUDA: CURAND CURAND Exemplo: XORWOW pseudorandom generator (... ) / / I n i t i a l i z e generator f o r every thread setup_kernel <<<64, 64>>>( devstates ) ; / Generate and use pseudo random / generate_kernel <<<64, 64>>>( devstates, devresults ) ; / Copy device memory to host / CUDA_CALL( cudamemcpy ( hostresults, devresults, sizeof ( unsigned i n t ), \ cudamemcpydevicetohost ) ) ; / Show r e s u l t / for ( i n t i = 0; i < 64 64; i ++) t o t a l += hostresults [ i ] ; p r i n t f ( " F r a c t i o n with low b i t set was %10.13 f \ n ", ( f l o a t ) t o t a l / (64.0 f 64.0 f f 50.0 f ) ) ; } / Cleanup / CUDA_CALL( cudafree ( devstates ) ) ; CUDA_CALL( cudafree ( devresults ) ) ; f r e e ( hostresults ) ; return EXIT_SUCCESS ; N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 9 / 17

10 Bibliotecas do CUDA: CURAND CURAND Exemplo: XORWOW pseudorandom generator global void setup_kernel ( curandstate state ) { i n t i d = threadidx. x + b l o ckidx. x blockdim. x ; / Each thread gets same seed, a d i f f e r e n t sequence number, no o f f s e t / c u r a n d _ i n i t (1234, id, 0, &s t a t e [ i d ] ) ; } global void generate_kernel ( curandstate state, unsigned i n t r e s u l t ) { i n t i d = threadidx. x + b l o ckidx. x blockdim. x ; i n t count = 0; unsigned i n t x ; / Copy s t a t e to l o c a l memory f o r e f f i c i e n c y / curandstate l o c a l S t a t e = s t a t e [ i d ] ; / Generate pseudo random unsigned i n t s / for ( i n t n = 0; n < 10000; n++) { x = curand (& l o c a l S t a t e ) ; / Check i f low b i t set / i f ( x & 1) { count ++; } } / Copy s t a t e back to g l o b a l memory / s t a t e [ i d ] = l o c a l S t a t e ; / Store r e s u l t s / r e s u l t [ i d ] += count ; } N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 10 / 17

11 Bibliotecas do CUDA: CUBLAS CUBLAS Complete BLAS library CUDA "Basic Linear Algebra Subprograms" Implementação standard do BLAS em CUDA Simples de usar: Criar matrizes e vectores na memória do GPU Preenche-los com os dados Chamar uma sequência de funções CUBLA Carregar os resultados do GPU para o host Column-major storage and 1-based indexing Para máxima compatibilidade com aplicações Fortran N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 11 / 17

12 Bibliotecas do CUDA: CUBLAS CUBLAS Exemplo de estrutura do código 1 Inicialização do CUBLAS: cublasinit() 2 Alocar memória e dados no CPU 3 Alocar memória no GPU: cublasalloc(...) 4 Copiar do CPU para o GPU: cublassetvector(...) 5 Operar no GPU: cublassgemm(...) 6 Verificar erro no CUBLAS: cublasgeterror() 7 Copiar do GPU para o CPU: cublasgetvector(...) 8 Verificar resultados 9 Libertar memória no GPU: cublasfree(...) 10 Desligar o CUBLAS : cublasshutdown() N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 12 / 17

13 Bibliotecas do CUDA: CUSPARSE Library CUSPARSE Sparse Matrix library New library for sparse basic linear algebra Conversion routines for dense, COO, CSR and CSC formats Optimized sparse matrix-vector multiplication Building block for sparse linear solvers N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 13 / 17

14 Bibliotecas do CUDA: Thrust Library Thrust Templated Parallel Algorithms & Data Structures A template library for CUDA Mimics the C++ STL Containers Manage memory on host and device: thrust :: host_vector<t>, thrust :device_vector<t> Help avoid common errors Iterators Know where data lives Define ranges: d_vec.begin() Algorithms Elementwise operations for_each, transform, gather, scatter,... Reductions reduce, inner_product, reduce_by_key,... Prefix-Sums inclusive_scan, inclusive_scan_by_key,... Sorting sort, stable_sort, sort_by_key,... Algorithms act on ranges and support general types and operators N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 14 / 17

15 Bibliotecas do CUDA: Thrust Library Thrust Example #include < t h r u s t / host_vector. h> #include < t h r u s t / device_vector. h> #include < t h r u s t / s o r t. h> #include < c s t d l i b. h> i n t main ( void ) { / / generate 32M random numbers on the host t h r u s t : : host_vector <int > h_vec (32 << 2 0 ) ; t h r u s t : : generate ( h_vec. begin ( ), h_vec. end ( ), rand ) ; / / t r a n s f e r data to the device t h r u s t : : device_vector <int > d_vec = h_vec ; / / s o r t data on the device (846M keys per sec on GeForce GTX 480) t h r u s t : : s o r t ( d_vec. begin ( ), d_vec. end ( ) ) ; / / t r a n s f e r data back to host t h r u s t : : copy ( d_vec. begin ( ), d_vec. end ( ), h_vec. begin ( ) ) ; } return 0; N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 15 / 17

16 Bibliotecas do CUDA: NPP Library NVIDIA Performance Primitives NPP NVIDIA Performance Primitives Up to 40x speedups C library of functions (primitives) Arithmetic, Logic, Conversions, Filters, well optimized Statistics, etc. low level API: easy integration Majority of into primitives existing code 5x to 10x faster than algorithmic analogous building routines blocks in Intel IPP actual operations execute on CUDA GPUs 1,000+ new image primitives in 4.1 Approximately 350 image processing functions Approximately 100 signal processing functions Image Processing Primitives Data exchange & initialization Set, Convert, CopyConstBorder, Copy, Transpose, SwapChannels Arithmetic & Logical Ops Add, Sub, Mul, Div, AbsDiff Threshold & Compare Ops Threshold, Compare Color Conversion RGB To YCbCr (& vice versa), ColorTwist, LUT_Linear Filter Functions * NPP 4.1, NVIDIA C2050 (Fermi) * IPP 6.1, Dual Socket Core i7 2.67GHz FilterBox, Row, Column, Max, Min, Dilate, Erode, SumWindowColumn/Row Geometry Transforms Resize, Mirror, WarpAffine/Back/Quad, WarpPerspective/Back/Quad Statistics Mean, StdDev, NormDiff, MinMax, Histogram, SqrIntegral, RectStdDev Segmentation Graph Cut N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 16 / 17

17 Bibliotecas do CUDA: CUDA Math Library CUDA Math Library Suporta precisão simples e dupla Básico: +, *, /, 1/, sqrt, FMA (all IEEE-754 accurate for float, double, all rounding modes) Exponentials: exp, exp2, log, log2, log10,... Trigonometry: sin, cos, tan, asin, acos, atan2, sinh, cosh, asinh, acosh,... Special functions: lgamma, tgamma, erf, erfc Utility: fmod, remquo, modf, trunc, round, ceil, floor, fabs,... Extras: rsqrt, rcbrt, exp10, sinpi, sincos, cospi, erfinv, erfcinv,... Bessel functions: j0, j1, jn, y0, y1, yn Scaled complementary error function: erfcx Average and rounded average: uhadd, {u}rhadd N. Cardoso & P. Bicudo Programação em Paralelo: CUDA 17 / 17