Agenda. O que é OpenMP? Regiões Paralelas Construtores para Compartilhamento de

Transcrição

1 Programando OpenMP

2 Agenda O que é OpenMP? Regiões Paralelas Construtores para Compartilhamento de Trabalho Montando um escopo de dados para proteger de condições de corrida Cláusulas de agendamento

3 O que é OpenMP*? Diretivas do compilador para programação multithread Forma simples de criar aplicações com multithread em Fortran e C/C++ Suporta o modelo de paralelismo de dados Paralelismo incremental Combina código serial e paralelo em um único código

4 O que é OpenMP*? C$OMP THREADPRIVATE(/ABC/) C$OMP FLUSH C$OMP parallel do shared(a, b, c) #pragma omp critical CALL OMP_SET_NUM_THREADS(10) call omp_test_lock(jlok) call OMP_INIT_LOCK (ilok) C$OMP SINGLE PRIVATE(X) C$OMP PARALLEL DO ORDERED PRIVATE (A, B, C) C$OMP PARALLEL REDUCTION (+: A, B) Especificação atual é a OpenMP Páginas (C/C++ e Fortran) C$OMP ATOMIC C$OMP MASTER setenv OMP_SCHEDULE dynamic C$OMP ORDERED C$OMP SECTIONS #pragma omp parallel for private(a, B) C$OMP PARALLEL COPYIN(/blk/) Nthrds = OMP_GET_NUM_PROCS() C$OMP DO lastprivate(xx) omp_set_lock(lck)!$omp BARRIER

5 Arquitetura OpenMP* Modelo Fork-join Construtores para compartilhamento de trabalho Construtores para ambientes de dados Construtores para sincronização API completa para um controle mais granulado

6 Modelo de Programação Paralelismo Fork-join: A Master thread gera um conjunto de threads conforme a necessidade O paralelismo é criado incrementalmente de forma gradual: o programa sequencial evolui para um programa paralelizado Master Thread Regiões Paralelas

7 Sintaxe da Programação OpenMP* A maioria dos construtores em OpenMP* são diretivas do compilador ou pragmas. Para C e C++, o pragma possui a seguinte forma: #pragma omp construct [clause [clause] ]

8 Regiões Paralelizáveis Define uma região paralelizável sobre um bloco estruturado de código As threads são criadas para a região definida pelo pragma parallel As threads bloqueiam no fim da região Os dados são compartilhados entre as threads ao menos que seja especificado de outra forma #pragma omp parallel Thread Thread Thread 1 C/C++ : #pragma omp parallel { Bloco 2 3

9 Quantas threads serão criadas? É possível ajustar uma variável de ambiente para quantificar o número de threads set OMP_NUM_THREADS=4 Não existe um valor padrão para esta variável Muitos sistemas: Exemplo: # de threads = # de processadores Compiladores Intel usam este padrão

10 Construtor para Compartilhamento de Trabalho #pragma omp parallel #pragma omp for for (i=0; i<n; i++){ Do_Work(i); Divide iterações do laço entre as threads Precisa estar na região paralelizável Precisa preceder o laço

11 Construtor para Compartilhamento de Trabalho #pragma omp parallel #pragma omp for for(i = 0; i < 12; i++) c[i] = a[i] + b[i] #pragma omp parallel #pragma omp for O conjunto de iterações é atribuído de forma independente para cada uma das threads criadas As threads devem aguardar ao final do construtor de compartilhamento de trabalho i = 0 i = 4 i = 8 i = 1 i = 5 i = 9 i = 2 i = 6 i = 10 i = 3 i = 7 i = 11 Implicit barrier

12 Combinando pragmas Estes conjuntos de segmentos de código são equivalentes #pragma omp parallel { #pragma omp for for (i=0; i< MAX; i++) { res[i] = huge(); #pragma omp parallel for for (i=0; i< MAX; i++) { res[i] = huge();

13 Ambiente de Dados OpenMP utiliza um modelo de programação baseado em compartilhamento de memória A maior parte das variáveis são compartilhadas por padrão Variáveis globais são compartilhadas entre as threads C/C++: variáveis de escopo de arquivo, estáticas

14 Ambiente de Dados Mas, nem tudo é compartilhado Variáveis da pilha nas funções que são chamadas de regiões paralelizáveis são PRIVATIVAS Variáveis automáticas dentro de um bloco de definição são PRIVATIVAS As variáveis dos índices de laços são privativas (com exceções) Para C/C+: É o caso da primeira variável do índice de um laço dentro de uma estrutura de laços aninhados seguidos de um #pragma omp for

15 Atributos do Escopo de Dados O status padrão pode ser modificado default (shared none) Cláusulas de atributo para escopo shared(varname, ) private(varname, )

16 A Cláusula Private Reproduz a variável para cada Thread As variáveis são des-inicializadas; Objeto C++ é construido por padrão Qualquer valor externo à região paralelizável é indefinida void* work(float* c, int N) { float x, y; int i; #pragma omp parallel for private(x,y) for(i=0; i<n; i++) { x = a[i]; y = b[i]; c[i] = x + y;

17 Exemplo: Produto Interno* float dot_prod(float* a, float* b, int N) { float sum = 0.0; #pragma omp parallel for shared(sum) for(int i=0; i<n; i++) { sum += a[i] * b[i]; return sum; Qual é o problema?

18 Proteção de Dado Compartilhado É preciso proteger dados compartilhados ou modificáveis float dot_prod(float* a, float* b, int N) { float sum = 0.0; #pragma omp parallel for shared(sum) for(int i=0; i<n; i++) { #pragma omp critical sum += a[i] * b[i]; return sum;

19 OpenMP* Critical #pragma omp critical [(lock_name)] Define uma região crítica em um bloco Threads esperam sua vez, apenas uma thread chama consum() protegendo R1 e R2 de condições de corrida Nomear construções Critical é opcional, mas pode melhorar o desempenho float R1, R2; #pragma omp parallel { float A, B; #pragma omp for for(int i=0; i<niters; i++){ B = big_job(i); #pragma omp critical (R1_lock) consum (B, &R1); A = bigger_job(i); #pragma omp critical (R2_lock) consum (A, &R2);

20 OpenMP* Reduction reduction (op : list) As variáveis em list devem ser compartilhadas na região paralela Dentro da construção paralela Uma cópia privada de cada lista é criada e iniciada dependendo de op As cópias são atualizadas localmente pelas threads No final da construção, cópias locais são combinadas através de op em um valor e combinadas com o valor na variável compartilhada original

21 Reduction - Exemplo #pragma omp parallel for reduction(+:sum) for(i=0; i<n; i++) { sum += a[i] * b[i]; Cópia local de sum para cada thread Todas as cópidas de sum são adicionadas e armazenadas na variável global

22 Operações de redução Vários operadores podem ser utilizados com redução Os valores iniciais são aqueles que fazem sentido Operador Valor Inicial Operador Valor Inicial + 0 * 1-0 ^ 0 & ~0 0 && 1 0

23 Exemplo de Integração Numérica f(x) = (1+x (1+x 2 ) 2 dx ) = π static long num_steps=100000; double step, pi; void main() { int i; double x, sum = 0.0; 0.0 X 1.0 step = 1.0/(double) num_steps; for (i=0; i< num_steps; i++){ x = (i+0.5)*step; sum = sum + 4.0/(1.0 + x*x); pi = step * sum; printf( Pi = %f\n,pi);

24 Atribuindo iterações A clausula schedule afeta como as iterações do laço são mapeadas entre as threads schedule(static [,chunk]) Blocos de iterações de tamanho chunk Distribuição Round robin schedule(dynamic[,chunk]) Iterações de tamanho chunk Ao terminar as iterações, a thread requisita o próximo passo schedule(guided[,chunk]) Agendamento dinâmico iniciado com um tamanho grande O tamanho dos blocos diminui, não menor do que chunk

25 Qual agendamento usar Clausula STATIC DYNAMIC GUIDED RUNTIME Quando usar Trabalho similar por iteração Imprevisível, grande variáção por iteração Caso especial de dinâmico para evitar overhead de agendamento Usa a variável de ambiente OMP_SCHEDULE

26 Exemplo de Schedule #pragma omp parallel for schedule (static, 8) for( int i = start; i <= end; i += 2 ) { if ( TestForPrime(i) ) gprimesfound++; Iterações divididas em blocos de 8 SE start = 3, então os blocos são i={3,5,7,9,11,13,15,17

27 Sumário OpenMP é uma abordagem simples para programação paralela Divisão de trabalho (omp for) Categorizar variáveis (omp private.) Sincronização (omp critical )