Ferramentas para Programação em Processadores Multi-Core

Transcrição

1 Ferramentas para Programação em Processadores Multi-Core Prof. Dr. Departamento de Informática Universidade Federal de Pelotas Sumário Introdução Arquiteturas multi-core Ferramentas de programação Prática de programação Considerações finais Programa de Verão 2008 Petrópolis,. 1 2 Casos de estudo Paralelismo de tarefas Paralelismo de dados Orientação a objetos Voltada às questões da aplicação Programação paralela Voltada às questões do hardware disponível Execução concorrente Competição no acesso a recursos de hardware Execução paralela Replicação de recursos de hw permite simultaneidade 3 4

2 , pois A programação concorrente inclui a programação paralela Permite focar nas questões da aplicação Ou seja, não requer do programador conhecimentos sobre o hardware paralelo disponível Idealmente: alto grau de portabilidade Considerando que a ferramenta de programação possui um modelo de execução eficiente Extensão ao paradigma Imperativo Contexto de trabalho no curso Execução segundo a arquitetura de von Neumann Programa seqüencial é composto por: Uma seqüência de instruções Um conjunto de dados Execução seqüencial Instruções modificam estados de memória Efeito colateral A execução de uma instrução implica na alteração de um estado (posição de memória) 5 6 Extensão ao paradigma Imperativo Execução segundo a arquitetura de von Neumann Execução seqüencial: Extensão ao paradigma Imperativo Execução segundo a arquitetura de von Neumann Execução seqüencial: I1: MOV DX, 0 I2: MOV AX, [313] I3: ADD DX, AX I4: DEC AX I5: CMP AX, 0 I6: JNE I3 I7: MOV AX, [313] I8: CALL RotinaImpressão Efeito da execução de uma instrução: Escrita em memória Comunicação I1: MOV DX, 0 I2: MOV AX, [313] I3: ADD DX, AX I4: DEC AX I5: CMP AX, 0 I6: JNE I3 I7: MOV AX, [313] I8: CALL RotinaImpressão I1 I2 I3 I4 I5 I6 I7 I8 7 8

3 Extensão ao paradigma Imperativo Execução segundo a arquitetura de von Neumann Execução seqüencial: Unidade execução: a instrução Comunicação: alteração de um estado de memória Sincronização: implícita, pois uma instrução não é executada antes que a anterior termine Execução concorrente deve, igualmente, definir: A unidade de execução elementar O mecanismo de comunicação utilizado A coordenação da execução para controle do acesso aos dados Extensão ao paradigma Imperativo Execução segundo a arquitetura de von Neumann Ferramentas de programação multithread oferecem recurso para: Definir unidades de execução em termos de conjuntos de instruções ou procedimentos Identificar regiões de memória (dados) compartilhados entre as unidades de execução Controlar acesso aos dados compartilhados 9 10 Modelos de programação Aplicação Grafo de fluxo de dados Grafo de precedência Grafo de dependência Máquinas Flynn Extensão a MIMD Execução Bridge models PRAM Parallel Random Access Machine BSP Bulk Synchronous Parallel Modelos de programação Oferecem níveis de abstração dos recursos oferecidos pelas arquiteturas e pelas ferramentas Ferramentas oferecem recursos para programação de arquiteturas reais Modelo Ferramenta de programação Arquitetura 11 12

4 Modelos de programação Oferecem níveis de abstração dos recursos oferecidos pelas arquiteturas e pelas ferramentas Ferramentas oferecem recursos para programação de arquiteturas reais Ferramentas de programação Paralelismo de dados Um conjunto de dados deve sofrer o mesmo processamento. Este conjunto de dados é dividido em subconjuntos e fluxos de execução são lançados para processar estes subconjuntos Paralelismo de tarefas Duas (ou mais) atividades podem ser executadas de forma concorrente. Cada tarefa define um conjunto próprio de instruções e seus conjuntos de entrada e saída de dados Modelos de programação Ferramentas de programação Paralelismo de dados Utilização de mecanismos de barreiras Paralelismo aninhado Fortran paralelo OpenMP Paralelismo de tarefas Paralelismo não estruturado POSIX s MPI Modelos de programação Ferramentas de programação Paralelismo de dados Paralelismo de tarefas É possível que uma ferramenta permita a exploração de mais de um tipo de paralelismo ou a utilização de diferentes modelos de concorrência No entanto, cada ferramenta é mais conveniente para um determinado esquema Um programa define uma seqüência de instruções e um conjunto de dados Um processo representa uma instância de um programa em execução. A seqüência de instruções do programa define um fluxo de execução a ser seguido e o espaço de endereçamento utilizado. O processo também possui associado o registro de recursos que utiliza e é manipulado pelo sistema operacional

5 programa.exe $> programa.exe Pilha Reg PCB Informações no PCB (Process Control Block) Process ID User and User Grup ID Diretório de trabalho Descritor de arquivos Manipuladores de sinais Bibliotecas de compartilhadas Ferramentas de comunicação (pipes, semáforos etc) Um programa define várias seqüência de instruções e um conjunto de dados Uma thread representa uma instância de uma seqüência de instruções em execução. Cada seqüência de instruções do programa define um fluxo de execução a ser seguido e os dados o espaço de endereçamento utilizado. As threads compartilham o registro de recursos que utilizados pelo processo. A() D() B() E() C() F() Programa fonte A() A() E() Processo com múltiplas threads 19 20

6 Os fluxos são independentes Competição pelos recursos da arquitetura Trocas de dados através de leituras e escritas em memória Competição pelos aos dados na memória compartilhada Pilha Pilha Reg Reg Pilha Reg PCB Acesso ao dado compartilhado através de operações de leitura e escrita convencionais Escrita: Dado = valor Leitura: variável = Dado Acesso ao dado compartilhado através de operações de leitura e escrita convencionais O programador é responsável por introduzir instruções para sincronização entre fluxos 23 24

7 Acesso a dado Instruções de sincronização Seção crítica: trecho de código com instruções que manipulam dado compartilhado entre fluxos de execução distintos : custo de manipulação reduzido em relação ao processo Chaveamento de contexto em tempo menor Comunicação entre threads via memória compartilhada Criação/Destruição de threads mais eficiente que de processos Informações de cada thread Pilha Registradores Propriedades de escalonamento (prioridade, política) Sinais pendentes ou bloqueados Dados específicos do thread (errno) Ciclo de vida Implementações lista de espera Criar Pronto OK time-out escalonamento Exec termina Bloq sincronização return Fim Zumbi sincroniza 1 : 1 N : 1 M : N sistema usuário Misto SMP Mais leves Compromisso 27 28

8 Modelos de s - 1 : 1 Modelos de s - 1 : 1 Cria(foo); Cria(foo); Mecanismo de escalonamento garantido pelo sistema Modelos de s - 1 : 1 Modelos de s - 1 : 1 Estados das threads: pronto bloqueado executando MutexUnlock( &m ); MutexLock( &m ); 31 32

9 Modelos de s - 1 : 1 Modelos de s - 1 : 1 Perda de processador: Perda de processador: Situação 1: - decisão do escalonador (término do quantum) Situação 2: - sincronização da thread A thread é interrompida MutexLock( &m ); Modelos de s - 1 : 1 Modelos de s - 1 : 1 Perda de processador: Vantagens Situação 2: - sincronização do thread O thread é retirada do do processador Aumento do nível de paralelismo real na execução da aplicação Exploração das arquiteturas SMP 35 36

10 Modelos de s - 1 : 1 Modelos de s - N : 1 Porém... Os threads não são muito leves s gerenciados em nível aplicativo espaço usuário Número limitado de atividades concorrentes O processo fornece um único suporte à execução Modelos de s - N : 1 Modelos de s - N : 1 s gerenciadas a nível aplicativo espaço usuário Vantagens Aumento do nível de concorrência que pode ser expresso para a aplicação O processo é que sofre o escalonamento do sistema operacional Os threads são bastante leves 39 40

11 Modelos de s - N : 1 Modelos de s - N : M Porém... Não explora o paralelismo natural de uma arquitetura SMP Um thread pode bloquear todo processo ao realizar uma chamada bloqueante (p.ex. recv, scanf) ao sistema Modelo misto gerenciamento tanto no espaço usuário quanto pelo sistema operacional Modelos de s - N : M Modelos de s - N : M Vantagens Porém... Separação entre a descrição da concorrência existente na aplicação do paralelismo real existente na arquitetura Custo de implementação?

12 Modelos de s Exemplos 1:1 NPTL (Native POSIX Library) N:1 Minix HP-UX SunOS 4.x N:M Solaris (LWPs LightWeight Processes) Cilk (projeto de pesquisa) Anahy (projeto de pesquisa) Erros comuns na programação Considerar uma ordem de execução dos threads Erro: Introduzir no algoritmo uma premissa que considere a ordem de execução dos threads Conseqüência: Aordem de execução é dada pela heurística de escalonamento, sendo estabelecida em tempo de execução. Normalmente esta heurística também considera fatores que são externos ao programa. Qualquer premissa no algoritmo que considere a ordem de execução fatalmente irá produzir um programa incorreto Solução: Caso seja necessário definir uma ordem de execução para os threads devem ser utilizadas as primitivas específicas de sincronização disponibilizadas pela ferramenta utilizada Erros comuns na programação Considerar uma ordem de execução dos threads Acesso simultâneo a um dado por dois (ou mais) threads Data-race Erro: Não controlar o acesso ao espaço de endereçamento compartilhado pelos threads Conseqüência: Incoerência do estado da execução pela manipulação simultânea e não controlada dos dados Solução: Identificar os dados passíveis de acesso simultâneo por dois (ou mais) threads e proteger sua manipulação pelo uso de mecanismos de sincronização Erros comuns na programação Considerar uma ordem de execução dos threads Acesso simultâneo a um dado por dois (ou mais) threads Postergação indefinida Deadlock Erro: Não sinalizar uma condição de saída de uma sincronização Conseqüência: Um (ou mais) thread(s) permanecem bloqueados aguardando uma sincronização Solução: Garantir que todos as condições de saída de sincronizações sejam efetuadas 47 48

13 Casos de estudo Paralelismo explícito O programador deve introduzir diretivas para gerar e controlar a execução paralela do programa Diferentes níveis de abstração Paralelismo de dados Paralelismo de tarefa Orientação a objetos Casos de estudo Paralelismo de dados OpenMP Diretivas de compilação / Biblioteca de serviços Paralelismo aninhado Paralelismo de tarefa POSIX threads Biblioteca de funções Paralelismo não estruturado Orientação a objetos.net Framework Integrado com a linguagem s definidas no contexto de objetos Sumário Introdução Arquiteturas multi-core Ferramentas de programação Prática de programação Considerações finais Ferramentas para Programação em Processadores Multi-Core Prof. Dr. Departamento de Informática Universidade Federal de Pelotas Programa de Verão Petrópolis,. 52