Arquiteturas de Computadores

Tamanho: px

Começar a partir da página:

Download "Arquiteturas de Computadores"

Luiz Fernando Tomé
4 Há anos
Visualizações:

1 Arquiteturas de Computadores Computadores vetoriais Fontes dos slides: Livro Patterson e Hennessy, Quantitative Approach e site do curso EE 7722, GPU Microarchitecture do Prof. David Koppelman

2 Graphical Processing Units Dado o hardware existente para gráficos, como fazer para utilizar estes recursos para melhorar o desempenho de uma gama maior de aplicações? Ideia básica: Modelo de execução heterogênea CPU é o host, GPU é o dispositivo Desenvolver uma linguagem de programação semelhante à C para GPU Unificar todas as formas de paralelismo da GPU como uma thread CUDA Modelo de programação é Single Instruction Multiple Thread

3 Threads e Blocos Uma thread é associada com cada elemento de dados As threads são organizadas em blocos Blocos são organizados em um grid O hardware da GPU gerencia threads, e não aplicações ou sistema operacional

4 Arquitetura GPU NVIDIA Similaridades com máquinas vetoriais: Trabalha bem com paralelismo no nível de dados Registradores de máscara Banco grande de registradores Diferenças: Não tem processador escalar Usa multithreading para esconder latência de memória Threads são emitidas em grupos de 32 denominados warps Possui várias unidades funcionais, ao contrário das poucas unidades de pipeline profundas dos processadores vetoriais

5 Figure 4.14 Simplified block diagram of a Multithreaded SIMD Processor. It has 16 SIMD lanes. The SIMD Thread Scheduler has, say, 48 independent threads of SIMD instructions that it schedules with a table of 48 PCs.

6 Visão do Hardware GPU consiste de um ou mais multiprocessadores Um multiprocessador consiste de 1 (CC 1.x), 2 (CC 2.x), ou 4 (CC 3.x, 5.x, 6.x) escalonadores de warps Cada escalonador de warp pode emitir instruções para duas unidades de despacho (CC 5 e 6). Um multiprocessador consiste de 8 a192 núcleos (cores) CUDA. Um multiprocessador consiste de unidades funcionais de vários tipos. GPU possui uma ou mais unidades de cache L2 para acesso à memória Multiprocessadores se conectam às unidades de cache L2 através de crossbar switch. Cada unidade de cache L2 possui sua interface de memória

7 Visão Geral da Execução Até 16 (CC 3.X) ou 32 (CC 5 e 6) blocos podem estar ativos em um multiprocessador (CC 3.X). O escalonador de warp seleciona um warp dos blocos ativos para ser emitido para ser executado Uma (CC 5 e 6) ou duas (CC 2 3) instruções são designadas para as unidades de despacho. Durante um período que pode durar de 1 a 32 ciclos, as instruções em um warp são despachadas para as unidades funcionais. O número de ciclos para despachar todas as instruções depende Do número de unidades funcionais para atender cada tipo de instrução Da contenção de recursos.

8 Execução das Instruções Cada multiprocessador tem um ou mais escalonadores de warp Escalonador escolher um warp pronto para ser emitido Uma instrução é designada para o warp Através de vários ciclos de relógio, threads do warp são despachadas para as unidades funcionais para serem executadas.

9 Unidades funcionais da GPU Nvidia Definição de Unidade funcional: Hardware que pode executar certos tipos de instruções Operações com inteiros, deslocamento, operações com ponto flutuante Unidades funcionais da Nvidia: CUDA Core: Unidade funcional que executa a maior parte das intruções, incluindo operações com inteiros e ponto flutuante Unidade funcional especial: Executa instruções recíprocas e transcendentais como seno, coseno, e raíz quadrada recíproca Dupla precisão: Executa instruções ponto flutuante precisão dupla

10 Emissão de Threads em Nvidia A emissão da thread é feita pelo escalonador de warps 1. Escalonador escolhe um warp Warp tem que estar em um bloco ativo. Warp tem que estar pronta (não está esperando por operandos na memória ou registradores). A warp tem um PC, que é aplicado a todas as threads nãomascaradas. 2. Uma (CC 5 e 6) ou duas instruções de uma warp são emitidas para a unidade de despacho 3. Instruções(s) designadas para a unidade de despacho são buscadas e decodificadas 4. Em cada ciclo, x threads são despachadas para as unidades funcionais onde x é o número de unidades funcionais disponíveis, até que todas as threads sejam despachadas

11 Exemplo de escalonamento

12 Exemplo de escalonamento

13 Exemplo Multiplicar dois vetores de tamanho 8192 Código que trabalha sobre todos os elementos é o grid Blocos de threads quebram o grid em tamanhos gerenciáveis: 512 threads por bloco Instruções SIMD executam 32 elementos por vez Então tamanho do grid = 16 blocos Bloco é análogo a um loop vetorial com múltiplas raias com vetor de tamanho 32 O bloco é alocado a um processador SIMD multithreaded pelo escalonador de blocos Geração Fermi de GPUs (Fermi) possui 7-15 multithreaded SIMD processadores

14 NVIDIA Instruction Set Arch. ISA é uma abstração do conjunto de instruções de hardware Parallel Thread Execution (PTX) Usa registradores virtuais Tradução para código de máquina é feito no software Exemplo: shl.s32 R8, blockidx, 9 ; Thread Block ID * Block size (512 or 29) add.s32 R8, R8, threadidx ; R8 = i = my CUDA thread ID ld.global.f64 RD0, [X+R8] ; RD0 = X[i] ld.global.f64 RD2, [Y+R8] ; RD2 = Y[i] mul.f64 R0D, RD0, RD4 ; Product in RD0 = RD0 * RD4 (scalar a) add.f64 R0D, RD0, RD2 ; Sum in RD0 = RD0 + RD2 (Y[i]) st.global.f64 [Y+R8], RD0 ; Y[i] = sum (X[i]*a + Y[i])

15 Desvio condicional Um warp contém 32 threads. Cada thread pode seguir seu próprio caminho. Hardware decodifica somente uma instrução para todo o warp Se threads em um warp devem ir para caminhos diferentes cada uma é executada separadamente até um ponto de reconvergência. Divergências devem ser raras ou rápidas no código Implementação é feita usando uma pilha de reconvergência Cada thread, após cada caminho pelo qual se passou ou não, vai para o ponto de reconvergência antes de seguir qualquer outro caminho

16 Desvio condicional Ponto de reconvergência: Uma instrução que será executada caso o desvio tenha sido executado ou não Máscara de thread: Um registrador que controla se a thread pode executar possui 32 bits (um bit por thread do warp) Thread mascarada: Uma therad cuja execução não é permitida pela máscara de

17 Exemplo de Desvio condicional Assuma que nas threads ímpares no Warp 0, T0-T31, a condiçaõ a>b é verdadeira e para threads pares a>b é falso. Para todas as threads em Warp 1, T32-T63, a condição a>b é verdadeira.

18 Estruturas de memória da GPU NVIDIA Cada faixa SIMD tem sua seção privada de off-chip DRAM Memória privada Contém frame da pilha, registradores de spilling, e variáveis privadas Cada processador SIMD multithreaded tem sua memória local Compartilhada pelas faixas/threads SIMD em um bloco Memória compartilhada pelos processadores SIMD é memória da GPU Host pode ler e escrever na memória da GPU

19 Fermi Multithreaded SIMD Proc.

Documentos relacionados

5 Unidades de Processamento Gráfico GPUs

5 Unidades de Processamento Gráfico GPUs As GPUs são processadores maciçamente paralelos, com múltiplos elementos de processamento, tipicamente utilizadas como aceleradores de computação. Elas fornecem