Desempenho de caches

Transcrição

1 Cache (cont) Sistemas de memória Memória cache organização leitura escrita otimizações Memória Virtual endereçamento paginação TLB excessões UFPR-CI32,CI otimização de caches Revisão Localidade Temporal objeto será referenciado novamente no futuro próximo: pilha, código LocalidadeEspacial objetos vizinhos serão referenciados no futuro próximo: vetores, instruções Taxa de Acertos = núm acertos / núm referências Taxa de Faltas = Taxa de acertos 3 Cs: faltas compulsórias, por conflitos, por capacidade compulsórias: são compulsórias... conflitos: endereços mapeiam no mesmo bloco associatividade capacidade: conj de dados > cache ; tamanho Poĺıticas de escrita escrita forçada, escrita preguiçosa, fila de escrita nas faltas: aloca espaço, não-aloca espaço store buffer antes da cache ; write buffer depois da cache UFPR-CI32,CI otimização de caches 2 Desempenho de caches Tempo médio de acesso à memória: Tmem = Tacerto + txfaltas penalidade tempo de CPU = #Instr CPI ciclo #Instr (CPIexec + CPImem) ciclo CPImem = numrefs instr (Tacerto + txfaltas penalidade) UFPR-CI32,CI otimização de caches 3

2 Melhoria no desempenho de caches Tempo médio de acesso a memória = tempo de acerto + taxa de faltas penalidade nas faltas Para melhorar o desempenho é necessário: reduzir a taxa de faltas reduzir a penalidade nas faltas reduzir o tempo de acerto Estratégia mais simples é projetar a cache primária maior possível, sem alongar o ciclo de relógio, e sem estágios adicionais no pipeline isso pode ser complicado com emissão fora-de-ordem detalhes adiante UFPR-CI32,CI otimização de caches 4 Reduzir a taxa de faltas Faltas compulsórias: primeira referência a um bloco (a frio) faltas que ocorreriam numa cache infinita Faltas por capacidade: cache não comporta conjunto de trabalho faltas que ocorreriam mesmo com poĺıticas perfeitas de alocação e de reposição de blocos Faltas por conflito: colisões no mapeamento de blocos na cache faltas que não ocorreriam se a cache fosse totalmente associativa e reposição fosse com LRU podem ocorrer com cache não-cheia UFPR-CI32,CI otimização de caches 5 Reduzir a taxa de faltas parâmetros de projeto capacidade = tambloco numblocos associatividade = numelementos numconjuntos elmtos/conjunto Capacidade aumentar matriz de dados reduz faltas por capacidade e por conflito tempo de acerto pode aumentar Tamanho do bloco matriz de dados mais larga localidade espacial reduz faltas compulsórias menor número de blocos pode aumentar conflitos = capacidade bloco maior pode aumentar penalidade para preencher bloco Associatividade conjuntos com mais elementos reduz faltas por conflito (até associatividade 4-8) pode aumentar tempo de acesso UFPR-CI32,CI otimização de caches 6

3 . Reduzir a taxa de faltas Tamanho do Bloco taxa de faltas vs tamanho do bloco K 4K 6K 64K 256K tamanho do bloco [bytes] localidade espacial reduz faltas compulsórias para mesma capacidade menor número de blocos aumenta conflitos bloco maior aumenta tempo de preenchimento e penalidade UFPR-CI32,CI otimização de caches 7 2. Reduzir a taxa de faltas Associatividade Regra 2: taxa de faltas de uma cache com mapeamento direto de tamanho N taxa de faltas de cache com associatividade binária de tamanho N/2 Achtung: desempenho é medido pelo tempo de execução!! maior associatividade pode aumentar tempo de acesso Simulação com CACTI, tecnologia 20nm, 32 bytes/bloco cacti C 32 {,2} tempo de acesso com map. direto X assoc. binária CACTI escolhe a melhor geometria capac T MD ns T MD /T 2w 6K K K K K UFPR-CI32,CI otimização de caches 8 3. Reduzir a taxa de faltas Cache de Vítimas CPU L dados expulso da L L2 unificada acerto na VC (falta na L) victim cache assoc, 4bl expulso da VC Cache de Vítimas é uma cache associativa pequena (4-8 blocos), ligada à cache com mapeamento direto para conter linhas recentemente expurgadas [Jouppi90]: CdV com 4 elementos remove de 20% a 95% dos conflitos numa cache de 4 Kbytes com mapeamento direto usado no Alpha e máquinas da HP UFPR-CI32,CI otimização de caches 9

4 3. Reduzir faltas Cache de Vítimas (cont) CPU L dados expulso da L L2 unificada acerto na VC (falta na L) victim cache assoc, 4bl expulso da VC Procura na L; se falta, procura da cache de vítimas; se encontrou, troca linha por aquela que vai ser expulsa da L; se falta na CdV, vítima na L CdV; vítima na CdV Efeito combinado: tempo de acesso do mapeamento direto com redução nas faltas por conflito. UFPR-CI32,CI otimização de caches 0 4. Reduzir tx faltas Busca antecipada por hardware Busca antecipada de instruções Alpha 2064 busca dois blocos numa falta bloco extra é colocado num stream buffer numa falta, procura no stream buffer todos os x86 fazem busca antecipada necessário porque codificação das instruções é irregular [Jouppi90] Busca antecipada de dados stream buffer para dados resolve 25% das faltas [Jouppi90] numa cache de 4KB; 4 stream buffers resolvem 43% para aplicações científicas, 8 strbfrs resolvem 50-70% das faltas com duas caches de 64KB, assoc-quaternária [Palacharla94] Busca antecipada necessita de sistema de memória com muita vazão sobrando e que possa ser utilizada sem aumentar penalidade; pode causar poluição da cache com blocos/palavras inúteis UFPR-CI32,CI otimização de caches 5. Reduzir tx faltas Busca antecipada por software Busca antecipada de dados carregar dados em registrador (HP PA-RISC) carregar dados para a cache (MIPS-4, PowerPC) instruções de busca antecipada não podem causar faltas de página forma de execução especulativa Executar instruções de busca antecipada custa tempo custo da busca antecipada é menor que os ganhos pelos acertos? processadores super-escalares gulosos facilitam despacho destas instruções Busca antecipada causa poluição na cache melhor carregar blocos em stream buffers (SBs) e não na cache numa falta, carrega SBs com blocos para além do faltante numa falta, procura na cache e nos SBs SB é bom para instruções 4..8 SBs para dados por que? UFPR-CI32,CI otimização de caches 2

5 6. Reduzir tx faltas Otimização pelo compilador Instruções reordenar funções na memória para reduzir faltas por conflito observar perfil de execução para descobrir conflitos, e então re-ligar aplicativos Dados agrupar vetores: acessos a vetor de elementos compostos tem melhor localidade espacial que 2 vetores alocados separadamente troca de loops: mudar aninhamento dos loops para acessar dados na ordem de armazenamento em memória row major fusão de loops: combinar 2 loops independentes com comportamento similar e uso repetido das variáveis blocagem: melhorar a localidade temporal ao acessar blocos de dados repetidamente ao invés de percorrer linhas/colunas inteiras bom se bloco cache UFPR-CI32,CI otimização de caches 3 Exemplo: agrupamento de vetores / Antes: 2 vetores / int val[tam]; int key[tam]; / Depois: vetor de estruturas / struct agrup { int val; int key; } struct agrup keyval[tam]; Agrupamento de val[] e key[] melhora localidade espacial e pode reduzir conflitos de mapeamento na cache e simplifica código para calcular endereços UFPR-CI32,CI otimização de caches 4 Exemplo: troca de loops for (k=0; k < 00; k++) / Antes / 2 for (j=0; j < 00; j++) 3 for (i=0; i < 5000; i++) 4 x[i][j] = 2 * x[i][j]; / passo =00 / 5 for (k=0; k < 00; k++) / Depois / 6 for (i=0; i < 5000; i++) 7 for (j=0; j < 00; j++) 8 x[i][j] = 2 * x[i][j]; / passo = / Acessos seqüenciais ao invés de passadas de 00 palavras melhora localidade espacial passada stride UFPR-CI32,CI otimização de caches 5

6 Exemplo: fusão de loops / Antes: duas faltas por acesso em a[] e c[] / for (i=0; i < N; i++) // N= for (j=0; j < N; j++) 3 a[i][j] = /b[i][j] * c[i][j]; 4 for (i=0; i < N; i++) 5 for (j=0; j < N; j++) 6 d[i][j] = a[i][j] + c[i][j]; / Depois: uma falta por acesso em a[] e em c[] / 7 for (i=0; i < N; i++) 8 for (j=0; j < N; j++) { 9 a[i][j] = /b[i][j] * c[i][j]; a d[i][j] = a[i][j] + c[i][j]; b } / re-uso e melhor localidade espacial / UFPR-CI32,CI otimização de caches 6 Exemplo: blocagem (i) for (i=0; i < N; i++) / Antes / 2 for (j=0; j < N; j++) { 3 for (r=0.0, k=0; k < N; k++) 4 r = r + y[i][k] * z[k][j]; 5 x[i][j] = r; 6 } Dois loops internos: lê todos os NxN elementos de z[] lê N elementos de uma linha de y[] repetidamente escreve N elementos de coluna de x[] Faltas por capacidade são função de N e tamanho da cache núm faltas = 2N 3 + N 2, se não ocorrerem conflitos... Idéia: computar sub-matriz que cabe na cache UFPR-CI32,CI otimização de caches 7 Exemplo: blocagem (ii) for (i=0; i < N; i++) / Antes / 2 for (j=0; j < N; j++) { 3 for (r=0.0, k=0; k < N; k++) 4 r = r + y[i][k] * z[k][j]; 5 x[i][j] = r; 6 } k j z k y i i j x não tocado tocado há muito tocado há pouco UFPR-CI32,CI otimização de caches 8

7 Exemplo: blocagem (iii) for (jj=0; jj < N; jj = jj+b) / Depois / 2 for (kk=0; kk < N; kk = kk+b) 3 for (i=0; i < N; i++) 4 for (j = jj; j < min(jj+b,n); j++) { 5 for (r = 0.0, k = kk; k < min(kk+b,n); k++) 6 r = r + y[i][k] * z[k][j]; 7 x[i][j] = x[i][j] + r; / x[i][j] parcial / 8 } B é chamado de fator de blocagem Faltas por capacidade caem de 2N 3 + N 2 para 2N 3 /B + N 2 ganho pela redução nas faltas é maior que ganho algorítmico Faltas por conflito talvez diminuem UFPR-CI32,CI otimização de caches 9 Exemplo: blocagem (iv) for (jj=0; jj < N; jj = jj+b) / Depois / 2 for (kk=0; kk < N; kk = kk+b) 3 for (i=0; i < N; i++) 4 for (j = jj; j < min(jj+b,n); j++) { 5 for (r = 0.0, k = kk; k < min(kk+b,n); k++) 6 r = r + y[i][k] * z[k][j]; 7 x[i][j] = x[i][j] + r; } / x[i][j] parcial / k j z k y i i j x UFPR-CI32,CI otimização de caches 20 Melhoria no desempenho de caches Tempo médio de acesso a memória = tempo de acerto + taxa de faltas penalidade nas faltas Para melhorar o desempenho é necessário: reduzir a taxa de faltas parâmetros de projeto: número, tam blocos, associatividade cache de vítimas, stream buffers, busca antecipada otimização do código: agrupamento, troca de índices, fusão, blocagem reduzir a penalidade nas faltas reduzir o tempo de acerto UFPR-CI32,CI otimização de caches 2

8 A. Reduzir a penalidade hierarquia de caches Memória não pode ser simultaneamente grande e rápida; hierarquia com caches maiores mais longe do processador registradores processador n DRAM cache L2 cache L n2 n3 n4 tempo de acesso disco n5 capacidade da memória em cada nível UFPR-CI32,CI otimização de caches 22 A.a Reduzir a penalidade hierarquia de caches CPU L L2 DRAM Taxa de faltas local = faltas na cache / acessos à cache Taxa de faltas global = faltas na cache / referências pelo processador T mem = ta L + F L P L = ta L + F L [ta L2 + F L2 P DRAM ] onde ta é o tempo de acerto, F Li é taxa de faltas no nível i, e P Li é a penalidade por falta no nível i UFPR-CI32,CI otimização de caches 23 A.b Reduzir a penalidade hierarquia de caches CPU L L2 DRAM Propriedade de Inclusão: Conteúdo das caches maiores inclui o conteúdo das menores cache menor contém cópias dos dados na cache maior qual a relação entre associatividade, tamanho e inclusão? qual a relação entre bits de tag/índice e assoc, tamanho e inclusão? [Baer,Wang88] On the Inclusion Properties for Multi-Level Cache Hierarchies Caches exclusivas trocam linhas numa falta L novo; L2 velho UFPR-CI32,CI otimização de caches 24

9 A.c Reduzir a penalidade hierarquia de caches Hierarquia no Itanium-2 L: 2 x 6KB, assoc 4, linhas com 64 bytes, quatro portas (2-load + 2-store), latência de ciclo L2: 256KB, assoc 4, linhas com 28 bytes, quatro portas (2-load + 2-store), latência de 5 ciclos L3: 3MB, assoc 2, linhas com 28 bytes, uma porta de 32 bytes, latência de 2 ciclos DRAM: latência 00 ciclos UFPR-CI32,CI otimização de caches 25 Perguntas P: Se CPU executa 4 instruções por ciclo, quantas oportunidades de executar instruções são perdidas numa falta na L (penalidade=+5c)? na L2 (penalidade=+5+2c)? na L3 (penalidade= c)? P2: O que se pode dizer quanto a código que foi cuidadosamente otimizado para conter montes de referências através de apontadores: a b, a b c, a b c d, a b c d e,...? Dãh... qual é o problema com apontadores? UFPR-CI32,CI otimização de caches 26 B. Red penalidade prioridade para faltas de leitura Escrita forçada com fila de escrita cria risco RAW processador tenta ler dado que está na fila de escrita solução ruim: espera até que fila esvazie e então continua LOAD aumenta penalidade nas faltas de leitura solução melhor: verifica se m dependências; se não, LOAD prossegue sem bloquear memory disambiguation Escrita preguiçosa: falta na leitura substitui bloco sujo solução ruim: escreve bloco sujo e então busca bloco faltante solução melhor:. escreve bloco sujo num buffer/fila, 2. lê bloco faltante e entrega ao processador, 3. então envia bloco sujo para próximo nível + rápido porque CPU prossegue assim que ler bloco faltante UFPR-CI32,CI otimização de caches 27

10 C. Reduzir a penalidade minimizar tempo de carga Tempo de preenchimento do bloco é longo...mas não precisa esperar até que todo o bloco seja preenchido Early restart assim que instrução requisitada chegar da memória, entrega ao processador, que continua a executar Critical word first busca palavra requisitada primeiro e a entrega ao processador assim que chegar da memória processador continua enquanto bloco está sendo preenchido técnica é útil com blocos grandes processador requisita p2: p0 p p2 p3 p2 é entregue, e bloco é preenchido com p2 p3 p0 p localidade espacial indica que próximo acesso será na palavra seguinte, que chegará em breve UFPR-CI32,CI otimização de caches 28 D. Reduzir a penalidade cache não-bloqueante Cache não-bloqueante entrega dados enquanto trata de uma falta cache registra ender, UF dest e despacha ref para memória necessário para processador com execução fora-de-ordem necessita memória com múltiplos bancos cache & DRAM [Kroft8] Lock-up Free Instruction Fetch/Prefetch Cache Organization acerto sob falta (hit under miss) reduz penalidade efetiva porque cache fornece dados, ao invés de bloquear processador na falta acerto sob múltiplas faltas (miss under miss) reduz penalidade ainda mais ao sobrepor tratamento de múltiplas faltas complexidade do controlador da cache é maior por causa dos acessos concomitantes à memória necessita de memória com múltiplos bancos cache & DRAM PentiumPro permite até 4 faltas pendentes projeto é muito popular porque eficaz UFPR-CI32,CI otimização de caches 29 D. Reduzir a penalidade cache não-bloqueante Fração do tempo médio perdido em referências à memória 00% 90% 80% 70% 60% 50% 40% 30% 20% 0%... ponto flutuante inteiros. hit under miss hit under 2 misses hit under 64 misses swm256 fppp hydro2d tomcatv su2cor ora expresso eqntott xlisp compress UFPR-CI32,CI otimização de caches 30

11 Melhoria no desempenho de caches Tempo médio de acesso a memória = tempo de acerto + taxa de faltas penalidade nas faltas Para melhorar o desempenho é necessário: reduzir a taxa de faltas reduzir a penalidade nas faltas hierarquia de caches priorizar faltas na leitura (critical word first, early restart) cache não-bloqueante reduzir o tempo de acerto UFPR-CI32,CI otimização de caches 3 I. Reduzir o tempo de acerto caches simples e pequenas Tempo de acerto curto se: cache pequena reduz tempo de acesso cache simples mapeamento direto Alpha 264 tem 8KB para dados e 8KB para instruções, 96KB cache secundária, unificada, associatividade ternária, e relógio muito rápido! UFPR-CI32,CI otimização de caches 32 II.i Reduzir o tempo de acerto evitar tradução de endereços Cache endereçada com: endereço virtual vs endereço físico a cada troca de contexto deve expurgar a cache ou efetuar seu equivalente lógico senão ocorrem falsos-acertos do proc. que entra e caos processo que entra no processador sofre montes de faltas compulsórias conseqüência da troca de contexto pode durar 0 5 ciclos solução: usar identificador de processo na etiqueta na cache pid, tag UFPR-CI32,CI otimização de caches 33

12 II.ii Reduzir o tempo de acerto evitar tradução de endereços Cache endereçada com: endereço virtual vs endereço físico como trata de sinônimos? dois endereços virtuais que mapeiam no mesmo endereço físico solução: garantir que indexação da cache ocorre com bits que coincidem no EV e EF restringir compartilhamento à fronteira de página? EVirtual núm página virtual deslocamento ender na cache índice EFísico núm página física deslocamento Por que caches L de CPUs recentes ( 6 K) tem associatividade alta ( 4)? UFPR-CI32,CI otimização de caches 34 II.iii Reduzir T de acerto evitar tradução de ender CPU CPU CPU TLB EV EF etiq c/ endvirt cache EV EV etiq c/ endfis EV cache TLB EF cache TLB mem EF EF núm página deslocamento mem organização simples mem cache ender virtual traduz somente nas faltas etiqueta índice bloco sobrepõe indexação com tradução EV-EF índice não pode mudar durante tradução cache = página UFPR-CI32,CI otimização de caches 35 III.i Reduzir o tempo de acerto escritas em pipeline Escrita consome dois ciclos (SE NÃO FOR escr forçada-alocate on miss) compara etiqueta ; escreve na cache melhor se armazena dados,endereço em buffer ; escreve dados na cache durante comparação de etiqueta na próxima escrita ou no próximo ciclo vago risco RAW entre leitura e escrita atrasada adiantamento SE cache emprega escrita forçada com alocate on write miss escrita consome um ciclo só: escreve na cache SEM verificar se acerto ou falta (re-aloca o bloco se for falta) UFPR-CI32,CI otimização de caches 36

13 III.ii Reduzir tempo de acerto escritas em pipeline load hit? compara etiqueta tags store hit? clk load delayed addr store escreve dado anterior clk delayed data load/store WRen ender Dout dados CPU Din UFPR-CI32,CI otimização de caches 37 Resumo melhorar desempenho de caches T méd acesso mem = T acerto + tx faltas x penalidade/falta Para melhorar o desempenho é necessário: reduzir a taxa de faltas parâmetros de projeto: número, tam blocos, associatividade cache de vítimas, stream buffers, busca antecipada otimização do código: agrupamento, troca de índices, fusão, blocagem reduzir a penalidade nas faltas hierarquia de caches priorizar faltas na leitura (critical word first, early restart) cache não-bloqueante reduzir o tempo de acerto caches simples e pequenas não traduzir endereço virtual para físico escritas em pipeline UFPR-CI32,CI otimização de caches 38