Arquitetura e Organização de Processadores. Aulas 9 e 10. Memória cache

Transcrição

1 Universidade Federal do Rio Grande do Sul Instituto de Informática Programa de Pós-Graduação em Computação Arquitetura e Organização de Processadores Aulas 9 e 10 Memória cache

2 Tendências tecnológicas 1. Introdução Capacidade Velocidade (latência) Lógica: 2x em 3 anos 2x em 3 anos DRAM: 4x em 3 anos 2x em 10 anos Disco: 4x em 3 anos 2x em 10 anos DRAM Ano Tamanho Tempo acesso 1000:1! 2:1! Kb 250 ns Kb 220 ns Mb 190 ns Mb 165 ns Mb 145 ns Mb 120 ns

3 Tendências tecnológicas Hiato de desempenho (latência) entre processador e memória DRAM 1000 Lei de Moore CPU µproc 60% / ano (2X / 1.5 anos) Performance hiato cresce 50% a cada ano DRAM DRAM 9% / ano (2X / 10 anos) Tempo

4 Hierarquia de memória objetivo: oferecer ilusão de máximo tamanho de memória, com mínimo custo e máxima velocidade cada nível contém cópia de parte da informação armazenada no nível superior seguinte Processador Bloco de controle Memória Memória Bloco operac. Memória Memória Memória Velocidade: Tamanho: Custo: Mais rápida Menor Mais alto Mais lenta Maior Mais baixo

5 Tecnologias na hierarquia de memória Acesso randômico tempo de acesso é o mesmo para todas as posições DRAM: Dynamic Random Access Memory alta densidade, baixa potência, barata, lenta dinâmica: precisa de um refresh regular SRAM: Static Random Access Memory baixa densidade, alta potência, cara, rápida estática: conteúdo dura para sempre (enquanto houver alimentação) Acesso não-tão-randômico tempo de acesso varia de posição para posição e de tempos em tempos exemplos: disco, CD-ROM Acesso sequencial tempo de acesso varia linearmente com a posição (p.ex. fita)

6 Hierarquia de memória Processador Bloco de controle Bloco operac. Registrad. On-Chip Cache Cache 2º nível (SRAM) Memória principal (DRAM) Memória secundária (disco) Velocidade (ns): 0, (10 ms) Tamanho (bytes): K 512 K 256 M Gs

7 Hit e miss Hit: dado aparece em algum bloco no nível superior (junto ao processador) Hit Ratio: a fração de acessos à memória resolvidos no nível superior Hit Time: tempo de acesso ao nível superior, que consiste de tempo de acesso à memória RAM + tempo para determinar hit/miss Miss: dado precisa ser buscado de um bloco no nível inferior Miss Ratio = 1 (Hit Ratio) Miss Penalty: tempo gasto para substituir um bloco no nível superior + tempo para fornecer o bloco ao processador Hit Time << Miss Penalty

8 Hierarquia de memória Como a hierarquia é gerenciada? Registradores <-> memória pelo compilador cache <-> memória principal pelo hardware memória principal <-> disco pelo hardware e pelo sistema operacional (memória virtual) pelo programador (arquivos)

9 Princípio de localidade Hierarquia de memória funciona devido ao princípio de localidade todos os programas repetem trechos de código e acessam repetidamente dados próximos Probabilidade de referência 0 2 Espaço de endereçamento n -1 localidade temporal: posições de memória, uma vez acessadas, tendem a ser acessadas novamente no futuro próximo localidade espacial: endereços em próximos acessos tendem a ser próximos de endereços de acessos anteriores

10 Princípio de localidade Como explorar o princípio de localidade numa hierarquia de memória? Localidade Temporal => Mantenha itens de dados mais recentemente acessados nos níveis da hierarquia mais próximos do processador Localidade Espacial => Mova blocos de palavras contíguas para os níveis da hierarquia mais próximos do processador para processador do processador Nível mais próximo Bloco X Nível mais distante Bloco Y

11 Localidade temporal usualmente encontrada em laços de instruções e acessos a pilhas de dados e variáveis é essencial para a eficiência da memória cache se uma referência é repetida N vezes durante um laço de programa, após a primeira referência a posição é sempre encontrada na cache Tc = tempo de acesso à cache Tm = tempo de acesso à memória principal Tce = tempo efetivo de acesso à cache Tce = N Tc + Tm N = Tc + Tm N se Tc = 1 ns, Tm = 20 ns, N = 10 Tce = 3 ns N = 100 Tce = 1,2 ns

12 Localidade espacial módulos de memória principal memória cache endereço de memória linha linha byte

13 Impacto no desempenho Medindo o impacto do hit ratio no tempo efetivo de acesso Tc = tempo de acesso à memória cache Tm = tempo de acesso à memória principal Tce = tempo efetivo de acesso à memória cache, considerando efeito dos misses Tce = Tc + (1 h) Tm se Tc = 1 ns, Tm = 20 ns h = então Tce = 4 ns 2 ns 1.2 ns 1 ns

14 Impacto no desempenho Tempo gasto com um cache miss, em número de instruções executadas 1º Alpha 340 ns / 5.0 ns = 68 clks x 2 instr. ou 136 instruções 2º Alpha 266 ns / 3.3 ns = 80 clks x 4 instr. ou 320 instruções 3º Alpha 180 ns / 1.7 ns = 108 clks x 6 instr. ou 648 instruções 1/2 X latência x 3 X freqüência clock x 3 X instruções/clock 5 X

15 Impacto no desempenho Supondo um processador que executa um programa com: CPI = % aritm/lógica, 30% load/store, 20% desvios Supondo que 10% das operações de acesso a dados na memória sejam misses e resultem numa penalidade de 50 ciclos CPI = CPI ideal + nº médio de stalls por instrução = 1.1 ciclos acessos à memória / instrução x 0.10 misses / acesso x 50 ciclos / miss = 1.1 ciclos ciclos = 2. 6 CPI ideal 1.1 Data misses 1.5 Instr.misses % do tempo o processador está parado esperando pela memória! um miss ratio de 1% no fetch de instruções resultaria na adição de 0.5 ciclos ao CPI médio

16 2. Organizações de memória cache processador gera endereço de memória e o envia à cache cache deve verificar se tem cópia da posição de memória correspondente se tem, encontrar a posição da cache onde está esta cópia se não tem, trazer o conteúdo da memória principal e escolher posição da cache onde a cópia será armazenada mapeamento entre endereços de memória principal e endereços de cache resolve estas 3 questões deve ser executado em hardware estratégias de organização (mapeamento) da cache mapeamento completamente associativo mapeamento direto mapeamento set-associativo

17 Mapeamento completamente associativo endereço gerado pelo processador miss: memória é acessada cache comparação simultânea com todos os endereços endereço hit dado processador memória principal

18 Mapeamento completamente associativo endereço gerado pelo processador word byte cache comparação simultânea com todos os endereços endereço word 0 hit w 1 w 2 w 3 cache organizada em linhas com 4 palavras de 4 bytes processador seleciona word e byte

19 Mapeamento completamente associativo vantagem: máxima flexibilidade no posicionamento de qualquer palavra (ou linha) da memória principal em qualquer palavra (ou linha) da cache desvantagens custo em hardware da comparação simultânea de todos os endereços armazenados na cache algoritmo de substituição (em hardware) para selecionar uma linha da cache como conseqüência de um miss utilizado apenas em memórias associativas de pequeno tamanho tabelas

20 Mapeamento direto endereço gerado pelo processador tag índice tag + índice cache índice tag dado =? iguais diferentes processador memória principal

21 Mapeamento direto endereço é dividido em 2 partes parte menos significativa: índice, usado como endereço na cache onde será armazenada a palavra parte mais significativa: tag, armazenado na cache junto com o conteúdo da posição de memória quando acesso é feito, índice é usado para encontrar palavra na cache se tag armazenado na palavra da cache é igual ao tag do endereço procurado, então houve hit endereços com mesmo índice são mapeados sempre para a mesma palavra da cache

22 Mapeamento direto mapeamento: endereço é o módulo do número de blocos na cache Cache Memory

23 Mapeamento direto exemplo 20 bits 12 bits tag índice tag + índice = 32 bits cache = 2 12 = 4 K índice 20 bits 32 bits tag dado =? iguais diferentes processador memória principal 2 32 = 4 G

24 Mapeamento direto uso de linhas Valid Bit : Cache Tag Exemplo: 0x50 Cache Index Byte Select Cache Tag armazenado como parte do estado da cache 0x50 : Ex: 0x01 Cache Data Byte 31 Byte 63 : : Byte 1 Byte 33 : Ex: 0x00 Byte 0 Byte Byte 1023 : Byte

25 Tamanho da linha x miss ratio 40% 35% 30% Miss rate 25% 20% 15% 10% 5% 0% Block size (bytes) 1 KB 8 KB 16 KB 64 KB 256 KB

26 Tamanho da linha em geral, uma linha maior aproveita melhor a localidade espacial MAS linha maior significa maior miss penalty demora mais tempo para preencher a linha se tamanho da linha é grande demais em relação ao tamanho da cache, miss ratio vai aumentar muito poucas linhas em geral, tempo médio de acesso = Miss Penalty Hit Time x (1 - Miss Ratio) + Miss Penalty x Miss Ratio Miss Tempo médio de acesso Ratio explora localidade espacial poucas linhas: compromete localidade temporal Miss Penalty & Miss Ratio aumentam Tamanho da linha Tamanho da linha Tamanho da linha

27 Quantos bits tem a cache no total? supondo cache com mapeamento direto, com 64 KB de dados, linha com uma palavra, endereços de 32 bits 64 KB -> 16 Kpalavras, 2 14 palavras, neste caso 2 14 linhas cada linha tem 32 bits de dados mais um tag ( bits) mais um bit de validade: 2 14 x ( ) = 2 14 x 49 = 784 x 2 10 = 784 Kbits 98 KB para 64 KB de dados, ou 50% a mais

28 Mapeamento direto vantagens não há necessidade de algoritmo de substituição hardware simples e de baixo custo alta velocidade de operação desvantagens desempenho cai se acessos consecutivos são feitos a palavras com mesmo índice hit ratio inferior ao de caches com mapeamento associativo demonstra-se no entanto que hit ratio aumenta com o aumento da cache, aproximando-se de caches com mapeamento associativo tendência atual é de uso de caches grandes

29 Mapeamento conjunto associativo tag índice Cache índice tag dado tag dado tag dado tag dado não =? sim =? =? =? sim sim sim

30 Mapeamento conjunto associativo mapeamento direto: todas as palavras armazenadas na cache devem ter índices diferentes mapeamento associativo: linhas podem ser colocadas em qualquer posição da cache compromisso: um nº limitado de linhas, de mesmo índice mas diferentes tags, podem estar na cache ao mesmo tempo (num mesmo conjunto) nº de linhas no conjunto = associatividade

31 Mapeamento conjunto associativo vantagem em relação ao mapeamento completamente associativo: comparadores são compartilhados por todos os conjuntos algoritmo de substituição só precisa considerar linhas dentro de um conjunto muito utilizado em microprocessadores Motorola 68040: 4-way set associative Intel 486: 4-way set associative Pentium: 2-way set associative

32 Desvantagem da cache conjunto-associativo conjunto-associativa N-way X mapeamento direto dado tem atraso extra do multiplexador dado vem DEPOIS da decisão Hit/Miss e da seleção do conjunto numa cache com mapeamento direto, linha da cache está disponível ANTES da decisão Hit/Miss possível assumir um hit e continuar. Recuperar depois se for miss. Valid Cache Tag Cache Data Linha 0 : : : Cache Index Cache Data Linha 0 : Cache Tag Valid : : Adr Tag Compare Sel1 1 Mux 0 Sel0 Compare Hit OR Linha

33 Impacto da associatividade da cache 15% 12% 9% Miss rate 6% 3% 0% One-way Two-way Four-way Eight-way Associativity 1 KB 16 KB 2 KB 32 KB 4 KB 64 KB 8 KB 128 KB

34 Fontes de misses compulsórios (cold start ou chaveamento de processos, primeira referência): primeiro accesso a uma linha é um fato da vida : não se pode fazer muito a respeito se o programa vai executar bilhões de instruções, misses compulsórios são insignificantes de conflito (ou colisão) múltiplas linhas de memória acessando o mesmo conjunto da cache conjunto-associativa ou mesma linha da cache com mapeamento direto solução 1: aumentar tamanho da cache solução 2: aumentar associatividade de capacidade cache não pode conter todas as linhas accessadas pelo programa solução: aumentar tamanho da cache invalidação: outro processo (p.ex. I/O) atualiza memória

35 Fontes de misses Miss rate per type 14% 12% 10% 8% 6% misses compulsórios não aparecem misses de capacidade (parte branca da curva) dependem do tamanho da cache misses de conflito: dependem da associatividade e do tamanho da cache 4% 2% Capacity 0% Cache size (KB) One-way Two-way Four-way Eight-way

36 Quantidade de misses segundo a fonte Mapeam. direto Conj.-associat. N-way Complet. associativa Tamanho da cache Misses compulsórios Grande Médio Pequeno Mesmo Mesmo Mesmo Misses de conflito Alto Médio Zero Misses de capacidade Misses de invalidação Baixo Médio Alto Mesmo Mesmo Mesmo

37 3. Mecanismos de fetch e escrita estratégias para fetch de palavras ou linhas da memória principal fetch por demanda prefetch fetch por demanda fetch da linha quando ocorre miss estratégia mais simples, não exige hardware adicional prefetch fetch da linha antes que ela seja necessária p.ex: prefetch da linha i+1 quando a linha i é inicialmente referenciada alternativa: prefetch da linha i+1 quando ocorre miss da linha i

38 Operações de escrita leitura na cache não afeta conteúdo não há discrepância entre cache e memória principal escrita na cache: cópias da palavra na cache e na memória principal podem ter valores diferentes valores deveriam ficar iguais em razão de: acessos de E/S feitos através da memória principal acessos à memória principal por múltiplos processadores tempo médio de acesso à cache é aumentado pela necessidade de atualizações da memória principal mecanismos de coerência de escrita write-through write-back

39 Mecanismo write-through write-through: cada escrita na cache é repetida imediatamente na memória principal escrita adicional na memória principal aumenta tempo médio de acesso à cache estatisticamente apenas 5% a 34% dos acessos à memória são escritas

40 Mecanismo write-through Tempo médio de acesso à cache Tma é dado por Tma = Tc + (1 h) Tb + w (Tm Tc) onde Tc = tempo de acesso à cache h = hit ratio Tb = tempo de leitura de uma linha da memória principal Tm = tempo de acesso a uma palavra da memória principal w = probabilidade de que acesso seja de escrita supondo Tc = 1 ns, Tb = Tm = 10 ns, h = 0.98, w = 0.2 Tma = 3,0 ns, sendo 0,2 ns devido a misses e 1,8 ns devido ao writethrough

41 Write-Through com Write Buffer Processador Cache DRAM Write Buffer Write Buffer é necessário entre cache e memória principal processador: escreve dados na cache e no write buffer controlador de memória: escreve conteúdo do buffer na memória Write buffer é uma FIFO típico número de posições = 4 funciona bem se: freqüência de escritas << 1 / ciclo escrita DRAM problema freqüência de escritas > 1 / ciclo escrita DRAM saturação do Write Buffer

42 Saturação do Write Buffer freqüência de escritas > 1 / ciclo escrita DRAM se esta condição existe por um longo período de tempo (porque tempo de ciclo da CPU é rápido demais e/ou ocorrem muitas instruções store em seqüência): Write-Buffer terá overflow, não importa quão grande ele seja solução para saturação do Write Buffer usar cache com write-back instalar uma cache de segundo nível (L2) Processador Cache L2 Cache DRAM Write Buffer

43 Mecanismo write-back write-back: linha da cache só é escrita de volta na memória principal quando precisa ser substituída estratégia mais simples: escrita é feita mesmo que linha não tenha sido alterada Tma = Tc + (1 h) Tb + (1 h) Tb onde o segundo termo (1 h) Tb é devido à escrita estratégia alternativa: só escrever de volta se linha foi alterada exige um bit de tag para indicar modificações na linha Tma = Tc + (1 h) Tb + w b (1 h) Tb onde w b = probabilidade de que linha tenha sido alterada

44 4. Substituição de linhas quando ocorre um miss, uma nova linha precisa ser trazida da memória principal para a cache cache com mapeamento direto não precisa escolher qual linha da cache será substituída cache completamente associativa: pode-se escolher qualquer uma das linhas cache conjunto-associativa: deve-se escolher uma linha dentro de um conjunto fixado pelo índice algoritmo de substituição precisa ser implementado em hardware

45 Algoritmos de substituição substituição randômica escolha de uma linha ao acaso para ser substituída exemplo de implementação em hardware: contador contador é incrementado a cada ciclo do relógio quando substituição é necessária, escolhe-se linha cujo endereço é igual ao valor atual do contador cache completamente associativa: contador de n bits se cache tem 2 n linhas cache conjunto-associativa: contador de 2 bits numa cache com associatividade = 4 first-in first-out (FIFO) remover a linha que está há mais tempo na cache implementação evidente: fila de endereços de linha

46 Algoritmos de substituição LRU Least Recently Used linha a ser substituída é aquela que há mais tempo não é referenciada implementação mais simples em hardware: contador associado a cada linha quando hit ocorre, contador da linha correspondente é zerado demais contadores são incrementados linha com contador com valor mais alto é a substituída outras implementações pilha de registradores matriz de referência métodos aproximativos

47 5. Hierarquia de caches caches integradas dentro de um processador têm limitação de tamanho miss penalty na cache é muito grande, pela diferença entre os tempos de acesso da cache e da memória principal solução: caches em dois ou três níveis cache integrada (L1, de primeiro nível) é de tamanho pequeno, p.ex. 8 Kbytes, e tempo de acesso menor cache secundária (L2) tem tamanho maior, p.ex. 256 Kbytes, e tempo de acesso maior processadores recentes têm cache de terceiro nível (L3) cache L3 fora do chip do processador, cache L2 dentro misses podem ocorrer em referências a qualquer nível de cache transferências entre níveis de cache apresentam mesmos problemas e possíveis soluções já discutidos

48 6. Caches de dados e instruções dados e instruções: cache unificada x caches separadas vantagens das caches separadas política de escrita só precisa ser aplicada à cache de dados caminhos separados entre memória principal e cada cache, permitindo transferências simultâneas (p.ex. num pipeline) estratégias diferentes para cada cache: tamanho total, tamanho de linha, organização caches separadas são usadas na maioria dos processadores, no nível L1 caches unificadas nos níveis L2 e L3

49 Caches de dados e instruções memória principal cache instr. instruções cache dados dados unidade de fetch de instr. pipeline de instruções unidade de acesso à memória processador

50 Problemas com caches separadas código auto-modificável instruções e dados colocados em posições próximas de memória duas cópias da mesma linha estarão nas duas caches necessidade de controle adicional

51 7. Medindo desempenho desempenho da cache depende... da organização (mapeamento) do tamanho da cache e das linhas do algoritmo de substituição dos mecanismos de escrita e de fetch dos programas sendo executados métodos de obtenção de estimativas de desempenho simulação trace-driven medida direta modelagem matemática

52 Medindo desempenho simulação trace-driven programas típicos são executados facilidade de trace do processador é usada para interromper após cada instrução e registrar endereços de memória gerados pela instrução registro é utilizado numa simulação exige-se simulação de grande nº de instruções ( > 1 M ) medida direta hardware de monitoração permite coleta das referências à memória registro é então utilizado na simulação vantagem: todas as referências são coletadas, mesmo aquelas executadas por trechos protegidos de código