Organização de Computadores

Transcrição

1 Organização de Computadores Aula 21 Memória Cache Rodrigo Hausen 21 de outubro de /49

2 Apresentação 1. Bases Teóricas 2. Organização de computadores Execução de instruções 2.3. Estruturas de Interconexão 2.4. Sistema de Memórias Aula de hoje: Stallings (5a. Edição), 4.3. Memória Cache 2/49

3 Memórias Há diversas tecnologias de memória em uso atualmente Se diferenciam quanto a: custo por bit desempenho (tempo de acesso, tempo de ciclo, taxa de transferência) capacidade localização unidade de transferência método de acesso (sequencial, direto, aleatório) localização características (volatilidade, uso para somente leitura ou leitura/escrita) organização 3/49

4 Memórias Não existe nenhuma tecnologia de memória atual que satisfaça, ao mesmo tempo: maior desempenho maior capacidade menor custo por bit Solução: usar memórias diferentes para usos diferentes. Memória RAM estática x Memória RAM dinâmica Feita com latches do tipo D: Feita com transistores e capacitores: 4/49

5 Memórias Não existe nenhuma tecnologia de memória atual que satisfaça, ao mesmo tempo: maior desempenho maior capacidade menor custo por bit Solução: usar memórias diferentes para usos diferentes. RAM estática x RAM dinâmica Feita com latches do tipo D: estática Feita com transistores e capacitores: dinâmica 5/49

6 Quiz: RAM estática x Dinâmica Menor custo por bit: RAM estática RAM dinâmica Menor tempo de acesso (melhor desempenho): RAM estática RAM dinâmica Usada na memória principal do computador: RAM estática RAM dinâmica Usada nos registradores e no cache: RAM estática RAM dinâmica 6/49

11 Hierarquia de Memória custo por bit maior capacidade menor tempo de acesso menor frequência de acesso maior menor maior maior menor 11/49

12 Lista da Hierarquia Registradores: memória RAM estática (latches D) Memória cache: memória RAM estática (latches D) Memória principal: memória RAM dinâmica Cache de disco: memória RAM dinâmica Disco: memória magnética (hoje em dia começa-se a substitui-la por memória flash) Memória de backup: memória magnética (fita) ou óptica (CD/DVD/Blu-Ray) 12/49

13 Cache e a Memória Principal Transferência por palavra Transferência em bloco 13/49

14 Localidade de Referência Referências à memória tendem a se agrupar: instruções são executadas, quase sempre, sequencialmente; elementos de um vetor estão em posições subsequentes na memória principal; etc. Referência espacial: se uma posição é acessada, frequentemente as posições vizinhas também o serão Referência temporal: se uma posição é acessada, frequentemente ela será novamente acessada em um futuro próximo 14/49

15 Loc. de Referência: Exemplo for (i = 0; i < 1000; ++i) { v[i] = 0; } 15/49

16 Loc. de Referência: Exemplo... i for (i = 0; i < 1000; ++i) { v[i] = 0; } v[0] v[1] v[999] 16/49

17 Loc. de Referência: Exemplo localidade temporal... i for (i = 0; i < 1000; ++i) { v[i] = 0; } localidade espacial v[0] v[1] v[999] 17/49

18 Estrutura do Cache número da linha C 1 rótulo bloco tamanho do bloco (K palavras) endereço de memória K 1. Bloco (K palavras) Cache Bloco 2 n 1 tamanho da palavra Memória principal 18/49

19 Influência no Desempenho O principal fator que influencia na melhora do desempenho com o uso do cache é a chamada taxa de acerto (hit rate): acessos bem sucedidos ao cache H = acessos totais a dados O hit rate depende de vários fatores, mas principalmente da localidade do código sendo executado: Programas com saltos condicionais muito frequentes não têm boa localidade Acesso frequente a dados muito espalhados na memória também violam o princípio da localidade 19/49

20 Hit Rate: Exemplo Suponha que, de cada 10 requisições de dados feitas pela CPU, apenas 1 destas requer uma busca à memória principal. Nas demais, os dados já se encontram no cache pois foram obtidos em uma busca anterior. 20/49

21 Hit Rate: Exemplo Suponha que, de cada 10 requisições de dados feitas pela CPU, apenas 1 destas requer uma busca à memória principal. Nas demais, os dados já se encontram no cache pois foram obtidos em uma busca anterior. Acessos bem sucedidos ao cache: 10 1 = 9 21/49

22 Hit Rate: Exemplo Suponha que, de cada 10 requisições de dados feitas pela CPU, apenas 1 destas requer uma busca à memória principal. Nas demais, os dados já se encontram no cache pois foram obtidos em uma busca anterior. Acessos bem sucedidos ao cache: 10 1 = 9 H = 9/10 = 0,9 = 90% 22/49

23 Hit Rate: Exemplo Suponha que, de cada 10 requisições de dados feitas pela CPU, apenas 1 destas requer uma busca à memória principal. Nas demais, os dados já se encontram no cache pois foram obtidos em uma busca anterior. Acessos bem sucedidos ao cache: 10 1 = 9 H = 9/10 = 0,9 = 90% Um parâmetro relacionado é a taxa de erro (miss rate), a porção dos acessos a dados que incorrem em uma busca à memória principal miss rate = 1 - H 23/49

24 Tempo de Acesso Efetivo Suponha, no exemplo anterior (9 de 10 acessos ao cache são bem sucedidos), que os tempos de acesso são: busca em cache bem-sucedida (hit): T hit busca em cache mal-sucedida (miss): T miss 24/49

25 Tempo de Acesso Efetivo Suponha, no exemplo anterior (9 de 10 acessos ao cache são bem sucedidos), que os tempos de acesso são: busca em cache bem-sucedida (hit): T hit busca em cache mal-sucedida (miss): T miss Tempo de acesso total: 1 miss: T miss 9 hits: T hit T total = 1 x T miss + 9 x T hit = 9T hit +1T miss 25/49

26 Tempo de Acesso Efetivo Suponha, no exemplo anterior (9 de 10 acessos ao cache são bem sucedidos), que os tempos de acesso são: busca em cache bem-sucedida (hit): T hit busca em cache mal-sucedida (miss): T miss Tempo de acesso total: 1 miss: T miss 9 hits: T hit T total = 1 x T miss + 9 x T hit = 9T hit +1T miss Tempo médio de acesso: T total / Núm. de acessos = 9/10 T hit + 1/10 T miss = = H T hit + (1 - H) T miss 26/49

27 Tempo de Acesso Efetivo Tempo médio de acesso ao subsistema constituído pela memória principal/cache Uma boa aproximação é dada pela fórmula: TAE = H T + (1 H) T cache mem onde Tcache é o tempo de acesso ao cache T mem é o tempo de acesso à memória H é o hit rate Note que estamos desprezando o tempo de atualização das estruturas do cache quando trazemos um bloco da memória principal para o cache. O TAE exato é muito difícil de calcular (e pode variar, já que a localidade de referência pode variar com o tempo) 27/49

28 Hit Rate e o Desempenho Suponha que Tcache = 10ns, T mem = 60ns: H = 90%, TAE = 0,9 x 10ns + 0,1 x 60ns = 17ns (tempo de acesso diminui 75%) H = 75%, TAE = 0,75 x 10ns + 0,25 x 60ns = 22,5ns (tempo de acesso diminui 62,5%) H = 60%, TAE = 0,6 x 10ns + 0,4 x 60ns = 30ns (tempo de acesso diminui 50%) H = 45%, TAE = 0,45 x 10ns + 0,55 x 60ns = 37,5ns (tempo de acesso diminui 37,5%) H = 30%, TAE = 0,3 x 10ns + 0,7 x 60ns = 52,5ns (tempo de acesso diminui em 12,5%) 28/49

29 Hit Rate e o Desempenho TAE x hit rate TAE T mem T cache 0% 100% Hit rate 29/49

30 Por que não Hit Rate = 100%? Pelo gráfico, o menor tempo de acesso ao subsistema de memória é obtido quando H = 100% Ou seja, quando todo e qualquer acesso de dado é satisfeito pelo cache. Isto implicaria que todo e qualquer dado na memória deveria estar também no cache. Por que não é viável hit rate de 100%? Na prática, é possível fazer cache com hit rate de aproximadamente 90% (para boa localidade de memória) usando-se apenas 1MB de cache, com memória principal de até 4GB. 30/49

31 Política de Substituição Como não faz sentido manter todos os blocos da memória no cache, em algum momento precisaremos usar uma linha do cache que já contem um bloco. O que fazer? FIFO (First In, First Out) LRU (Least Recently Used) LFU (Least Frequently Used) Aleatório (escolhe qualquer um) Algoritmo de Belady, ou do vidente 31/49

32 Política de Atualização Os dados escritos no cache precisam ser atualizados na memória principal write-through: no instante que o dado é escrito no cache, também é atualizado na memória. Inconveniente: aumenta o TAE para escrita. Vantagem: dados na memória sempre estão de acordo com o cache. write-back: apenas atualiza a memória quando o bloco está para ser substituído no cache. Vantagem: menor TAE para escrita. Desvantagem: memória pode ficar desatualizada (isso é um problema quando temos mais de uma CPU no computador, ou quando o subsistema de E/S pode acessar diretamente a memória). 32/49

33 Função de Mapeamento Como associar as m linhas do cache a blocos da memória principal? Mapeamento: direto: cada bloco é associado a apenas uma linha específica do cache. núm. linha = núm. bloco % m totalmente associativo (fully associative): cada linha pode conter qualquer bloco. Busca do bloco é feita apenas pela tag. associativo por conjuntos (set associative): divide memória cache em v conjuntos de k linhas cada (v = m/k) núm. conjunto = núm. bloco % v 33/49

34 Mapeamento Direto 34/49

35 Mapeamento Direto Vantagens não há necessidade de algoritmo de substituição hardware simples e de baixo custo alta velocidade de operação Desvantagens redução no desempenho se acessos consecutivos são feitos a palavras com mesmo índice hit ratio inferior ao de outras funções de mapeamento Hit ratio aumenta com o aumento do cache, aproxima-se de caches com mapeamento associativo Tendência atual é de uso de caches grandes 35/49

36 Mapeamento Totalmente Associativo 36/49

37 Map. Totalmente Associativo Vantagem máxima flexibilidade no posicionamento de qualquer bloco da memória principal em qualquer linha do cache Desvantagens custo em hardware da comparação simultânea de todos os endereços armazenados no cache algoritmo de substituição (em hardware) para selecionar uma linha do cache na ocorrência de miss Geralmente, utilizado apenas em caches de tamanho pequeno. 37/49

38 Mapeamento Associativo por Conjuntos 38/49

39 Map. Associativo por Conjuntos Vantagem em relação ao mapeamento completamente associativo comparadores são compartilhados por todos os conjuntos algoritmo de substituição só precisa considerar linhas dentro de um conjunto Desvantagens: dado tem atraso extra do multiplexador dado vem somente DEPOIS da decisão Hit/Miss e da seleção do conjunto numa cache com mapeamento direto, linha da cache está disponível ANTES da decisão Hit/Miss 39/49

40 Cache Multinível 40/49

43 Cache Multinível Em vez de apenas uma memória mais rápida entre a CPU e a memória principal, coloca-se uma hierarquia de memórias entre esses componentes: Cache L1 (mais próximo da CPU): mais rápido, menor capacidade Cache L2 (imediatamente após L1): um pouco menos rápido, capacidade um pouco maior Cache Ln (último nível antes da memória): cache menos rápido de todos, de maior capacidade 43/49

44 TAE com Cache Multinível Para entender o TAE de todo o sistema com cache multinível, basta observar o sistema como sendo: CPU Cache L1 Memória efetiva (composta pelo subsistema memória principal e demais níveis de cache) Sejam T i o tempo de acesso e H i o hit rate do cache Li. TAE sistema =H 1 T 1 + (1 H 1 )TAE mem.efetiva 44/49

45 TAE com Cache Multinível Para um sistema que tenha apenas dois níveis de cache, L1 e L2, teremos: TAE sistema = H 1 T 1 + (1 H 1 )TAE mem.efetiva 45/49

46 TAE com Cache Multinível Para um sistema que tenha apenas dois níveis de cache, L1 e L2, teremos: TAE sistema = H 1 T 1 + (1 H 1 )TAE mem.efetiva TAE mem.efetiva = H 2 T 2 + (1 H 2 )T mem 46/49

47 TAE com Cache Multinível Para um sistema que tenha apenas dois níveis de cache, L1 e L2, teremos: TAE sistema = H 1 T 1 + (1 H 1 )TAE mem.efetiva TAE mem.efetiva = H 2 T 2 + (1 H 2 )T mem TAE sistema = H 1 T 1 + (1 H 1 )(H 2 T 2 + (1 H 2 )T mem ) 47/49

48 TAE com Cache Multinível Para um sistema que tenha apenas dois níveis de cache, L1 e L2, teremos: TAE sistema = H 1 T 1 + (1 H 1 )TAE mem.efetiva TAE mem.efetiva = H 2 T 2 + (1 H 2 )T mem TAE sistema = H 1 T 1 + (1 H 1 )(H 2 T 2 + (1 H 2 )T mem ) TAE sistema = H 1 T 1 + H 2 T 2 H 1 H 2 T 2 + (1 H 1 )(1 H 2 )T mem 48/49

49 Para Casa Deduzir uma expressão para o tempo de acesso efetivo para um sistema com 3 níveis de cache, L1, L2, L3, entre a memória e a CPU Ler seções (5a ed.) 4.1, 4.2 (com atenção, leia da introdução da seção até organização em módulos ), 4.3 e apêndice do capítulo 4. Ler 4.4 apenas pela cultura. Fazer exercícios (5a ed.): 4.3, 4.8, 4.9, 4.10, 4.11, 4.13, 4.17, 4.18, 4.20, /49