Memória para CAD. Aleardo Manacero Jr.

Transcrição

1 Memória para CAD Aleardo Manacero Jr.

2 Introdução Na aula de hoje examinaremos como o subsistema de memória afeta o desempenho de um sistema computacional Veremos um pouco da sua arquitetura Veremos também um pouco sobre seu gerenciamento Terminaremos com uma análise sobre seu planejamento

3 A falta de desempenho A velocidade de memória dobra a cada seis ou sete anos A velocidade do processador dobra a cada 18 meses Isso exige melhor gerenciamento de memória XT (1980) PII (1999) P4 (2005) I5 (2012) Processador 210ns 3ns 0,3ns 0,3ns (0,01ns) Memória 200ns 50ns 30ns 6ns

4 A falta de desempenho

5 Pior ainda para secundária

6 Pior ainda para secundária

7 Tecnologias de construção Dinâmica DRAM memórias capacitivas, necessitando refresh. Atinge velocidades de MB/s, com barramentos de 800MHz, para DDR3 Estática SRAM usam portas lógicas, dispensando refresh. A velocidade de acesso passa de 40000MB/s (L1) e MB/s (L2)

8 Tempos efetivos de acesso Infelizmente o tempo de um acesso em memórias é uma medida de desempenho irreal Tempo de ciclo é mais verdadeiro, ao indicar qual a frequência permitida de acessos à memória (para DRAMs isso fica em torno de duas vezes o tempo de um acesso)

9 Como obter desempenho? Usar apenas componentes rápidos Uma máquina apenas com memórias estáticas seria muito mais rápida. O problema é seu custo. Antecipar o acesso em componentes lentos Assim teríamos os dados já na CPU quando fossem necessários.

10 Como obter desempenho? Transferir um maior volume de dados a cada acesso Assim mais dados passariam para CPU a cada ciclo de acesso Usar tanto componentes rápidos quanto lentos Esse é exatamente o conceito que justifica a memória cache e torna as técnicas anteriores eficientes

11 Hierarquia de memória O sistema de memória é normalmente dividido em vários níveis: registradores internos da CPU um ou mais níveis de cache (SRAM) memória principal (DRAM) memória secundária (discos magnéticos) biblioteca (fitas, CD-ROMs, DVDs, etc.)

12 Hierarquia de memória

13 Hierarquia de memória Um exemplo: DEC Alpha SRAM DRAM Nível Tempo de acesso Registradores 2ns Cache L1 4ns Cache L2 5ns Cache L3 30ns Memória RAM 220ns

14 Outro exemplo (muito antigo!!) (Hwang,1993)

15 Outro exemplo (mais novo...) (Shen,Lipasti,2005/13)

16 Operação do sistema de memória Ocorre de forma diferente para cada nível hierárquico Para a memória principal é preciso dividir o gerenciamento entre tradução de endereços lógicos e físicos e a alocação de espaços na memória

17 Endereçamento A função de endereçamento diz respeito ao modo em que os endereços lógicos (existentes no código armazenado em disco) são transformados em endereços físicos (endereços na memória de fato)

18 Endereçamento absoluto Endereços lógicos são idênticos aos endereços físicos

19 Relocação estática Endereços são convertidos durante o carregamento do programa

20 Relocação dinâmica Endereços são convertidos apenas durante a execução do programa

21 Segmentação Faz relocação dinâmica separando segmentos estruturais dos programas É o mecanismo usado em computadores de uso geral, incluindo os de alto desempenho

22 Alocação de espaços A alocação de espaços é a operação de atribuir regiões da memória para cada segmento que deva ser carregado Das técnicas de alocação a serem examinadas, a de espaços contíguos tem aplicação restrita atualmente e a de alocação em blocos é a efetivamente usada nos sistemas de uso geral

23 Alocação de espaços Espaços contíguos todos os bytes do segmento são armazenados sequencialmente Em blocos os bytes dos segmentos são armazenados em páginas de tamanho fixo, não sequenciais Memória virtual uso da memória secundária

24 Alocação em espaços contíguos Todos os bytes do segmento são armazenados sequencialmente Problemas com mapeamento dos espaços vazios Necessidade de constantes recompactações para corrigir o problema de fragmentação externa (existência de espaço disponível em posições não sequenciais) Soluções como uso de espaços de tamanho fixo, sistemas Buddy e outras não corrigem esses problemas, criando ainda a fragmentação interna

25 Alocação em espaços contíguos Disso resulta que: Apresenta problemas relacionados ao uso da memória (grande desperdício por fragmentação externa) Usada apenas para sistemas dedicados

26 Alocação em blocos Os bytes dos segmentos são armazenados em páginas de tamanho fixo, não necessariamente sequenciais Elimina a fragmentação externa, porém mantém a fragmentação interna Volume do desperdício com fragmentação interna depende do tamanho do bloco (ou página) Esse tamanho é determinado pelo compromisso entre complexidade de gerenciamento e redução na fragmentação

27 Memória em blocos

28 Memória em blocos

29 Memória virtual Elimina o limite de tamanho da memória para a execução de programas Trabalha com o conceito de paginação por demanda (blocos ou páginas vão para a RAM apenas se requisitadas) Usa algoritmos de retirada de páginas a partir do Princípio da Localidade

30 Princípio da Localidade Diz que existem endereços mais prováveis de serem acessados do que outros. Na prática, se um processo executa uma instrução da página X, com dados da página Y, então a próxima instrução a ser executada provavelmente também estará na página X e acessará dados da Y

31 Localidade (visão gráfica)

32 Movimentação entre níveis de memória

33 Algoritmos de paginação A eficiência da MV depende do algoritmo de retirada de páginas Exemplos de algoritmos: FIFO (anomalia de Belady) LRU opt Segunda chance

34 Algoritmos de paginação Alguns parâmetros importantes na análise são: Sequência de referência Conjunto residente Tamanho do conjunto residente Taxa de faltas de páginas

35 FIFO Retira a página que entrou primeiro na memória Funcionamento e implementação simples Pode apresentar piora de desempenho ao aumentar-se o tamanho do conjunto residente (anomalia de Belady)

36 Anomalia de Belady

39 LRU (Least Recently Used) Corrige o problema da anomalia de Belady através do conceito de pilha Retira sempre a página que está no topo da pilha, que é a página usada há mais tempo Assim, o aumento no tamanho do conjunto residente implica apenas no aumento do tamanho da pilha

40 OPT (optimal) Também trabalha com o conceito de pilha, retirando a página que está no seu topo Aqui, porém, a página que fica no topo é aquela que demorará mais para ser necessária Tem uso apenas teórico, como referencial para comparação de algoritmos

41 Bits de controle de uso IN-OUT BIT: bloco está na memória (1) ou no disco (0) USAGE BIT: bloco usado recentemente (1) DIRTY BIT: (1) se bloco foi alterado na memória

42 Segunda Chance É uma implementação prática (simplificada) do conceito de pilha Baseia-se numa fila circular de páginas, sendo que a página que sairá da memória deve ser uma que tenha pouco uso e não tenha sido alterada (preferencialmente)

43 Comparação de algoritmos

44 Implicações de desempenho Taxa de faltas de página Nível de multiprogramação Thrashing Coerência de cache

45 Taxa de faltas de página O uso de memória virtual implica em maior tempo de processamento na ocorrência de faltas de página Assim, quanto maior essa taxa, pior será o desempenho do sistema

46 Nível de multiprogramação Compartilhamento da memória entre muitos segmentos diminui o tamanho do conjunto residente de cada processo Isso implica em menos páginas fazendo parte do conjunto residente do processo

47 Thrashing A diminuição do conjunto residente implica numa maior taxa de faltas de páginas Dependendo do nível de multiprogramação, o volume de faltas de páginas pode levar o sistema ao fenômeno de thrashing Num sistema em thrashing o desempenho cai severamente para um pequeno aumento no nível de multiprogramação

48 Coerência de cache Múltiplas cópias devem permanecer idênticas Técnicas para manutenção de coerência: write-through escreve a alteração na memória imediatamente write-back escreve na memória quando a linha sair do cache

49 Compartilhamento de dados Em sistemas com vários processadores surge o problema de como compartilhar seus espaços de endereços virtuais Duas estruturas podem ser usadas: MV globalmente compartilhada MV privativas em cada processador

50 MV privativas

51 MV global

52 Hardware para endereçamento Uso de TLB (Translation Lookahead Buffer) ou MMU (Memory Management Unit) Faz a conversão de endereços virtuais (vindos da relocação dinâmica) em endereços físicos (com a localização real na memória)

53 Esquema geral de TLB s

54 Mecanismos do i486

55 Mecanismos do i486 Operação da TLB

56 Mecanismos do i486 Esquema de paginação

57 Esquema geral da TLB

58 Memória cache Organizada em linhas (ou blocos) de alguns bytes (32 por exemplo) para facilitar seu gerenciamento O mapeamento entre linhas de cache e páginas da memória pode ser feito de três modos: Direto, Totalmente associativo, Associativo por conjuntos

59 Organização da cache

60 Mapeamento direto Blocos 0, nk, 2nK,... da memória vão para bloco 0 da cache

61 Mapeamento direto

62 Mapeamento totalmente associativo Qualquer bloco da memória pode ir para qualquer bloco da cache

63 Mapeamento totalmente associativo

64 Implementação de caches Os sistemas atuais normalmente usam memórias caches separadas em segmentos de dados e de instruções Entretanto alguns sistemas ainda preferem adotar uma cache única para dados e instruções.

65 Implementação de caches Do ponto de vista de acesso podemos ter: Endereço físico Não precisa de informações adicionais Cálculo pela TLB atrasa processamento Endereço virtual Não usa TLB Aliasing para compartilhamento de endereços

66 Exemplo de implementação Modelo de endereço virtual (split cache)

67 Exemplo de implementação Modelo de endereço virtual (cache única)

68 Exemplo de implementação Modelo de endereço físico (split cache)

69 Exemplo de implementação Modelo de endereço físico (cache única)

70 Problemas com caches Erros no princípio da localidade: Uso de ponteiros em listas Acesso de matrizes em forma diferente da usada em seu armazenamento (fortran faz o armazenamento por colunas, por exemplo) Armazenamento não sequencial

71 Problemas com caches Problema já examinado, ocorrendo pois múltiplas cópias devem permanecer idênticas Técnicas para manutenção de coerência são write-through e write-back

72 Melhorando o desempenho As ideias colocadas no início da aula eram: Usar apenas SRAM Antecipar carregamento Trazer mais dados por vez Usar tanto SRAM como DRAM Delas temos as seguintes soluções

73 Melhorando o desempenho Caches maiores: Essa melhoria é óbvia Caches maiores permitem mais dados armazenados em SRAM, que tem acesso mais rápido Processadores modernos com até L3 no chip, indo a 64Mbytes de L3 e 16Mbytes de L2

74 Melhorando o desempenho Barramentos mais largos A largura do barramento entre RAM e cache determina quanto é possível transferir de dados em cada acesso a RAM Barramentos mais largos permitem transferir mais dados por vez, acelerando o processo de trazer dados da RAM para a cache

75 Melhorando o desempenho

77 Melhorando o desempenho Bypass de cache Em determinadas situações é preferível transferir dados diretamente entre RAM e cpu, sem o uso da cache Nesses casos se faz um bypass da cache, levando, porém, os mesmos dados para a cache.

79 Melhorando o desempenho Antecipação de cache Princípio da localidade permite prever próximas linhas de memória necessárias Isso, obviamente, deve ser feito com cautela para reduzir a movimentação entre cache e RAM

80 Planejando a capacidade de memória Objetivos: determinar tempos efetivos de acesso determinar tamanhos de cada nível determinar custos do subsistema de memória

81 Planejando a capacidade de memória Informações necessárias: Taxa de acerto em cache (hit ratio) Frequência de acesso Tempo efetivo de acesso Custo por unidade Tamanho da memória

82 Planejando a capacidade de memória Frequência de acesso: Tempo efetivo de acesso:

83 Planejando a capacidade de memória Custo: Como C1 > C2 >... > Cn, temos que fazer s1 < S2 <... < Sn Isso leva a um problema de PL

84 Planejando a capacidade de memória Combinando essas equações temos: Min Teff = fi. ti s.a Ctotal = Ci. Si < C0 si > 0, ti > 0 para i = 1,2,...,n

85 Planejando a capacidade de memória Exemplo: Nível Tacesso Capacidade Custo/Kbyte cache 25ns 512k 1.25 DRAM T2? 32M 0.20 disco 4ms S3?

86 Planejando a capacidade de memória Supondo taxas de acerto em: h1 = 0.98 h2 = 0.90 Supondo ainda custo < Teff 10.04

87 Planejando a capacidade de memória Tamanho do disco: S Gbytes Tempo efetivo de acesso: t2 903 ns

88 Planejando a capacidade de memória Exemplo: Nível Tacesso Hit Ratio Cache de dados 5ns h1? PAM e SAM 5ns 90% Memória principal 40ns 100%

89 Planejando a capacidade de memória Determinar valor de hit ratio na cache de dados para se atingir 30ns de tempo efetivo de acesso Usa-se a equação de Teff, dada por: h 1 5+(1 h1 ) 0,9 (5+40)+ T eff = ti hi = (h1 ) (1 0,9) 0,9 ( )+ (h 1) (1 0,9) (1 0,9) ( )

90 Planejando a capacidade de memória

91 Conclusões O acesso a memória é um ponto crítico para se obter desempenho É ainda mais crítico para sistemas com milhares de processadores acessando elementos de memória distribuídos Esse último aspecto nos remete aos sistemas de interconexão, que serão examinados brevemente

92 Memória para HPC