13 de Maio de Aula 17

Transcrição

1 13 de Maio de Memória Virtual I Aula 17

2 Estrutura desta aula Conceitos fundamentais em Memória Virtual (MV) Paginação e segmentação Terminologia Vantagens da MV Mecanismos de tradução dos endereços virtuais em endereços físicos Exemplos Remoção de páginas Tabelas hierárquicas Tabelas invertidas Thrashing Ref: Hennessy e Pattersson, 5.10, de Maio de 2005 Arquitectura de Computadores 2004/05 2-Aula 17

3 Conceitos fundamentais (1) A memória virtual (MV) foi proposta para gerir conjuntamente os dois níveis de Memória Principal e Memória Secundária (de massa), por forma a executar programas que ultrapassavam a capacidade d da Memória Principal (DRAM) Os dois níveis de memória são organizados em blocos com uma correspondência que é determinada d dinamicamente i A memória virtual é hoje fundamental nos sistemas multi-processo porque permite: Partilha da memória física por múltiplos processos com protecção dos blocos que podem ser acedidos por cada processo Relocação Um programa, depois de compilado, pode ser carregado e executado pelo processo correspondente em qualquer posição da memória física 13 de Maio de 2005 Arquitectura de Computadores 2004/05 3-Aula 17

4 Conceitos fundamentais (2) Blocos de memória que são transferidos entre a memória principal e a memória secundária Página para dimensão fixa, e segmento para dimensão variável 13 de Maio de 2005 Arquitectura de Computadores 2004/05 4-Aula 17

5 Conceitos fundamentais (3) Esquema de funcionamento articulado multi-nível que tem semelhanças com o das caches Funcionamento ao nível do bloco Exploração dos princípios de localidade para criar a ilusão de uma memória rápida de grande capacidade O tempo médio de acesso à memória principal é o tempo de acesso com sucesso mais o produto da taxa de faltas pelo tempo de substituição de um bloco (em disco) Usa-se sempre uma estratégia té de escrita do tipo writeback e uma política de alocação do tipo write-allocate A memória de massa tem uma largura de banda reduzida e uma latência elevada Pode-se também utilizar a técnica de pre-fetching 13 de Maio de 2005 Arquitectura de Computadores 2004/05 5-Aula 17

6 Conceitos fundamentais (4) Mas também há diferenças: A dimensão dos blocos é maior na MV do que nas caches Os processos de tradução são menos rígidos MV é usada para relocação é importante poder usar eficientemente a capacidade da memória principal, e não há especificações temporais tão apertadas Quando há uma falta de página (page fault), geralmente o processo é retirado do processador As faltas e as tabelas de tradução são geridas pelo núcleo (kernel) do sistema operativo (OS) As técnicas de escolha das páginas a substituir são mais elaboradas Por exemplo LRU 13 de Maio de 2005 Arquitectura de Computadores 2004/05 6-Aula 17

7 Paginação vs segmentação (1) As MVs podem ser categorizadas em duas grandes classes Memória paginada blocos de tamanho fixo (páginas) Memória segmentada blocos de tamanho variável 13 de Maio de 2005 Arquitectura de Computadores 2004/05 7-Aula 17

8 Paginação vs segmentação (2) Memória paginada Blocos de tamanho fixo (4 kb a 64 kb) Uma posição para cada endereço (# da página : offset dentro da página) É fácil substituir páginas (todas com o mesmo tamanho) Ausência de fragmentação externa (a MP é toda ocupada com páginas) Fragmentação interna (nem toda a página é utilizada) Tráfego de/para o disco é eficiente (optimizado para o tamanho da página) O offset dentro da página seleccionada é concatenado com o endereço de início da página 13 de Maio de 2005 Arquitectura de Computadores 2004/05 8-Aula 17

9 Paginação vs segmentação (3) Memória segmentada Blocos de tamanho variável (até 64 kb ou 4GB) É difícil substituir os segmentos (determinar onde é que, na MP, o segmento tem espaço para poder ser encaixado) Fragmentação externa (partes da MP que ficam por usar) Tráfego de/para o disco é ineficiente i nt (transferências de diferentes tamanhos, pequenos ou grandes) O offset dentro da página seleccionada é somado com o endereço de início i da página Não pode ser simplesmente concatenado, como no caso da paginação, dado o tamanho variável dos segmentos 13 de Maio de 2005 Arquitectura de Computadores 2004/05 9-Aula 17

10 Paginação vs segmentação (4) Soluções híbridas Segmentos paginados: segmentos são múltiplos do tamanho de uma página Vários tamanhos de página, mas sempre múltiplos de um certo valor (ex.: 8 kb, 64 kb, 512 kb, 4096 kb) Vamos debruçar-nos essencialmente sobre as soluções paginadas em MV 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

11 Terminologia (1) Endereço Virtual (EV) Endereço usado pelo programador Espaço de Endereçamento Virtual (EEV) Conjunto dos endereços virtuais reg cache Memória principal Quadro (frame) Memória secundária disco Página (bloco) Espaço de endereçamento Virtual (EEV), com Endereços Virtuais 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

12 Terminologia (2) Endereço Físico (EF) Endereço duma palavra na memória principal Espaço de Endereçamento Físico (EEF) Conjunto dos endereços físicos reg cache Espaço de endereçamento Físico (EEF), com Endereços Físicos Memória principal Quadro (frame) Memória secundária disco página 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

13 Terminologia (3) Nos sistemas paginados, o quadro (frame) na memória principal tem a dimensão da página na memória virtual A tabela de páginas faz a tradução EV EF 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

14 Tradução EV EF (1) Espaço de endereços virtuais (EEV) Espaço de endereços físicos (EEF) Endereço virtual 10 No. pág. virt offset Tabela Páginas Registo de base da Tab. de Pág. índice para tabela páginas V Direitos it acesso Tabela na memória física EF No. pág. fís. offset 10 Endereço físico 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

15 Tradução EV EF (2) Endereço virtual No. pág. virt Reg. de base da Tab. De Pág. índice para tabela páginas 10 offset Tabela Páginas V Direitos acesso EF Tabela na memória física No. pág. fís. offset 10 Endereço físico Memória virtual => trata a memória como uma espécie de cache para o disco Os blocos nesta cache designam-se por páginas Dimensão típica de uma página: 1kB 8kB A Tabela de Páginas mapeia os números de páginas virtuais em quadros físicos PTE = Page Table Entry 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

16 Perguntas básicas em MV (1) P1: Onde é que podemos colocar uma página na MP? A penalização por falta é muito elevada na MV É preciso ler uma página do disco e, eventualmente, também escrever outra página, proveniente da Memória Principal O núcleo do OS determina o local onde colocar a página, enquanto ela está a ser lida do disco Podem-se colocar páginas em qualquer quadro da MP (assocatividade completa, para reduzir a taxa de faltas) P2: Onde é que podemos encontrar um quadro na MP? Endereço virtual dividido idid entre número da página e offset dentro da página Tradução do endereço virtual em endereço físico operado por uma Tabela de Páginas que funciona como buffer de tradução, colocado entre a CPU e a memória física 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

17 Perguntas básicas em MV (2) A Tabela de páginas contém PPN (physical page number) para uma página residente na RAM DPN (disk page number) para uma página no disco Bits de estado para protecção e uso OS carrega o Registo de Base da Tabela de Páginas quando o processo do utilizador muda Physical Address 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

18 Perguntas básicas em MV (3) P3: Que quadro deve ser substituído numa falta de página? Queremos reduzir a taxa de faltas e podemos fazer em software (OS) Tipicamente Least Recently Used (LRU) P4: O que acontece numa escrita? As escritas no disco são dispendiosas em termos de penalização temporal Usar uma estratégia de write-back 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

19 Vantagens da MV (1) Tradução: Os programas têm uma percepção consistente da memória, mesmo com a Memória Principal contendo uma mistura de páginas pertencentes a muitos programas diferentes Multithreading possível Apenas a parte mais importante de cada programa está na memória física em cada instante Estruturas de dados contíguos (exs. stacks) usam apenas a parte da MP estritamente necessária, com a possibilidade de crescimento futuro 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

20 Vantagens da MV (2) Protecção: Diferentes threads (ou processos) protegidos dos restantes Páginas diferentes podem ter comportamentos diferentes (Read Only, Invisível aos programas de outros utilizadores, etc). Código e dados do Kernel do OS protegidos dos programas utilizador Muito importante para protecção contra programas maliciosos Partilha: É possível mapear a mesma página física por múltiplos utilizadores ( memória ói partilhada ) tilhd ) 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

21 Tradução de endereços 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

22 Organização (1) É necessário usar todos os bits do EV no processo de tradução? Os de deslocamento (offset) dentro da página são iguais em ambos os espaços de endereçamento (ex: 12 bits para páginas com 4kB) 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

23 Organização (2) 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

24 Organização (3) 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

25 Quadros e páginas Endereços com os mesmos bits de menor peso pertencentes a diferentes páginas na memória virtual são mapeados na mesma m posição do quadro em memória m física Por isso, os bits de offset do endereço virtual não são utilizados no processo de tradução 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

26 Mecanismo de tradução (1) 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

27 Mecanismo de tradução (2) O mecanismo mais simples de tradução de endereços implementa associatividade completa na Tabela de Páginas Endereço Virtual da página Offset na página A Tabela de Páginas tem um tamanho igual ao número de páginas no Espaço de Endereços Virtuais (EEV) 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

28 Mecanismo de tradução (3) O problema é que a Tabela de Páginas ocupa, neste caso, uma grande quantidade de memória física Ex.: com páginas de 4 kb (12 bits de offset) e espaço de endereçamento virtual com 32 bits (20 bits para número da página) necessitamos uma tabela de páginas com 2 32 /4K = 2 20 = 1 Meg entradas x 4 bytes = 4MB Já com páginas de 4kB e espaço de endereçamento virtual com 64 bits necessitamos de 2 64 /4K = 2 52 entradas = MUITO GRANDE! Não é possível manter na Memória Principal uma Tabela de Páginas com associatividade total! 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

29 Exemplos de tradução (1) Páginas de 4 kb 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

30 Exemplos de tradução (2) Páginas de 4 kb 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

31 Exemplos de tradução (3) Páginas de 8 kb 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

32 Se a página não está em RAM Como é que sabemos que não está em RAM? O bit V da PTE está a indicar INVÁLIDO (página no DISCO) O que fazer? O hardware pede ao OS para obter a página do disco - page fault Antes de a página ser lida do disco, o OS deve retirar uma página da RAM (se a RAM estiver cheia) A página a retirar é designada por página vítima Se a página a retirar estiver suja, escrever a página no disco Apenas as páginas de dados podem estar sujas O OS então lê a página do disco O OS altera a Tabela de Página de modo a reflectir o novo mapeamento O hardware recomeça a exec num novo endereço virtual 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

33 Que página retirar? Solução óptima: retirar a página que nunca mais vai ser usada Se todas as páginas forem usadas mais alguma vez, então retirar a página que não vai ser usada no futuro durante mais tempo Só prevendo o futuro Outros algoritmos de substituição First-in, First-out (FIFO) Least Recently Used (LRU) Outros 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

34 FIFO FO É retirada a página mais antiga Como é que sabemos qual é a página mais antiga? Manter uma lista de primeiras referências Quando é altura de retirar a página, escolher a que está no topo (fundo) da lista Exemplo com 4 páginas 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

35 LRU É retirada a página que não foi usada há mais tempo Como é que reconhecemos essa página? Manter uma lista de páginas ordenadas por referência Quando é altura de retirar a página, escolher a que está no topo (fundo) da lista Exemplo com 4 páginas 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

36 Excepções no acesso à MV Page Fault (V=0) A página não se encontra na memória física causando uma excepção (trap), que é normalmente acompanhada de uma mudança de contexto, suspendendo- se o processo enquanto a página é transferida da memória secundária Protection Fault Direitos de acesso violados, causando um trap para micro-código ou para a rotina de atendimento de faltas O tempo de transferência de uma página da memória secundária corresponde ao tempo de transferência por falta 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

37 Tabela de página por processo A situação ainda é pior porque é suposto ter-se uma Tabela de Páginas por processo Cada processo tem uma tabela diferente, porque os diferentes processos usam o mesmo espaço de endereços virtuais Mas cada processo deve ter o seu EEV próprio: o programador do processo tem acesso a todo o espaço de endereçamento virtual Podem-se colocar restrições no espaço de memória virtual por processo e definir sub-espaços de endereçamento virtual Quando há uma mudança de contexto e um novo processo fica activado, antes de introduzir i em memória a Tabela de Páginas do processo, o OS carrega o registo da CPU que aponta para a tabela desse processo O OS é responsável pela alocação de tabelas aos processos e pela actualização das tabelas, por forma a não haver sobreposição entre EEVs 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

38 Tabelas hierárquicas (1) Para resolver o problema do tamanho excessivo da tabela de tradução de endereços há basicamente 2 soluções: Tabelas com mais níveis (tabelas hierárqicas) Usar uma cache com as páginas mais recentemente utilizadas (localidade temporal apenas) designada por TLB próxima aula Tabelas hierárquicas de páginas Registo de endereço da tabela raíz (Registo interno do processador) Cada tabela tem a dimensão de uma página A tabela raíz está em memória física, podendo as outras (ou apenas algumas delas) estar em memória virtual Só se carregam em memória as tabelas usadas 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

39 Tabelas hierárquicas (2) Tabela de páginas a 2 níveis Endereços com 32 bits: L1 índice L2 índice Pág. offest 1K PTEs 4KB Espaço de endereçamento virtual de 4 GB 4 MB de PTE2 paginação, lacunas 4 KB de PTE1 4 bytes E com um espaço de endereçamento com 64 bits? 4 bytes 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

40 Tabelas hierárquicas (3) 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

41 Tabelas hierárquicas (4) Exemplo anterior retirado do Alpha Apenas a Tabela de Páginas do nível L1 está em memória As tabelas de nível L2 e L3 estão em memória virtual, e são trocadas com as páginas em memória comportamento igual para todas elas Quando existe TLB (próxima aula) as tabelas do nível L2 estão na TLB O registo de base da tabela de nível L1 está na CPU O Alpha usa segmentação e paginação (o mecanismo de segmentação não é analisado aqui) O espaço de endereços virtuais tem 64 bits e está dividido em 3 segmentos Seg0 é para os processos utilizador Kseg é para o kernel do OS Os endereços virtuais são de 48 bits 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

42 Tabelas invertidas O problema das tabelas directas é que têm uma entrada por cada página (Endereço Virtual de Página ou EVP) pertencente a um processo No caso das tabelas hierárquicas o princípio é o mesmo, mas só se carregam em memória as tabelas usadas Ao contrário, as tabelas invertidas possuem um número de entradas igual ao número de quadros (frames) em memória física Numa tabela invertida o índice da PTE é igual ao número do quadro em memória física em que se encontra a página virtual A designação invertida vem do facto de o índice das tabelas identificar quadros na memória física e não páginas na memória virtual 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

43 Tabela invertida clássica A Tabela de Páginas é, tipicamente, 2 a 3 vezes maior do que o número de PPNs, para reduzir a probabilidade de colisão Por vezes também contém DPN s para algumas páginas não residentes (não é vulgar) Se o processo de tradução não puder ser resolvido com esta tabela, então o software consulta uma estrutura de dados com uma entrada por cada página existente t 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

44 Função de hashing h Reduz o número de bits de endereçamento na tradução EV EF Exemplo: redução de um EV com 21 bits para um EF com 16 bits A função de hashing toma os 21 bits na entrada e faz sair 16 bits na saída Executa uma operação aritmética (ignorando o overflow) e em seguida toma o resultado mod 2^16 O resultado é um inteiro no intervalo [0,2^16-1] A tabela invertida possui, então, 2^16 = 64k entradas, emvez de 2^21 = 2M entradas Cada entrada na tabela de hash deve conter o número da página virtual 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

45 Tabelas invertidas A tabela invertida é compacta Raramente há entradas livres desperdiçando espaço Mecanismos de gestão da tabela feitos por hardware Dado que diferentes Endereços Virtuais de Página podem produzir valores de Hash iguais Mecanismo de cadeia de colisões para resolver diferentes EVP que produzem o mesmo valor à saída da função de Hash, Pode-se ter em média poucas referências à memória mas no pior caso o número de acessos à memória para encontrar a PTE pode ser muito elevado! Para manter reduzido o comprimento média da cadeia de colisões, aumenta-se a gama dos valores de Hash 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

46 Thrashing h (1) Quando um programa é tão grande ou a máquina tem muitos jobs (ou utilizadores) diferentes, muito pouco dos programas cabe na RAM. A memória física não fornece suficiente localidade espacial Por isso, existem muitas faltas de página mudanças de página (paginação) constantes 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

47 Thrashing h (2) Exemplo Sequência de páginas: 1,2,3,4,5,1,2,3,4,5,1,2,3,4,5 Apenas 4 quadros (frames) na RAM O programa não cabe todo na RAM Admitamos LRU 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

48 Thrashing h (3) Exemplo Sequência de páginas: 1,2,3,4,5,1,2,3,4,5,1,2,3,4,5 Apenas 4 quadros (frames) na RAM O programa não cabe todo na RAM Admitamos LRU 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

49 Thrashing h (4) Exemplo Sequência de páginas: 1,2,3,4,5,1,2,3,4,5,1,2,3,4,5 Apenas 4 quadros (frames) na RAM O programa não cabe todo na RAM Admitamos LRU 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

50 Thrashing h (5) Exemplo Sequência de páginas: 1,2,3,4,5,1,2,3,4,5,1,2,3,4,5 Apenas 4 quadros (frames) na RAM O programa não cabe todo na RAM Admitamos LRU 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

51 Thrashing h (6) Exemplo Sequência de páginas: 1,2,3,4,5,1,2,3,4,5,1,2,3,4,5 Apenas 4 quadros (frames) na RAM O programa não cabe todo na RAM LRU pode resultar em thrashing. Outra política de substituição i poderia evitar esta situação 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17

52 Pó Próxima aula Memória virtual e caches Translation Lookaside Buffers (TLB) 13 de Maio de 2005 Arquitectura de Computadores 2004/ Aula 17