Sistemas Operativos. Gestão de memória no Windows NT

Transcrição

1 Sistemas Operativos Gestão de memória no Windows NT Windows Internals, Russinovich, cap. 9, Memory Management Windows Via C/C++, Richter, cap. 13, cap. 14. MSDN, Centro de Cálculo Instituto Superior de Engenharia de Lisboa João Pedro Patriarca ipl.pt)

2 Layout da área de sistema 0x NTLDR loads the kernel, HAL, and boot drivers here. The kernel then relocates the drivers to the system PTE area. Additional system PTEs, system cache, or special pool 0xFFFFFFFF System mapped views Session space Page tables Hyperspace and process working set lists System cache structures System cache Start of paged system area System PTE area Nonpaged system area Crash dump driver area Reserved for HAL usage bib: Windows Internals, fig. 9-10, Russinovich

3 Lista de frames na base de dados PFN (Page Frame Number) PFN array de estruturas que representam as frames da memória principal Estados das frames Active (valid) Standby Modified Free Zeroed Bad... As frames Bad e Active não estão em nenhuma lista Zeroed Free Standby Bad Modified Active PFN Database Active Active Active. : bib: Windows Internals, fig. 9-38, Russinovich (simplificado)

4 Diagrama de estados das Page Frames Page read from disk or kernel allocations Demand-zero page faults Standby page list Proccess working sets Soft page faults Modified page writer Free page list Zero page thread Zero page list Working set replacement Modified page list bib: adaptado Windows Internals, fig. 9-39, Russinovich

5 Relação entre Page Tables e Page Frame Number Database Process 1 Page Table Valid Invalid: disk address Invalid: transition. : PFN Database In use Standby list Process 2 Page Table Valid Invalid: disk address Valid. : Process 3 Page Table Invalid Invalid: transition Invalid: disk address. : Prototype PTE In use In use Modified list. : bib: adaptado do livro Windows Internals, fig. 9-37, Russinovich

6 Copy-on-write Otimização com o intuito de preservar a memória física A secção de uma pode ser marcada como Na primeira escrita é criada uma nova página privada marcada como Read/Write para o processo que promoveu a escrita Passos: A exceção gerada é apanhada e o gestor de memória verifica se se trata de uma página marcada como Em vez de reportar a exceção como um acesso de violação aloca uma página Read/Write na memória principal copia a página original para a nova página atualiza a informação de mapeamento da página executa novamente a instrução que provocou a excepção a nova execução e respectiva escrita já terá sucesso Cada processo que promova uma escrita na página obterá a sua própria cópia privada

7 Working set Carregamento com clustering (pre-paging). São carregadas em antecipação entre 1 a 8 páginas na vizinhança da página em falta Substituição As políticas do Windows NT tem como objetivo manter (em situações de escassez de memória) o conjunto de páginas físicas de cada processo (resident set) o mais possível próximo do seu working set. Baseiam-se na existência de limites (dinâmicos) que especificam o mínimo e máximo working set do processo. Uma thread a executar em modo kernel, denominada de Balance Set Manager, percorre periodicamente (em cada segundo) os espaços de endereçamento de cada processo (começando dos antigos e grandes até aos novos e pequenos) Primeiro, os limites mínimo e máximo dos working sets de cada processo são ajustados de acordo com o número de page faults que ocorreram no processo Depois disso são percorridas as tabelas que mapeiam o espaço de endereçamento do processo. Para cada página, se esta não tiver marcada como acedida, é incrementando um contador, associado à página. Caso contrário é feito reset ao respetivo bit, e o contador é colocado a zero Em caso de necessidade (se houver poucas page frames livres) são libertadas páginas do processo que não tenham sido acedidas há mais tempo (aquelas cujo contador está acima de determinado threshold) - variante local do algoritmo Clock bib: Slides Jorge Martins, Gestão de memória no Windows NT

8 Informação sobre memória no Task manager Memória RAM disponível para OS e aplicações Total de memória committed (incluindo Paging files) Máximo de memória committable (incluindo Paging files) Memória utilizável de imediato: somatório das listas standby, free e zeroed Somatório das listas standby e modified

9 Subsistema Windows Windows API Kernel32.dll, Windows.h Windows Data Types:

10 Subsistema Windows Windows API Kernel32.dll, Windows.h

11 Subsistema Windows Windows API Kernel32.dll, Windows.h

12 Subsistema Windows Windows API Psapi.dll, Psapi.h Deve ter direitos de acesso e

13 GetSystemInfo GlobalMemoryStatusEx GetPerformanceInfo GetProcessMemoryInfo Apresenta informação global do sistema (3 primeiras funções) De 1 em 1 segundo apresenta ProcessMemoryInfo

14 Alocação de memória / Espaços de endereçamento virtual Aloca região com dimensão quase sempre múltipla de 64 KB Campo da estrutura Endereço base da região alocada alinhado com a dimensão de uma página Em termos de modelo de dados interfere nas VADs apenas (não são criadas PTEs) Qualquer acesso gera violação de acesso Usado na gestão do espaço que um stack ocupa em memória Aloca região com granularidade igual à dimensão da página Pode alocar sobre uma região reservada Em termos de modelo de dados interfere nas PTEs e no Page File Garante existência de espaço no Page File para guardar região committed A página é alocada na memória principal apenas no primeiro acesso Não estão incluídas em nenhum nó da árvore de VADs

15 Virtual Address Descriptors (VADs) Range: through 2000FFFF Protection: Read/Write Inheritance: Yes Range: through 0000FFFF Protection: Read-only Inheritance: No Range: 4E through 4F Protection: Copy-on-write Inheritance: Yes Range: through 3300FFFF Protection: Read-only Inheritance: No Range: 7AAA0000 through 7AAA00FF Protection: Read/Write Inheritance: No bib: Windows Internals, fig. 9-32, Russinovich

16 Page Faults Razões para Page Faults Acesso a página que não está residente em memória principal mas presente em disco Acesso a página presente nas listas standby ou modified Acesso a página não presente na PT Acesso a página kernel a partir de user Escrita numa página read-only Acesso a uma demand-zero page Escrita numa página guard page Escrita numa página copy-on-write Escrita numa página válida mas que ainda não foi escrita para o seu backing store Executa código numa página marcada como não executável Consequências do Page Fault Aloca uma frame e lê a página do disco ( hard page fault) Coloca a página como válida actualizando a PTE do processo ( soft page fault) Violação de acesso Violação de acesso Violação de acesso Adiciona uma página com zeros ao working set Violação guard page (se acesso ao user stack expande-o) Copia a página para uma página privada ao processo Coloca a 1 o bit dirty da PTE Violação de acesso (apenas presente em plataformas que suportem proteção de execução)

17 Termos relevantes (glossário) Page: página no âmbito do espaço de endereçamento do processo Page Frame: página no âmbito da memória principal Page File: ficheiro na memória secundária (disco) que guarda Frames da memória principal Resident set: quantidade de páginas presentes na memória principal Working set: conjunto de páginas que um processo deverá ter em memória principal

18 Subsistema Windows Windows API alocação de memória virtual Kernel32.dll, Windows.h endereço virtual base onde se pretende alocar a região A função retorna 0 caso não exista espaço livre para a região especificada NULL caso não seja relevante a localização da região : [ ] Usadas em OR para reservar e commit na mesma chamada A função retorna em caso de insucesso : : igual ao endereço retornado pelo igual a 0 * pvaddress must be NULL

19 Atributos de proteção de uma Page Atributos de protecção Descripção (violação nos acessos) Leitura, escrita e execução Escrita e execução Execução Leitura e escrita Escrita Nenhuma violação Violação na execução; Na escrita, o sistema cria cópia privada com atributos read/write para o processo Nenhuma violação; Na escrita, o mesmo de cima Podem ser combinados (OR bit a bit) com os anteriores excepto

20 VirtualAlloc Observar com o VMMap o estado das páginas nas diferentes fases do programa: Após reserva de um bloco Após commited de uma página Após acesso de escrita

21 Subsistema Windows Windows API estado de uma região de páginas Kernel32.dll, Windows.h

22 VirtualQuery Aplicação consola equivalente à ferramenta VMMap baseado no VirtualQueryEx

23 Subsistema Windows Windows API estado da(s) página(s) de um processo Kernel32.dll, Windows.h

24 QueryWorkingSet Determinar o número de páginas do espaço de endereçamento do utilizador de um processo que não são partilháveis

25 Subsistema Windows Windows API (passo 1) Mapeamento de dispositivos ficheiro Retorna (-1) em vez de em caso de erro Kernel32.dll, Windows.h

26 Subsistema Windows Windows API (passo 2) Memory Mapped Files Kernel32.dll, Windows.h Forma para associar ficheiros presentes em disco no espaço de endereçamento de um processo Mapear um ficheiro em disco no espaço de endereçamento local Carregar em memória ficheiros EXE e DLLs Partilha de memória entre vários processos (na ausência de ficheiro) As páginas removidas da memória principal são mantidas no ficheiro em disco

27 Subsistema Windows Windows API (passo 3) Mapeamento de uma vista do ficheiro Kernel32.dll, Windows.h Realiza a reserva e commit no espaço de endereçamento do processo para uma vista do ficheiro

28 Subsistema Windows Windows API (passos 4, 5 e 6) Libertação de memória e dos objetos criados Kernel32.dll, Windows.h Especiais cuidados se a vista foi mapeada com o atributo Forçar a escrita em disco Usado para fechar um objecto kernel (objectos obtidos por e ) A ordem de chamada é indiferente e pode acontecer antes da chamada de

29 CreateFile CreateFileMapping MapViewOfFile Demo com o atributo de acesso FILE_MAP_COPY Exemplo de utilização: leitura das últimas mensagens adicionadas a um ficheiro de logs (exercício no Lab 2)

30 Bibliografia Windows Via C/C++, Richter, cap. 13, cap. 14. MSDN,