Uma proposta para migração de páginas no Linux

Transcrição

1 Uma proposta para migração de páginas no Linux Guilherme A. A. Tesser (HP/PUCRS) Avelino F. Zorzo (PUCRS) PUCRS/HP Porto Alegre - Brazil

2 Sumário Introdução Escalonador do Linux Balanceamento de carga em máquinas NUMA Balanceamento de carga do Linux Balanceamento de carga multi-nível Migração de páginas Resultados Conclusão

3 Introdução Projeto PeSO (PUCRS e HP Brazil) Pesquisa em Sistemas Operacionais escaláveis Escalabilidade de SOs em máquinas NUMA Uso de benchmarks gargalos encontrados Novas soluções Escalonamento: balanceamento de carga Gerência de memória: migração de páginas

4 Escalonador do Linux O(1), desde kernel 2.5 Uma fila de processos por processador (runqueue) Afinidade de processador Filas de prioridade dinâmicas Fatia de tempo dinâmica Processos I/O-bound, CPU-bound Runqueue tem dois arrays: ativos e expirados

5 Escalonador do Linux schedule() t 0 (prioridade 0) sched_find_first_set() bit 7 (prioridade 7) Lista de todas as tarefas, por prioridade bit 139 (prioridade 139) 140 bit bitmap Executa primeiro processo da lista Lista de todos processos com prioridade 7

6 Balancemento de carga: NUMA Dois exemplos R1A R2A N9 N N11 N12 N13 N14 N15 N16 1 C2 N3 P5 C3 N5 P9 C4 C5 C6 C7 C8 N7 N9 N11 N13 N15 P13 P P21 P25 P Crossbar Crossbar P6 P P14 P18 P22 P26 P30 N4 P7 N6 P11 N8 P15 N P19 N12 P23 N14 P27 N16 P31 P8 P12 P16 P20 P24 P28 P32 Crossbar Crossbar R1B R2B N1 N2 N3 N4 N5 N6 N7 N8 SGI Altix 3000 Server (6 níveis de acesso à memória) HP Integrity Superdome (Orca) (3 níveis de acesso à memória)

7 Linux - Balanceamento de carga Sobrecarga do processador Para máquinas UMA balanceamento é simples Em máquinas NUMA é mais complicado... sched_domain - representa a topologia da máquina SLIT System Locality Information Table ACPI Advanced Configuration and Power Interface

8 Balanceamento de carga: Linux Periodicamente eventos Processos Da fila de processos expirados Processos com prioridades mais alta Processos não devem Ter afinidade de processador ser cache-hot Nova estrutura de domínios de escalonamento

9 Linux domínios de escalonamento Exemplo de máquina com dois níveis HP Integrity Superdome (Olympia) N2 Node domain 1 P2 P3 P4 P5 P6 P7 P8 P1, P2, P3, P4 P5, P6, P7, P8 M1 M2 P13, P14, P15, P16 P9, P, P11, P12 Crossbar M3 M4 CPU domain CPU domain CPU domain CPU doma 9 P P11 P12 N4 P13 P14 P15 P16 P1 P4 P2 P3 P5 P8 P6 P7 P9 P12 P P11 P13 P16 P P

10 Linux domínios de escalonamento Máquinas com três ou mais níveis - problema Linux construía somente estrutura com dois níveis Três se mais de 16 nodos CPU: 1, 2, 3, 4 CPU: 5, 6, 7, 8 Node Domain... CPU: 9,, 11, 12 CPU: 57, 58, 59, 60 CPU: 61, 62, 63, 64 CPU Domain 1 N N11 N12 N13 N14 N15 N16 CPU: 1 CPU: 2 CPU: 3 CPU: 4 Crossbar Crossbar Crossbar Crossbar Não era correto!! N2 N3 N4 N5 N6 N7 N8

11 Exemplo de tabela SLIT (HP Superdome) N16 N15 N14 N13 N12 N11 N N9 N8 N7 N6 N5 N4 N3 N2 N1 N16 N15 N14 N13 N12 N11 N N9 N8 N7 N6 N5 N4 N3 N2 N1

12 Linux Estrutura correta (Orca) CPU: 1, 2, 3, 4 CPU: 5, 6, 7, 8 System Domain... CPU: 9,, 11, 12 CPU: 57, 58, 59, 60 CPU: 61, 62, 63, 64 Node Domain 1 CPU: 1, 2, 3, 4 CPU: 5, 6, 7, 8 CPU: 9,, 11, 12 CPU: 13, 14, 15, 16 CPU Domain 1 CPU: 1 CPU: 2 CPU: 3 CPU: 4

13 Resultados - Kernbench Três configurações Domínios de escalonamento com dois níveis 1 nível com todos processadores no domínio de CPU (SMP) 1 nível com todos processadores no domínio de Nodo (NUMA) Kernbench results levels sched domains 1 level SMP sched domains 1 level NUMA sched domains Execution time Number of parallel jobs Faculdade de Informática PUCRS Congresso da SBC - WSO 2006 Campo Grande MS - Julho 2006.

14 Migração de páginas Linux não implementa migração de páginas Somente quando ocorre falta de página (page fault) Acesso à memória fica mais lento Estratégias: Migrar todas páginas assim que processo migrar Migrar páginas conforme são acessadas

15 Migrar todas páginas Processador 1 Processador 2 Processador 3 Processador 4 S1 S2 S3 S1 S2 S3

16 Migrar todas páginas Balanceador de carga move processo S2 Processador 1 Processador 2 Processador 3 Processador 4 S1 S2 S3 S1 S2 S3

17 Migrar todas páginas Balanceador de carga move processo S2 Processador 1 Processador 2 Processador 3 Processador 4 S1 S3 S2 S1 S2 S3

18 Migrar todas páginas Balanceador de carga move processo S2 Processador 1 Processador 2 Processador 3 Processador 4 S1 S3 S2 S1 S2 S3 Depois move espaço de endereçamento do processo S2

19 Migrar todas páginas Balanceador de carga move processo S2 Processador 1 Processador 2 Processador 3 Processador 4 S1 S3 S2 S1 S3 S2 Depois move espaço de endereçamento do processo S2

20 Migrar sob demanda Processador 1 Processador 2 Processador 3 Processador 4 S1 S2 S3 S1 S2 S3

21 Migrar sob demanda Balanceador de carga move processo S2 Processador 1 Processador 2 Processador 3 Processador 4 S1 S2 S3 S1 S2 S3

22 Migrar sob demanda Balanceador de carga move processo S2 Processador 1 Processador 2 Processador 3 Processador 4 S1 S3 S2 S1 S2 S3

23 Migrar sob demanda Balanceador de carga move processo S2 Processador 1 Processador 2 Processador 3 Processador 4 S1 S3 S2 S1 S2 S3 Move parte do espaço de endereçamento do processo S2, quando acessado

24 Migrar todas páginas Balanceador de carga move processo S2 Processador 1 Processador 2 Processador 3 Processador 4 S1 S3 S2 S1 S2 S3 S2 Move parte do espaço de endereçamento do processo S2, quando acessado

25 Resultados da simulação Comparação com a estratégia atual do Linux Percentual de melhora Tx acesso memória/ Tx acesso rep. memória 20% 40% 60% 20% 1,9% 3,6% 5,1% 40% 3,9% 7,1% 9,9% 60% 5,5%,4% 13,7% 80% 7,1% 12,8%,5%

26 Conclusão Nova hierarquia para balanceamento de carga Patch disponível para Linux Novo esquema de migração de páginas Sendo desenvolvido em cooperação com HP Labs Melhora do desempenho do Linux para máquinas NUMA