Computação Distribuída de Alto Desempenho. Marcelo Giovani M Souza mgm@cbpf.br

Transcrição

1 Computação Distribuída de Alto Desempenho Marcelo Giovani M Souza mgm@cbpf.br 1

2 *Exemplos de Tipos Clusters *O Cluster do CBPF *Estudos futuros 2

3 *Cluster do CBPF -Hardware -Sistema e ferramentas -Formas de acesso -Submissão de programas e monitoramento... 3

4 *Estudos futuros -Estudo de hardware -Compatibilidade com OS -Compatibilidade com Gerente de Filas -Testes (desempenho e adequação às necessidades do CBPF) 4

5 *Cluster de alta disponibilidade (99,999%...) -Arranjos que implantan alguma espécie de redundância no sistema para manter um serviço rodando -Heartbeat (dual), drdb (sinc), OpenHA, UltraMonkey 5

6 *Aplicações -Pesquisa científica -Servidores de empresarial -Servidores de administradores de cartão de crédito -Servidores da Receita Federal... 6

7 *Cluster de migração -A idéia é fazer uma avaliação do desempenho dos nós e migrar os processos que requerem mais recurso de máquina para os nós mais poderosos de forma transparente ao usuário -Os nós mais poderosos estarão sempre em produção 7

8 -OpenMosix => vertente free do projeto Mosix -Ferramenta de monitoramento 8

9 *Cluster de alta performance -Beowulf =>Basicamente segue o esquema Master / nós - O principal objetivo de um cluster beowulf é aumentar o poder computacional e diminuir o tempo de execução de programas 9

10 *O Cluster do CBPF -SSolar => Arranjo de computadores dedicado à computação científica (mesonpi.cat.cbpf.br/ssolar) -69 CPUs, mais de 60GB men, 3 bastidores 10

11 *O.S. -RedHat e Scientific Linux, estavel, boa compatibilidade com pacotes prontos, maduro com SMP. -Hardware-32bits e O.S. 32bits 11

12 *Sistemas (Ferramentas) -Quota por usuário -Acesso aos nós negado -Acesso ao Master somente pela rede do CBPF -Acesso externo via portal (positron) -Monitoramento pela web ( 12

13 *Disposição geográfica CATcaverna Nós exclusivo do grupo de Física Estatística Master 13

14 *Disposição de hardware Athlon MP Núcleos Athlon MP Núcleos Xeon HT 3GH 2 Núcleos 4 CPUs Master 14

15 *Softwares - gcc (compilador C) - g++ (compilador C++) - g77 / f77 (compiladores fortran) - MatLab - MPI (Lib para paralelismo) - Mathematica - Charm++ 15

16 *Gerenciador de filas -OpenPBS (Portable Batch System) Gerencia onde, quando e a prioridade de um processo de usuário que será executado. Possui ferramentas para monitoramento dos processos e do cluster. 16

17 -Capaz de criar e gerenciar grupos distintos de usuários e máquinas -Capaz de limitar o número de processos enviado por um usuário ou grupo. -Capaz de limitar o número de CPUs por usuário, processo ou grupo. 17

18 *Funções básicas -qstat => status dos jobs -qsub => submete um job -qdel => remove um job submetido -pbsnodes a => lista os nós com seus status e respectivos jobs 18

19 qstat Job id Name User Time Use S Queue ssolar script.pbs hduser 383:45:4 R workq ssolar matlab1 user4 383:41:1 R workq ssolar matlab1 user4 383:30:5 R workq ssolar matlab1 cara3 383:27:3 R workq ssolar RsC_N cara 380:42:1 R workq ssolar soff carol 195:00:1 R workq ssolar sing fed 187:32:4 R stat ssolar MyJob nelp 67:14:51 R workq ssolar Stat_People nelp 67:13:51 R workq ssolar Stat_People nelp 67:13:50 R workq ssolar DesvP_People nelp 67:14:46 R workq ssolar DesvP_People2 nelp 67:14:46 Q workq 19

20 *Script de submissão -No site e em /tmp # Copie para sua área de trabalho e troque o nome se quiser # nome do job #PBS -N nome_identificacao # numero de nos e cpus (sendo um programa serial: 1 1)... # nome do arquivo de saida #PBS -o nome_saida #posiciona o ponteiro na area do usuario... echo "Job started at `date`"./nome_executável echo "Job ended at `date`" 20

21 *Monitoramento -Acompanhamento online e em RealTime pela página do ssolar (ssolar.cat.cbpf.br) -Histórico geral do cluster e/ou dos grupos separadamente e de cada nós também online 21

22 22

23 *Próximo SSolar -Com a popularização da arquitetura de 64bits surge anecessidade em um 1 momento de características mista em clusters. -Possibilitar o envio de jobs 32/64bits para os nós corretos 23

24 *O.S. multiplos -Mais estaveis em um hardware e/ou completo com pacotes e libs. -O.S. diferentes podem facilitar a instalação em arquiteturas mistas 24

25 *Condor -Distingui O.S., arquitetura, número de CPUs e outras características dos nós. -Capaz de operar também em máquinas de usuários distinguindo momentos ociosos automaticamente 25

26 -Suporte a criação de grupos, suporta priorizar grupos, permite que o usuário priorize seus jobs, suporte a agendamento. -Permite integrar multiplos operacionais e arquitetura -Limitado à versões portadas pelo desenvolvedor 26

27 *Casamento Hardware/O.S. -O O.S. deve ser robusto e estável o suficiente para permitir o trabalho do hardware ininterruptamente por meses e anos -Bom suporte no kernel a SMP 27

28 *Casamento O.S./Gerenciados de filas -O.S. deve permitir o trabalho correto e ininterrupto do gerenciador de filas -Suportar desde seus recursos mais básicos de gerenciados de filas ao mais complexo 28

29 * 1 momento Master64 Cluster 64bits Cluster 32bits Master32 29

30 * 2 momento Cluster 32bits Master64 Gerenciando todos os arranjos (32/64bits) Cluster 32bits Cluster 64bits 30

31 Agradecimentos a Todos os participantes do curso de Computação Distribuída de Alto Desempenho Nilto Alves Jr. Marcelo Portes Albuquerque 31