Oracle Grid Engine. Thiago Marques Soares. Pós-Graduação em Modelagem Computacional Universidade Federal de Juiz de Fora. 8 de abril de 2015

Transcrição

1 Oracle Grid Engine Thiago Marques Soares Pós-Graduação em Modelagem Computacional Universidade Federal de Juiz de Fora 8 de abril de 2015 Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

2 1 Introdução 2 Tutorial 3 Vantagens e Desvantagens 4 Especificações do Cluster da UFJF 5 Questionário 6 Bibliografia Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

3 Introdução Um cluster é uma coleção de recursos computacionais homogêneos que realizam tarefas Esses recursos estão organizados de forma distribuída Usuários veem um cluster como um único recurso computacional Figura: Exemplo de um Cluster Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

4 Introdução Cada segmento de entrada de uma tarefa é conhecido como job Cada job inclui uma descrição do que deve ser feito e como deve ser feito O OGE reconhece 4 tipos básicos de jobs: batch job parametric job parallel job interactive job Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

5 Introdução O OGE é um software de gerenciamento de recursos distribuidos Seus principais objetivos são: Aumentar a utilização do recurso computacional Melhorar a vazão da carga de trabalho Aumentar a produtividade do usuário final Fornece um arsenal de avançadas técnicas de escalonamento Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

6 Introdução Figura: Arquitetura OGE Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

7 Introdução No centro de um cluster OGE está o escalonador O escalonador é uma parte do Qmaster Priorizar os jobs pendentes Decidir qual job escalonar em qual recurso O processo de escalonar o job possui dois estágios Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

8 Introdução Job Selection Qmaster ordena os jobs por ordem de prioridade Escalonameto do Job A lista ordenada dos jobs pendentes é associada aos jobs slots Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

9 Introdução O OGE não otimiza o código para alto desempenho automaticamente Devem ser utilizadas bibliotecas para alcançar este objetivo OpenMP CUDA OpenCL MPI Diretrizes devem ser especificadas no código fonte Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

10 Tutorial 1 Acessar o cluster 2 Transferência de arquivos para o cluster 3 Compilar arquivos no cluster 4 Criar arquivo com as diretrizes do job 5 Enviar o job para o cluster Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

11 Tutorial Para acessar o cluster utiliza-se o protocolo SSH ssh <nome_de_usuario>@cluster.mmc.ufjf.br Para transferência de arquivo utiliza-se o protocolo SFTP sftp <nome_de_usuario>@cluster.mmc.ufjf.br Comandos <put> e <get> para enviar e receber arquivos do cluster Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

12 Tutorial A compilação de arquivos no cluster usa o Makefile Criar o arquivo de compilação Makefile Utilizar o comando <make> para compilar os arquivos fonte e gerar o executável Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

13 Tutorial As diretrizes do job devem ser escritas e salvas em um arquivos do tipo.job Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

14 Tutorial -pe Ambiente paralelo de execução do job -N Nome do job -cwd Executar o job do diretório corrente -j Realiza o join entre o stdout e stderr -S Interpretador do arquivo de job Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

15 Tutorial qsub <nome_job> Submete um batch job qstat Mostra o status dos jobs qstat -f Mostra o status das filas qdel <numero_job> Deleta um job qsub -q all.q@compute-0-(número maquina) Submete um job para uma máquina específica Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

16 Tutorial O Qmon é uma interface gráfica para gerenciamento do cluster Para acessá-la é preciso passar o parâmetro <-X> no SSH ssh -X <nome_de_usuario>@cluster.mmc.ufjf.br Utilizar o comando <qmon> quando logado no cluster Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

17 Vantagens O OGE é um software voltado para a computação de alto desempenho Curva de aprendizado relativamente pequena para usuários Não é necessário entender completamente a arquitetura do hardware para executar suas aplicações Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

18 Desvantagens É necessário conhecer os comandos básicos do software Aplicações mais complexas necessitam de um conhecimento maior sobre o OGE e sobre o hardware Configurar o OGE pode não ser uma tarefa simples Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

19 Especificações do Cluster da UFJF 2 processadores AMD Opteron 6272 com 16 núcleos de 1400 MHz 32 GB de memória RAM Sistema Operacional Linux Rocks 64-bits Máquinas Novas (11-21) 2 GPUs NVIDIA M2075 com 448 núcleos e 5.3 GB de memória global Máquinas Antigas (22-29) 2 GPUs NVIDIA C1060 com 240 núcleaos e 4 GB de memória global Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

20 Questionário 1) O que é um cluster? Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

21 Questionário 1) O que é um cluster? R.: Um cluster é uma coleção de recursos computacionais homogêneos (hardware semelhante e utilizam o mesmo sistema operacional) organizados de forma distribuída, que realizam tarefas. Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

22 Questionário 2) O que é e quais os principais objetivos do OGE? Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

23 Questionário 2) O que é e quais os principais objetivos do OGE? R.: O OGE é um software de gerenciamento de recursos distribuídos e seus principais objetivos são: aumentar a utilização do recurso computacional, melhorar a vazão da carga de trabalho e aumentar a produtividade do usuário final Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

24 Questionário 3) Cite e descreva os dois estágios do processo de escalonamento de jobs? Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

25 Questionário 3) Cite e descreva os dois estágios do processo de escalonamento de jobs? R.: A primeira fase é o Job Selection onde os jobs são ordenados por ordem de prioridade. E a segunda fase é o Escalonamento do Job em que a lista ordenada dos jobs pendentes é associadas aos recursos ou jobs slots. Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

26 Questionário 4) Qual o comando o usuário deve utilizar para submeter um job cujo o nome é exemplo.job para a máquina 11? Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

27 Questionário 4) Qual o comando o usuário deve utilizar para submeter um job cujo o nome é exemplo.job para a máquina 11? R.: qsub -q all.q@compute-0-11.local exemplo.job Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

28 Questionário 5) Qual a vantagem de se utilizaar o OGE para computação de alto desempenho? Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

29 Questionário 5) Qual a vantagem de se utilizaar o OGE para computação de alto desempenho? R.: O OGE é um software voltado especificamente para computação de alto desempenho, tornando-se assim melhor que softwares mais genéricos. Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

30 Dúvidas Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31

31 Bibliografias M. Lobosco. Roteiro de Acesso ao Cluster. S. Microsystems. N1 Grid Engine 6 Users Guide Oracle. Beginners Guide to Oracle Grid Engine Thiago Marques Soares Algoritmos e E.D. 8 de abril de / 31