Um Calculador de Capacidade de Computação para Nós de Máquinas Virtuais LAM/MPI

Transcrição

1 Um Calculador de Capacidade de Computação para Nós de Máquinas Virtuais LAM/MPI Diego Luis Kreutz 1 Lucas Mello Schnorr 2 Cleverton Marlon Possani 3 Resumo Este texto apresenta um calculador de capacidade de computação relativa de nós LAM/MPI. O objetivo desse calculador é fornecer pesos de computação que facilitem a implementação de balanceamento de cargas em aplicações que serão executadas em aglomerados de computadores heterogêneos. 1 Introdução A computação em aglomerados de computadores heterogêneos vêm sendo cada vez mais utilizada na área de processamento de alto desempenho. Alguns fatores que levam a isso são as dificuldades tecnológicas para manter e expandir um aglomerado de computadores homegêneos e o custo inicial relativamente alto de aquisição de um aglomerado desse gênero. Por outro lado, normalmente um aglomerado heterogêneo pode facilmente ser composto a partir dos recursos computacionais existentes na instituição ou organização. A compra do aglomerado pode também ser feita em parcelas, não havendo preocupações tecnológicas de aquisição de equipamentos idênticos. Nesse contexto, o objetivo desse trabalho é apresentar um calculador de cargas relativas de computação para máquinas virtuais LAM/MPI em aglomerados de computadores heterogêneos. A intenção é fornecer uma ferramenta capaz de simplificar e auxiliar a realização do balanceamento de cargas em nível de aplicação. O calculador de cargas possibilita ao usuário especificar parâmetros de cálculo de acordo com as principais características do programa paralelo. A partir disso, o calculador de cargas fornecerá valores de computação relativa a cada nó de processamento. Esses pesos, que indicam a capacidade relativa de computação, podem então ser utilizados para realizar o balanceamento de cargas na aplicação. 1 kreutz@inf.ufsm.br Bolsista CNPq 2 lmschnorr@inf.ufrgs.br Bolsista CNPq 3 possani@inf.ufsm.br Bolsista FATEC/UFSM 1

2 No decorrer do texto será apresentado o calculador de cargas, a aplicação paralela utilizada para os testes, o ambiente de execução e alguns resultados. Por fim, é apresentada a conclusão e trabalhos futuros. 2 Calculador O calculador de capacidade de computação relativa foi desenvolvido com o intuito de auxiliar o usuário a realizar balanceamento de cargas em nível de aplicação. O objetivo é fornecer valores de capacidade de processamento de cada nó de uma LAM/MPI, levando em consideração as principais características do programa paralelo. Neste trabalho, levou-se em consideração características como CPU, memória, latência e vazão da rede. A figura 1 ilustra o funcionamento da primeira versão do calculador de capacidade de computação. O nó mestre, de acordo com os parâmetros do usuário, coleta dados de CPU, memória, vazão e latência da rede de cada nó que faz parte da LAM/MPI. O usuário, juntamente com esses parâmetros, fornece pesos para cada uma dessas características. O calculador de cargas tendo em mãos o peso e o valor de cada uma dessas característica, calcula a capacidade de computação relativa de cada nó da LAM/MPI. N2 N1 N3 Me N5 N4 Nn Figura 1: Ilustração do funcionamento do calculador Parâmetros como CPU e memória podem ser utilizados para gerar valores de poder de processamento para ser utilizados em praticamente qualquer tipo de aplicação paralela. No entanto, quando os parâmetros de rede vazão e latência são utilizados, o cálculo é realizado em relação ao nó mestre, ou seja, não são calculadas as capacidades de comunicação entre os diferentes nós. Neste caso, a capacidade de computação é destinada a aplicações do tipo mestre-escravo. A seguir, um exemplo de uso do calculador. mpirun -np 10 calculadordecargas -cpu um -cpu dois -mem livre -rede vazao rede latencia cpupower 70 -mempower 5 -redevazaopower 10 -redelatenciapower 15 No exemplo acima, os parâmetros -cpu um e -cpu dois indicam ao calculador que serão consideradas uma ou duas CPUs de cada máquina, caso a segunda CPU estiver presente. A opção -mem livre determina o cálculo levando em consideração a memória livre no 2

3 sistema. A comunicação é distribuída entre vazão e latência. No caso, os parâmetros -rede vazao 1000 indicam que os pacotes irão variar de 0 a 1000 bytes para o calculo da vazão. No caso da latência, as opções -rede latencia 1000 indicam que serão realizadas 1000 execuções e o valor final da latência será a média dos valores obtidos nessas execuções. Ainda no exemplo acima, os parâmetros -cpupower, -mempower, -redevazaopower e -redelatenciapower indicam o peso de cada elemento para o cálculo final da capacidade relativa de processamento de cada nó LAM/MPI. A configuração apresentada no exemplo anterior poderia ser utilizada para uma aplicação que precise de muita CPU (-cpupower 70), pouca memória (-mempower 5) e utilize mais mensagens pequenas (-redevazaopower 5 -redelatenciapower 20). Por isso, são atribuidos maiores valores a CPU e a latência. O resultado da execução do calculador em um conjunto de máquinas bastante heterogêneo e com os parâmetros do exemplo acima é o seguinte: Analisando-se o resultado obtido do calculador, é provável que exista uma grande variação entre o poder de processamento das diferentes máquinas, além da comunicação e memória. Esses valores representam a capacidade de computação dos oito nós de uma máquina virtual LAM/MPI. O desenvolvedor que deseja realizar o balanceamento de cargas na sua aplicação utiliza os valores resultantes do calculador. Essa informação evita que desenvolvedores tenham que descobrir, ou implementar métodos de coleta em suas aplicações para realizar o balanceamento de carga. 3 Testes Realizados Esta seção apresenta uma aplicação implementada e utilizada para testar os valores de carga gerados pelo programa calculador de capacidade computacional relativa. Além disso, apresenta o ambiente de execução e alguns resultados obtidos. 3.1 A aplicação Foi desenvolvida uma aplicações simples de cálculo e comparação de histogramas com o objetivo de testar algumas das características e aplicabilidades do calculador de cargas. A aplicação utilizada recebe como entrada um conjunto de imagens e processa paralelamente os histogramas desse conjunto de imagems. 3

4 O programa é do tipo mestre-escravo. O processo mestre coordena a computação das imagens (geração dos histogramas). Os escravos recebem as imagens, ou o nome dos arquivos das imagens, extraem os histogramas e os enviam para o processo mestre. Ao final da extração dos histogramas das diversas imagens o processo mestre compara os resultados, buscando encontrar igualdades entre histogramas. 3.2 O ambiente de execução Para executar os testes foi utilizado um ambiente heterogêneo de computação. A figura 2 apresenta uma visualização da arquitetura do aglomerado de computadores utilizado. PIIID PIIID PIIID PIIID PIIID PIIID AMP AMP Gigabit Ethernet Fast Ethernet PIIID PentiumIII Dual 1GHz AMP AthlonMP 2GHz Figura 2: Ilustração do ambiente utilizado A aplicação executou nesse aglomerado de computadores, formado por 6 máquinas PentiumIII Dual de 1GHz (PIIID) e 2 máquinas AthlonMP de 2GHz (AMP). Estas máquinas foram interconectadas por dois comutadores. O comutador Gigabit Ethernet interliga 4 máquinas PIIID, enquanto que o comutador Fast Ethernet interliga 2 PIIID e os 2 AMP. A ligação entre os dois comutadores torna possível a comunicação entre as 8 máquinas. 3.3 Alguns resultados Os gráficos desta seção apresentam alguns dos resultados obtidos. Os dados foram extraídos a partir da execução da aplicação paralela descrita na seção 3.1. Para executar o programa paralelo foram utilizadas as 8 máquinas duais, interconectadas por diferentes comutadores e adaptadores de rede (seção 3.2). Nos testes realizados, as imagens encontravam-se nos discos locais de cada nó de processamento. Neste caso, o principal peso recai sobre o acesso a disco, a CPU e a comunicação. A comunicação inclui a identificação das imagens a serem processadas por cada nó e a transferência dos histogramas para o processo mestre. Foram realizadas diversas execuções, levando em consideração deferentes pesos de cálculo para os parâmetros CPU, vazão e latência da rede. A figura 3 apresenta os resultados de execução da aplicação para processar 20 imagens. Todas as imagens utilizadas nos testes são de mesma ordem e possuem aproximadamente o mesmo tamanho (número de bytes). 4

5 tempo de computacao versus configuracao tempo de computacao versus configuracao 3 5 tempo de computacao (em segundos) tempo de computacao (em segundos) configuracao (cpu-vazao-latencia) configuracao (cpu-vazao-latencia) legenda legenda Figura 3: Tempo de execução para 20 imagens Figura 4: Tempo de execução para 40 imagens No primeiro gráfico (figura 3) pode ser percebida a influência do processador. As configurações com maiores pesos para o processador apresentaram os melhores desempenhos. No entanto, entre as configurações com peso da CPU maior ou igual a 30% uma pequena oscilação ocorre, apesar da significativa variação os pesos da comunicação. Isso ocorre principalmente devido ao relativamente pequeno número de imagens e consequentemente poucas comunicações. O gráfico 4 começa a apresentar uma mudança de comportamento em relação ao comportamento mostrado na figura 3. Neste caso, a CPU começa a ter um peso cada vez mais significativo. As configurações que mostraram o melhor desempenho foram , e Nesse caso, a comunicação continua tendo algum peso. A latência é devido a necessidade de envio dos identificadores de imagens (um número inteiro que identifica uma imagem). A vazão é considerada para enviar os histogramas calculados ao processo mestre. A figura 5 apresenta o comportamento da aplicação, sobre as mesmas configurações dos gráficos anteriores, para quantidades relativamente grandes de imagens. Nestes casos, o peso fica quase todo sobre o poder da CPU. Como pode ser visto, quanto maior o peso da CPU maior o desempenho (menor o tempo de computação). 50 tempo de computacao versus configuracao tempo de computacao (em segundos) configuracao (cpu-vazao-latencia) legenda Figura 5: Tempo de execução para 160 imagens 5

6 Processamento Paralelo e Distribuído 4 Conclusão A computação em aglomerados heterogêneos de computadores é uma realidade cada vez mais presente em institutos e laboratórios e pesquisa. Essa é uma área que ainda carece de ferramentas que auxiliam os desenvolvedores a realizarem um eficiente balanceamento de cargas a fim de melhor utilizar os recursos computacionais disponíveis. No decorrer do texto foi apresentado um calculador de cargas que pode ser útil para desenvolvedores de aplicações realizarem balanceamento de cargas em aglomerados de computadores heterogêneos. Com essa ferramenta o usuário pode definir as características da aplicação e solicitar o cálculo de valores relativos de computação para cada nó de uma máquina virtual LAM/MPI. Esses valores poderão ser utilizados para determinar a carga de tarefas para cada nó de processamento. A ferramenta apresentada está em fase inicial de testes e desenvolvimento. Mesmo assim, ela já vem apresentando resultados interessantes (seção 3.3) e auxiliando no balanceamento de cargas em programas paralelos. Trabalhos futuros. Um dos objetivos é evoluir o calculador de cargas para calcular dados de comunicação entre diferentes nós LAM/MPI. Na versão inicial ele apenas leva em consideração dados de comunicação na relação mestre-escravo. Outra meta é extender essa ferramenta para diferentes ambientes de programação, como PVM e DECK. Além disso, incluir medidas como latência e vazão entre memória e CPUs e discos rígidos. (S.CHAU; FU, 2003; MAGHRAOUI; ET.AL., 2004; KREUTZ; ROSA RIGHI, 2002; MAI; ROSE, 2000; AUMAGE, 2002) Referências Bibliográficas AUMAGE, O. et al. High performance computing on heterogeneous clusters with the madeleine ii communication library. Cluster Computing, Kluwer Academic Publishers, v. 5, n. 1, p , ISSN KREUTZ, D. L.; ROSA RIGHI, R. da. Comparacao de desempenho entre diferentes adaptadores de rede gigabit ethernet. In: XVII Congresso Regional de Iniciação Científica em Tecnologia e Engenharia - CRICTE2002. [S.l.: s.n.], MAGHRAOUI, K. E.; ET.AL. Adaptive computation over dynamic and heterogeneous networks. In: Proc. Fifth International Conference on Parallel Processing and Applied Mathematics (PPAM 2003). [S.l.: s.n.], v. 3019, p MAI, C. G.; ROSE, C. A. F. D. Low cost cluster architectures for parallel and distributed processing. CLEI Electronic Journal, v. 3, n. 1, S.CHAU; FU, A. Load balancing between heterogenous computing clusters. In: The Second International Workshop on Grid and Cooperative Computing. [S.l.: s.n.],