Desenvolvimento de um Cluster de Alto Desempenho com PVM

Transcrição

1 Desenvolvimento de um Cluster de Alto Desempenho com PVM Daniel Cândido de Oliveira 1, Yzaac Gonçalves da Silva 1, Madianita Bogo 1 1 Centro Universitário Luterano de Palmas Universidade Luterana do Brasil (CEULP/ULBRA) Av. Teotônio Segurado, 1501 sul Palmas TO Brasil. danielcanoli@hotmail.com, yzaacs@yahoo.com.br, madia@ulbra-to.br Abstract. The clusters use, with communication mechanisms as the PVM, has been an viable alternative to supply the increasing number of applications that need high computational performance. Thus, the objective of this work is to present the motivations for clusters construction and present an environment of parallel processing that is in development. Resumo. A utilização de clusters, com mecanismos de comunicação como o PVM, tem sido uma alternativa cada vez mais viável para suprir a demanda do crescente número de aplicações que exigem alto desempenho computacional. Assim, o objetivo deste trabalho é apresentar as motivações para a construção de clusters e a arquitetura de um ambiente de processamento paralelo que está em desenvolvimento. 1. Introdução A cada dia cresce o número de aplicações que exigem um grande poder computacional, entre as quais podemos encontrar exemplos nas áreas de multimídia, cálculos, gerenciamento de grandes volumes de dados, entre outros. Uma boa alternativa para suprir essa demanda tem sido a utilização de clusters de computadores construídos com máquinas comuns e sistemas operacionais abertos e de distribuição livre, como o Linux. Essa alternativa tem sido viável, pois apresenta um desempenho satisfatório e um custo baixo se comparada a outras alternativas como máquinas multiprocessadas e supercomputadores. Existem vários mecanismos que podem ser utilizados na construção de clusters, alguns deles distribuição livre como o PVM (Paralell Virtual Machine), que é um pacote de software que apresenta um conjunto de máquinas trabalhando como um único recurso computacional paralelo [Lourenço, 2002]. Neste trabalho, são apresentadas as motivações para a construção de clusters de computadores e a arquitetura de um ambiente de processamento paralelo que está sendo construído para conseguir alto desempenho, com a utilização do PVM sobre o Linux. 2. Clusters de Computadores

2 Uma forma de proporcionar alto poder computacional é a utilização de Máquinas Paralelas, que utilizam mais de um processador para executar uma mesma tarefa e, assim, conseguir um desempenho melhor. Os tipos mais comuns de Máquinas Paralelas são: supercomputadores e os clusters de computadores. Os Supercomputadores são máquinas desenvolvidas com tecnologias proprietárias e, geralmente, possuem finalidades pré-definas que acabam gerando desvantagens [Pitanga, 2004], como: - utilização de softwares proprietários e caros; - alto custo de manutenção; - total dependência de fornecedores; e - dificuldade de atualização. Os Clusters de Computadores são máquinas construídas com utilização de dois ou mais microcomputadores comuns interligados por uma rede de interconexão, que trabalham juntos para resolver um problema. Nessa arquitetura, cada um dos equipamentos interligados é chamado de nó e, normalmente, existe um nó mestre que gerencia e/ou divide as tarefas entre os demais nós, chamados de escravos. Utilizar este tipo de máquina tem sido uma saída para substituir os supercomputadores, pois podem oferecer desempenho semelhante e com um custo mais baixo. Algumas vantagens dos clusters são [Pitanga, 2004]: - escalabilidade: é possível aumentar o desempenho do mesmo adicionando ou trocando os microcomputadores que compõem o cluster; - Tolerância à falhas: o cluster mantém o funcionamento mesmo com a paralisação de alguns nós; - Baixo custo: utilizam recursos de fácil acesso e de uso comum; - Independência de fornecedores: principalmente por utilizar microcomputadores comuns (inclusive de plataformas heterogêneas) e sistemas operacionais de livre distribuição, não estão presos a uma tecnologia específica; Um cluster pode possuir vários tipos de configurações diferentes, tanto em relação ao hardware quanto à configuração do sistema, de acordo com a finalidade do mesmo [Zacharias, 2004]. Alguns exemplos são: - Cluster de alta performance de computação: cada vez que o cluster recebe uma tarefa para executar, como a renderização de um filme, divide os pedaços da mesma tarefa para cada um dos nós realizar parte da execução. O principal objetivo desse tipo cluster é aumentar o desempenho da execução da tarefa através do balanceamento da carga entre os nós. - Cluster de alta disponibilidade: esse tipo de cluster tem como principal funcionalidade manter um sistema ou recuso sempre ativo, mesmo que um nó deixe de executar, ou seja, a maior preocupação é com a confiabilidade e o tratamento de falhas. Esse tipo de configuração é utilizada em aplicações que executam tarefas críticas.

3 Um cluster típico é o da classe Beowulf, muito usado em pesquisas de universidades, visando principalmente alta performance. Esse tipo de cluster tem como característica chave o uso do Linux e de bibliotecas para troca de mensagens de livre distribuição, permitindo assim alterações no sistema operacional [Zacharias, 2004] Clusters Beowulf Em 1994, a NASA, agência espacial norte-americana, necessitava de um equipamento com poder de processamento da ordem de um gigaflop. Como uma máquina com esse desempenho custava em torno de um milhão de dólares, Os pesquisadores Thomas Sterling e Donald J. Becker interligaram 16 computadores pessoais, cada um com um microprocessador 486, usando Linux e uma rede Ethernet, visando alcançar o desempenho desejado com um custo menor. Este cluster atingiu a marca de 70 megaflops, que era uma velocidade comparável à de pequenos supercomputadores comerciais. O custo total do sistema foi dez por cento do preço de uma máquina equivalente para a época. Assim, começaram os projetos com os clusters Beowulf que, além das características comuns a um cluster, deve seguir as seguintes características: - nenhum componente feito sob encomenda; - independência de fornecedores de hardware e software; - periféricos escaláveis; - software livre de código aberto; - uso de ferramentas de computação distribuída disponível livremente com alterações mínima; - retorno à comunidade do projeto e melhorias. Nos Clusters Beowulf os computadores, denominados de nós, são ligados por uma rede de computadores qualquer, sendo que uma nó controla o funcionamento do clusters como, por exemplo, a distribuição da carga pelo mesmo. A figura 1 apresenta um Cluster Beowulf típico.

4 Figura 1. Cluster Beowulf Típico, retirado de [Pitanga, ] A utilização de Clusters Beowulf tem se mostrado uma boa alternativa em relação a custo desempenho, se comparado a muitos dos supercomputadores. Isso se deve, principalmente, ao contínuo aumento na velocidade e capacidade de processamento dos PC's e a diminuição do custo dos mesmos. Um sistema operacional que atende as características exigidas por esse tipo de máquina é o Linux, por ser um sistema de distribuição livre e código aberto, permitindo alterá-lo e dotá-lo de novas características que facilitam a implementação de aplicações paralelas. Além disso, para a comunicação é necessário utilizar bibliotecas para troca de mensagens, como PVM e MPI (Interface de Passagem de Mensagens). 3. Utilização do Linux na Construção de Clusters O UNIX começou a ser desenvolvido em 1970 nos laboratórios da AT&T, e é conhecido por ser extremamente robusto. É um sistema operacional multitarefa e multiusuário extremante poderoso. Todas as versões do UNIX padrão estão convencionadas nas especificações do POSIX. Existem versões de UNIX para muitos sistemas, sendo normalmente proprietárias e com custos bastante elevados. O Linux é uma versão gratuita de UNIX desenvolvida inicialmente por um estudante da Universidade de Helsinquía (Finlândia), chamado Linus Torvalds. O Linux foi inspirado no sistema operacional MINIX, uma pequena versão do UNIX criada por Andrew Tannembaum [Bogo, 2002] O Linux está disponível na forma de código objeto bem como em código fonte. Pode ser livremente distribuído nos termos da GNU (General Public License), ou seja, o usuário pode alterar o seu núcleo (kernel) de acordo com as suas necessidades.

5 As vantagens de se utilizar o Linux na implantação de clusters são diversas, entre elas destacam-se o fato do Linux ser um sistema robusto, que dá suporte desde aplicações simples até aplicações extremamente complexas, e por ser possível dotá-lo de novas características que facilitam a implementação para aplicações paralelas. Além disso, em específico para clusters Beowulf, o Linux atende uma das suas principais características que é ser um sistema operacional de código aberto e de distribuição livre [Pitanga, 2004]. Assim, tem-se um sistema extremamente flexível e robusto sem nenhum ônus adicional, que permite qualquer alteração que se fizer necessária para melhor adaptação a um ambiente paralelo e de alto desempenho. 4. PVM O PVM é um pacote de software que permite o funcionamento de um conjunto de máquinas mono-multiprocessadoras e/ou paralelas, como um único recurso computacional paralelo [Lourenço, 2002]. Com a utilização do PVM consegue-se uma forma eficiente e transparente de distribuir tarefas entre máquinas ligadas em rede, conseguindo um bom desempenho na gerencia dos recursos computacionais, através da configuração de uma máquina paralela virtual Características O PVM habilita uma coleção de computadores heterogêneos a se comportar como um único recurso computacional expansível e concorrente, o que contribuiu para torná-lo um padrão de fato [Freitas, 2004]. É um mecanismo de distribuição livre que oferece bastante recursos para computação paralela com uma utilização simples e de fácil compreensão. Algumas características do PVM são: possibilita a atribuição das subtarefas de uma aplicação, de forma otimizada, aos nós que compõem o ambiente paralelo; apresenta uma interface de programação intuitiva e consistente; oferece suporte para tolerância à falhas, monitoração e profiling; e é altamente portável. Com isso, através da agregação e compartilhamento de processadores e memórias de computadores heterogêneos, problemas que exigem grande poder computacional podem ser resolvidos sem a necessidade de comprar um supercomputador. Assim, utilizar o PVM é uma forma de aumentar o desempenho, com um custo efetivo menor Funcionamento Básico O PVM é composto de duas partes. A primeira parte é um daemon, chamado pvmd3, que é executado em todos os computadores que vão formar a máquina virtual paralela [Moretti, 2004]. Esse programa roda em background em cada um dos nós formando a maquina virtual, sendo responsável pela troca de mensagens entre eles além da coordenação das tarefas em execução.

6 Eu já tinha te pedido isso antes. Para que Serve esse programa??? A segunda parte é uma biblioteca de rotinas de interface, na qual se encontra um conjunto completo de primitivas, necessárias para a interação entre as tarefas de uma aplicação[moretti, 2004]. As rotinas responsáveis pela comunicação entre os computadores interligados, gerência de processos, coordenação das tarefas, além da verificação e manutenção de estado da máquina virtual, estão contidas nessa biblioteca. As tarefas executadas através do PVM utilizam um número inteiro como identificador, o task identifier (TID), que são utilizados nas mensagens que são trocadas entre os computadores que formam a máquina virtual paralela [Moretti, 2004]. Como esse identificador deve ser único na maquina virtual ele é definido pelo daemon local, e não pelo usuário. A identificação das tarefas pela aplicação do usuário é possível através de diversas rotinas, que o PVM oferece, que retornam valores de TID, possibilitando a identificação das tarefas pela aplicação do usuário. Os programas paralelos que utilizam o PVM fazem uso das rotinas disponibilizadas na biblioteca de interface do PVM. Para programação, essas bibliotecas são distribuídas em linguagens como Java, Python, Perl, além das linguagens tradicionais como C, C++ e Fortran. Conforme apresentado, o PVM apresenta se como uma ferramenta que pode oferecer grandes vantagens na implementação de máquinas paralelas e também satisfaz as características de cluster beowulf, o que levou a escolha do mesmo para a implementação de cluster que está sendo desenvolvido. 5. Cluster em Desenvolvimento Está sendo construída uma máquina paralela, seguindo as características de um cluster Beowulf, na qual serão executados programas paralelos, inicialmente encontrados na internet ou em livros, para realizar análises em relação ao desempenho e ao funcionamento deste tipo de ambiente. Mais especificamente, esse projeto visa realizar um estudo sobre a configuração, utilização e funcionamento básico de um cluster configurado com o PVM. O ambiente projetado é um cluster de alto desempenho, pois será utilizado para executar tarefas de forma otimizada através do balanceamento de carga entre os nós, além de permitir trabalhos com algoritmos de processamento paralelo, assim como a construção e uso de aplicações paralelas com o PVM. A estrutura do cluster em desenvolvimento é formada por um nó controlador (mestre) e no mínimo dois nós escravos, interligados por uma rede ethernet. É importante lembrar não há uma limitação de número máximo para nós escravos. A figura 2 apresenta a arquitetura do cluster em questão Nó Controlador Nó Escravo1 Nó Escravo2 Barramento Ethernet

7 Figura 2: Arquitetura do Cluster. Em todas as máquinas que vão compor o cluster será utilizado o sistema operacional Linux, além do pvmd3 que é o componente do PVM responsável pela formação da máquina virtual. Será criado um relacionamento de confiança entre as máquinas para permitir o acesso entre elas sem a utilização de senhas. Em particular, no mestre serão instaladas as principais bibliotecas de passagem de mensagem: PVM e MPI, além de uma aplicação que permita o gerenciamento dos nós e seus recursos, como também geração de gráficos de desempenho. Também será instalada no mestre uma aplicação paralela para testar o desempenho do cluster. O cluster proposto ainda está em fase de construção e, portanto, não foram realizados testes de funcionamento ou desempenho. Espera-se com a conclusão do mesmo realizar testes utilizando programas paralelos já existentes na internet, mostrando diferenças de desempenho com a utilização de uma, duas e três máquinas, para verificar na prática os conceitos estudados. Através dos resultados, pretende-se mostrar na prática a viabilidade do uso de cluster para aplicações paralelas de alto desempenho. Obtendo resultados positivos, serão implementadas aplicações paralelas com fins específicos que serão executadas no cluster construído. 6. Conclusões De acordo com as pesquisas realizadas percebe-se que os clusters têm proporcionado uma alternativa viável com alto poder computacional e baixo custo, tornando o processamento de alto desempenho acessível a instituições com poucos recursos financeiros, possibilitando aproveitar o hardware existente. Este fato estimula a realização de pesquisas nessa área. O cluster beowulf tem se mostrado uma boa alternativa frente a outras arquiteturas, pois além de acessível devido suas características de utilizar microcomputadores comuns e sistemas e aplicações de livre distribuição, é bem simples e permite a montagem de um ambiente dedicado, exclusivo e confiável para os usuários do sistema. Um mecanismo que apresenta uma alternativa viável para a construção de clusters é o PVM, tanto na área cientifica como comercial, suportando diversas arquiteturas e redes de trabalho e oferecendo a capacidade de utilização efetiva de computação paralela, escalável e dinâmica. Entre suas aplicações estão multimídia, simulações moleculares dinâmicas, estudos de supercondutividade, computações fractais distribuídas, algoritmos matriciais e como base para o ensino de computação concorrente, ou ainda qualquer aplicação que requer grande poder computacional e ambiente paralelo. A realização deste projeto, abre margem para diversos outros na área de computação paralela e de alto desempenho, tais como a utilização e estudos de aplicações existentes que exigem um ambiente de alto desempenho ou ainda a implementação de aplicações específicas como, por exemplo, realização de cálculos na área de engenharia civil, que é um curso existente no CEULP.

8

9 7. Referências [Bogo, 2002] [Freitas, 2004] Bogo, Madianita. Interface da rede de controle do cluster clux, Dissertação submetida à Universidade Federal de Santa Catarina. Florianópolis, Freitas, Evandro Luiz de. Uma comparação entre os modelos de Message Passing MPI e PVM, Disponível em Acessado em setembro de [Lourenço, 2004] Lourenço, João. Introdução ao PVM, Disponível em PVM.pdf Acessado em setembro de 2004 [Moretti, 2004] [Pitanga, 2004] Moretti, Célio Oda e Bittencourt, Tulio Nogueira. Aspectos Gerais da Computação Paralela e do Sistema PVM, Disponível em BT_PEF_9709.pdf Acessado em setembro de 2004 Pitanga, Marcos. Construindo supercomputadores com Linux. 2ª ed. Editora Brasport. Rio de Janeiro, [Pitanga, ] Pitanga, Marcos. Computação em cluster. Disponível em Acessado em setembro 2004 [Zacharias, 2004] Zacharias, Daniel Constantino. Funcionamento de um cluster Linux, Disponível em codigo=733&phpsessid=e082a7c4a7b294cdcc986adbdbcc1235 Acessado em setembro de 2004