NeoFW - Um Framework para criação de aplicações em ambientes de Clusters baseado em Software Livre.

Transcrição

1 NeoFW - Um Framework para criação de aplicações em ambientes de Clusters baseado em Software Livre. Edmilson Santana Souza de Almeida, Marcelo Soares Souza, Josemar Rodrigues de Souza, Andre Chagas de Miranda Rebouças. CEBACAD Centro Baiano de Computação de Alto Desempenho Universidade Católica do Salvador (UCSal) Avenida Cardeal da Silva 205, Federação Salvador - BA Brasil {edmilson, marcelo, josemar, Abstract. This article presents a framework for the development of parallel applications, based in message passing paradigm, with the mainly purpose of reduction in the complexity in the development process. NeoFW is conceived under the paradigm of the object orientation and with techniques of Software Engineering in mind, developed in Java and on a free license (GPL), using the open standard Message Passing Interface (MPI). Resumo. Este artigo apresenta um framework para o desenvolvimento de aplicações paralelas, baseado em troca de mensagem, tendo como finalidade a diminuição da complexidade do processo de desenvolvimento destas. NeoFW é um framework, concebido sob o paradigma da orientação a objetos e através de técnicas de Engenharia de Software, desenvolvido em Java e sob licença livre (GPL) que faz uso do padrão aberto Message Passing Interface (MPI). 1. Introdução A necessidade de poder computacional para tarefas que demandam de processamento de grandes e complexas massas de dados tais como previsão meteorológica, problemas de treinamento de redes neurais, seqüenciamento genético e etc. é uma necessidade imediata em centros de pesquisa em todo mundo. Para tanto a construção ou aquisição de computadores de alto desempenho computacional e de baixo custo, através da utilização de Components Off The Self (COTS) e sistemas operacionais livres, já é amplamente estudada e difundida [1]. Muito dos recursos computacionais existentes são sub- utilizados,

2 seja em computadores que são descartados, por suposta defasagem, ou pelos ciclos de processamento perdidos enquanto o recurso computacional está em estado de espera (idle). A fim de aproveitar tais recursos, para a otimização dos recursos computacionais, é possivel recorrer a técnicas de agrupamento de computadores em uma rede local dedicada ou pública tal como a Internet. Através do agrupamento de recursos computacionais obtemos um cluster, que nada mais é do que uma máquina paralela flexível e de baixo custo. Os clusters se tornaram uma alternativa eficaz e eficiente para computadores de alta perfomance tradicionais, de arquitetura fechada e de elevado custo de aquisição, tais como os mainframes e máquinas vetoriais [1]. O principal objetivo das arquiteturas de computadores paralelos é o aumento da capacidade de processamento, fazendo uso do potencial oferecido por um grande número de recursos computacionais agrupados [2]. A utilização de Software Livre é de fundamental importância na construção e desenvolvimento destes sistemas de alta perfomance e de baixo custo, pois além do corte direto de custos com aquisição de licenças estes proporcionam alta qualidade, flexibilidade e eficiência. Para usufruir das vantagens de um computador paralelo é necessário o desenvolvimento de aplicações que contemplem esse paradigma. Nisto reside a maior parte dos esforços na construção de soluções de alta perfomance, pois faz- se necessário o aprendizado de um novo paradigma e de novas tecnologias. Entre os principais problemas encontrados no desenvolvimento de aplicações paralelas podemos destacar: dificuldade no aprendizado de uma nova forma de resolução de problemas (lógica serial vs. paralela), baixa reutilização de código entre as aplicações desenvolvidas e a dificuldade de depuração de dada aplicação em um ambiente distribuído. Este artigo apresenta um framework para o desenvolvimento de aplicações paralelas, sobre o paradigma mestre/trabalhador (MT), em clusters baseados em troca de mensagens. Objetiva- se neste trabalho a criação de uma maneira simples e amigável de desenvolver aplicações paralelas. 2. Clusters de Computadores Os clusters de computadores pessoais, também conhecidos como Clusters Beowulf [1] são um agrupamento homogêneo ou heterogêneo de recursos computacionais, que interligados por uma rede de dados, permitem a compartilhamento de recursos tais como processadores e memória, através da paralelização da execução de suas transações. A idéia de clusters baseado em COTS foi de extrema importância para a computação paralela, possibilitando uma grande flexibilidade e

3 uma excelente relação entre custo e perfomance [1]. Como vantagem imediata dos clusters destaca- se a alta disponibilidade e expansabilidade. Apresentado - se como um agrupamento de recursos independentes, com o espaço de endereçamento de memória distribuido e isolado, tornar - se uma tarefa trivial adicionar ou substituir recursos. Porém, conforme Patterson (2003) aponta, os clusters computacionais geralmente possuem um custo de propriedade maior quando comparado aos computadores multiprocessados de memória compartilhada. O custo de administrar uma única máquina multiprocessada se aproxima do custo da administração de uma única máquina de grande porte, enquanto em um clusters há o custo de administração de n- nós pertecentes a este [3]. 3. Clusters de Computadores e Software Livre O desenvolvimento dos clusters de computadores, baseado em estações de trabalhos, esta intimamemente ligado a softwares sobre licença livre e a padrões abertos. Conforme aponta Merkey, dentre os diversos fatores que possibilitaram a evolução dos clusters de computadores estão a disponibilidade de sistemas operacionais sobre licença livre, como o GNU/Linux e de compiladores do projeto GNU [4]. O modelo de desenvolvimento aberto tem beneficiado o rápido desenvolvimento de ferramentas para a construção de clusters de computadores, como é facilmente observado pelo crescente surgimento de soluções sobre licença livre. Dentre as bibliotecas de troca de mensagens, baseado no padrão aberto MPI, amplamente utilizadas e que estão sobre licença livre destacam - se o MPICH desenvolvido por Gropp, um dos principais precussores dos clusters de computadores [5], LAM/MPI pela Universidade de Indiana, MPI- V por Bosilca [6] entre outros. A partir das experiências com o desenvolvimento de implementações do padrão MPI surgiu o projeto Open- MPI, que integra o esforço de diversos projetos de pesquisa (FT- MPI, LA- MPI, LAM/MPI, e PACX- MPI) em torno de uma única implementação do padrão [7]. 4. Solução proposta: NeoFW Este framework foi construído baseado no paradigma de troca de mensagens, que nesta proposta é implementada na forma da biblioteca padrão MPI 1.1, tendo Java como sua linguagem de desenvolvimento. Na construção do framework NeoFW foram levantadas diversas considerações, tais como a especificação do domínio do problema, assim os usuários deste framework podem saber de antemão o que é possível ou não construir a partir deste.

4 Para o interfaceamento entre o framework e a biblioteca MPI foi utilizado a tecnologia Java Native Interface (JNI), assim permitindo que o NeoFW avance a medida que novas especificações do MPI forem sendo publicadas. Para melhor entendimento a figura 1 ilustra a organização das tecnologias utilizadas e o posicionamento do NeoFW e das aplicações que serão construídas baseadas nele. Figura 1 - Arquitetura da solução Dois pontos chaves foram contemplados no desenvolvimento do NeoFW, a clareza e corretude dos algoritmos. Sendo a clareza a indutora da facilidade de entendimento do código, que será de fundamental importância para a evolução da ferramenta, facilitando o processo de agregação de novas funcionalidades. A corretude objetiva maximizar a reusabilidade de código em estilo caixa preta. A biblioteca MPI, responsável pela troca de mensagens, na terceira camada é referenciado ao JNI. O código da camada JNI é implementado em linguagem C e, é utilizada para realizar chamadas, a partir do framework, nativas às funções do MPI. Na camada do framework foram implementados comportamentos e rotinas genéricas a vários programas, criando as abstrações necessárias para diminuir a complexidades do MPI. A figura 2 apresenta o fluxo de comunicação entre mestre e trabalhadores, No paradigma MT, adotado nesta solução, o mestre age como o coordenador do processamento, provendo instruções e dados para os nós do cluster. Ao trabalhador são passadas operações através de instruções e dados. Após o processamento, por parte dos trabalhadores, os resultados são devolvidos ao mestre que tem como função consolidar o resultado global.

5 Figura 2 - Cluster de arquitetura Mestre etrabalhador no NeoFW A fim de manter a alta disponbilidade do clusters é necessário, a implementação de rotinas para detecção de problemas como por exemplo a falha em um nó, acrescentando ao framework algumas características de tolerância a falha, não presentes no padrão MPI original [6]. O NeoFW implementa parcialmente quais e quando as instruções devem ser executadas em um nó trabalhador, assim as rotinas comuns a todos e a qualquer implementação paralela com troca de mensagens tem sua distribuição automatizada. O fluxo de execução do NeoFW inicia- se com uma chamada da Java Virtual Machine (JVM) a uma classe NeoFWController que é responsável por ajustar o início do processamento. Logo após iniciado o framework faz a chamada ao arquivo binário contendo a implementação da camada adaptadora escrita no padrão JNI, sobre o nome de libneofwmpi. Neste arquivo estão implementadas as rotinas de chamada à biblioteca MPICH que estão encapsulados na classe NeoFWMPI. Após realizadas as rotinas internas do framework este verifica quais são as classes implementadas pelo usuário a serem chamadas. Para utilizar o framework devem ser implementadas duas classes uma para mapear as tarefas do mestre, e outra para mapear as tarefas do trabalhador e seus nomes estão contidos no arquivo NeoFWGlobalConfig.xml, sendo estas instanciadas através de reflexão como tarefas que deverão ser executadas por um processo. Como está fundamentado sobre o paradigma MT faz- se necessário a decomposição do problema em duas partes, processos que executarão a resolução do problema e um processo que o coordenará. Esta função é implentada respectivamente pelas classes abstratas NeoFWTaskWorker e NeoFWTaskMaster que são herdeiras da super- classe NeoFWTask. A solução a ser paralelizada deve ser iniciada pelos métodos run(). A distribuição de dados não pode ser totalmente automatizada na versão inicial do NeoFW, porém esta tarefa é guiada no estudo de caso implementado originalmente, que foi a multiplicação de matrizes. A maneira utilizada para distribuir os dados neste estudo de caso foi a completa replicação dos dados de entrada entre os processos, conforme o trecho de código 1.

6 for (int k = 1; k < = lnumprocessostrabalhadores; k+ +) { getprocesscontext().sendmessage(k, lmata); getprocesscontext().sendmessage(k, lmatb); if (k!= lnumprocessostrabalhadores) { getprocesscontext().sendmessage(k, new Integer(quantOperParaProcess)); else { getprocesscontext().sendmessage(k, new Integer(quantOperUltimoProcess)); Trecho de Código 1 - Código para a distribuição de dados. O processamento específico de cada trabalhador é instruído apontando qual o subconjunto de dados este deverá atuar, conforme o trecho de código 2. int processoatual = 1; for (int i = 0; i < linmatresultante; i++) { for (int j = 0; j < colmatresultante; j++) { if (quantoperprocesso[processoatual] < quantoperparaprocesso) { /* Informa a linha da Matriz A em que deverá atuar. */ getprocesscontext().sendmessage(processoatual, new Integer(i)); /* Informa a coluna da Matriz B em que deverá atuar. */ getprocesscontext().sendmessage(processoatual, new Integer(j)); else { /* o ultimo processador fica com o resto das operacoes. */ if (processoatual < lnumprocessostrabalhadores) { processoatual+ +; /* Informa a linha da Matriz A em que deverá atuar. */ getprocesscontext().sendmessage(processoatual, new Integer(i)); /* Informa a coluna da Matriz B em que deverá atuar. */ getprocesscontext().sendmessage(processoatual, new Integer(j)); quantoperprocesso[processoatual] + +; Trecho de Código 2 - Código para a divisão de instruções. Ao final do processamento dos dados por parte dos trabalhadores é função do mestre a recombinação de resultados. No trecho 3 encontram - se as partes relevantes da rotina de combinação dos dados processados.

7 for (int k = 1; k < = lnumprocessostrabalhadores; k+ +) { matresultado.appen d(getprocesscontext().receivestringmessage(k)).append(";"); / * organiza os dados recebidos em uma estrutura matricial nativa. */ int s = 0; for (int t = 0; t < alinhasresultado; t++) { for (int u = 0; u < acolunasresultado; u+ +) { if (s < mresaux.length) { mres[t][u] = Integer.parseInt(mResAux[s]); s++; Trecho de Código 3 - Rotina de recombinação de dados. Ao termino do processamento o fluxo de troca de mensagens é finalizado e são desalocados os objetos da memória pela JVM. 5. Resultados obtidos Tendo como objetivo diminuir a complexidade no desenvolvimento de aplicações paralelas, o NeoFW vem atingindo suas metas conforme demonstrado na Tabela 1. Requisito Descrição Rotinas de inicialização e finalização do cluster. Parametrização dos dados de entrada. Rotinas de workaround quando for detectada falha em algum nó do cluster. Utilizar abstração para distribuir dados tabulados de acordo com padrões prédefinidos. Polimorfismo no mapeamento das funções MPI_SEND e MPI_RECV. Separação clara do código referente ao mestre do código do trabalhador. As rotinas de inicialização MPI_Init() e MPI_Finalize() são controladas automaticamente pelo NeoFW. Configurações globais em arquivo padrão XML. Rotinas de tratamento de erros são implementados no framekwork. Os dados tabulados poderão ser divididos entre os trabalhadores na forma de linhas, colunas ou blocos. Possibilitar o envio e recebimento direto de tipos de dados encapsulados específicos da linguagem Java. Não será preciso controlar manualmente se um determinado código está sendo executado em um mestre ou em um trabalhador. Desta maneira será facilitada a tarefa de criar códigos específicos para trabalhadores com ranks pré- definidos. Tabela 1 - Lista de Requisitos do NeoFW. Conforme esperado, a separação entre o código dos processos mestre e trabalhadores, permitiu que o desenvolvedor se concentrasse apenas no problema a ser paralelizado, não se preocupado em demasia com diretivas da biblioteca MPI.

8 O uso da linguagem Java permitiu uma maior adequação ao paradigma de Orientação a Objeto, facilitando a construção da documentação através da UML, sendo de fundamental importância para a manutenção e organização do projeto. Cabe destacar que as rotinas de tratamento de erros, fundamentais para a elaboração de técnicas de tolerância a falhas, foram automatizadas de maneira a não necessitar de condições rebuscadas devido ao uso de excessões. Dentre as dificuldades encontradas para o desenvolvimento do framework cabe destacar a ausência de projetos consolidados nesta mesma linha de pesquisa, poucas fontes de conhecimento formal e conclusões ainda degeneradas a respeito da tecnologia Java para aplicações de alto desempen ho. 6. Conclusões O uso de arquiteturas paralelas baseados em estações de trabalho, para o processamento de dados, tem como principal objetivo a otimização de custos pela utilização plena dos recursos computacionais existentes. O Framework NeoFW almeja consolidar- se provendo uma solução eficiente e eficaz para esta questão, sendo um facilitador no processo de desenvolvimento de aplicações paralelas. A solução aqui proposta permite o desenvolvimento de aplicações para arquiteturas de computadores paralelos, dedicados ou não, mais simples e produtivas devido à indução do desenvolvedor à programação orientada a objetos que é uma técnica de implementação bastante difundida. Uma das características mais marcantes deste projeto é a sua forma de licenciamento sob uma licença Livre, esperando com isto que este sirva de base para outros projetos semelhantes. Estando sobre uma base sólida, baseado nas especificações MPI e JNI, para prover um ambiente amigável baseado em programação orientada a objetos 7. Referências [1] Dongarra, Jack, Sterling Thomas, Simon, Horst, Strohmaier, Eric. High- Performance Computing: Clusters, Constellations, MPPs, and Future Directions. Computing in Science and Engineering. pp [2] Sterling, Thomas L. Salmon, John. Becker, Donald J. e Savaresse, Daniel F. How to build a Beowulf: a guide to the implementation and aplication of PC clusters. Massachusetts Institute of Technology [3] J. L. Hennessy; D. A. Patterson. Computer Architecture: A Quantitative Approach. Terceira Edição. Morgan Kaufmann ISBN [4] Merkey, Phil. Beowulf History. Disponível: / w ww.beowulf.org/ overview/ - 13 de Outubro de [5] Gropp, William, Lusk, Ewing, Skjellum, Anthony. A High- Performance, Portable Implementation of the MPI Standard. Disponível:

9 / u nix.mcs.anl.gov/mpi / m pich / pa pers / m picharticle/paper.html - 13 de Outubro de [6] Bosilca, George, Aurelien Bouteiller, Franck Cappello, Samir Djilali, Gilles Fedak, Cecile Germain, Thomas Herault, Pierre Lemarinier, Oleg Lodygensky, Frederic Magniette, Vincent Neri, Anton Selikhov. "MPICH- V: Toward a Scalable Fault Tolerant MPI for Volatile Nodes," sc, p. 29, ACM/IEEE SC 2002 Conference (SC'02), [7] Gabriel, Edgar, Fagg, Graham E., Bosilca, George, Thara Angskun, Jack J. Dongarra, Jeffrey M. Squyres, Vishal Sahay, Prabhanjan Kambadur, Brian Barrett, Andrew Lumsdaine, Ralph H. Castain, David J. Daniel, Richard L. Graham, Timothy S. Woodall, Open MPI: Goals, Concept, and Design of a Next Generation MPI Implementation, Lecture Notes in Computer Science, Vol. 3241, Jan 2004, Page 97.