TRABALHO DE FINAL DE CURSO

Transcrição

1 UNIMINAS CURSO DE SISTEMAS DE INFORMAÇÃO TRABALHO DE FINAL DE CURSO Estudo de um Modelo de Cluster baseado em um Ambiente WMPI Marcel Fagundes Souza 2004

2 ii Marcel Fagundes Souza Estudo de um Modelo de Cluster baseado em um Ambiente WMPI Trabalho de final de curso apresentado à UNIMINAS, como requisito parcial à obtenção do título de Bacharel em Sistemas de Informação. Orientador: M.Sc. Johann Max Hofmann Magalhães. UBERLÂNDIA 2004

3 iii Marcel Fagundes Souza Estudo de um Modelo de Cluster baseado em um Ambiente WMPI Trabalho de final de curso apresentado à UNIMINAS, para obtenção do título de Bacharel em Sistemas de Informação. Banca Examinadora: Uberlândia, 06 de Julho de Professor: M.Sc. Johann Max Hofmann Magalhães Professora: Dra. Kátia Lopes Silva Professor: Esp. Alexandre Rangel Professor: Dr. Mauro Hemerly Gazzani

4 iv RESUMO A enorme quantidade de dados e a enorme necessidade de rapidez no cálculo dos algoritmos atuais exigem a busca de alternativas para problema de processamento. Uma solução foi utilizar o conceito de paralelismo para distribuir as tarefas tornando a obtenção dos resultados mais rápidos. Com o uso de clusters e bibliotecas MPI (Message Passing Interface), aplicações eficientes e economicamente viáveis podem ser construídas. Nestes sistemas paralelos o tempo de processamento constitui um importante fator a ser considerado. Este trabalho aborda uma solução de cluster em software utilizando-se várias estações interligadas em uma rede de alta velocidade. Neste trabalho utiliza-se o software WMPI II (Windows Message Passing Interface) que usa um programa para o cálculo do PI. Foram analisados os testes de desempenho na aplicação com objetivo de observar o alto desempenho no processamento paralelo. Através dos testes de desempenho, observa-se que com a adição de novas máquinas aumenta no ambiente paralelo, obtém-se um melhor desempenho no processamento da aplicação. Com esses testes pode-se compreender melhor o comportamento. Palavras-Chaves: cluster, MPI, WMPI II, Sistemas Paralelos, Programação Concorrente.

5 v ABSTRACT The enormous amount of data and the enormous necessity of agility in calculation of the current algorithms, demands the search of alternatives for processing problems. A solution was to use the concept of parallelism to distribute the tasks becoming the attainment of the results faster. With the use of clusters and MPI (Message Passing Interface) libraries, efficient and economically applications can be constructed. In these parallel systems the processing time constitutes an important factor to be considered. This work approaches cluster solution in software using some linked stations in one net of high speed. In this work, software WMPI II (Windows Message Passing Interface) is used to program the calculation of PI. The tests of performance in the application had been analyzed with the objective of observing the high performance in the parallel processing. Through the tests of performance, it is observed that with the addition of new machines in parallel environment, it gets one better performance in the processing of application. With these tests the behavior can be understood better. Key-Words: cluster, MPI, WMPI II, Parallel Systems, Concurrent Programming.

6 vi SUMÁRIO p. 1. INTRODUÇÃO SISTEMAS DISTRIBUÍDOS Vantagens e desvantagens dos Sistemas Distribuídos Processamento Paralelo CLUSTER DE COMPUTADORES Cluster de alta performance de computação distribuída Cluster Beowulf BPROC Beowulf distribuited PROCess space MPI Interface de Passagem de Mensagens PVM Máquina Virtual Paralela Exemplos de Aplicação ESTUDO DE UM MODELO DE CLUSTER BASEADO EM UM AMBIENTE WMPI II Cluster WMPI II Primitivas de Comunicação Requisitos do Sistema para instalação do WMPI II Iniciando a Instalação do WMPI II Ambiente de Simulação do Cluster WMPI II Aplicação WMPI II Análise de Desempenho do Cluster WMPI II Resultados obtidos CONCLUSÃO REFERÊNCIAS BIBLIOGRÁFICAS...50

7 vii LISTA DE TABELAS TABELA 1 - Requisitos do Servidor, (CRITICAL SOFTWARE, 1996)...34 TABELA 2 - Requisitos da Estação, (CRITICAL SOFTWARE, 1996)...35

8 viii LISTA DE SIGLAS BPROC CESDIS MPI PVM RAM NASA RPC TCP/IP UTP VLSI WMPI - Beowulf distribuited Process Space - Centro de Excelência em Dados Espaciais - Message Passing Interface - Parallel Virtual Machine - Random Access Memory - Agência Espacial Americana - Remote Procedure Call - Transmission Control Protocol/ Internet Protocol - Unshielded Twisted Pair - Very Large Scale Integration - Windows Message Passing Interface

9 ix LISTA DE FIGURAS FIGURA 1 - Representação do Processamento Paralelo, (ALVES. 2002)...15 FIGURA 2 - Representação de concorrência em uma tarefa...17 FIGURA 3 - Representação do Cluster de Computadores...18 FIGURA 4 - Representação do Funcionamento do Cluster de Computadores.19 FIGURA 5 - Arquitetura do Cluster...21 FIGURA 6 - Representação do Cluster Wiglaf, (STERLING; BECKER. 1994). 23 FIGURA 7 - Visão dos Processos no BPROC, (ALVES. 2002) FIGURA 8 - Representação da Distribuição do Problema no MPI, (MPI FORUM. 1995) FIGURA 9 - Representação do Funcionamento do PVM, (ALVES. 2002)...27 FIGURA 10 - Ilustração do ambiente gráfico XPVM, (GEIST; BEGUELIN; DONGARRA; JIANG; MANCHEK; SUNDERAM, 1994)...28 FIGURA 11 - Representação do Funcionamento do WMPI...32 FIGURA 12 - Tela do Início da Instalação...36 FIGURA 13 - Tela de opções de instalação...36 FIGURA 14 - Tela de validação de Licença...37 FIGURA 15 - Tela de estações do domínio da Rede...37 FIGURA 16 - Tela de diretório de destino...38 FIGURA 17 - Ambiente paralelo do Cluster WMPI...39 FIGURA 18 - Início da Execução do Cálculo do PI...41 FIGURA 19 - Envio das Tarefas para as Estações do Cluster...41 FIGURA 20 - Resultado do Cálculo do PI aproximado...42 FIGURA 21 - Ilustração do Monitor de Performance...42 FIGURA 22 - Desempenho do Cluster WMPI II com um Nó (Servidor)...43 FIGURA 23 - Desempenho do Cluster WMPI II com dois Nós (Servidor e uma estação)...44 FIGURA 24 - Desempenho do Cluster WMPI II com três Nós (Servidor e duas estações)...44 FIGURA 25 - Desempenho do Cluster WMPI II com quatro Nós (Servidor e três estações)...45 FIGURA 26 - Desempenho do Uso de Memória para execução da Aplicação

10 x WMPI II...45 FIGURA 27 - Desempenho do Uso de Processamento na execução da Aplicação WMPI II...46 FIGURA 28 - Desempenho de Tempo de execução da Aplicação WMPI II...46 Figura 29 - Desempenho do Cluster WMPI II com todas as configurações...47

11 1. INTRODUÇÃO O homem busca explicações para os fenômenos reais através de equações muito complexas, com um número elevado de variáveis e enormes quantidades de dados. Ainda não foi atingido um poder de processamento suficiente para todas aplicações existentes e para as que surgirão com o desenvolvimento de novas tecnologias. Cada vez que se aumenta o poder de processamento dos computadores, aumentam-se as expectativas e possibilidades do que pode ser feito. Porém, estes novos processadores mais rápidos trazem um aumento de custos tornando-se a tecnologia inviável. Devido ao alto custo no desenvolvimento de processamento paralelo por hardware, o que torna a tecnologia cara por sua complexidade, foi necessário propor uma alternativa viável e eficiente. A solução encontrada foi simular esse paralelismo utilizando software, que simula perfeitamente o ambiente paralelo e apresenta inúmeras vantagens de custo benefício. A maior parte do tempo os computadores ficam em um estado de ociosidade, e em outros momentos percebe-se que o computador está muito lento devido a um processamento de aplicações pesadas. No contexto de se ter dois ou mais computadores em uma rede, a probabilidade de um computador estar lento e o outro completamente ocioso é muito grande. A idéia dos clusters é dividir o processamento das aplicações pesadas através das máquinas da rede que estão ociosas para aumentar o poder de processamento. O cluster é uma solução viável para aplicações que exigem alto poder de processamento, que apenas os supercomputadores eram utilizados para esse fim até pouco tempo atrás. Apesar de todas as vantagens para adotar as tecnologias de Processamento Distribuído, o cluster baseado na implementação do padrão MPI (Message Passing Interface), chamado WMPI II (Windows Message Passing Interface), consegue simular perfeitamente o ambiente paralelo, com uma grande vantagem, custo de implantação muito mais acessível. O único

12 12 requisito necessário para usar essa implementação, é que a aplicação deverá ser desenvolvida para funcionar no ambiente WMPI II. Desta maneira, este trabalho propõe um estudo de um modelo de cluster baseado em um ambiente WMPI, com o intuito de observar o desempenho quando se altera a quantidade de máquinas compondo o cluster. Assim, este trabalho está organizado da seguinte maneira. O capítulo 2 descreve o surgimento da tecnologia denominada de Sistema Distribuído, suas características, vantagens, desvantagens e o futuro da tecnologia. Este capítulo define os conceitos sobre Processamento Distribuído, mostrando a diferença entre a concorrência e o paralelismo de processos. No capítulo 3 são mostradas as características do cluster de computadores, descrição dos tipos de cluster e os componentes que o compõe. O capítulo também apresenta uma abordagem detalhada dos clusters de alta performance de computação, cluster Beowulf, que traz as modificações no núcleo do sistema operacional e o cluster que implementa sistema de comunicação de passagem de mensagens, PVM (Parallel Virtual Machine) ou MPI (Message Passing Interface). São ainda mostrados alguns exemplos de aplicações de cluster de computadores. No capítulo 4 é apresentado um estudo de um modelo de cluster baseado em um ambiente WMPI II, onde são analisados os resultados de testes do processamento da aplicação que faz o cálculo do valor de PI. Além disso uma abordagem dos requisitos de instalação e o funcionamento do WMPI II, detalhando a instalação do cluster em quatro estações. E, finalmente, o capítulo 5 apresenta as conclusões deste trabalho e sugestões para alguns temas a serem abordados em trabalhos futuros.

13 13 2. SISTEMAS DISTRIBUÍDOS A Internet representa um recurso global sob a forma de informações e conhecimentos, que resultou no surgimento de uma grande variedade de provedores de serviços de informações. O Correio Eletrônico, transferência de arquivos, comércio eletrônico, serviços de multimídia e videoconferência, etc, são exemplos de serviços disponíveis na Internet que permitem a troca de informações entre outras possibilidades. A Internet é considerado como um sistema distribuído, fornecendo os mesmos pré-requisitos para serviços em todo o mundo, proporcionando interconectar computadores em âmbito mundial, promovendo facilidades para futuras mudanças, rapidez nas trocas de informações e confiabilidade na execução dos processos. Um Sistema Distribuído pode ser definido como os componentes de hardware ou software localizados em uma rede de computadores que permitem que várias tarefas de uma aplicação sejam divididas em diferentes partes. Essas tarefas se comunicam através de redes de comunicação, e cada tarefa é processada em um sistema independente (COULOURIS ; DOLLIMORE; KINDBERD. 2001). O objetivo do sistema distribuído é criar um ambiente com um único sistema de tempo compartilhado (time-sharing), ou seja, estas máquinas distintas aparecem como se fosse um único computador. Portanto, um Sistema Distribuído é aquele que distribui tarefas em um conjunto de máquinas sem compartilhamento de memória. (TANENBAUM e TANENBAUM. 1992) Vantagens e desvantagens dos Sistemas Distribuídos Os sistemas distribuídos possuem as seguintes vantagens: Transparência: Possui um único ambiente virtual, ou seja, qualquer processo pode ser executado em qualquer máquina da rede, sendo escolhida pelo sistema, conforme a disponibilidade no momento;

14 14 Confiabilidade: Caracterizado pela alta disponibilidade dos serviços, ou seja, utilizam os vários equipamentos em conjunto para manter o serviço sempre disponível. Os sistemas distribuídos podem ser potencialmente confiáveis devido à multiplicidade e a um certo grau de autonomia de suas partes, se algum equipamento falhar ou parar, o sistema delega as tarefas a uma outra máquina, replicando os dados, evitando que as máquinas fiquem paradas ou ociosas. Este sistema também pode ser chamado de tolerância à falhas. O aspecto da confiabilidade global é a segurança. Os dados não podem sofrer qualquer tipo de adulteração ou perder-se; Concorrência: É caracterizado pelo compartilhamento de recursos com uma melhor utilização da carga de processamento entre todas as máquinas; Escalabilidade: Capacidade de agregar novos recursos ao sistema, tanto hardware quanto software, sejam adicionados à medida que há necessidade de novos recursos ou de aumento do poder de processamento; Flexibilidade: É muito importante que o sistema seja flexível às decisões do projeto, permitindo mudanças no sistema, caso necessite. Heterogeneidade: Diversidade de elementos computacionais. Como plataforma de hardware ou software. Um sistema quando não funciona bem, apresenta como conseqüências resultados incorretos. A causa dos erros é a presença de defeitos ou interferências indevidas, que aparecem tanto no nível de hardware quanto de software. Apesar das vantagens dos sistemas distribuídos, existem algumas desvantagens. O primeiro problema potencial das redes é a possibilidade de ficarem sobrecarregadas com o tráfego gerado pelo intercâmbio de mensagens. O segundo problema está relacionado com a segurança dos

15 15 dados, se os dados não tiverem uma política de segurança, podem ser acessíveis com grande facilidade. À medida que os sistemas distribuídos tornam-se mais difundidos, cresce a demanda por sistemas que nunca falham. Os sistemas atuais não preenchem esta necessidade. Obviamente, os sistemas tolerantes a falhas vão precisar de considerável redundância do hardware e da infra-estrutura de comunicação. Também será necessária a redundância do software e mais especificamente dos dados. A replicação de arquivos será uma questão essencial para os futuros sistemas. Os sistemas terão que ser projetados de maneira a funcionar quando somente parte dos dados estiverem disponíveis, uma vez que a insistência em se ter todos os dados disponíveis todo o tempo não leva a sistemas tolerantes à falhas. Vale observar que o fato de se ter o sistema indisponível por alguns instantes é considerado aceitável, torna-se cada vez menos razoável, à medida que o computador vai sendo difundido e usado por não-especialistas Processamento Paralelo Processamento Paralelo é um método utilizado em tarefas grandes e complexas para obter resultados na forma mais rápida possível. Consiste em dividir uma grande tarefa em tarefas pequenas que serão distribuídas em vários processadores para serem executadas simultaneamente (ALVES. 2002), conforme mostra FIGURA 1. Tarefa 1 Processador A Tarefas Grandes e Complexas Tarefa 2 Processador B Tarefa 3 Processador C FIGURA 1 - Representação do Processamento Paralelo, (ALVES. 2002).

16 16 Concorrência de Processos é a capacidade de vários programas poderem estar residentes em memória, concorrendo pela utilização do processador (TANENBAUM, WOODHULL e TANENBAUM. 1997). Dessa forma, quando um programa solicita uma operação de entrada / saída, outros programas poderão estar disponíveis para utilizar o processador. Nesse caso, o processador permanece menos tempo ocioso e a memória principal é utilizada de forma mais eficiente, pois existem vários programas residentes se revezando na utilização do processador. A multiprogramação é a utilização do conceito de concorrência de processos para implementação do mesmo, sendo implementada de maneira que, quando um programa perde o uso do processador e depois retoma para continuar o processamento, seu estado deve ser idêntico ao do momento em que foi interrompido. O programa deverá continuar sua execução exatamente na instrução seguinte àquela em que havia parado, aparentando ao usuário que nada aconteceu. Em sistemas de tempo compartilhado, é como o computador estivesse inteiramente dedicado ao usuário, ficando todo esse mecanismo transparente para ele. Não se deve confundir o conceito de concorrência com o conceito de paralelismo. As partes concorrentes de um programa são aquelas que podem ser calculadas independentemente, e as partes paralelas de um programa são aquelas partes concorrentes que podem ser executadas sobre elementos de processamento separados ao mesmo tempo, conforme é mostrado na FIGURA 2. Desse modo, a concorrência é uma propriedade do programa e o paralelismo eficiente é uma propriedade do sistema distribuído. A execução paralela resulta em um melhor desempenho. O fator limitante ao desempenho paralelo pode ser a latência e a velocidade da comunicação entre os nós. Para obter um algoritmo paralelo é importante determinar quais as partes concorrentes do programa podem ser executadas em paralelo e quais não. É tarefa dos programadores estabelecerem os níveis de paralelismo da aplicação.

17 17 Tarefa 1 Processo A Processo B Processo n FIGURA 2 - Representação de concorrência em uma tarefa

18 18 3. CLUSTER DE COMPUTADORES A partir da década de 80 as redes de computadores evoluíram permitindo a transferência de informações entre as máquinas com velocidades de frações de segundos. Com o avanço tecnológico dos circuitos integrados de larga escala de integração VLSI (Very Large Scale Integration), pode-se utilizar o conceito de paralelismo pelo hardware com a finalidade de aumentar a velocidade de processamento. Isto tornou a tecnologia muito cara, obrigandose a buscar novas alternativas para obtenção de ambiente distribuído (TANENBAUM. 1995). Desse modo o cluster de computadores tem sido utilizado em substituição das arquiteturas paralelas como alternativa viável, preenchendo os requisitos do processamento paralelo pelo hardware. Cluster de computadores é um conjunto de computadores interligados por uma rede de comunicação para obter processamento paralelo, ou seja, essas máquinas agrupadas pela rede formam um computador virtual de grande poder de processamento, (ALVES. 2002), como é mostrado na FIGURA 3. FIGURA 3 - Representação do Cluster de Computadores

19 19 O Cluster de computadores é caracterizado por um sistema computacional distribuído que consta de vários processadores independentes que não compartilham memória RAM (Random Access Memory). Cada processador em um sistema executa seu próprio fluxo de instruções e usa seus próprios dados locais, armazenando ambos na memória local. O cluster é composto por um servidor também chamado de mestre, responsável pela distribuição das tarefas, e pelos clientes que também pode ser chamado de escravos, responsáveis pelo processamento das tarefas. Para que o sistema funcione é necessário um servidor, vários clientes, uma biblioteca para troca de mensagens e o hardware para conexão via rede dos diversos computadores. O princípio de funcionamento do cluster é simples. O servidor divide as tarefas, com as partes independentes, chamadas concorrentes, e a seguir o servidor distribui estas tarefas entre os vários computadores clientes que fazem parte do cluster. As tarefas são processadas e então os resultados são encaminhados para o servidor, como mostra a FIGURA 4. FIGURA 4 - Representação do Funcionamento do Cluster de Computadores

20 20 Os clusters de computadores são classificados nos seguintes tipos: Cluster de alta disponibilidade de computação: Este cluster é caracterizado pela alta disponibilidade dos serviços, ou seja, utilizam vários equipamentos em conjunto para manter o serviço sempre disponível, replicando os dados e evitando que as máquinas fiquem paradas ou ociosas. Este cluster fica à espera de um equipamento falhar ou parar, delegando as tarefas a uma outra máquina. Perdas na performance ou na capacidade de processamento são normalmente aceitáveis; o objetivo principal é não parar. Cluster de Balanceamento de Cargas: Consiste em balancear cargas entre servidores, para garantir e assegurar que cada servidor não seja utilizado completamente. Esse sistema realiza a distribuição de maneira equilibrada entre os servidores. Os sistemas dos servidores, não trabalham juntos em um único processo, mas redirecionando as requisições de forma independente assim que chegam, baseados em um escalonador e um algoritmo próprio. Cluster Combinando Alta Disponibilidade e Balanceamento de Carga: Este cluster combina alta performance aliada à possibilidade da não existência de paradas críticas. Podendo ser usado como uma solução perfeita para provedores de Internet e aplicações de rede nas quais a continuidade de suas operações é muito crítica. Cluster de alta performance de computação distribuída: É caracterizado por um conjunto de computadores interligados usando o recurso de paralelismo e distribuição dos dados. Este cluster indicado para uso de aplicações que necessitam de alto desempenho. Como exemplo, processamento de imagens, cálculos científicos, etc.

21 Cluster de alta performance de computação distribuída Este cluster fornece infra-estrutura necessária para a comunicação e sincronização entre processos espalhados pelos nós. A FIGURA 5 ilustra as principais características da arquitetura de um cluster. Como se pode observar, um conjunto de máquinas conectadas através de uma rede de comunicação e um switch são utilizados para comunicação de aplicações seqüenciais e paralelas. Cada uma destas estações possui uma interface de rede, responsável por enviar e receber dados. O ambiente de um sistema de processamento integrado é único e é uma característica observada nos clusters. Este ambiente é gerado com suporte de um middleware, que não somente possibilita o processamento paralelo e distribuído, mas também permite a execução de aplicações seqüenciais. Para possibilitar a execução de programas paralelos, é necessária uma ferramenta de programação paralela, que tem biblioteca de passagem de mensagens. FIGURA 5 - Arquitetura do Cluster A arquitetura de um cluster consiste em um conjunto de máquinas formado por um servidor e clientes conectados por uma rede de comunicação. Estas máquinas executam um sistema operacional que implementa estruturas

22 22 de passagens de mensagens, PVM ou MPI, sendo necessária aplicações paralelas para utilizar este recurso paralelo. O ambiente de programação oferece os mecanismos necessários para desenvolvimento de aplicações paralelas, (CULLER; SINGH; GUPTA. 1999). O BPROC (Beowulf distribuited PROCess space), é uma outra implementação que modifica o núcleo do sistema operacional para iniciar processos em outras máquinas. Esta implementação não necessita de aplicações paralelas, ou seja, o paralelismo é transparente para a aplicação Cluster Beowulf O nome Beowulf foi tomado emprestado de um dos mais antigos poemas épicos da literatura inglesa do século VI. Este poema conta a estória de um herói de grande força e valentia em sua saga para derrotar o monstro de Grendel. O primeiro cluster Beowulf foi desenvolvido pelo CESDIS (Centro de Excelência em Dados Espaciais e Informações Cientificas) da NASA (Agência Espacial Americana) e no Centro Espacial Goddard em Greenbelt, Maryland, no ano de 1994, com o objetivo do tratamento de informações recolhidas por satélites, (STERLING; BECKER. 1994). Este Cluster chamado Wiglaf, ilustrado na FIGURA 6, era formado por 16 processadores Intel 486DX4 100MHz conectados em um hub Ethernet de 10Mbps, 16MB de memória RAM com 60ns, discos de 540MB padrão de barramento IDE. O sistema operacional usado foi o LINUX de licença GNU 1 (General Public License), o mesmo já implementava estruturas necessárias para passagem de dados MPI (Message Passing Interface) e para o gerenciamento de máquinas virtuais paralelas PVM (Parallel Virtual Machine). Atualmente, já existem clusters Beowulf com mais de 150 nós com desempenho muito acima dos 50 Gigaflops 2, (STERLING; BECKER. 1994). 1 A GNU permite a liberdade de distribuição cópias e mudanças de softwares. 2 Medida de desempenho, bilhões de operações de ponto flutuante que um processador pode executar por segundo.

23 23 FIGURA 6 - Representação do Cluster Wiglaf, (STERLING; BECKER. 1994) BPROC Beowulf distribuited PROCess space O BPROC é um conjunto de modificações no núcleo do sistema operacional com a função de iniciar processos das máquinas mestres nas máquinas escravas. O objetivo do BPROC é criar uma visão única para os processos, utilizando mecanismos para gestão de processos nos diversos nós do sistema através do frontend do cluster, sem a necessidade do uso do protocolo remote shell 3 (rsh), nem o remote login 4 (rlogin). O espaço único de processos distribuídos permite representar os processos de qualquer nó na tabela de processos do frontend, de forma a ser possível a comunicação entre eles como se estivessem em um mesmo local, ou seja, como se fizesse parte de uma única fila de seqüência de um PCB (Bloco de Controle de Processos). O BPROC não faz o gerenciamento de recursos, nem a distribuição de carga, necessitando do uso de ferramentas de escalonamentos de processos. Para criar o ambiente distribuído, o daemon tem que ser iniciado no servidor e nos clientes. O servidor distribui os processos. As estações aceitam os processos de outros nós daemon. Cada nó pode executar múltiplos slave daemon, mas apenas pode ter um master daemon, como mostra a FIGURA 7. 3 Inicia uma sessão terminal em um host no host remoto.

24 24 FIGURA 7 - Visão dos Processos no BPROC, (ALVES. 2002) MPI Interface de Passagem de Mensagens A biblioteca MPI foi desenvolvida em 1993 por várias entidades de pesquisa. A MPI é uma biblioteca criada para comunicação de processos em ambientes de memória distribuída. Possui rotinas para facilitar a comunicação, troca de dados e sincronização entre processos em memória. Essa biblioteca foi desenvolvida para ser padrão de comunicação entre processos em ambiente de memória distribuída (MPI FORUM. 1995). A FIGURA 8 mostra o funcionamento da biblioteca MPI. A execução de uma aplicação executando esta API 5 (Interface de Programação de Aplicações) inicia um procedimento que dispara através de um processo pai seus processos filhos para serem executados remotamente nos computadores escravos do cluster. 4 Executa o comando no host. 5 É um conjunto normalizado de rotinas e chamadas de software que podem ser referenciadas por um programa aplicativo para acessar serviços essenciais de uma rede.

25 25 FIGURA 8 - Representação da Distribuição do Problema no MPI, (MPI FORUM. 1995). Cada processo executa e se comunica com outras instâncias do programa, possibilitando que a execução no mesmo processador seja distribuída entre diversos processadores. A comunicação básica consiste em enviar e receber dados de um processador para outro. Esta comunicação se dá através de uma rede de alta velocidade, na qual os processos estão em um sistema de memória distribuída. Os pacotes de dados enviados pelo MPI requerem várias partes da informação: o processo transmissor, o processo receptor, o endereço inicial de memória onde os itens de dados deverão ser mandados e a mensagem. No desenvolvimento de uma aplicação o programador ficará sob responsabilidade de identificar o paralelismo e implementar um algoritmo utilizando construções com a biblioteca MPI.

26 PVM Máquina Virtual Paralela A biblioteca de programação paralela PVM foi criada em 1989 pelo Heterogeneus Network Project em conjunto com a Oak Ridge National Laboratory, University of Tennesse, Emory University e Carneige Mellon University com intuído de trabalhar com as redes de comunicações heterogêneas, (GEIST; BEGUELIN; DONGARRA; JIANG; MANCHEK; SUNDERAM. 1994). O PVM é um conjunto de ferramentas integradas que possibilita a uma rede heterogênea conectar computadores de várias arquiteturas, formando um grande computador virtual paralelo. O software é portátil, isto é, trabalha com várias plataformas de sistemas operacionais. Esta API permite que programadores utilizem computação distribuída para desenvolver aplicações paralelas sob o conceito de passagem de mensagens. O cluster em PVM consiste basicamente de processos que trocam mensagens em uma rede de comunicação. As mensagens são empacotadas no objeto STUB com as informações do identificador do objeto a serem usadas, as descrições do método a ser chamado e os parâmetros, e desempacotadas pelo processo do receptor. A FIGURA 9 mostra o esquema de funcionamento do PVM. Ele é composto de duas partes. O primeiro processo pvmd3 que é um daemon 6 que fica em todas as estações do cluster. Quando é necessário executar uma aplicação PVM, o daemon é executado em uma das estações que fica encarregada de chamar outros processos daemons pvmd3 escravos em cada computador da máquina virtual paralela. A aplicação PVM pode então ser executada em um Shell UNIX em qualquer parte do cluster. A segunda parte do sistema PVM é uma biblioteca de rotinas PVM que são chamadas pelo usuário para passagem de mensagens, criação de 6 São processos criados no momento do boot do sistema operacional e continuam executando até o encerramento do sistema.

27 27 processos, sincronização de tarefas e processos. As aplicações devem estar conectadas com esta biblioteca para usar o ambiente paralelo criado pelo PVM. FIGURA 9 - Representação do Funcionamento do PVM, (ALVES. 2002). O XPVM é um ambiente gráfico que mostra as informações e fornece acesso aos comandos do console PVM, como é ilustrado na FIGURA 10. Este ambiente gráfico serve como um monitor de desempenho em tempo real das tarefas do PVM. Quando o XPVM é executado, o arquivo do PVM é consultado para ver quais os clientes escravos estão disponíveis no momento. Quando é necessário estabelecer conexão com uma máquina, outro arquivo do PVM é consultado para autenticação.