Comparação de algoritmos paralelos em uma rede heterogênea de workstations

Transcrição

1 Comparação de algoritmos paralelos em uma rede heterogênea de workstations Marcelo T. Rebonatto, Marcos J. Brusso, Roberto Niche 1, Roni A. Dall Orsoletta 1 Universidade de Passo Fundo Instituto de Ciências Exatas e Geociências - Curso de Ciência da Computação Campus I - BR Bairro São José Passo Fundo (RS) - Brasil - CEP: Caixa Postal: 611 Telefone: (54) Fax: (54) {rebonatto, brusso}@upf.br, niche@uol.com.br, 43945@lci.upf.tche.br Abstract The objective of parallel processing is reduce the execution time of the programs using many processors. One of the employed alternatives currently is the use of machines called NOW (Network the Workstations), which are, typically, formed for homogeneous architectures of the hardware and operational system. This work has for objective to compare two traditional models of parallel algorithms (divide-and-conquer and master/slave) in a formed virtual parallel machine with heterogeneous configuration. Resumo O processamento paralelo tem por objetivo reduzir o tempo de execução dos programas através da utilização de diversos processadores. Uma das alternativas empregadas atualmente é o emprego de máquinas chamadas NOW (Network of Workstations), as quais são, tipicamente, formadas por arquiteturas homogêneas de hardware e sistema operacional. Este trabalho tem por objetivo comparar dois modelos tradicionais de algoritmos paralelos ( divisão e conquista e mestre/escravo ) em um máquina paralela virtual formada com uma configuração heterogênea. 1. Introdução O objetivo principal do processamento paralelo é realizar computações mais rapidamente do que as feitas com um único processador, através da exploração da concorrência empregando mais de um processador. A definição de processamento paralelo mais empregada foi formulada inicialmente por Hwang em Segundo o autor, processamento paralelo é uma forma eficiente de processar informações, a qual enfatiza a exploração de eventos concorrentes na computação de um processo [Hwang & Xu, 1998]. Neste contexto, um computador paralelo é uma coleção de processadores que são utilizados em conjunto para resolver cooperativamente um problema [Goulart et. al. 1999]. A busca do alto desempenho visando atender à demanda crescente de processamento motivou o surgimento de vários modelos de arquiteturas paralelas. A classificação das 1 Bolsistas PIBIC - UPF

2 máquinas mais utilizada atualmente foi proposta por Michael Flynn em 1972, citada por Silva [Silva, 1999]. Esta classificação foi elaborada segundo o fluxo de instruções e dado, conforme ilustrado na Figura 1, onde aparecem as quatro combinações possíveis (SISD, MISD, SIMD. MIMD). SD (single Data) MD (Multiple Data) SI (Single Instruction) MI (Multiple Data) SISD (Máquinas monoprocessadas) MISD (Sem representante atual) Figura 1 Classificação de Flynn SIMD (Máquinas vetoriais) MIMD (Multiprocessadores ou Multicomputadores) As máquinas SISD possuem um fluxo de instruções atuando sobre um fluxo de dados, sendo as tradicionais máquinas monoprocessadas. A classe MISD, possui vários fluxos de instruções atuando sobre um fluxo de dados. Sua classificação é muito contestada por praticamente inexistir aplicações ao seu uso. As divisões SIMD e MIMD representam as máquinas conhecidas como paralelas [Navaux et. al., 2001][De Rose, 2001], sendo as primeiras com um fluxo de instruções atuando sobre diferentes dados e a segunda possibilitando múltiplos fluxos de instruções sobre dados distintos [Kumar et. al, 1994] e [Hwang & Xu, 1998]. Segundo Navaux [Navaux et. al., 2001] e Hwang [Hwang & Xu, 1998], grande parte das máquinas paralelas atuais são da classe MIMD, que possui uma divisão em relação ao espaço de endereçamento de memória. Multiprocessadores são máquinas MIMD que possuem um único espaço para endereçamento da memória, desta forma possibilitando regiões de dados compartilhados. Já os multicomputadores são máquinas MIMD com vários espaços de endereçamento de memória, desta forma não possibilitando memória compartilhada. Um dos tipos de multicomputadores que nos últimos anos vem ganhando destaque são as máquinas NOW (Network of Workstation). Segundo Sato, estações de trabalho em rede são uma boa forma de se obter computadores escaláveis, uma vez que podem ser utilizadas até algumas dezenas de estações para um único trabalho [Sato et. al. 1996]. Atualmente, já são utilizados alguns milhares de computadores interligados em rede, aumentando a capacidade de processamento dos clusters, deixando-os em condições de competir com os supercomputadores [Hargrove et. al., 2001]. A possibilidade de criação de máquinas NOW criadas a partir de hardware heterogêneo e utilizando diferentes S.O. pode aumentar a utilização do processamento paralelo e distribuído, uma vez que o hardware empregado estava inicialmente ocioso. Neste contexto começam a surgir os clusters ditos como de baixo custo, montados a partir de PCs 486 (ou inferiores) e Pentium que estariam indo ao descarte [Hoffman et. al. 2001]. Estas máquinas se diferenciam dos clusters tradicionais uma vez que não utilizam máquinas com idênticas configurações (processador, memória, I/O,...), porém, se considerarmos apenas estes tipos de máquina eles não podem ser chamados de heterogêneos pois são constituídos de máquinas construídas a partir de uma mesma arquitetura.

3 2. Modelos de algoritmos paralelos Uma das decisões importantes a serem tomadas no momento do projeto e implementação de aplicações paralelas é o modelo de algoritmo paralelo a ser escolhido. Um modelo define, em um alto nível, a forma de intercambio de dados e sincronização dentro da aplicação. Os cinco principais modelos de algoritmos descritos na literatura são: Divisão e conquista: consiste de dividir a aplicação em tarefas menores, a serem executadas concorrentemente pelos processadores; Pipeline: a aplicação é divida em fases, cada fase é executada por um processador, sendo o resultado da fase n entrada para a fase n+1; Mestre/escravo: um processador se encarrega da função de mestre, enviando tarefas aos escravos e recebendo deles os resultados; Pool de trabalho: utiliza um conjunto compartilhado de tarefas entre os processadores, onde cada processador busca um subconjunto da tarefa e a executa; Fases paralelas: a aplicação é divida em etapas que devem ser sincronizadas no decorrer do tempo. 3. Os testes realizados A fim de avaliar o desempenho de algoritmos paralelos em um ambientes heterogêneos, selecionou-se os modelos de algoritmos divisão e conquista e mestre/escravo. A aplicação escolhida para os testes foi um programa responsável por encontrar conjuntos de números-primos, por ser onerosa em termos de tempo de processamento. Os programas foram desenvolvidos usando linguagem de programação C e a biblioteca de programação paralela MPI [MPI, 1994]. Com o objetivo de possibilitar comparações desenvolveu-se, também, uma versão seqüencial da mesma aplicação. A partir dos tempos de execução obtidos, utilizaram-se os cálculo de medidas de desempenho tradicionalmente utilizadas (speedup e eficiência) A implementação divisão e conquista Este algoritmo tem por finalidade dividir um trabalho de acordo com o número de processadores disponível. Cada processador recebe inicialmente, e uma única vez, seu subconjunto dos dados, executará o trabalho com estes dados e finalmente retornará o resultado. O nodo 0, que corresponde ao processo onde foi iniciada a execução do programa paralelo divide o conjunto de dados em subconjuntos de igual tamanho, um para cada um dos demais nodos. Estes dados são enviados através de mensagens para cada um dos processos, de forma ordenada. À medida que cada nodo conclui a sua execução, retorna o resultado para o nodo 0. Este programa faz uso das primitivas básicas de trocas de mensagens do MPI, além de comunicação de grupo (BROADCASTING). A Figura 2a ilustra um fluxo desta implementação A implementação mestre/escravo Este algoritmo emprega um processador (mestre) o qual coordena o trabalho dos demais processadores (escravos). Nesta implementação é definida uma pequena quantidade de dados para os processadores escravos executarem, que é definida pelo programador (um passo ). O processo mestre envia um passo para cada escravo e faz a sincronia entre

4 eles de forma ordenada. Após cada processador escravo receber o seu subconjunto de dados correspondente ao passo atual e fazer sua execução, retorna o resultado para o mestre, ficando a espera de mais alguma tarefa caso seja necessário. Quando todos os dados tiverem sido processados o mestre envia um sinal terminando a execução do cada um dos escravos. Para a implementação deste programa, foram utilizadas as primitivas básicas de troca de mensagens do MPI além de comunicação de grupo (BROADCASTING) e do parâmetro MPI_ANY_SOURCE que permite o recebimento de mensagem de qualquer processo. A Figura 2b ilustra um fluxo desta implementação. Divisão e Conquista Main Mestre/Escravo Main nodo!= 0 nodo == 0 le_arq nodo!=0 nodo==0 le_arq calc_pri calc_pri Status_MPI Break Figura 2a Divisão e Conquista Figura 2b Mestre/Escravo Neste trabalho o passo foi definido com 1000 números de um total de 10 milhões de números. O nodo mestre fica enviando os subconjuntos e recebendo os resultados dos nodos escravos até que complete todo envio do arquivo, tentando deixar o mínimo possível algum nodo escravo ocioso. 4. Resultados obtidos Os algoritmos implementados foram executados em um ambiente computacional paralelo heterogêneo. Neste ambiente, encontram-se máquinas diferenciadas pela sua arquitetura, como PC s e WorkStation Sun, assim como pelo sistema operacional, como Solaris e Linux. Fizeram parte dos testes, ainda, máquinas monoprocessadas e multiprocessadores SMP. A seguir, a descrição das máquinas utilizadas neste trabalho:

5 Sparc: Workstations Sun Sparc, com processadores 270 e 300 Mhz, 192Mb de memória RAM e HD de 4Gbs, utilizando S.O. Sun Solaris; PCServer: Servidor IBM 320, com dois processadores 133Mhz, 64Mb de memória RAM e HD de 8Gbs, utilizando S.O. Solaris para PC; Celeron: Microcomputador HP Brio, com processador AMD K6 II 500Mhz, 64Mb de memória RAM e HD de 3.8Gb, utilizando S.O. Linux, distribuição Conectiva 6.0; imac: Apple imac, com um processador PowerPc 266Mhz, 32Mb de memória RAM e HD de 2Gbs, utilizando o S.O. Linux, distribuição Yellow Dog Linux. Para a obtenção dos resultados, foram compostas diversas combinações de máquinas para compor a máquina virtual paralela, incluindo três, quatro, cinco e seis processadores. Em todas as configurações, ambos os algoritmos paralelos foram executados, com no mínimo cinco séries de repetições, tomando-se como resultado final a média aritmética do tempo de execução destes conjuntos de testes. A tabela 1 apresenta os resultados obtidos, em termos de tempo de execução, speedup (aceleração na execução do programa paralelo) e eficiência (fração do tempo que foi efetivamente aproveitado em processamento). Tabela 1 Resultados obtidos pelos algoritmos em ambiente paralelo heterogêneo Divisão e Conquista Mestre/Escravo NP* Configuração Tempo de Speedup Eficiência Tempo de Speedup Eficiência execução execução 3a 2 Celeron; 1 imac. 3b 2 Celeron; 1 Sparc. 4a 2 Celeron; 2 PCServer**. 4b 2 Celeron; 1 Sparc; 1 imac. 5a 2 Celeron; 2 PcServer; 1iMac. 5b 2 Celeron; 2 PCServer; 1Sparc. 6 2 Celeron; 2 PCServer; 1 imac; 1 Sparc. 714,158 1,144 0, ,256 2,299 0, ,43 0,665 0, ,812 2,079 0, ,361 0,514 0, ,601 2,157 0, ,786 0,886 0, ,495 2,434 0, ,542 0,641 0, ,317 2,542 0, ,063 0,638 0, ,91 2,244 0, ,65 0,774 0, ,323 2,534 0,422 *: NP=número de processadores **: A máquina PCServer sempre foi utilizada com seus dois processadores. Para o cálculo do Speedup (tempo seqüencial/tempo paralelo) foi utilizado como base para o tempo seqüencial (816,73s), obtido a partir da média de cinco repetições da execução na arquitetura de melhor desempenho, neste caso a máquinas Celeron.

6 Analisando o algoritmo divisão e conquista, seu speedup não chegou em nenhum caso a 1.2, tendo portanto baixa aceleração. Analisando a eficiência deste algoritmo, constatouse que seu valor máximo também foi conseguido utilizando 3 processadores, sendo que nos demais casos a mesma não chegou a 25%. O algoritmo mestre/escravo obteve melhores resultados, alcançando speedup de 2,54, valor este obtido com a configuração 5 a e próximo ao obtido com 6 processadores Uma representação gráfica dos valores do speedup alcançados pode ser visualizada na Figura 3. Nela são mostrados, para cada conjunto de máquina paralela virtual heterogênea, o speedup conseguido em ambos os algoritmos. Speedup 3,000 2,500 2,000 1,500 1,000 0,500 Divisão e Conquista Mestre/Escravo 0,000 3a 3b 4a 4b 5a 5b 6 Processadores Figura 3 Comparativo do speedup obtido Na Figura 4 fica clara a melhor adaptação do algoritmo mestre escravo ao ambiente paralelo heterogêneo. Em todas as configurações este algoritmo foi melhor, sendo destacadas as configurações 5a e Conclusões Este trabalho teve como finalidade a comparação entre os algoritmos Divisão e Conquista e Mestre/Escravo em um ambiente de execução onde as máquinas se diferenciam pela arquitetura e sistema operacional. O algoritmo divisão e conquista não se mostrou muito eficiente no ambiente heterogêneo por que ele apenas divide o vetor pelo número de processos e envia uma única vez para os nodos e isso acaba tendo como conseqüência que os processadores que terminarem antes sua tarefa fique parado por algum tempo esperando os outros processadores terminem sua parte do trabalho, retardando o tempo de execução do programa, devido ao fato de que um processador pode ser mais demorado ou lento que outro. O algoritmo mestre/escravo tem como característica evitar que algum processador fique ocioso por muito tempo esperando alguma tarefa. Isto se deve ao fato de que, neste modelo, cada processo recebe pequenos sub-conjuntos dos dados cada vez que conclui

7 seu trabalho atual, adaptando assim, dinamicamente a carga enviada a cada nodo. Esta característica ganha força quando se trata de ambientes heterogêneos, pois neste ambiente têm-se vários tipos de processadores sendo um mais lento que outro. De acordo com os resultados obtidos pode se concluir que o algoritmo mestre/escravo num ambiente heterogêneo tem mais aplicabilidade que o divisão e conquista. Bibliografia DE ROSE, César A. F. Arquiteturas Paralelas. In In: ERAD 2001, Escola Regional de Alto Desempenho. Anais Porto Alegre: SBC/Instituto de Informática da UFRGS p GOULART, Peter Carvalhal et. al. PARALELISMO: Algoritmos e complexidade. Porto Alegre: UFRGS, Instituto de Informática, p. RP-306. HARGROVE et. al. The Do-It-Yourself Supercomputer. Capturado em 3 set Online. Disponível na Internet através de http em HOFFMAN et. al. The Stone SouperComputer. Capturado em 5 out Online. Disponível na Internet através de http em HWANG, Kai; XU, Zhiwei. Scalable Parallel Computing: Technology, Architecture, Programming. Boston: McGraw-Hill, p.3-90, p e p KUMAR, et al. Models of Parallel Computers. In: Introdutction to Parallel Computing: Design and Analysis of Algortithms. Redwood City: The Benjamin/Cummings Publishing Company, p. chap. 2, p MPI FORUM. The MPI message passing interface standard. Knoxville: University of Tennessee, NAVAUX, et. al. Execução de aplicações em ambientes concorrentes. In: ERAD 2001, Escola Regional de Alto Desempenho. Anais Porto Alegre: SBC/Instituto de Informática da UFRGS p SATO, Liria Matsumoto; MIDORIKAWA, Edson Toshimi; SENGER, Hermes. Introdução a Programação Paralela e Distribuída. Capturado em 7 maio de Online. Disponível na Internet através de http em SILVA, Márcio Gonçalves da. Influência de Parâmetros Arquiteturais em Sistemas Paralelos de Programação em Lógica. Rio de Janeiro, 1999, 101p. Dissertação de Mestrado - COPPE/UJRJ.