Um Estudo sobre Algoritmos de Escalonamento para Grids Computacionais

Transcrição

1 Um Estudo sobre Algoritmos de Escalonamento para Grids Computacionais Carlos Fran F. Dantas 1, Sebastião Emídio A. Filho 1 1 Departamento de Informática Universidade do Estado do Rio Grande do Norte (UERN) Rua Almino Afonso, 478 Centro Mossoró RN Brazil {carlosphran,sebastiao.alves}@gmail.com Abstract. Computing grids requires non-local resources management. The general scheduling problem is known as NP-Hard, and scheduling in grids is a most challenge problem. Thus, this paper aims to present a study about major scheduling algorithms for grids, describing its details and best scenarios to apply them. Resumo. A utilização de grids computacionais demandam a coordenação de recursos que não estão sujeitos ao controle local. Sabe-se que a complexidade do problema geral de escalonamento é um problema NP-Completo, e em grids eles apresentam alguns desafios a mais. Dessa forma, o objetivo deste artigo é apresentar um estudo sobre os principais algoritmos de escalonamento para grids, relatando trabalhos que apresentam suas características e os cenários em que são melhor aplicáveis. 1. Introdução A definição de grid por [Foster 2002] ressalta a coordenação de recursos que não estão sujeitos ao controle local, a utilização de padrões abertos e interfaces para oferecer QoS não-triviais. A diversidade de aplicações, a heterogeneidade dos recursos e o dinamismo do poder computacional oferecido por um grid, remetem a necessidade de políticas de escalonamento adequadas a cada ambiente cujo paradigma é aplicado. Segundo [Junior et al. 2007] preocupações com a informação a ser processada (tarefa) e os recursos disponíveis são vitais para o escalonamento em grid. Este artigo reúne os principais algoritmos de escalonamento aplicados a grids, apresenta a taxonomia proposta por [Casavant et al. 1988] e relata alguns trabalhos de avaliação do desempenho de parte destes algoritmos. 2. Algoritmos de Escalonamento em Grids A complexidade do problema geral de escalonamento é conhecidamente NP-Completo [Dong and Akl 2006], grids apresentam alguns desafios a mais, como a escalabilidade, heterogeneidade dos recursos, compartilhamento de recursos, transferência de dados e integração dos resultados [Silva 2009]. Muitas das tradicionais políticas de escalonamento para Sistemas Computacionais Distribuídos são aplicáveis a grids, no entanto, devido a heterogeneidade e dinamicidade característicos do ambiente, frequentemente, esses

2 algoritmos não oferecem bons resultados e tem motivado o desenvolvimento de algoritmos de escalonamento pensados para grids [Reis 2005] Taxonomia proposta por Casavant e Kuhl Apenas um subconjunto das classificações apresentadas na taxonomia hierárquica proposta por [Casavant et al. 1988] para os algoritmos de escalonamento em sistemas distribuídos e paralelos, são especificas para grades computacionais, ressalta [Dong and Akl 2006]. Na figura 1, os tipos específicos para grids estão destacados em itálico. Figura 1. Taxonomia dos Algoritmos de escalonamento em Sistemas Distribuídos [Aliaga 2009] Em suma, as heurísticas dinâmicas (não-distribuídas) são os algoritmos mais utilizados no escalonamento em grades computacionais, devido a boa adaptação a dinamicidade e heterogeneidade do ambiente. As heurísticas dinâmicas realizam a decisão de escalonamento no momento que antecede a execução da tarefa e normalmente são avaliadas em cenários reais ou simulações. Um aspecto positivo do escalonamento global não-distribuído é que as heurísticas são mais simples de implementar. 3. Heurísticas dinâmicas de escalonamento para grids Para [Reis 2005], pode-se considerar a utilização de informações sobre as tarefas, informações de recursos, dinamicidade do algoritmo, resposta à mudança de carga e a utilização de replicação, como as principais características dos algoritmos de escalonamento aplicados em grids. Assim, tais informações são importantes e normalmente estão presentes nas descrições das heurísticas Round-Robin (RR) Atribui as tarefas de forma cíclica aos processadores. Quando um dos processadores termina a execução de todas as tarefas que recebeu, ele recebe uma réplica da tarefa mais antiga. Quando uma tarefa replicada ou a sua réplica finaliza, a outra é

3 interrompida. Essa política não necessita de informações das tarefas ou dos recursos, porém, gera grande desbalanceamento entre os processadores, uma vez que, as máquinas mais lentas recebem cargas semelhantes às máquinas mais velozes [Reis 2005] WorkQueue, WorkQueue Replication, Adaptive WorkQueue Replication WorkQueue mantém uma fila de tarefas e cada tarefa é alocada a um processador disponível. Cada processador executa somente uma tarefa por vez. Quando torna-se disponível recebe uma nova tarefa. O problema desta política é que uma tarefa grande pode ser alocada para o processador mais lento, levando muito tempo para término da execução. Quando WorkQueue utiliza replicação (WorkQueue Replication), no momento em que um processador fica livre e nenhuma tarefa aguarda na fila, uma das tarefas que estão em execução é replicada e passa a executar, também, no processador livre. Limitase o número de réplicas que uma tarefa pode ter devido o overhead causado pela replicação. Geralmente, o número máximo de réplicas de uma tarefa é indicado no nome do algoritmo (WorkQueue Replication 2x, ou simplesmente, WQR2x). Proposta por [Nóbrega Júnior, 2006], a política Adaptive WQR divide os recursos em dois grupos: com informação e sem informação. As tarefas são ordenadas pelo custo de forma ascendente, e em seguida, alocadas aos recursos com informação seguindo a política FPLTF (Fastest Processor to Largest Task First) descrita na secção subsequente, de modo que cada recurso receba apenas uma tarefa. O restante das tarefas são alocadas aos recursos sem informação utilizando a política WorkQueue. No momento em que não há tarefas a serem escalonadas e há, pelo menos uma máquina livre, o algoritmo inicia a fase de replicação utilizando, caso tenha, as informações disponíveis das tarefas e recursos FPLTF, Dyn-FPLTF, Information Adaptive Segundo [Junior et al. 2007], o algoritmo Dynamic-FPLTF [Paranhos et al. 2003] foi desenvolvido a partir do estático Fastest Processor to Largest Task First (FPLTF) [Menascé et al. 1995]. O Dyn-FPLTF utiliza três informações para o escalonamento: Tamanho da tarefa (em Milhões de instruções) Carga do host Velocidade relativa do host (em Milhões de instruções por segundo) Cada host tem uma variável TBA (Time to Become Avaliable - tempo para tornase disponível) que é iniciada com valor zero. As tarefas são organizadas em ordem decrescente de tamanho conforme chegam. Uma tarefa é alocada ao host que oferecer o melhor tempo de execução (CT - Completion time) para ela, em que: CT = TBA + Custo da tarefa Custo da tarefa = (Tamanho da tarefa / Velocidade relativa do host) / ( 1 Carga do host) Quando uma tarefa é alocada, o TBA do host é incrementado pelo Custo da tarefa. A execução começa quando todas as máquinas no grid estão em uso. Ao finalizar uma tarefa, os recursos ficam disponíveis e todas as tarefas que não estão

4 executando são escalonadas novamente até que todas as máquinas estejam sendo usadas. A política Information Adaptive proposta por [Nóbrega Júnior 2006] é um algoritmo baseado no FPLTF que classifica os recursos em dois grupos (best e worst) de acordo com as informações disponíveis. Quando no modo otimista, as máquinas cujas informações dos recursos não estão disponíveis ou não atendem a um limite estabelecido para o grupo "best", a máquina é classificada para o grupo "worst". As tarefas com maior custo (CT) são escalonadas nos recursos do grupo "best" segundo os critérios da política FPLTF [Nóbrega Júnior 2006]. Quando no modo pessimista, o grupo "best" recebe os recursos sem informação, enquanto os recursos com informação são adicionados no grupo "worst". As tarefas com maior custo são escalonadas primeiro, seguindo as regras do WorkQueue Replication. As menores tarefas são escalonadas utilizando o método inverso do algoritmo Dynamic FPLTF, de modo que, as menores tarefas são escalonadas para os melhores processadores. Objetivo dessa técnica pessimista é evitar que tarefas muito custosas sejam alocadas em recursos do grupo worst Max-Min, Min-Min, DMax-Min2x A política Max-Min utiliza as mesmas informações que o Dyn-FPLTF. Inicialmente, as tarefas são ordenadas de forma decrescente segundo o tamanho. Para cada tarefa, encontra-se o conjunto dos CTs (Completion Time) e atribui a tarefa ao host que oferecer maior MCT Minimum Completion Time [Rodamilans 2009]. O Min-Min faz o inverso da política Max-Min. Atribui as menores tarefas aos recursos com maior capacidade de processamento. Podemos afirmar que o Min-Min visa o tempo de resposta (throughput), liberando recursos mais rápido para execução de outras tarefas [Reis 2005]. Dmax-Min2x é uma heurística baseada nas principais características das políticas Max-Min, Dyn-FPLTF e WQR, que consistem em: atribuição das maiores tarefas aos melhores processadores, dinamicidade no escalonamento e replicação de tarefas [Reis 2005] Sufferage, Xsufferage, Storage Affinity Estes algoritmos são focados em aplicações que necessitam movimentar uma grande quantidade de dados. O Sufferage e o Xsuferrage consideram as informações das tarefas e processadores para definir qual host será executada a tarefa. A ideia é determinar qual a perda que cada tarefa teria se não fosse atribuída ao host que oferecer melhor tempo de execução. O valor da perda, chamado de sufferage, é a diferença do melhor e do segundo melhor Completion Time para a tarefa. Este algoritmo tende a alocar uma tarefa para a máquina que oferece melhor tempo de execução [Reis 2005]. A diferença entre o Sufferage e Xsufferage é que o segundo considera também informações relativas a transferência de dados, como a disponibilidade do link e o tempo para a transferência da tarefa. O Storage Affinity considera a aproximação entre tarefa e o host que executará. Essa aproximação, definida como afinidade, é caracterizada pela quantidade de bytes da tarefa que já estão armazenados no host. O Storage Affinity realiza replicação de tarefas, na tentativa de que as réplicas possam executar em processadores mais rápidos do que

5 aqueles cujas as tarefas originais executam [Júnior et. al. 2007]. 4. Avaliações de Desempenho A metodologia adotada em muitos dos trabalhos de avaliação e comparativos de desempenho, como por exemplo, os trabalhos de [Rodamilans 2009] e [Júnior et al. 2007], consideram principalmente aspectos relacionados as tarefas (número de tarefas, tipo quanto à carga computacional, tipo quanto a quantidade de dados) analisando combinações que representam situações reais de aplicação (descritas na tabela 1, abaixo). Carga Computacional (Gflops) Tabela 1. Combinações dos tipos de tarefas P (0,125 1,25) Volume de dados (MBytes) M (1,26 12,5) G (12,6 125 ) P (25 150) PP PG M ( ) MP MM MG G ( ) GP GG V (0, ) V ( ) VP VG VV O tempo de execução (makespan), a taxa de utilização dos recursos (tempo de utilização de um recurso durante o makespan), a distribuição e balanceamento de carga, são as métricas utilizadas frequentemente para avaliação dos algoritmos. Sendo, o makespan, a métrica com maior foco, visto que representa uma resposta geral do desempenho. A avaliação realizada por [Júnior et al. 2007] com o objetivo de investigar o comportamento dos algoritmos WQR, Dyn-FPLTF, Xsufferage, Storage Affinity e MQ- H em diferentes configurações de ambiente (combinações dos tipos de tarefas e quantidade das mesmas), sem favorecer um ou outro algoritmo, ressalta a recomendação do WorkQueue Replication (WQR) para ambientes de tarefas de grande carga computacional (2000 a 4250 Gflops) com quantidade de dados variados. O comparativo entre Max-Min e WQR realizado por [Rodamilans 2009] utilizando a mesma metodologia usada por [Júnior et al. 2007], demonstra que o WQR apresenta menor makespan para os casos cuja quantidade de tarefas era pequena (10 e 25) e o Max-Min em casos que a quantidade de tarefas é grande (100 e 200) para todas as combinações de tipos de tarefas. Sendo a recomendação do [Rodamilans 2009] a utilização do Max-Min para ambientes cujo o número de tarefas é muito superior ao número de máquinas. Dessa forma, mesmo com informação referente ao tipo de tarefa evidenciada na primeira avaliação citada, o WQR tem seu desempenho influenciado pelo número de máquinas disponíveis (ver tabela 2), considerando que um outro algoritmo obteve melhor desempenho para um mesmo caso de tarefas de grande carga computacional, como citado na segunda avaliação. Tabela 2. Quantidade de máquinas dos cenários 1 Júnior et al máquinas distribuídas igualmente em 6 clusters. 2 Rodamilans máquinas distribuídas em 4 clusters.

6 5. Conclusões Não se pode afirmar que uma determinada heurística é melhor, apenas que uma heurística apresenta melhor desempenho se comparada a outra, em um cenário específico. Não tendo as mesmas heurísticas avaliados em diferentes cenários (números de recursos disponíveis) abre-se uma margem para investigação dos impactos no desempenho que estão relacionados ao número de tarefas e de recursos nos cenários. Em outras palavras, uma investigação da escalabilidade dos algoritmos para as diferentes combinações de tarefas em cenários com diferentes números de recursos. No caso mais específico dos trabalhos citados, um estudo das políticas Max-Min e WQR, em ambos os cenários de forma a caracterizar as heurísticas e os impactos no makespan relacionados ao número de recursos nos cenários. Referências Foster I. (2002) What is the Grid? A three point checklist. Agosto/2010. Júnior, J. N. F., Júnior, A. M., Oliveira, L. J. de., Boccardo, D. R. (2007) Avaliação de algoritmos de escalonamento em Grids para diferentes configurações de ambiente. Anais do XXVII Congresso da SBC - WPerformance (V Workshop em Desempenho de Sistemas Computacionais e de Comunicação). Casavant, T., Kuhl, J. (1988) A Taxonomy of Scheduling in General-purpose Distributed Computing Systems, in IEEE Trans. on Software Engineering Vol. 14, No.2, pp Dong, F.; Akl, S.G. (2006) Scheduling Algorithms for Grid Computing: State of the Art and Open Problems. Techinical Report, School of Computing, Queen's University, Kingston, Ontário, Canada. Silva, B. F. da. (2009) "TMRorR: um novo algoritmo de escalonamento para o OurGrid que combina o uso de informação e replicação". Porto Alegre. Reis, V. Q. dos. (2005) "Escalonamento em grids computacionais: estudo de caso". Aliaga, A. H. M. (2009) "Análise de desempenho de algoritmos de escalonamento em simuladores de grades". Nóbrega Júnior, N. A. da. (2006) "Avaliação de Heurísticas de Escalonamento de Aplicações Bag-of-Tasks em Grids Computacionais Adaptativas à Disponibilidade de Informação". WPerformance Paranhos D., Cirne W. and Brasileiro F. V. (2003) Trading Cycles for Information: Using Replication to Schedule Bag-of-Tasks Applications on Computational Grids, In Proc. of the Euro-Par (Lecture Notes in Computer Science), v. 1. p Menascé D., Saha D. and Porto S. et al. (1995) Static and Dynamic Processor Scheduling Disciplines in Heterogeneous Parallel Architectures, In Journal of Parallel and Distributed Computing, pp Rodamilans, C. B. (2009) "Análise de Desempenho de Algoritmos de Escalonamento de Tarefas em Grids Computacionais usando Simuladores".