Transcrição

1 Scheduling and Task Allocation ADVANCED COMPUTER ARCHITECTURE AND PARALLEL PROCESSING Hesham El-Rewini 2005 Capítulo 10 Autor...: Antonio Edson Ceccon Professor..: Prof. Heitor Silvério Lopes Apresentação da Disciplina de Computação Paralela Introdução Após o desenho de um programa de computador como um conjunto de tarefas, uma atribuição das tarefas para os elementos processadores precisa ser determinada. Isso é chamado de problema do agendamento ( scheduling ), sendo um dos problemas mais desafiadores na computação paralela e/ou distribuída.

2 Computação Paralela ou Distribuída Em sistemas distribuídos, o problema do agendamento acontece porque as partes concorrentes de um programa ou um conjunto de programas precisam ser arranjados no tempo e espaço de forma a otimizar o desempenho de todo o conjunto. Um Problema Clássico As tarefas precisam acessar o processador para sua execução. A meta do agendamento é assinalar tarefas para os elementos processadores de forma a otimizar certos índices de desempenho.

3 Nível de Dificuldade O problema do agendamento de tarefas em sistemas multi-processados é conhecido por ser NP completo. A dificuldade do tratamento tem levado ao desenvolvimento de várias heurísticas, cada uma das quais tem aplicações em circunstâncias diferentes. Classificação das TécnicasT As técnicas de agendamento são classificadas conforme a disponibilidade das informações sobre as tarefas e podem ser determinísticas e não determinísticas.

4 Técnicas Determinísticas No agendamento determinístico, todas as informações sobre as tarefas e suas relações de dependência são conhecidas antes da execução, sendo possível usar-se o método estático. O agendamento estático assinala uma tarefa para um processador em particular e cada vez que a tarefa é submetida para execução ela é enviada para aquele processador. Técnicas Não-Determin Determinísticas No agendamento não determinístico, algumas das informações sobre as tarefas e suas relações de dependência não são conhecidas antes da execução. Desvios condicionais e iterações são blocos construtivos que podem causar o não determinismo.

5 Técnicas Não-Determin Determinísticas O agendamento não determinístico de programas pode ser conseguido pelo uso de métodos estáticos ou dinâmicos. A distinção indica o momento no qual as decisões de agendamento são feitas. Com o agendamento estático as informações das tarefas que representam o programa devem ser estimadas antes da execução, enquanto que no agendamento dinâmico o sistema de agendamento agenda as tarefas durante a execução. Técnicas de Agendamento As técnicas que serão apresentadas aqui são classificadas como técnicas estáticas de agendamento.

6 Sistema de Agendamento Um sistema de agendamento consiste de : Tarefas de um programa. Máquina alvo. Agendamento no qual um critério de desempenho é otimizado. Tarefas de um Programa As características de um programa paralelo podem ser definidas pelo sistema ( T, <, D, A ) definido abaixo : T = { t 1,..., t n } é um conjunto de tarefas a serem executadas onde < é uma ordem parcial definida sobre T, a qual especifica a restrição de precedência operacional. Onde t i < t j significa que t i deve ser completada antes que t j possa iniciar sua execução.

7 Tarefas de um Programa D é uma matriz n x n de dados de comunicação, onde D ij 0 is a quantidade de dados a serem transmitidos da tarefa t i para a tarefa t j, 1 i, j n. A é um vetor cujo tamanho é quantidade de instruções necessárias, onde A i > 0 é a medida do processamento necessário para a tarefa t i, 1 i n, pode-se ter n vetores. Máquina Alvo Consiste de um conjunto de m elementos processadores heterogêneos conectados através de uma rede arbitrária. Associado a cada elemento processador P i tem sua velocidade S i. A velocidade de transferência entre dois elementos processadores é indicada por R ij, que é a medida de quantas unidades de dados podem ser transmitidas por unidade de tempo através do link de comunicação.

8 Tempo de Execução e Comunicação Conhecidos os parâmetros das tarefas e da máquina alvo, o tempo de execução e comunicação são obtidos como mostra-se abaixo. Tempo de execução da tarefa ti quando executada no processador P j é : A i / S j ( unidades de tempo ) O tempo de comunicação, em um link livre, entre as tarefas t i e t j quando são executadas em elementos processadores adjacentes P k e P l é : D ij / R kl ( unidades de tempo ) Directed Acyclic Graph ( DAG ) Um grafo de tarefas G=(T,E) tem um conjunto de nós T e um conjunto de extremidades E. Uma extremidade (i,j) entre duas tarefas ti e tj especifica que a tarefa ti deve ser finalizada antes da tarefa tj iniciar. Associado a cada nó está sua necessidade computacional Ai e a cada extremidade (i,j) que conecta as tarefas tie tj está o tamanho dos dados D ij, que indica o tamanho da mensagem de t i para t j. Um grafo DAG é usado quando tem-se restrições de prioridade.

9 DAGs sem Comunicação A seguir apresenta-se algoritmos polinomiais que fornecem tempos ótimos para algumas versões restritas do problema de agendamento, como mostra-se a seguir. Quando o grafo é in-forest. Quando tem-se apenas dois processadores disponíveis. DAGs sem Comunicação - Restrições O grafo de tarefas consiste de n tarefas. A máquina alvo é composta de m processadores. A comunicação entre as tarefas é zero. A meta é encontrar o agendamento ótimo que minimiza o tempo total de execução.

10 Classe dos Algoritmos Os dois algoritmos pertencem à classe de algoritmos de agendamento chamados de agendamento por lista. Neles cada tarefa tem uma prioridade e a lista de tarefas é construída com uma ordem de prioridade decrescente. Uma tarefa fica disponível para ser executada quando suas predecessoras no grafo já foram executadas ou se não há predecessoras. Quando um processador está livre, ele inicia a execução da primeira tarefa disponível na lista. Se mais de um processador tenta executar a mesma tarefa, o processador com o menor índice executa a tarefa e o outro busca pela próxima tarefa disponível. Algoritmo In-forest Para um grafo ser in-forest cada nó pode ter apenas um nó como sucessor imediato. O Algoritmo 1 introduzido por Hu, encontra um agendamento ótimo no tempo O(n) (Hu, 1961). A estratégia usada no algoritmo é o nível de maior prioridade primeiro, sendo que nível de cada nó x em um grafo de tarefas é o número máximo de nós, incluindo o nó x, em qualquer caminho entre x e um nó terminal Hu, T. C. Parallel sequencing and assembly line problems. Operations Research, 9 (6), (1961).

11 Algoritmo In-forest Algoritmo 1 1.O nível de cada nó no gráfico de tarefas é calculado e usado como a prioridade do nó. 2.Quando um processador ficar disponível, assinala uma tarefa com a maior prioridade que esteja pronta e que ainda não foi executada. Algoritmo In-forest Exemplo : Considere o grafo mostrado na figura abaixo. O nível de um dado nó no grafo pode ser calculado como o número de nós no caminho a partir do nó para o único nó terminal m. Por exemplo, o nível do nó d é o número de nós entre d e m ( d, i, k, m ) que é 4. O nível de cada nó é calculado e usado como sua prioridade. Quando mais de uma tarefa tem a mesma prioridade usa-se a ordem alfabética como prioridade, as tarefas a,b e c tem a prioridade 5, assim as tarefas são executadas na ordem a,b,c.

12 Grafo In-forest Grafo de tarefas e seu agendamento em quatro processadores Algoritmo Ordenado por Intervalo O termo tarefas ordenadas por intervalo é usado para indicar que o grafo que descreve as relações de precedência entre as tarefas é uma ordem de intervalo. Um grafo de tarefas é uma ordem de intervalo quando seus elementos podem ser mapeados dentro de intervalos na linha dos números reais e dois elementos são relacionados se e somente se os intervalos correspondentes não se sobrepõe. Para qualquer par ordenado de intervalos das tarefas u e v os sucessores de u também são os sucessores de v e vice-versa. O algoritmo foi introduzido por Papadimitriou e Yannakakis (1979) para resolver o problema em O( n + e ) complexidades no tempo, onde e é o numero de arcos no intervalo e n é o número de tarefas. Papadimitriou, H. and Yannakakis, M. Scheduling interval-ordered tasks. SIAM Journal of Computing, 8, (1979).

13 Algoritmo Ordenado por Intervalo Algoritmo 2 1.O número de todos os sucessores para cada nó é usado como a prioridade de cada nó. 2.Quando um processador ficar disponível, assinala uma tarefa com a maior prioridade que esteja pronta e que ainda não foi executada. Algoritmo Ordenado por Intervalo Exemplo : Considere o grafo de tarefas de intervalo de ordem mostrado a seguir. Usando o algoritmo 2, o número de sucessores de um nó será utilizado como sua prioridade. Por exemplo, a prioridade da tarefa a é 8, enquanto a prioridade da tarefa b é 6, o que implica que a tarefa será considerada para ser agendada primeiro.

14 Algoritmo Ordenado por Intervalo Grafo de tarefas e seu agendamento em três processadores DAGs com Comunicação Nos tópico 10.4 do livro há a apresentação de dois algoritmos, onde considera-se o custo de comunicação.

15 Tempo de Processamento O tempo de processamento deve ser considerado como o tempo da tarefa no processador mais o tempo necessário para a comunicação. Tempo de Término do Programa = Tempo de Execução + Tempo de comunicação Tempo de Comunicação = Total de mensagens * Tempo de espera de cada mensagem Algoritmos Heurísticos Uma heurística produz uma resposta em um tempo menor que um tempo exponencial, mas não garante um solução ótima. Uma heurística é dita melhor do que outra heurística se as soluções chegam próximas da solução ótima mais freqüentemente ou se o tempo necessário para se obter uma solução próxima do ótimo é menor. Uma heurística pode agendar otimamente uma tarefa em particular em um sistema alvo e não em outros. Como resultado várias heurísticas tem sido propostas e cada uma delas funciona em circunstâncias diferentes.

16 Paralelismo x Tempo de Comunicação Uma heurística produz uma resposta em um tempo menor que um tempo exponencial, mas não garante um solução ótima. Uma heurística é dita melhor do que outra heurística se as soluções chegam próximas da solução ótima mais freqüentemente ou se o tempo necessário para se obter uma solução próxima do ótimo é menor. Paralelismo x Tempo de Comunicação Nos casos onde o tempo de envio das tarefas é pequeno, todas as tarefas podem ser alocadas nos processadores disponíveis ao mesmo tempo. Por outro lado, quando o tempo de comunicação não pode ser desprezado, o algoritmo deve considerar o tempo de comunicação antes de alocar as tarefas para os processadores. Pode acontecer de tarefas prontas para execução, mas com tempo de comunicação muito longos, serem assinaladas para o mesmo processador do seu predecessor imediato.

17 Paralelismo x Tempo de Comunicação Agendamento com diferentes tempos de comunicação Granularidade x Localização dos Dados Essa questão deve ser trabalhada durante o particionamento do programa em partes não dependentes. O desafio é determinar o melhor tamanho de cada parte no grafo de tarefas que representa o programa. Cada parte é definida como uma ou mais instruções seqüenciais que podem ser empacotadas juntas e perfazem um módulo que é executado seqüencialmente em um único processador.

18 Granularidade x Localização dos Dados Se as partes forem muito grandes o paralelismo é reduzido. Por outro lado se as partes forem muito pequenas pode haver sobrecarga na forma de mudança de contexto, tempo de agendamento e tempo de comunicação. Clustering A idéia por trás desse tipo de heurística de agendamento é particionar o processo de agendamento em duas fases : atribuição do processador, que é o processo de alocar as tarefas para os processadores e o ordenamento das tarefas, o que é o processo de agendar as tarefas alocadas para cada processador. O agrupamento de grafos de tarefas pode ser usado como uma fase intermediária para resolver o problema de alocação do processo de agendamento. O clustering pode ser definido como o processo de mapeamento dos nós de um grafo de tarefas em clusters rotulados. Se duas tarefas independentes forem mapeadas para o mesmo cluster, então o clustering resultante é chamado de clustering não linear e linear caso contrário.

19 Algoritmo de Clustering Agrupar as tarefas assumindo um número ilimitado de processadores conectados. Duas tarefas no mesmo cluster são agendadas no mesmo processador. Mapear os clusters e suas tarefas em um dado número de processadores (m). Neste passo, as seguintes otimizações são executadas : a) Se o número de clusters for maior que o número de processadores disponíveis os clusters são mesclados em m clusters. b) A arquitetura não está totalmente conectada, dessa forma um mapeamento deve ser realizado de forma a minimizar a comunicação. c) Após o assinalamento das tarefas aos processadores, a ordem de execução é determinada para assegurar a dependência correta entre as tarefas. Algoritmo de Clustering Exemplo Supondo que as tarefas a,b,c,d,e,f e g podem ser executadas em qualquer processador em um sistema distribuído em 1,5,1,2,2,1 e 1 unidades de tempo respectivamente. O tempo de comunicação pode ser visualizado na tabela abaixo.

20 Algoritmo de Clustering Arco Tempo de Comunicação ( unidades de tempo ) (a,b) 5 (a,c) 1 (b,g) 2 (c,d) 4 (c,e) 3 (d,f) 1.5 (e,f) 1.5 (f,g) 1 Algoritmo de Clustering Agendamento em dois processadores 9 unidades de tempo (a) e 10 unidades de tempo (b)

21 Algoritmo de Clustering Agendamento em dois processadores 9 unidades de tempo em três 10 unidades de tempo (b) Algoritmo de Clustering Agendamento em três processadores 10,5 unidades de tempo

22 Alocação de Tarefas O problema da alocação de tarefas chega quando não é necessário especificar a ordem de execução, ou seja, as tarefas podem interagir ou comunicar-se sem relações de precedência. Em um ambiente de computação distribuída construída com vários processadores, as tarefas que compreendem o programa distribuído devem ser assinaladas aos processadores de forma a utilizar os recursos disponíveis de forma eficiente. Nesse ambiente há dois tipos de custo, custo de execução da tarefa e o custo da comunicação interprocessos, nesse caso duas metas devem ser atingidas. A comunicação inter-processos de ser minimizada e o custo de execução deve ser balanceado entre os diferentes processadores. Alocação Otimizada de Tarefas O algoritmo ótimo apresentado nesta seção foi introduzido para resolver o problema do caso onde o sistema é composto de um conjunto linear de processadores (Lee et al., 1992). Lee, D. and Kim, M. Optimal task assignment in linear array networks. IEEE Transactions on Computers, 41 (7), (1992).

23 Alocação de Tarefas Otimizada Algoritmo Construa uma rede two-terminal como mostra-se abaixo : a) Para cada nó ti no grafo de interação de tarefas original, crie ( m - 1 ) nós nomeados como vi1, vi2,..., vi( m - 1 ) e adicione um nó origem S e um nó terminal T. b) Adicione uma ligação entre S e vi1 com peso (xi1 + um valor grande ) c) Adicione uma ligação entre quaisquer dois nós vik e vi(k + 1) com peso ( xi(k + 1) + um valor grande ), 1 <= k < m. d) Adicione uma ligação entre vi( m + 1 ) até T com peso ( xim + um valor grande ). e) Adicione uma ligação de comunicação entre quaisquer dois nós vik and vjk com o peso igual ao custo de comunicação entre as tarefas ti e tj. O algoritmo max-flow min-cut é aplicado na rede obtida e um corte mínimo C é determinado. Uma solução opcional para o problema da atribuição de tarefas é obtido do corte de forma que a tarefa ti é assinalada ao processador pk+1 se e somente se o corte C contém a ligação ( vik, vi(k+1)). Para se ter certeza de que cada tarefa está assinalada para um processador exatamente, o corte deve conter exatamente uma ligação para cada tarefa. Dúvidas ou Sugestões?