Escalonamento de processos. Grupo 7. Levi Arão Xavier Marcel Eduardo Del Dottore

Transcrição

1 Escalonamento de processos Grupo 7 Levi Arão Xavier Marcel Eduardo Del Dottore Orientador: Prof. Dr. Norian Marranghello São José do Rio Preto, 02 de Maio de 2002

2 Sumário 1 Introdução 2 Modelos de Escalonamento 2.1 Processos Interativos De Precedência De Comunicação 2.2 Processos Disjuntos 3 Divisão dos algoritmos de escalonamento 4 Escalonamento Estático 4.1 Modelo de precedência 4.2 Modelo de Comunicação 5 Sistemas Distribuídos 6 Escalonamento Dinâmico 6.1 Escalonamento Ótimo 6.2 Cenários de Aplicações Serviço Remoto Execução Remota Migração de Processos 6.3 Migração de Processos Baseada em informações locais Baseada em informações globais 6.4 Migração Iniciada pelo receptor Iniciada pelo transmissor 6.5 Políticas De Transferência De Seleção De Localização De Informação 6.6 Exemplos V-System Sprite

3 1 Introdução Para que um processo possa ser executado em um sistema qualquer, deve-se determinar quando ele poderá usar a CPU e quais recursos estarão disponíveis. Se o sistema for distribuído, além disso, deve-se definir em qual processador ele deverá ser executado. O objetivo do escalonamento é resolver estas questões melhorando, na medida do possível, as métricas de desempenho global do sistema, tais como tempo de execução dos processos e a taxa de uso dos processadores. Contudo, estas melhorias não devem comprometer muito os aspectos de transparência e desempenho e de posição. 2 Modelos de Escalonamento As estratégias de escalonamento seguem modelos que podem ser classificados segundo o grau de interação entre os processos no sistema, os quais podem necessitar de troca significativa de informações durante sua execução ou podem rodar de forma essencialmente desconexa. Portanto, tem-se dois modelos básicos, quais sejam: de processos interativos e de processos disjuntos. 2.1 Processos Interativos Os modelos de processos interativos podem ser ainda subdivididos em modelos de precedência e de comunicação De Precedência: Têm por objetivo principal minimizar o tempo total para a execução das tarefas, incluindo-se o tempo necessário ao cômputo dos procedimentos internos aos diversos processos cooperantes e o tempo devido à comunicação entre eles. Ainda nos modelos de precedência os processos concorrentes são gerados por construtores de linguagens e por via de conseqüência resultam em processos cujo interação se dá na forma síncrona De Comunicação: Têm como meta otimizar os custos devido à comunicação e aos cômputos., nos modelos de comunicação os processos que coexistem se comunicam de forma assíncrona. 2.2 Processos Disjuntos Já no modelo de processos disjuntos, a interação se dá de forma implícita e os processos podem ser executados de forma independente. No caso deste modelo, o objetivo é maximizar o uso dos processadores, minimizando o tempo de resposta (tempo de serviço + tempo na fila de espera) dos processos.

4 3 Divisão dos algoritmos de escalonamento Para atingir seus objetivos, os modelos de escalonamento podem incluir estratégias migratórias ou não. Por migração, neste escopo, refere-se `a possibilidade de um processo mudar de máquina durante sua execução. A migração de processos busca reduzir o tempo gasto pelos processos na fila de espera por processamento. O custo mais importante para se conseguir isto é uma sobrecarga no sistema de comunicação. A migração facilita o compartilhamento de carga entre os processadores. Distribuir mais eqüitativamente a carga, respeitando as oscilações na capacidade de processamento do sistema, pode melhorar seu desempenho. Todavia, se os processos não forem disjuntos sua migração pode resultar na colocação de processos fortemente conexos, isto é, com grande necessidade de comunicação em processadores diferentes, aumentando os requisitos do sub-sistema de comunicação e, consequentemente, comprometendo o ganho obtido com o compartilhamento da carga de processamento. Pode-se dividir os algoritmos de escalonamento em dois grandes grupos: os de distribuição estática e os de distribuição dinâmica. Os estáticos tratam do problema de compartilhamento de carga, isto é, procuram distribuir eqüitativamente a carga de processamento antes mesmo do início da execução dos processos. Os dinâmicos tratam do problema de balanceamento de carga, ou seja, procuram ajustar as oscilações na carga de processamento durante a execução dos processos, para que todos os processadores tenham suas potencialidades exploradas ao máximo possível. 4 Escalonamento Estático Para fazer a partilha da carga de processamento os algoritmos de escalonamento estáticos procedem o mapeamento de processos em processadores antes da execução dos processos. Por princípio estes algoritmos consideram os processos não preemptíveis, ou seja, uma vez iniciado o processo só deixa o processador após concluída sua execução. Para obter um bom resultado estes algoritmos devem dispor de dados sobre o comportamento dos processos, tais como: tempo estimado de execução, relações de precedência e padrões de comunicação. As principais desvantagens são que as decisões sobre o escalonamento são centralizadas e imutáveis. Existem dois tipos de algoritmos de distribuição estática: Modelo de precedência e o modelo de comunicação. 4.1 Modelo de precedência Neste modelo são usados dois grafos com informações sobre os processos e os processadores. O grafo de informações sobre os processadores indica o custo da comunicação entre processos alocados a um mesmo processador, os nós representam os

5 processadores do sistema e os números associados às arestas representam o custo de comunicação entre os processadores. O grafo de informação sobre os processos apresenta, em seus nós, os processos e os respectivos tempos estimados para sua execução. As arestas deste grafo são dirigidas, representando as precedências entre os processos. Isto significa que se um processo A estiver na origem de uma aresta e um processo B em seu destino, o processo B só poderá ter sua execução iniciada após receber os resultados do processo A, pois aquele depende destes. Além desta relação de precedência, às arestas são associados números indicativos da quantidade de mensagens, com resultados, a serem transferidos de um processo a outro. Como primeira aproximação pode-se usar a estratégia de escalonamento por lista, isto é, tomando por base o grafo de precedências e sem considerar o custo de comunicação, procura-se alocar os processos de modo que nenhum processador fique ocioso se houver alguma tarefa que ele possa processar. Todavia, para que se tenha um escalonamento realista é necessário levar em consideração os tempos de comunicação entre os processos. Neste caso pode-se usar o escalonamento por lista estendido. Quando não for possível alocar de forma eficiente todos os processos em caminhos críticos a um mesmo processador deve-se, ao menos, tentar alocá-los a processadores com menor custo de comunicação. Procurando otimizar este aspecto utiliza-se o algoritmo ETF ( Earliest Task First ) que computa o tempo de comunicação durante o escalonamento, alocando inicialmente a tarefa escalonável primeiro. 4.2 Modelo de Comunicação Freqüentemente, processos são independentes e não necessitam obedecer relações de precedência, precisam apenas trocar informações, isto é, se comunicar. Neste caso o algoritmo pode levar em conta a minimização de uma função de custo cujos parâmetros são o custo de execução de um processo em um dado processador, representado por e j (p i ), e o custo de comunicação entre dois processadores, representado por c h,k (p h, p k ), considerando-se nulo o custo de comunicação entre dois processos que estiverem sendo executados no mesmo processador, ou seja, c i,i (p i, p i ) = 0. A função a ser minimizada é: Custo (G,P) = e j (p i ) + c h,k (p h, p k ), j E V(G) h,k E A(G) onde G(V,A) é um grafo em que os vértices (V) representam os processadores do sistema e às arestas (A) estão associados pesos referentes ao custo de comunicação entre os processos em seus extremos. O custo de computação de cada processo em um determinado processador é mostrado em forma de uma tabela, em unidades de tempo genéricas. Cada processo tem um determinado tempo em um determinado processador, fazendo assim uma tabela N x M, onde N é o número de processadores e M é o número de processos. Quando um processo não puder ser executado em um determinado processador, por exemplo, devido à falta de recursos no processador ele recebera um tempo de execução infinito neste determinado processador.

6 Para casos em que se tem dois processadores, há uma solução obtenível em tempo polinomial. Aumentando-se o grafo de comunicação com os nós referentes aos processadores e incluindo arestas com os custos respectivos, obtém-se um grafo de trabalho. Neste grafo, uma aresta entre um processador e um processo tem o peso correspondente à execução do processo no outro processador. Por exemplo, se o processo 4 leva 3 unidades de tempo para ser executado no processador B. Então à aresta entre o nó correspondente ao processo 4 e o nó correspondente ao processador A é associado o peso 3. Esta inversão se faz necessária, pois, uma vez obtido este grafo de trabalho o objetivo é achar um corte no grafo, que minimize a função de custo. O custo do corte é obtido somando-se os pesos das arestas interceptadas pela linha de corte. Este tempo é obtido alocando-se os processos, cuja aresta entre ele (processo) e um processador foi interceptada, ao outro processador, e os outros processos ao primeiro processador. Ressalva-se que conforme os números de processos e de processadores crescem, o problema torna-se NP-Completo e sua solução computacional torna-se inviável. 5 Sistemas Distribuídos Sistemas Distribuídos representam, uma alternativa interessante para aumentar o desempenho de um sistema sem os enormes custos das máquinas paralelas. Transformar uma rede comum, com máquinas de hardware modesto em um ambiente Distribuído, capaz de rodar programas paralelos de forma eficiente, tornou-se bastante comum nos dias de hoje. Porém em alguns pontos sistemas distribuídos diferem de máquinas paralelas verdadeiras, sendo um destes pontos o fato da Heterogeneidade já que em sistemas distribuídos as máquinas raramente possuem a mesma capacidade de processamento, e devido a essa diferença somos obrigados a buscar alternativas para realizar a melhor divisão possível de tarefas entre as máquinas. 6 Escalonamento Dinâmico O principal problema do escalonamento estático é a necessidade do conhecimento das informações sobre os processos antes do procedimento ser aplicado. O escalonamento dinâmico por sua vez ataca os problemas de balanceamento e de compartilhamento de carga durante a execução dos processos, considerando que eles podem migrar de uma máquina a outra. 6.1 Escalonamento Ótimo Para o correto escalonamento dinâmico o ponto inicial é conhecer detalhadamente cada um dos processadores participantes. Conhecer as características físicas (velocidade, memória, tipo) é fácil e não oferece grandes problemas. A parte mais delicada é saber o grau de ociosidade de um processador. Saber "quanto" de sua capacidade de processamento está sendo usada. Uma maneira bem simples e bastante usada de medir a ociosidade de um sistema é simplesmente usar o tempo médio de espera na fila de execução como medida. Esta média

7 é obtida a partir dos tempos anteriores que as tarefas levaram para serem executadas, desde de a sua entrada na fila até sua saída (execução completada). Esta medida pode ser um tanto injusta se as tarefas não tem o mesmo tempo de execução. Uma outra forma seria gerar um índice de utilização da CPU. Para isso, é necessária a utilização de processos específicos para testar, de tempos em tempos, a CPU. Quando for analisada a utilização da CPU pra medida de ociosidade, precisaremos de pequenos processos rodando em background para fazer testes contínuos à CPU onde está, coletando informações úteis ao correto escalonamento, estes processos são chamados de espiões. Esta prática, no entanto, não é bem vista por alguns autores pois este processo, o espião, acaba sendo também um consumidor de CPU tornando sua atuação custosa. Para alguns casos pode acontecer que simplesmente dividindo-se as tarefas usando como fator apenas o tempo de espera na fila, é ainda mais produtivo que esperar que os espiões analisem cada máquina e forneçam as informações requeridas. Para melhor isso nós permitimos que os espiões sejam capazes de aumentar ou diminuir a freqüência destes testes, algoritmos que usam esta técnica são um caso especial de Escalonamento Dinâmico e são chamados de adaptativos. Um outro grave problema no Escalonamento em Sistemas Distribuídos é quanto ao Overhead de comunicação. Como estes sistemas são necessariamente com memória distribuída (fisicamente, mesmo que possa ser simulada), o custo na troca de informações entre as máquinas é muito grande. Se tivermos, por exemplo, um espião em cada máquina e este constantemente envie mensagens ao Escalonador ou a outras máquinas, podemos ter um excesso de comunicação e problemas de desempenho (as máquinas ficarão mais tempo se comunicando do que processando). O compartilhamento de carga reduzir a ociosidade dos processadores atribuindo processos àqueles com filas de espera menores, já o balanceamento de carga visa reduzir o tempo de resposta e atingir um certo grau de justiça no sistema através da equalização do tamanho das filas de espera. 6.2 Cenários de aplicações Há três possíveis cenários de aplicações: Serviço remoto: onde a mensagem é interpretada como a solicitação de um serviço conhecido em um local remoto, como em uma chamada a procedimentos remotos; Execução remota: onde a passagem contém um programa para ser executado em local remoto. Mantém a visão da máquina que solicitou a execução, usando a máquina remota só para aliviar a carga computacional. Não é preemptível; Migração de processos: onde a Mensagem representa um processo sendo transferido a um local remoto, para continuar sua execução. É um mecanismo preemptivo. 6.3 Transferência de processos

8 Os principais tipos de transferência de processos são: Baseada em informações locais: Uma política de transferência baseada em informações locais pode calcular periodicamente a carga da máquina em que o processo for criado. Quando esta carga estiver abaixo de um limiar pré-estabelecido, o processo é executado na máquina em que foi criado, caso contrário ele deverá encontrar outra máquina para rodar Baseada em informações globais: Uma política de transferência baseada em informações globais deve coletar informações sobre a carga nas outras máquinas do sistema e, em função destas informações, decidir em qual máquina o novo processo deve ser executado. 6.4 Migração Os processos de migração podem ser: Iniciada pelo receptor: Nos algoritmos do tipo iniciado pelo receptor sempre que a carga em um processador cair abaixo do limiar ele busca a carga em outros processadores. Para que este esquema funcione os processos devem ser preemptíveis, pois serão inicializados, primeiramente, nos processos em que forem criados. Neste caso os algoritmos serão mais estáveis quando a carga de processamento for alta, uma vez que serão poucas as máquinas em busca de processos, mas deve-se tomar cuidado para transferir processos somente quando os benefícios obtidos com a migração forem maiores que o custo com sua transferência. Além disso, os algoritmos de transferência iniciados pelo receptor podem gerar muita sobrecarga no sub-sistema de comunicação quando a carga de processamento no sistema distribuído for muito baixa Iniciada pelo transmissor: Ao iniciar um processo, nas transferências iniciadas pelo transmissor, incrementa-se o tamanho da sua fila de processos. Se ele estiver abaixo de um limiar pré-fixado coloca-se o processo na fila de espera para execução do processador transmissor. Caso o tamanho da fila seja maior que o limiar estabelecido, o transmissor testa possíveis receptores. Se encontrar algum processador cuja fila esteja menor que a sua, ele transfere o processo para o receptor, caso contrário ele mantém o processo na sua própria fila. O problema no caso de busca iniciada por transmissores é que quando a carga sobe muito todos os processadores se considerarão sobrecarregados e procurarão receptores para seus processos, o que sobrecarregará o sistema de comunicação, prejudicando o funcionamento do sistema, assim sendo quando a carga de processamento é relativamente baixa, a transferência iniciada pelo transmissor produz resultados mais eficientes. Um problema que se deve sempre levar em consideração independente do tipo de migração é o caso da estabilidade. O problema de estabilidade consiste no fato do tempo necessário aos algoritmos para atualizarem suas informações sobre os processadores não ser nulo. Dessa forma é possível que processos fiquem pulando entre dois processadores devido ao assincronismo nestas atualizações.

9 6.5 Políticas Podemos classificar um algoritmo de escalonamento de acordo com algumas políticas. A primeira seria determinar como já vimos qual máquina está apta a receber uma tarefa. Ou seja, qual máquina está trabalhando aquém de suas capacidades de processamento. Também podemos considerar, neste caso, as máquinas que estão sobrecarregadas, ou seja, estão com um processamento maior que sua capacidade. Nesta etapa (chamada de Política de Transferência) o escalonador define como receptor as máquinas que estão com pouca carga, ou seja, podem receber mais tarefas; e como transmissores aqueles que estão sobrecarregados. Dependendo do caso, uma troca de tarefas entre receptores e transmissores (do transmissor para o receptor) pode ser feita o que denota a segunda política: escolher, dentre tantas, a tarefa mais adequada a ser enviada a determinada máquina. A esta função é dado o nome de Política de seleção. Outra é achar, dentre todas as máquinas, aquela mais adequada a receber a carga, a qual recebe o nome de Política de localização. E finalmente definir os locais onde as informações sobre as máquinas são armazenadas e com que freqüência são atualizados (Política de Informação), segue a baixo uma análise mais detalhada sobre cada política: Política de transferência: No caso da política de transferência, normalmente define-se um número máximo de carga que a máquina suporta. Se a carga atual da máquina ultrapassar este limite, então temos um transmissor. Caso contrário, a máquina pode ser considerada como receptor. Um cuidado especial deve ser dado quanto a transferência de tarefas de um transmissor para um receptor. Imagine a seguinte situação: um transmissor (que tem sua carga maior que o limite) envia uma tarefa para um receptor (cuja carga é menor). Digamos que este receptor, que tinha sua carga menor que o limite, ao receber esta nova tarefa passa a ser um transmissor (com a carga maior que o limite). Sendo ele um transmissor, poderá procurar um receptor para esta carga que causou o problema. Esta troca de tarefas pode ser feita várias vezes e até mesmo de forma indefinida. Uma técnica que resolve isto é considerar como transmissor não apenas se sua carga for menor, mas também se continuará sendo menor ou igual depois de receber a tarefa Política de seleção: Logo que uma máquina precisa enviar uma tarefa que a está onerando, ou está apta a receber, a política de seleção decide qual será a tarefa escolhida. Neste ponto vemos também a diferença entre escalonamento Preemptivo e nãopreemptivo. No primeiro, uma tarefa que já está em execução pode ser escolhida para ser transferida a outra máquina. Este método pode ser pouco eficiente, dados os custos necessários à sua transferência. Isso porque tem-se que transferir todo o contexto da tarefa (dados em memória, etc). Geralmente opta-se por tarefas recentemente iniciadas, pois são as que devem possuir menores custos de transferências. Ou então, as tarefas menores. Já o não-preemptivo transfere somente tarefas que ainda não executaram e, portanto, não necessitam de transferência de contexto. No caso de máquinas sobrecarregadas, o mais comum é escolher a tarefa que causou a sobrecarga.

10 6.5.3 Política de localização: Como mencionado, consiste no método usado para escolher a máquina que receberá a tarefa. O método mais utilizado é o randômico, ou seja, uma máquina escolhe aleatoriamente outra para receber ou enviar uma tarefa. O problema desta técnica é a chance de se escolher uma máquina que esteja na mesma situação que o atual. Uma solução é testar se esta máquina possui as características necessárias para fazer-se a troca de tarefas. Alguns selecionam várias máquinas e fazem uma votação entre estes para garantir que a melhor máquina foi escolhida, mas isto gera um excesso de comunicação Política de informação: Diz respeito a troca de informações sobre seu estado entre as várias máquinas. Podemos ter um armazenamento local, isto é, uma máquina específica recebe todas as mensagens de estado das outras. Isso, porém, criará um "gargalo" nesta máquina. Uma outra forma, seria cada máquina enviar um broadcast para todas as outras informando sua capacidade de processamento, o mais comum, no entanto, é cada máquina ter apenas as informações sobre si própria e estas informações serem requisitadas por outra máquina quando esta desejar fazer uma troca de tarefas. Isto é chamado de demanda, onde cada máquina só se "interessa" pelo estado das outras quando se torna ou um transmissor ou um receptor. 6.6 Exemplos V-System: Neste sistema, cada máquina envia um Broadcast com seu estado sempre que este muda consideravelmente. Estes dados são, tipicamente, a utilização da CPU e da memória, além dos dados já conhecidos (que é enviado apenas uma vez) do tipo do processador, e características físicas. Um processo daemon em cada máquina fica responsável em atualizar estas informações.todas as máquinas, então, guardam informações sobre todas as outras. Uma alternativa usada para diminuir o número de informações é cada máquina guardar os estados apenas das máquinas mais livres. Quando uma tarefa precisa ser enviada a outra máquina, esta é escolhida randomicamente. A tarefa escolhida para transferir quando uma máquina estiver sobrecarregada é aquela mais recente, ou seja, a que foi designada a máquina por último, e se a máquina emissora for uma das de menores cargas (situação no qual todas estão sobrecarregadas) a tarefa permanece local. O problema deste algoritmo é o alto custo de um Broadcast Sprite: Este sistema difere drasticamente do anterior. Neste há um Escalonador Central, responsável por todo o escalonamento. Cada máquina envia mensagem para o escalonador informando se está apto a receber tarefas (se é um receptor).