Análise de Desempenho de Sistemas Distribuídos _ NOTAS DE AULA _ Prof. Tiago Garcia de Senna Carneiro DECOM/UFOP

Transcrição

1 Análise de Desempenho de Sistemas Distribuídos _ NOTAS DE AULA _ Prof. Tiago Garcia de Senna Carneiro DECOM/UFOP Considere o problema de avaliar o desempenho de um sistema distribuído sendo executado sobre uma rede homogênea de estações de trabalho. Você terá que interagir com a equipe de desenvolvimento desse sistema com o intuito de propor algoritmos que melhorarem seu desempenho. A seguir, apresentamos uma metodologia segundo a qual analisamos o desempenho de diferentes soluções propostas para algoritmos de balanceamento de carga em sistema de realidade virtual distribuído, essa metodologia consiste em seguir os alguns passos básicos que são: definição do escopo do sistema analisado, definição dos serviços oferecidos pelo sistema em estudo, definição das métricas utilizadas na análise de desempenho, definição dos parâmetros que influenciam o desempenho do sistema e que alteram a carga de trabalho que o sistema atende, definição das técnicas de avaliação e da carga de trabalho utilizadas em experimentos, projeto dos experimentos realizados, e descrição de como são apresentados e analisados os resultados obtidos a partir dos experimentos. Definição do Sistema O primeiro passo é definir o escopo do sistema analisado, deve-se determinar quais equipamentos e componentes de software fazem do sistema de computação sendo análisado. Somente os equipamentos e componentes de software presentes na definição do sistema deverão ser considerados ou analisados durante os experimentos para a avaliação de desempenho. Identificação dos Serviços Neste passo, serão identificados os serviços oferecidos pelo sistema em estudo e será determinado para quais desses serviços será realizada análise de desempenho. Escolha das Métricas de Desempenho Esta etapa consiste na definição das métricas utilizadas na análise de desempenho. Também é importante dizer se as métricas utilizadas considerarão a ocorrência de possíveis falhas no sistema. Geralmente três classes diferentes de métricas são utilizadas para avaliar o desempenho de algum recurso ou sistema: 1. throughput ou taxa de saída - o throught mede o número de serviços que o sistema ou recurso consegue realizar por unidade de tempo. Suponha que o recurso sendo analisado é um processador e cujo principal serviço é a execução de processos, então o throughput do sistema será o número de processos completados por segundo.

2 2. utilização - a utilização de um recurso ou sistema é a relação entre o intervalo de tempo em que o sistema esteve ocupado servindo os serviços requisitados e o intervalo de tempo total em que o recurso ou sistema esteve executando ou disponível para uso. Se um processador fosse ativado por uma hora e passasse 18 minutos ocioso e os outros 42 minutos ocupado, sua utilização seria igual a 70%. 3. tempo de resposta - o tempo de resposta é o intervalo de tempo decorrido entre o momento que serviço é requisitado e o momento em que este serviço acaba de ser atendido. Num sistema distribuído que segue a arquitetura cliente-servidor, o tempo de resposta compreende o tempo que a requisição do cliente leva para trafegar pela rede até o servidor (atraso de rede = tempo de transmissão da mensagem + tempo de propagação do sinal no meio físico), mais o tempo no qual a requisição espera na fila do servidor para chegar sua vez de ser atendida (tempo de espera), mais o tempo que o servidor leva para processar a requisição (tempo de serviço), mais o tempo que o resultado do processamento da requisição leva para ir do servidor ao cliente (atrso de rede). A métrica mais utilizada na literatura é a média do tempo de resposta dos serviços. Identificação dos Requisitos de Desempenho do Sistema Os sistemas de computação geralmente possuem requisitos de desempenho os quais eles devem satisfazer para que ele possa ser utilizado eficientemente pelos seus usuários. Este requisitos devem ser identidicados e considerados durante os experimentos. Uma técnica que melhore de alguma maneira o desempenho de parte do sistema, mas que leve o sistema como um todo a não satisfazer um determinado requisito não deverá ser utilizada na implementação do sistema. Identificação dos Parâmetros que Influenciam o Experimeto Todos do experimento que influenciam o desempenho do sistema ou que alteram a carga de trabalho que o sistema atende devem ser identificados. Alguns prâmetros dizem respeito ao sistema sendo avaliado, com por exemplo, o poder de processamento dos processadores ou a banda passante sustentada pela rede, outros parâmetros são relativos à carga de trabalho atendida pelo sistema, com por exemplo, o número de processos na fila de espera na CPU ou o número de hosts ligados à rede. Identificação dos Fatores que Influenciam o Experimeto Como dezenas de parâmetros do sistema ou da carga de trabalho podem afetar o experimento a ser realizados, um único experimeto poderá consumir um longo período de tempo para ser realizado. Entretanto, a influência de alguns parâmetros pode ser considerada menos importante que a influência de outros parâmetros. Portanto, nem todos os parâmetros precisam variar durante os experimentos e podem ser considerados constantes. Os parâmetros que irão mudar de valor durante o experimento são chamados fatores. Para cada fator devem ser determinados os valores que ele poderá assumir durante o experimento. Definição da Técnica de Avaliação a ser Utilizada Para se avaliar o desempenho de um sistema, geralmente, utiliza-se uma das três técnicas a seguir: Medição - quando o sistema sendo avaliado já foi implemetado são inseridas intruções especiais no código do sistema. Estas instruções calculam e anotam, ao longo de todo o experimento, os valores das métricas de desempenho escolhidas. Depois, é realiza análises estatísticas sobre estes dados.

3 Simulação - é construído um modelo matemático que representa adequademante o sistema sendo avaliado e este modelo é simulado. Durante a simulação as métricas de desempenho são anotadas e depois é realiza análises estatísticas sobre estes dados. Modelagem Analítica - é contruído um modelo matemático que representa adequadamente o sistema sendo avaliado, geralmente este modelo baseia na Teoria das Filas. Então, este modelo é resolvido analiticamente e tenta-se encontrar fórmulas matemáticas fechadas com quais é possível calcular as métricas escolhidas em função dos fatores do experimeto. Caracterização e Geração da carga de Trabalho Nesta etapa, serão escolhidos critérios para caracterizar a carga de trabalho e será escolhida na qual a carga de trabalho utilizada nos experimentos será gerada.vveja a aula que discute o balanceamento de carga em sistema distribuídos para saber mais sobre caracterização da carga de trabalhos de sistemas de computação. Existem três formas básica para se gerar a carga de trabalho de sistemas de computação: - benchmark - benchmarks são programas sintéticos e por vezes padronizados que geram requisições ao sistema sendo avaliado. O problema encontrado na utilização de benchmark é a dificuldade em garantir que a carga de trabalho gerado por ele realemte reflete a carga de trabalho ao qual o sistema sendo avaliado será submetido. - trace - trace são arquivos que registram as requisições atentidas por um sistema de computação durante um determinado intervalo de tempo. Este arquivos podem servir de entrada para um programa que o percorre do início ao fim gerando para o sistema sendo avaliado as mesmas requisições ali contidas. A vantagem de se usar traces é que a carga de trabalho utilizada no experimento será semelhante à carga de trabalho suportada pelo sistema no mundo real. Entretanto, se o intervalo de tempo no qual o trace foi obtido for muito pequeno ou se este intervalo de tempo for mal escolhido, esta semelhança poderá ser perdida. Além disso, é muito difícil conseguir um trace de um sistema devido ao interesse econômico sobre as informações nele contida. - uso real - outra maneira de se gerar a carga de trabalho é colocando o sistema em funcionamento e solicitar a usuários previamente selecionados que o utilizem de forma intensiva. O problema com esta técnica é que o sistema deve estar implementado, o perfil dos usuários pode influenciar na carga de trabalho gerada e que devem existir usuários disponíveis para realizar o experimento. Se você deseja testar o desepenho de um sistema com milhares de usuários simultâneos esta técnica pode se tornar impraticável. Projeto dos Experimentos Realizados Deve ser descrito em que condições os experimetos serão realizados e como os experimentos serão realizados, por exemplo: os experimetos serão realizados quando nenhum externo ao sistema estiver presente na rede; todas as médias serão calculadas considerabdo-se 10 amostras.

4 Análise e Apresentação dos Resultados Esta é a última etapa da metodologia que estamos apresentando. Nela, devem ser descritas a maneira segundo a qual os resultados serão analisados e como os resultados serão apresentados às pessoas interessadas. É aconselhado o uso de gráficos. Tente evitar fornecer a média das métricas sem dizer para qual intervalo de confiança a métrica foi calculada. Evite usar desvio padrão ou variância para descrever a variabilidade dos resultados em relação à média, dê preferência ao coeficiente de variação. Exemplo: Análise de Desempennho para Sistemas Realidade Virtual Distribuídos Um sistema realidade virtual distribuído suporta muitos usuário simultaneamente e nele, o mundo virtual, isto é, a base de dados contendo a geometria do mundo observado pelos usuários do sistema, é dividido em regiões geográficas independentes. Cada uma dessas regiões é armazenada em uma máquina servidora diferente e cada máquina servidora é responsável por atender a demanda gerada pelos usuários que passeiam pela região geográfica nela armazenada e também por gerenciar as informações e as simulações relativas a esta região. Por exemplo, se o mundo virtual for uma cidade, cada bairro poderia estar armazenado em uma máquina servidora diferente. Os sistemas de realidade virtual distribuídos sofrem com o desbalanceamento de carga gerado pela concentração dos usuários em uma única região geográfica. No exemplo acima, todos os usuários do sistema poderiam migrar para um único bairro da cidade fazendo com que uma única máquina do sistema fique sobrecarregada e as demais permaneçam ociosas. Nosso objetivo é planejar um experimento para avaliar o impacto causado pelo uso de três algoritmos de balanceamento de carga diferentes neste tipo de sistema: um algoritmo receiver-initiated, um algortimo sender-initiated e um algoritmo symmetrically-initiated. Definição do Sistema O sistema consiste de um conjunto de estações de trabalho autônomas e homogêneas conectadas por uma rede de comunicação. Somente as estações de trabalho que são estejam mantendo o ambiente de realidade virtual serão consideradas componentes do sistema. Outras estações conectadas à rede serão ignoradas. O estudo foi conduzido de tal modo que os efeitos dos componentes externos ao sistema fossem minimizados, isto é, consideramos um sistema dedicado. Identificação dos Serviços Os serviços oferecidos pelo sistema são: 1. reposicionamento de objetos simulados; 2. reposicionamento de objetos dirigidos pelos usuários; 3. antencipação de células para o usuário; e 4. sincronização dos objetos que formam o mundo virtual replicados em máquinas de usuários diferentes. Escolha das Métricas de Desempenho Neste estudo não serão considerados qualquer tipo de erro ou falha nos serviços oferecidos pelo sistema. Assim, nosso estudo está limitado ao funcionamento perfeito do sistema. Para cada um dos

5 serviços oferecidos, a taxa na qual o serviço pode ser realizado, o tempo de resposta por cada serviço, e os recursos consumidos serão comparados. Os recursos são considerados serão o processador das máquinas servidoras e os enlaces de redes. Isto nos leva às seguintes métricas: 1. tempo reposta e throught do servidores em relação a cada um dos serviços identificados no item anterior; e 2. atraso de rede e banda passante consumida da rede. Identificação dos Requisitos de Desempenho do Sistema O tempo consumido por um sistema de realidade virtual para responder a uma ação do usuário e a taxa de quadros por segundo que o sistema de realidade virtual deve manter são de importância fundamental. Isto nos leva aos seguintes requisitos de desempenho: 1. o tempo máximo para o sistema responder a uma ação de reposicionamento do usuário é de 100 ms [Held & Durlach, 1991][Liu et al, 1993] [Pullen, 1995]; e 2. a taxa de quadros por segundos sustentada pelo sistema deve ser no mínimo igual a 10 qps[pullen, 1995]. Identificação dos Parâmetros que Influenciam o Experimeto Os parâmetros do sistema que afetam seu desempenho são os seguintes: 1. velocidade da CPU das estações servidores; 2. número de estações servindo o ambiente virtual; 3. banda passante da rede; 4. atraso introduzido pela rede, pelo hardware de rendering, pela CPU, pelo dispositivo de entrada e saída, e pelo sistema de visão humano; e 5. algoritmo de balanceamento de carga utilizado. Os parâmetros da carga de trabalho que afetam o desempenho do sistema são: 1. número de usuários compartilhando o ambiente virtual; 2. número de objetos simulados no ambiente virtual; 3. complexidade geométrica do mundo virtual; 4. complexidade da simulação do mundo virtual; 5. a velocidade dos objetos dirigidos pelo usuário; 6. volume de visão de cada usuário; 7. geometria e extensão das células nas quais o mundo virtual é dividido; e 8. distribuição das interações do usuário com o sistema no tempo. Identificação dos Fatores que Influenciam o Experimeto Os fatores chaves escolhidos para a realização deste estudo são os seguintes: 1. o algoritmo de balanceamento de carga: a. sem algoritmo, b. Receiver-Initiated, c. Sender-Initiated, e d. Symetrically-Initiated; 2. número de estações servindo o mundo virtual: 4, 9, 16, e 25 estações;

6 3. número de usuários compartilhando o mundo virtual: 200, 400, 600, 800, 1000, 1200; 4. a velocidade ou o tipo dos objetos dirigidos pelo usuário: 1. pedestre (50%), automóvel (30%) e avião (20%) 2. pedestre ( 0%), automóvel ( 0%) e avião ( 100%) Definição da Técnica de Avaliação a ser Utilizada Os algoritmos de balanceamento de carga e o modelo do sistema de realidade virtual distribuídos serão implementados em um simulador. Portamto, a técnica de avaliação a utilizada será a de simulação. Caracterização e Geração da Carga de Trabalho A carga de trabalho consiste de programas sintéticos gerando requisições ao sistema de realidade virtual simulado. Estes programas também são responsáveis por monitorar os recursos consumidos e anotar os resultados das medições. A carga de trabalho de cada servidor será caracterizada pelo do número clientes que ele estiver atendendo em um dado momento e o número de obejtos simulados nele residentes. Projeto Experimental Um projeto experimental "fatorial completo" foi utilizado, resultando em 4 x 4 x 6 x 2 = experimentos. Porém somente uma parte destes experimentos foram realizados. Análise e Apresentação dos Resultados Para medir o desequilíbrio do sistema utilizamos a média dos coeficientes de variação do número de clientes por subáreas ao longo do tempo. Uma vez que o coeficiente de variação nos diz quão distante da média os dados amostrados estão, o consideramos um bom indicador de desbalanceamento no sistema: quanto mais distante o número de clientes das subáreas estiverem da média, maior será o coeficiente de variação. A latência observada nos servidores e a utilização da rede medirão a qualidade do algoritmo de balanceamento proposto. A análise dos tempos de respostas de cada recurso nos ajudarão a detectar quais os possíveis gargalos apresentados pelo sistema. A apresentação dos resultados será feita na forma de gráficos descrevendo a média da latência e do número de clientes observadas nos servidores do sistema, e a utilização de rede. Cada gráfico mostrará quatro curvas, cada uma associada a um tipo de algoritmo de balanceamento de carga utilizado.