Avaliação de Desempenho

Transcrição

1 Avaliação de Desempeho Mário Meireles Teixeira Departameto de Iformática, UFMA Itrodução Desempeho: quatidade de serviços prestados / tempo decorrido desde o iício dos serviços A qualidade de um sistema é julgada pela impressão causada a seus usuários Se existe descotetameto, surge a ecessidade de avaliação do sistema Objetivos da Aálise de Desempeho Maximização da eficiêcia de um sistema Maximização da utilização de um recurso Miimização do custo Miimização do tempo de resposta Balaceameto de carga

2 Itrodução Aplicações da Aálise de Desempeho Sistemas existetes Sistemas em desevolvimeto Seleção de sistemas Por que essa tarefa é muitas vezes esquecida? 3 Técicas de Avaliação de Desempeho de Sistemas As iformações requeridas podem ser obtidas: A partir do próprio sistema Através de um modelo represetativo do sistema A partir do próprio sistema Protótipos Bechmarks Coleta de dados Técicas de Aferição Baseiam-se em medições feitas sobre o sistema real ou sobre um protótipo do mesmo Somete é possível aplicar se o sistema já existe 4 2

3 Técicas de Aferição Protótipos Simplificação de um sistema ou artefato, mas preservado a fucioalidade do mesmo Como abstrair as características esseciais do sistema? Custo elevado Bechmarks Programas usados para testar o desempeho de um software, hardware ou sistema computacioal Utilizados para efeito de comparação O próprio bechmark ão pode iflueciar os resultados obtidos Coleta de Dados A aálise é feita a partir de dados reais do sistema Mais precisa das técicas de aferição Pode ser impossível de realizar ou muito caro 5 Modelagem Modelo Descrição de um determiado sistema, abstraido suas características mais relevates Técicas de Modelagem Redes de Filas Redes de Petri Statecharts Soluções do Modelo Modelagem Aalítica Simulação 6 3

4 Modelagem Modelagem Aalítica Pode ser aplicada a sistemas aida em fase de projeto Requer boa formação matemática Forece resultados aproximados Muitas simplificações do modelo podem ser ecessárias 7 Modelagem Simulação Simula-se o comportameto de um sistema real a partir de um modelo do mesmo Em geral, é possível costruir um modelo mais próximo da realidade do que quado se usa a modelagem aalítica Resultados ão exatos Técica flexível, de baixo custo e ampla aceitação o meio cietífico e a idústria (petróleo, aviação, trâsito, telefoia, provedores de iteret...) Iúmeras bibliotecas, ambietes de simulação e liguages: SMPL, SimPack QNET4, OPNET, JavaSim, NS-2 SIMULA, GPSS 8 4

5 Taxoomia Técicas de Avaliação de Desempeho Sistema real ou similar Modelo do sistema Protótipos Bechmarks Coleta de dados Modelagem Aalítica Simulação Aferição 9 Critérios para seleção da Técica de Avaliação Modelagem Aalítica Simulação Aferição 1. Estágio Qualquer Qualquer Após prototipação 2. Tempo Pouco Médio Variado 3. Ferrametas Aalistas Liguages de programação 4. Precisão Pouca Moderada Variada 5. Comparações Fáceis Moderadas Difíceis 6. Custo Baixo Médio Alto Istrumetação 7. Poder de covecimeto Baixo Médio Alto 10 5

6 Métricas de Desempeho S I S T E M A Pedido de serviço i Executado Executado Corretamete Executado Icorretamete Erro j Tempo (Tempo de Resposta) Taxa (Throughput) Recurso (Utilização) Probabilidade Itervalo etre Erros Velocidade Cofiabilidade Não Executado Eveto k Duração do Eveto Itervalo etre Evetos Dispoibilidade 11 Tempo de Resposta Itervalo etre o pedido do usuário e a resposta do sistema Sistemas batch: turaroud time (tempo de ciclo) Stretch factor (R/S) Pedido do Usuário Resposta do Sistema Tempo de Resposta Tempo Usuário Iicia Pedido Usuário Fializa Pedido Sistema Iicia Execução Sistema Iicia Resposta Sistema Completa Resposta Usuário Iicia Próximo Pedido Tempo de Reação Tempo de Resposta (Defiição 1) Tempo de Resposta (Defiição 2) Thik Time Tempo 12 6

7 Throughput (Vazão) Taxa a qual os pedidos são atedidos pelo sistema (pedidos por uidade de tempo) Exemplos: Sistemas batch: jobs por segudo Sistemas iterativos: pedidos por segudo CPUs: MIPS ou MFLOPS Redes de comuicação: pacotes por segudo (pps) ou bits por segudo (bps) Sistemas de processameto de trasações: trasações por segudo (TPS) Sistemas da Web: requisições HTTP por segudo 13 Throughput Vazão Joelho Capacidade Nomial Capacidade do Joelho Capacidade Utilizável Carga 14 7

8 Eficiêcia Def: Razão etre o throughput máximo (capacidade utilizável) e a capacidade omial do sistema Uma LAN de 100 Mbps com throughput máximo de 85 Mbps: Eficiêcia de 85% 2. A razão do desempeho de um sistema com processadores para outro com apeas um processador Eficiêcia Número de Processadores 15 Outras Métricas Utilização Fração de tempo em que o recurso está ocupado atededo os pedidos dos clietes Cofiabilidade Probabilidade de erros ou itervalo médio etre erros Dispoibilidade Fração de tempo em que o sistema está dispoível para ateder seus clietes (uptime) MTTF Mea Time to Failure Relação Custo/Desempeho Ex: $ / TPS Comparação etre sistemas 16 8

9 Utilidade das Métricas de Desempeho U T I L I D A D E Meor é melhor U T I L I D A D E Maior é melhor MEDIDA MEDIDA U T I L I D A D E Nomial é melhor MEDIDA 17 Especificação de Requisitos de Desempeho Specific (Específicos) Measurable (Mesuráveis) Acceptable (Aceitáveis) Realizable (Viáveis) Thorough (Abragetes) 18 9

10 Erros Comus e Como Evitá-los Erros Comus Ausêcia de objetivos É importate que o aalista compreeda o fucioameto do sistema e idetifique o problema a ser resolvido Objetivos tedeciosos Mostrar que o osso sistema é melhor que o deles Abordagem ão sistemática Tetativa e erro: objetivos, parâmetros, fatores, métricas e carga de trabalho são escolhidos arbitrariamete 20 10

11 Erros Comus Aálise sem a compreesão do problema Um problema bem formulado já está meio resolvido! Os modelos são meios para se chegar a coclusões e ão o resultado fial Escolha icorreta das métricas de desempeho Devem-se escolher métricas relevates e ão aquelas que podem ser mais facilmete computadas Ex. de equívocos: Uso de MIPS para comparar arquiteturas CISC e RISC Estudar o desempeho de um servidor web a partir do úmero de pacotes IP retorados 21 Erros Comus Carga de trabalho ão represetativa A seleção da carga de trabalho tem um impacto sigificativo os resultados da avaliação de desempeho Uso de técica de avaliação iadequada Os aalistas geralmete têm preferêcia por uma dada técica de avaliação e a usam em todos os casos! Igorar parâmetros importates Devem-se listar todas as características do sistema e da carga de trabalho que podem afetar o desempeho Os parâmetros devem ser variados a fim de avaliar diferetes ceários de uso do sistema 22 11

12 Erros Comus Igorar fatores sigificativos Os parâmetros que são variados são deomiados fatores Devem ser escolhidos como fatores aqueles parâmetros que, quado variados, provocam maior impacto o desempeho Os diferetes valores dos fatores são chamados de íveis Exemplos: Número de usuários Taxa de chegada Tamaho do arquivo/pacote/bloco Velocidade da CPU/disco/rede Erros Comus Defiição iapropriada do experimeto Nível iadequado de detalhe Falta de aálise dos resultados Aálise icorreta Estimação icorreta dos parâmetros Tratameto iadequado de potos fora da curva Igorar a variabilidade 24 12

13 Erros Comus Aálise muito complicada É melhor começar com modelos ou experimetos simples, obter algus resultados e, só etão, complicar as coisas... Apresetação imprópria dos resultados Igorar aspectos sociais Omitir hipóteses e limitações da aálise 25 Abordagem Sistemática da Avaliação de Desempeho 1. Estabeleça os objetivos e defia o sistema 2. Liste os serviços e suas respostas 3. Selecioe as métricas Em geral, estão associadas com velocidade, cofiabilidade e dispoibilidade dos serviços 4. Liste os Parâmetros Do sistema e da carga de trabalho 26 13

14 Abordagem Sistemática da Avaliação de Desempeho 5. Selecioe os fatores a serem estudados Selecioe os íveis de cada fator 6. Selecioe a técica de avaliação 7. Selecioe a carga de trabalho 8. Plaeje os experimetos 9. Aalise e iterprete os dados Não cofudir resultados com coclusões! 10. Apresete os resultados 27 Estudo de Caso 14

15 Comparação de Pipes Remotos com RPCs Nas RPCs, os chamadores ficam bloqueados Defiição do Sistema: Cliete Requisição Servidor Execução Resposta Caal: Procedimeto ou um Pipe 29 Estudo de Caso: Serviços Dois tipos de chamadas do caal: Remote Procedure Call e Pipe Remoto Recursos usados pelas chamadas depedem: do úmero de parâmetros passados da ação ecessária sobre estes parâmetros Serviços: Trasferêcia de Dados Curtos Trasferêcia de Dados Logos 30 15

16 Estudo de Caso: Métricas O estudo será limitado à operação correta Métricas: Tempo decorrido por chamada Taxa máxima de chamadas por uidade de tempo Tempo da CPU local por chamada Tempo da CPU remota por chamada Número de bytes eviados o elace por chamada 31 Estudo de Caso: Parâmetros Parâmetros do Sistema que afetam o desempeho: Velocidade da CPU Local Velocidade da CPU Remota Velocidade da Rede Sobrecarga do S.O. (para coversar com os caais) Sobrecarga do S.O. (para coversar com a rede) Cofiabilidade da rede (retrasmissões) 32 16

17 Estudo de Caso: Parâmetros Parâmetros da Carga que afetam o desempeho: Itervalo de Tempo etre Chamadas Sucessivas Número e Tamaho dos Parâmetros das Chamadas Número e Tamaho dos Resultados Tipo do Caal Outras Cargas as CPUs Local e Remota Outras Cargas a Rede 33 Estudo de Caso: Fatores Tipo do Caal: Pipes remotos e RPCs Velocidade da Rede: Curta distâcia (Campus) e loga distâcia Tamaho dos Parâmetros a ser trasferidos: Dois íveis: pequeos e grades Número de Chamadas Cosecutivas () ={1,2,4,8,16,32,64,128,256,512, 1024} Os demais parâmetros permaecerão fixos 34 17

18 Estudo de Caso: Técica de Avaliação Dado que existem protótipos dos dois sistemas de caal: MEDIÇÕES MODELAGEM ANALÍTICA será usada para justificar a cosistêcia dos valores medidos para diferetes parâmetros 35 Estudo de Caso: Carga de Trabalho A carga cosistirá de um programa sitético gerado os tipos de chamadas especificadas O programa irá também moitorar os recursos cosumidos e registrar os resultados medidos Pedidos ulos serão utilizados para avaliar os recursos cosumidos com a moitoração e registro 36 18

19 Estudo de Caso Projeto do Experimeto Um projeto fatorial completo com 2^3*11=88 experimetos será utilizado para o estudo iicial Aálise dos Dados Será utilizada Aálise de Variâcia para quatificar os efeitos dos três primeiros fatores e regressão para quatificar os efeitos do úmero de chamadas cosecutivas. 37 Estudo de Caso Apresetação dos Dados: Os resultados fiais serão plotados em fução do tamaho do bloco Este estudo foi efetuado por Glasser e relatado uma Dissertação de Mestrado em

20 Trabalho I Aplicação da Metodologia Escolha um sistema para estudar o desempeho. Descreva o sistema sucitamete e liste: Os serviços e as respostas As métricas de desempeho Os parâmetros do sistema A carga de trabalho Os parâmetros da carga de trabalho Os fatores e suas faixas de valores A técica de avaliação a ser utilizada Justifique suas escolhas