Avaliação de Desempenho em Sistemas de Computação e Comunicação

Transcrição

1 Avaliação de Desempenho em Sistemas de Computação e Comunicação Universidade Federal do Espírito Santo - UFES Departamento de Informática - DI Laboratório de Pesquisas em Redes Multimidia - LPRM UFES

2 Abordagem Sistemática para Avaliação de Desempenho Definir objetivos e escopo (sistema) Listar serviços e saídas Selecionar métricas de desempenho Listar parâmetros Selecionar fatores para estudo Selecionar técnica de avaliação Selecionar carga de trabalho Projetar experimentos Analisar e interpretar dados (resultados) Apresentar resultados

3 Objetivos e Escopo Definir objetivos do estudo é essencial para definir escopo Definir escopo é chave para as demais escolhas de métricas, cargas, técnica de avaliação Exemplos: Dadas 2 CPUs Objetivo 1: estimar impacto no tempo de resposta de usuários interativos Escopo: sistema de timesharing, resultado depende de outros fatores externos a CPU Objetivo 2: CPU são similares com exceção da ALU Escopo: somente componentes internos da CPU

4 Métricas de Desempenho Escolha específica para estudo, a partir da lista de serviços e possíveis saídas Execução correta: desempenho, escalabilidade tempo de resposta, taxa de processamento (serviço), utilização de recursos Execução incorreta: confiabilidade identificação das classes de erros probabilidade de cada tipo de erro, tempo entre erros Não execução: disponibilidade Identificação das possíveis causas Uptime (% tempo disponível), prob. de downtime, tempo entre falhas (MTTF = Mean Time To Failure)

5 Tempo de Resposta Intervalo de tempo entre requisição do usuário e a resposta do sistema Definição do intervalo tem que ser clara: Inclui tempo entre momento que usuário termina comando e sistema inicia execução? Inclui tempo entre início e término da geração da resposta? Pode conter vários componentes, com influência de vários subsistemas e da carga durante execução Ex: time <programa> (Unix) 3.5 real 0.2 user 0.9 sys

6 Slowdown Causado por: operações de I/O (leituras, escritas, paginação) tempo de rede tempo gasto em outros programas (escalonamento) contenção por recursos: filas dos recursos Tempo de resposta = tempo de serviço + tempo nas filas TR = TS + TF Slowdown = TF/TS : impacto do tempo de fila

7 Taxa de Processamento Ou taxa de serviço: quantidade de serviço executado por unidade de tempo (throughput) Capacidade nominal: capacidade especificada pelo fabricante Ethernet de 100 Mbps Disco com 40Mbps Capacidade útil: throughput máximo alcançável Ethernet 100: Mbps

8 Tempo de Resposta xtaxa de Serviço nominal Throughput joelho útil Carga Joelho da curva = ponto ótimo de operação Tempo de Resposta Carga

9 Outras Métricas Eficiência: capacidade útil / capacidade nominal Utilização : % tempo que recurso está executando serviço Tempo ocioso (idle time) Custo-benefício = custo / desempenho custo por taxa de serviço US$/consultas/s, US$/hits/s Métricas específicas % Perda de pacotes, tamanho das rajadas de perdas Qualidade do sinal

10 Escolha das Métricas Incluir métricas para Execução correta, incorreta e não execução Avaliar Média, mediana, percentis Variância, coeficiente de variabilidade (CV) Distribuições Medidas individuais, agregadas, por classes

11 Especificação de Requisitos de Desempenho Especificação deve ser precisa e realista Problemas: Falta de especificação numérica o sistema deve ser eficiente Métricas difíceis de avaliar Especificação não realista o sistema não deve produzir respostas com erros

12 Especificação de Requisitos de Desempenho Especificação deve ser precisa e realista Problemas: Falta de especificação numérica o sistema deve ser eficiente Métricas difíceis de avaliar Especificação não realista o sistema não deve produzir respostas com erros

13 Especificação de Requerimentos de Desempenho Como fazer: 1. Escolha um serviço S 2. Escolha uma métrica M 3. Escolha um valor máximo X para a métrica M Opções: 1. média entre valores observados para M para o serviço S deve ser menor que X: NÃO! (variabilidade) 2. Y% (X grande) dos valores observados devem ser menores do que X: SIM!!!

14 Acordo de Nível de Serviço (SLA) Exemplos: RTT < 100 ms para conexões dentro dos EUA Sistema deve estar disponível X% do tempo X = 99% X = 99.9% X = % 7.2 horas/mês downtime 43 minutos/mês downtime 26 segundos/mês downtime Exemplos de SLAs de disponibilidade (Os 5 9 s) AT&T switches: 2hs de downtime em 40 anos Cisco, HP, MS, Sun: garantem % de disponibilidade (5 min /ano downtime)

15 Disponibilidade Custos Downtime (US$/hora) Brokerage operations Credit card authorization Ebay (1 outage 22 hours) Amazon.com Package shipping services Home shopping channel Catalog sales center Ailine reservation center Cellular service $ 6,450,000 $2,600,000 $225,000 $180,000 $150,000 $113,000 $90,000 $89,000 $41,000 $25,000 $14,000 Fonte: InternetWeek 4/3/ Fibre Channel: A Comprehensive Introduction, R. Kembel 2000, p Based Magnos on Martinello a survey done by Contingency Planning Research

16 Parâmetros Listar parâmetros que afetam desempenho Parâmetros do sistema: software e hardware CPU, memória, disco, controladora, tamanho de buffer (cache), políticas de escalonamento Parâmetros de carga: usuário (imprevisível) Tamanho, tipo e frequência das requisições a serviços Eliminar parâmetros redundantes e/ou normalizar Ex: servidor de vídeo: Taxa de chegada λ, Tamanho do arquivo T (minutos) Impacto no sistema: N = λt Não precisa variar λ e T isoladamente, mas apenas o produto N

17 Fatores Parâmetros que vão variar no estudo Variação = nível Escolha: parâmetros com maior impacto e controlável Começar com poucos parâmetros e níveis e estender a partir da avaliação dos resultados Preferível maior número de parâmetros e poucos níveis Avaliação inicial do impacto relativo de cada um Refinamentos posteriores

18 A escolha depende: Técnica de Avaliação Escopo (aspectos gerais x detalhes) e estágio Tempo e recursos disponíveis Precisão desejada Seja qual for a escolha: Não acredite nos resultados de simulação até que sejam validados por análises ou experimentos Não acredite nos resultados de modelos analíticos até que sejam validados por simulação ou experimentos Não acredite nos resultados de experimentos até que sejam validados por modelos analíticos ou

19 Componentes do Tempo de Resposta Congestionamento Tempo de Serviço (não depende da carga) Congestiomanento ou Tempo de Espera em Fila (depende da carga)

20 Throughput (Vazão) Mede unidades de trabalho completadas por tempo. Trata-se de uma medida de taxa. E/S por segundo Download de Páginas por segundo Requisições HTTP por segundo Tarefas/Jobs por segundo Transações por segundo (tps)

21 Exemplo de Throughput Uma operação de E/S de um disco usando o sistema de benchmark OLTP leva 10ms em média. 1 Qual é a vazão (throughput) máxima do disco? 2 Qual é a vazão (throughput) do disco se ele recebe requisições de E/S a uma taxa de 80 requisições/seg? A 1 = 100 requisição / seg 2 = 80 requisições / seg C 1 = 100 requisições / seg 2 = 100 requisições / seg B 1 = 10 requisições /seg 2 = 800 requisições /seg D 1 = 1000 requisições / seg 2 = 80 requisições / seg

22 Vazão vs Carga VAZÃO LINHA DE SATURAÇÃO DO SISTEMA (100% Util) CARGA THRASHING = O DESEMPENHO DEGRADA APÓS O SISTEMA ATINGIR SATURAÇÃO EX.: Memória RAM insuficienteocomputadorficamanipulandointerrupções de page faults

23 Disponibilidade Fração do tempo que um sistema fica disponível (operacional). Interrupções de Serviço pode prejudicar a reputação de uma empresa, podem causar desastres financeiros. Um sistema com 99.99% de disponibilidade, fica indisponível quanto tempo em um período de 30 dias ( ) x 30 (dias) x 24 (horas) x 60 (min) = 4,32 minutos.

24 Problemas de Disponibilidade Lamento nosso site de vendas de livros está indisponível, Mas, voce pode comprar agora mesmo do noss oconcorrente Ficaremos muito contentes ;-)

25 TEMPO DE RESPOSTA Controle de Admissão Tempo de Resposta tende a aumentar exponencialmente sem controlar/limitaro CARGA número de requisições para garantir qualidade, limita as requisições, rejeitando algumas

26 Escalabilidade TEMPO DE RESPOSTA Sistema A não é escalável Sistema B tempo aumenta linearmente com aumento da carga CARGA

27 Extensibilidade Propriedade de um sistema evoluir de modo a atingir novos objetivos funcionais e requisitos de desempenho. Computação Autonoma, Sistemas Auto- Gerenciáveis, SistemasAuto-Reparáveis.

28 Ciclo de Vida do SistemaComputacional Requisitos Funcionais: O que o sistema tem que fazer e em quais tipos de plataformas. Requisitos Não-Funcionais: o quão bem o sistema deve realizar suas funções. Contratos de Nível de Serviço (Service Level Agreements - SLA) são estabelecidos. Em muitos casos, esses requisitos nãofuncionais são negligenciados até quando o sistema está na fase de TESTES!

29 Ciclo de Vida do SistemaComputacional Como os requisitos são atingidos? arquitetura do sistema Sistema separado em componentes maior parte das estruturas de dados, arquivos e banco de dados são projetados interfaces entre os componentes do sistema são especificados

30 Ciclo de Vida do SistemaComputacional Componentes são implementados. Alguns componentes são novos Alguns componentes são reusados Alguns componentes são adaptados Componentes são interconectados formando um sistema Componentes deveriam ser instrumentados um a um a medida que são construídos

31 Ciclo de Vida do SistemaComputacional Concorrentemente com o desenvolvimento do sistema, os componentes são testados ao serem integrados no sistema (unit testing). Testes integrados são feitos quando o sistema como um todo estiver pronto. Frequentemente, mais tempo é gasto com testes dos requisitos funcionais do que testes com requisitos não-funcionais.

32 Ciclo de Vida do SistemaComputacional Configuração de Parâmetros tem que ser feitos para cumprir os requisitos dos SLAs. Exemplo: parâmetros TCP, poolsize de banco de dados, número máximo de threads, etc.

33 Ciclo de Vida do SistemaComputacional Constante monitoramento para checar se o sistema está alcançando as demandas: carga (períodos de pico, padrões de acesso não-usuais) Métricas externas (qualidade percebida pela usuário) Métricas internas (ajuda a detectar gargalos e ajuste fino no sistema) Disponibilidade (externa e interna) Pode ser necessário re-configurar dinâmicamente os parâmetros

34 Ciclo de Vida do SistemaComputacional Sistemas podem precisar evoluir para manter-se atualizado com novas leis e regulações (ex. prefeituras) Sistemas podem precisar evoluir para prover novas funções (ex, venda de música em MP3 para download além da venda de CDs) Como os recursos de TI conseguirão manter a evolução em termos de SLAs?

35 Modelo de Referência de TI Modelo Social: política de privacidade política de acessibilidade Modelo de Negócios: número de agências número de terminais de auto-atendimento número de contas de cada tipo planos de evolução de negócios (ex, fusões)

36 Modelo do Comportamento do Cliente

37 Exemplo: Infra-Estrutura de TI