Treinamento em Análise Quantitativa & Planejamento de Capacidade. Virgilio A. F. Almeida

Transcrição

1 Treinamento em Análise Quantitativa & Planejamento de Capacidade Virgilio A. F. Almeida DATAPREV Rio de Janeiro 16 Dezembro de 2009 Módulo Revisão Departamento de Ciência da Computação Universidade Federal de Minas Gerais - UFMG

2 Organização do Treinamento Aulas: Dia Módulos Trabalhos 26 1, 2 A 27 3 b 7 4,5 c 8 6,7 d 16 8,9 e 17 9,10 f Uso constante da página Web: MPS Virgilio Almeida, UFMG 2009

3 Organização do Treinamento Módulo Assunto 01 Introdução a análise experimental, métodos quantitativos e introdução a performance e planejamento de capacidade; visão geral dos problemas 02 Conceitos básicos em estatística e probabilidades 03 Monitoração e sumarização de dados coletados: média, mediana, moda, variância, desvio padrão, coeficiente de variação. 04 Comparando sistemas usando dados de amostragem e intervalos de confiança; 05 Métodos de regressão linear simples; Outros modelos: regressão múltipla e regressão curvo-linear 06 Introdução ao projeto experimental (Design of Experiments); Apresentação gráfica de dados experimentais 07 Técnicas de avaliação de desempenho: modelos operacionais, i redes de filas 08 Técnicas de avaliação de desempenho: caracterização de carga, benchmarks, RPI e load testing 09 Metodologia geral para planejamento de capacidade: estudos de casos, ROI, qualidade de serviço e datacenters.

4 Planejamento de Capacidade workload Web Service ou Sites QoS? Comportamento Usuário 4

5 Workload? Considere um sistema S e um conjunto de métricas que define quão bem o sistema funciona Métricas QoS = F(System, Workload) Workload transactions, queries, requests S Output S = CPU, disk, server, router, service, Web, etc QoS métricas : Tempo de resposta, throughput, utilização dos recursos, disponibilidade, confiabilidade, etc

6 Exemplo: Oracle Application Server Panejamento de memória de um servidor Oracle: S = memória métricas : Workload Total memory GB = (0.97 * Oracle Users )/100 * Server Memory : Workload Number of Users S Output

7 Questões chaves Quanta custa para a empresa uma degradação de 1 segundo na performance? Qual é o ROI (retorno de investimento) ao investir em performance? Como comparar a nossa performance com os competidores no mesmo mercado?

8 Visão geral do processo de gerência de capacidade -X transações/por segundo -Y% de uptime -Z,. Monitorar e medir quão rápidos e confiáveis são nossos serviços Atualmente, somos rápidos e confiáveis? Sim! Quais as providências para nos mantermos assim? Não! Mudar, Adicionar, remover coisas: - hardware - software - arquitetura - SLA, etc. Virgilio Almeida, UFMG 2009

9 Visão geral do processo de gerência de capacidade X transações/por segundo Y% de uptime Z,. Monitorar e Atualmente, Quaisas medir quão providências somos rápidos e para nos confiáveis são rápidos e Sim! mantermos nossos serviços confiáveis? assim? Não! Mudar, Adicionar, remover coisas: hardware software arquitetura Como SLA, etc. Virgilio Almeida, UFMG 2009

10 1. Abordagem Quick and Dirt Planejar: o que? Como? Quando? Implantar: instalar, configurar, gerenciar Medir: medições, dados e gráficos Como??? Visão inicial 2. Abordagem sistemática para análise de desempenho e capacidade Dois conceitos básicos: modelos do sistema carga de trabalho (workload) 3. Integração do desenvolvimento e produção no planejamento dacapacidade dainfraestrutura Virgilio Almeida, UFMG 2009

11 Processo de Gerência da Capacidade da Infraestrutura m exces Em so Adquirir o suficiente agora in nsuficie ente Muito cedo Muito tarde

12 Why is capacity planning essential to business? NYTimes, Feb 9, 2008

13 Cenário para Planejamento de Capacidade Time Scale Performance Model SLA Quarter Resource Provisioning Workload Forecast Optimization Model Reputation ti Business goals Week Analysis & Reconfiguration Workload Forecast Performance Model Optimization Model SLA violations Revenue/loss Hour Monitoring & Management Workload Forecast Performance Model Optimization Model

14 Cenário para Planejamento de Capacidade Time Scale Performance Model SLA Quarter Resource Provisioning Workload Forecast Optimization Model Reputation ti Business goals Week Analysis & Reconfiguration Workload Forecast Performance Model Optimization Model SLA violations Revenue/loss Hour Monitoring & Management Workload Forecast Performance Model Optimization Model

15 Capacity Planning Process Business Models & Measurable Goals Cost-Performance Analysis & Actions Understand Service Architecture Predict Service Performance Performance & Model Characterize the Workload Model Validation And Calibration Workload Model Obtain Model Parameters Develop a Performance Model Forecast Workload Evolution

16 Planejamento de Capacidade: integração de desenvolvimento e produção Virgilio Almeida, UFMG,

17 Métricas de Desempenho Requisição para serviço i Tempo Corretamente Taxa Recurso Realizada Sistema Incorretamente Erro j Probabilidade Tempo entre erros Não Evento k realizada Virgilio Almeida, UFMG 2009 Duração do evento Tempo entre eventos

18 Métricas de Desempenho Tempode resposta (total, por componente) Taxa de processamento (throughput) Transações/s, HTTP requests/s, sessões/s, I/O/s, / etc. Utilização Disponibilidade (falhas ou sobre carga) Controle de admissão Disponibilidade vs. tempo de resposta Confiabilidade Custo (ROI: Return of Investment) Virgilio Almeida, UFMG 2009

19 Métricas Centradas no Usuário 1. Availability 2. Outages 3. Average Download Time Geographic Mean 4. Time in Client Versus Time In Generation/Backend 5. Variability 85th and 95th percentiles 6. Geographic Variability 7. Hourly Variability (Load Handling) 8. Third Party Quality 9. Size/Element Count/Domains

20 Métricas Centradas no Usuário sugestões da indústria 1. Availability 99.5% for multi step transaction 2. Outages 1 hour per month 3. Average Download Time s (broadband) 4. Time in ClientVersus Time In Generation/Backend Less than 30% of page load 5. Variability 85th and 95th percentiles No more than 1.5X 15Xthe median 6. Geographic Variability No more than 2X (fastest versus slowest) 7. Hourly Variability (Load Handling) Less than 20% peak versus off peak 8. Third Party Quality under 50MS each (limited variability, good availability) 9. Size/Element Count/Domains Depends!

21 Problemas de Performance(*) Keynote Inc., Where performance problem lie, 2009

22 Avaliação de Desempenho Modelagem analítica: Conjunto de fórmulas e/ou algoritmos que determinam as medidas de desempenho (métricas) em função de um conjunto de parâmetros de carga (entrada) Modelos determinísticos: análise de limites e de valores médios Modelos probabilísticos: processos estocásticos, modelos de filas Modelos de simulação Experimentação em sistemas it reais Instrumentação Monitoração Virgilio Almeida, UFMG 2009

23 Por que é necessário o uso de modelos, prótotipos, instalações de homolgação para testar aplicações??? Virgilio Almeida, UFMG 2009

24 Testes com sistemas reais!!! Virgilio Almeida, UFMG 2009

25 Visão geral do processo de gerência de capacidade X transações/por segundo Y% de uptime Z,. Monitorar e Atualmente, Quaisas medir quão providências somos rápidos e para nos confiáveis são rápidos e Sim! mantermos nossos serviços confiáveis? assim? Não! Mudar, Adicionar, remover coisas: hardware software arquitetura Como SLA, etc. Virgilio Almeida, UFMG 2009

26 Entender as situações futuras: Modelos do Sistema Carga Serviço Sistema (hw ou sw) Modelo: representação do comportamento do desempenho do sistema it Etapas principais: Caracterização do comportamento do usuário / carga: taxa de chegada, tempo de serviço Medições no sistema: utilização de recursos, nível de multiprogramação Medições no serviço: tempo de resposta, taxa de sucesso Virgilio Almeida, UFMG 2009

27 Exemplos de Aplicação Modelagem analítica responde: Como o tempo de resposta de um banco de dados de transações varia com a taxa de transações? Qual o impacto no tempo de resposta de um upgrade de CPU? De disco? Em média, qual o número de processos que ficam bloqueados no semáforo X da aplicação Y? Simulação responde: Qual a política de replicação de conteúdo que resulta em maior byte hit ratio? Experimentação responde: Quais os principais componentes do tempo de resposta em um servidor Web? Qual o impacto da nova interface (ex: com vídeo) no desempenho de serviços na Web? Virgilio Almeida, UFMG 2009

28 Seleção da Técnica de Previsão de Desempenho Modelagem analítica Podem ser razoavelmente precisas e simples Baixo custo: fornecem resultados rápidos Facilita projeto e configuração do sistema: melhora conhecimento sobre ele avaliação dos compromissos entre vários parâmetros impacto de cada parâmetro Responde perguntas do tipo what if Captura aspectos mais gerais do funcionamento do sistema não captura alguns aspectos do funcionamento. Virgilio Almeida, UFMG 2009

29 Abordagem Sistemática para Análise de Desempenho e Capacidade d 1. Definir objetivose e escopo (sistema/infraestrutura) 2. Listar serviços e saídas 3. Selecionarmétricasde desempenho 4. Medir, medir, medir 5. Especificar o estudo 1. Listar parâmetros 2. Selecionar fatores para estudo 3. Selecionar técnica de avaliação 4. Selecionar carga de trabalho 6. Projetar experimentos 7. Analisar e interpretar dd dados (resultados) Virgilio Almeida, UFMG Apresentar resultados

30 1. Objetivos e Escopo do Projeto Definir objetivosdo estudo é essencial para definir escopo Definir escopo é chave para asdemaisescolhasde escolhas métricas, cargas, técnica de avaliação Exemplos: Dadas 2 servidores Objetivo 1: estimar impacto no tempo de resposta de usuários interativos Escopo: sistema de timesharing, resultado depende de outros fatores externos a CPU Objetivo 2: Servidores são similares com exceção das unidades de disco Escopo: somente componentes de Virgilio Almeida, UFMG 2009 armazenamento

31 3. Métricas de Desempenho Escolha específica para estudo, a partir da lista de serviços e possíveis saídas Execução correta: desempenho, escalabilidade tempo de resposta, taxa de processamento (serviço), utilização de recursos Execução incorreta: confiabilidade identificação das classes de erros probabilidade de cada tipo de erro, tempo entre erros Não execução: disponibilidade Identificaçãodaspossíveis das causas Uptime (% tempo disponível), probabilidade de downtime, tempo entre falhas (MTTF = Mean Time To Failure) Virgilio Almeida, UFMG 2009

32 Tempo de Resposta Intervalo de tempo entre requisição do usuário e a resposta do sistema Definição do intervalo tem que ser clara: Inclui tempo entre momento que usuário termina comando e sistema inicia execução? Inclui tempo entre início e término da geração da resposta? Pode conter vários componentes, com influência de vários subsistemas e da carga durante execução Virgilio Almeida, UFMG 2009

33 Tempo de Resposta xtaxa de Serviço nominal Throughput joelho útil Joelho da curva = ponto ótimo de operação Tempo de Resposta Carga Virgilio Almeida, UFMG 2009

34 Outras Métricas Eficiência: capacidade útil / capacidade nominal Utilização : % tempo que recurso está executando serviço Tempo ocioso (idle time) Custo benefício = custo / desempenho custo por taxa de serviço US$/consultas/s, Métricas específicas % Perda de pacotes, tamanho das rajadas de perdas Qualidade d do sinal

35 Escolha das Métricas Incluir métricas para Execução correta, incorreta e não execução Avaliar Média, mediana, percentis Variância, coeficiente de variabilidade (CV) Distribuições Medidas individuais, agregadas, g por classes

36 4. Medições: se você não tem como medir sua capacidade atual, você não tem como conduzir um planejamento de capacidade! Virgilio Almeida, UFMG 2009

37 Monitoramento de Transação

38 Ferramentas de Moniyoração e Análise de Performance 1. Manual lpage Measurement Firefox+Firebug+Yslow, +Y AOL Pagetest, IBM Page Detailer, Keynote KITE 2. Real User Monitoring Coradiant Truesight + Web.I, Tealeaf, Others 3. Internal Synthetic Monitoring HP/Mercury SiteScope + BAC, Nagios, Ganglia, Many Others 4. External Synthetic Monitoring Keynote, Gomez, WebMetrics 5. Network Analysis Wireshark, Clearsight, ACE, NetQoS 6. In Depth Metrics Opnet Panorama, Introscope, Quest (DB), many others 7. Load Testing HP/Mercury LoadRunner, Jmeter, ab, many others

39 Virgilio Almeida, UFMG 2009

40 Medições: ganglia.sourceforge.net Virgilio Almeida, UFMG 2009

41 Nível lda Aplicação Metricas (photos processed per minute) (average processing time per photo) (apache requests) (concurrent busy apache procs)

42 Métricas Correlação entre nivel aplicação e nivel sistema total CPU = ~1.12 * # busy apache procs (ymmv)

43 5. Especificar o estudo: Metodologia do Ciclo de Vida de Projetos de Software e Desempenho Service Level Agreements SLAs provide a proven vehicle for not only capturing non-functional requirements but also for monitoring and enforcing them. SLAs are special legal agreements that encapsulate multiple l concerns, and symmetrically fuse the perspective of service supplier and customer.

44 5. Especificação de Requerimentos de Desempenho Especificação deve ser precisa e realista Problemas: Falta de especificação numérica o sistema deve ser eficiente... o sistema deve ser rápido... Métricas difíceis de avaliar Especificação não realista o sistema não deve produzir respostas com erros

45 5. Especificação de Requisitos de Desempenho Como fazer: 1. Escolha um serviço S 2. Escolha uma métrica M 3. Escolha um valor máximo X para a métrica M Opções: 1. média entre valores observados para M para o serviço S deve ser menor que X: SIM e NÃO! (variabilidade) 2. X%% (X grande) dos valores observados devem ser menores do que X: SIM!!! Virgilio Almeida, UFMG 2009

46 5. Acordo de Nível de Serviço (SLA) Exemplos: RTT < 100 ms para conexões dentro dos EUA Sistema deve estar disponível X% do tempo X = 99% 7.2 horas/mês downtime X = 99.9% 9% 43 minutos/mês downtime X = % 26 segundos/mês downtime Exemplos de SLAs de disponibilidade ibilid d (Os 59 ) 5x9 s) AT&T switches: 2hs de downtime em 40 anos Cisco, HP, MS, Sun: garantem % de disponibilidade (5 min /ano downtime) Virgilio Almeida, UFMG 2009

47 5. SLA s Central para Performance 650ms no lado servidor 1.5s experiência do usuário Em 95 th percentil Em situações de pico 0% taxa de erro 47

48 5. Especificando Objetivos de Performance: algumas orientações Especificando SLA (service level l agreement) Definir com os usuários finais a lista de serviços e seus requisitos de qualidade; Alguns critérios para estabelecer SLA: Custo x benefício Natureza da aplicação Índices de desempenho passados (histórico) i Concorrência (ou competição de outros provedores de serviço)

49 SLA: Service Level Agreements

50 ROI: Disponibilidade Custos Downtime (US$/hora) Brokerage operations $ 6,450,000 Credit card authorization Ebay (1 outage 22 hours) Amazon.com Packageshipping services Home shopping channel Catalog sales center Ailine reservation center Clll Cellular service activation On line network fees $2,600,000 $225,000 $180,000 $150,000 $113,000 $90, $89,000 $41,000 $25,000 ATM service fees $14,000 Fonte: InternetWeek 4/3/ Fibre Channel: A Comprehensive Introduction, R. Kembel 2000, p Based on a survey done by Contingency Planning Research

51 6. Projetar experimentos: Carga de Trabalho Carga baseada na lista de serviços do sistema Deve ser representativa do sistema real Caracterização das cargas Cargas sintéticas vs. cargas reais Cargas reais: traces Cargas sintéticas: modelo baseado em distribuições estatísticas É importante definir nível de agregação (classes) Virgilio Almeida, UFMG 2009

52 6. Carga de Trabalho Carga baseada na lista de serviços do sistema Deve ser representativa do sistema real Caracterização das cargas Cargas sintéticas vs. cargas reais Cargas reais: traces Cargas sintéticas: modelo baseado em distribuições estatísticas É importante definir nível de agregação (classes)

53 6. Parâmetros dos experimentos Listarparâmetrosque afetamdesempenho Parâmetros do sistema: software e hardware CPU, memória, disco, controladora, tamanho de buffer (cache), políticas de escalonamento Parâmetros de carga: usuário (imprevisível) Tamanho, tipo e frequência das requisições a serviços Eliminar parâmetros redundantes e/ou normalizar Ex: servidor de vídeo: Taxa de chegada λ, Tamanho do arquivo T (minutos), Impacto no sistema: N = λt

54 Fatores Parâmetrosque vãovariarnovariar estudo Variação = nível Escolha: parâmetros com maior impacto e controlável Começar com poucos parâmetros e níveis e estender a partir da avaliação dos resultados Controlar número de parâmetros e níveis (Por que???) Avaliação inicial do impacto relativo de cada um Refinamentos posteriores

55 Técnica de Avaliação A escolha depende: Escopo (aspectos gerais x detalhes) e estágio Tempoe e recursos disponíveis Precisão desejada Sejaqual for a escolha, duvide... Analise resultados de simulação até que sejam validadospor análises ou experimentos Analise resultados de modelos analíticos até que sejam validados por simulação ou experimentos Analise resultados de experimentos até que sejam validados por modelos analíticos ou simulação É NECESSÁRIO VALIDAR OS RESULTADOS!!!

56 7. Experimentos e Resultados Projeto dos experimentos a partir da definição dos fatores e níveis es Análise de sensibilidade: E se premissas feitas não forem verdadeiras? Análise dos resultados Tratamento estatístico Duração da simulação e/ou experimento suficiente Número de repetições com sementes diferentes para capturar e/ou filtrar variabilidade Importante transformar números em conclusões Apresentação: gráficos significativos Reavaliar decisões tomadas e possivelmente refazer estudo: novo ciclo Virgilio Almeida, UFMG 2009

57 Sugestões para Planejamento de Capacidade Definir goals factíveis e estratégicos Usar técnicas e ferramentas apropriadas: metodologias Estabelecer objetivos realistas para CP Falar a linguagem dos clientes Caracterizar e faça previsão de workload Entender o comportamento não linear dos sistemas Considerar novas tecnolgias de hw/sw Analisar custo (TCO) e SLA Prepare aum time de CP (in house ou consultoria ) Ci Crie um programa formal lde planejamento de capacidade d Venda dos benefícios do planejamento de capacidade da infraestrutura de TI Visão estratégica x política de apagar incêndios Forte envolvimento com usuários e desenvolvedores Melhoria decomunicaçãocomfornecedores 57