Avaliação de Desempenho de Sistemas Discretos

Transcrição

1 Avaliação de Desempenho de Sistemas Discretos Medição Professor: Reinaldo Gomes

2 Medição 2 A técnica de medição se baseia em coletar diretamente do sistema as métricas de desempenho desejadas A maneira como a coleta é realizada pode comprometer o estudo e invalidar a análise A medição não deve influenciar no funcionamento do sistema, ou influenciar o mínimo possível Quanto mais intrusiva for a medição mais alterações ao funcionamento normal do sistema teremos O momento em que o sistema é observado influencia os resultados obtidos

3 Medição 3 Técnica fundamental para a compreensão do comportamento de um sistema Medição: Processo de coletar e armazenar informações para observar determinada(s) característica(s) (métrica) de um objeto Problema: o que, por que, onde, como, quando, quem

4 Medição - Aplicações 4 Monitoramento Tomadas de decisões Auditoria do sistema Compensação Avaliar padrões e volume de requisições Descobrir como é o funcionamento do sistema Identificar locais e causas de gargalos Efetuar contabilidade e cobrança

5 Medição Passiva e Ativa 5 A maneira como a medição será realizada tem impacto direto na operação do sistema Medição Passiva Não injeta requisições no sistema Não interfere (na teoria) no funcionamento Medição Ativa Injeta requisições no sistema (requisições de teste) Altera o funcionamento da rede

6 O que deve ser medido? 6 Diversas características podem ser consideradas de acordo com o sistema que será avaliado Vazão(throughput) Taxa na qual os pedidos são atendido pelo sistema Utilização Fração de tempo em que o sistema se encontra ocupado Tempo de resposta Tempo decorrido entre e o início/conclusão da realização desse serviço Confiabilidade Probabilidade de erros e intervalo entre eles Disponibilidade... Intervalo entre falhas e sua duração

7 Medição 7 Fases de um estudo de medição Instrumentação Apresentação Coleta dos dados Análise

8 Medição 8 Instrumentação Inserção dos instrumentos de medição que serão utilizados para a coleta das informações Instrumentos de medição podem ser hardwares específicos inseridos no sistema para coletar os dados ou softwares desenvolvidos/inseridos no sistema De acordo com o sistema utilizado devemos escolher cuidadosamente o instrumento que será usado e onde ele será inserido Vai influenciar no custo do projeto de medição Se a localização for errada todo o estudo será comprometido

9 Medição 9 Coleta de Dados Medição das métricas desejadas no sistema avaliado Duas técnicas são utilizadas Medição Ativa Envia pedidos de teste para o sistema e mede as informações do mesmo através das respostas obtidas Técnica intrusiva: a maneira como os pedidos são enviados pode influenciar nos resultados Os resultados podem variar consideravelmente de acordo com a utilização que o sistema possui Medição Passiva Captura os dados a medida que eles passam no sistema Normalmente é feita uma "cópia" dos dados que chegam ao sistema para não influenciar o seu funcionamento Pode gerar uma quantidade muito grande de dados para serem analisados

10 Medição 10 Coleta de Dados É necessária a definição da carga de trabalho que será considerada (workload) Conjunto de todas as requisições de serviço submetidas a um sistema durante um período de tempo Capaz de apresentar um comportamento carga de trabalho real e suas funcionalidades mais importantes Comparação justa entre sistemas distintos Carga Real Carga Sintética

11 Medição 11 Coleta de Dados Carga Real Representa a realidade, mas é mais complexo de analisar e não pode ser totalmente controlado/repetido Carga Sintética Criada a partir das informações da carga real Pode ser aplicada/alterada de maneira controlada Fácil de avaliar situações diferentes em sistemas distintos Benchmarks Programas padronizados (especificações detalhadas) utilizados para avaliar sistemas computacionais. Esses programas definem cargas de trabalho que representam as características essenciais de um domínio de aplicação

12 Medição 12 Análise Refinamento dos dados coletados Filtragem, Agregação, Análise dos dados coletados,... Análise de dados obtidos através de medição normalmente irá usar métodos estatísticos Dispersão (variabilidade) Média Correlações Regressão Séries Temporais Análise de frequência...

13 Medição 13 Apresentação É a única fase que lida diretamente com o usuário Apresentação dos dados obtidos para o usuário Identificação de gargalos Diagnóstico do desempenho do sistema Identificação de pontos críticos do sistema Relações de custo/benefício A partir dos resultados obtidos e apresentados podemos sugerir soluções para os problemas encontrados Otimização do sistema

14 Seleção de Carga de Trabalho 14 A carga de trabalho é uma das partes mais importantes de qualquer projeto de avaliação de desempenho Escolha correta da carga de trabalho requer análise Pontos importantes na seleção da carga são: Serviços a serem avaliados Nível de detalhe Representatividade Relação de tempo

15 Seleção de Carga de Trabalho 15 Serviços a serem avaliados As métricas escolhidas devem refletir o desempenho dos serviços prestados ao nível do sistema e não no nível de componente Gerar carga de trabalho para realizar teste de todas as funcionalidades do objeto em análise Nível de detalhe Requisição mais frequente Frequência dos tipos de requisição Sequência das requisições (Time-stamped) Demanda média dos recursos Distribuição das demandas dos recursos,

16 Seleção de Carga de Trabalho 16 Representatividade Taxa de chegada Demandas de recursos Perfil de utilização de recursos Relação de tempo Adequação das workloads as necessidades do sistema Comportamento do usuário e do sistema Monitoramento comportamento do usuário e atualização das cargas de trabalho a partir de medições recentes

17 Plano de Medição 17 Experimentos a serem realizados na avaliação de desempenho devem ser planejados Quantidade de experimentos Depende de precisão, histórico desejado, nível de análise pretendida, fatores e níveis Quantidade de amostras em cada experimento Intervalo de confiança desejado Duração da medição Em geral, deve ser suficiente para se obter dados significativos sobre as métricas desejadas, para que se atinja os resultados do objetivo da análise Horas, dias, semanas, meses,...

18 Plano de Medição 18 Experimentos de medição devem ser distribuídos no tempo O sistema é dinâmico (escala de milisegundos, segundos, minutos) O sistema é sazonal (escala de horas, dias, meses) Deve-se capturar a sazonalidade Em geral: Não é suficiente fazer todos os experimentos de medição num mesmo dia As conclusões podem não ser corretas ou gerais o suficiente Exemplos Mesmo dia em horas diferentes A cada 5 minutos Todas as horas Todas os dias em determinada hora Três vezes ao dia (8h, 12h, 18h)

19 Plano de Medição 19 Parâmetros O que pode ser configurado com valores diferentes durante a avaliação de desempenho e que pode interferir nas métricas Fatores: parâmetros cujos valores são modificado em experimentos diferentes Quantidade de requisições, aplicações utilizadas, provedor usado,... Níveis: Valores que os parâmetros assumem A aplicação pode ser A={Skype, MSN, Yahoo} A capacidade do enlace pode pode ser C={256K, 512K ou 1M} A quantidade de requisições por minuto R={1,10,100,1000,10000}