Avaliação de Desempenho de Sistemas Discretos

Transcrição

1 Avaliação de Desempenho de Sistemas Discretos Parte IX: Professor: Reinaldo Gomes 2 A técnica de medição se baseia em coletar diretamente do sistema as métricas de desempenho desejadas A maneira como a coleta é realizada pode comprometer o estudo e invalidar a análise A medição não deve influenciar no funcionamento do sistema, ou influenciar o mínimo possível Quanto mais intrusiva for a medição mais alterações ao funcionamento normal do sistema teremos 1

2 3 O momento em que o sistema é observado influencia os resultados obtidos É necessária a definição da carga de trabalho que será considerada (workload) Carga Real Carga Sintética Criada a partir das informações da carga real Pode ser aplicada/alterada repeditadamente de maneira controlada Fácil de avaliar situações diferentes no sistema Normalmente faz uso de benchmarks 4 Técnica fundamental para a compreensão do comportamento de um sistema : Processo de coletar e armazenar informações para observar determinada(s) característica(s) (métrica) de um objeto Problema: o que, por que, onde, como, quando, quem 2

3 - Aplicações 5 Monitoramento Tomadas de decisões Auditoria do sistema Compensação Avaliar padrões e volume de requisições Descobrir como é o funcionamento do sistema Identificar locais e causas de gargalos Efetuar contabilidade e cobrança Passiva e Ativa 6 A maneira como a medição será realizada tem impacto direto na operação da rede Passiva Não injeta requisições no sistema Não interfere (na teoria) no funcionamento Ativa Injeta requisições no sistema (requisições de teste) Altera o funcionamento da rede 3

4 O que deve ser medido? 7 Diversas características podem ser consideradas de acordo com o sistema que será avaliado Vazão(throughput) Taxa na qual os pedidos são atendido pelo sistema Utilização Fração de tempo em que o sistema se encontra ocupado Tempo de resposta Tempo decorrido entre e o início/conclusão da realização desse serviço Confiabilidade Probabilidade de erros e intervalo entre eles Disponibilidade... Intervalo entre falhas e sua duração 8 Fases de um estudo de medição Instrumentação Apresentação Coleta dos dados Análise 4

5 9 Instrumentação Inserção dos instrumentos de medição que serão utilizados para a coleta das informações Instrumentos de medição podem ser hardwares específicos inseridos no sistema para coletar os dados ou softwares desenvolvidos/inseridos no sistema De acordo com o sistema utilizado devemos escolher cuidadosamente o instrumento que será usado e onde ele será inserido Vai influenciar no custo do projeto de medição Se a localização for errada todo o estudo será comprometido 10 Coleta de Dados das métricas desejadas no sistema avaliado Duas técnicas são utilizadas Ativa Envia pedidos de teste para o sistema e mede as informações do mesmo através das respostas obtidas Técnica intrusiva: a maneira como os pedidos são enviados pode influenciar nos resultados Os resultados podem variar consideravelmente de acordo com a utilização que o sistema possui Passiva Captura os dados a medida que eles passam no sistema Normalmente é feita uma "cópia" dos dados que chegam ao sistema para não influenciar o seu funcionamento Pode gerar uma quantidade muito grande de dados para serem analisados 5

6 11 Análise Refinamento dos dados coletados Filtragem, Agregação, Análise dos dados coletados,... Análise de dados obtidos através de medição normalmente irá usar métodos estatísticos Dispersão (variabilidade) Média Correlações Regressão Séries Temporais Análise de frequência Apresentação É a única fase que lida diretamente com o usuário Apresentação dos dados obtidos para o usuário Identificação de gargalos Diagnóstico do desempenho do sistema Identificação de pontos críticos do sistema Relações de custo/benefício A partir dos resultados obtidos e apresentados podemos sugerir soluções para os problemas encontrados Otimização do sistema 6

7 Projeto de 13 Experimentos a serem realizados na avaliação de desempenho devem ser planejados Quantidade de experimentos Depende de precisão, histórico desejado, nível de análise pretendida, fatores e níveis Quantidade de amostras em cada experimento Intervalo de confiança desejado Duração da medição Em geral, deve ser suficiente para se obter dados significativos sobre as métricas desejadas, para que se atinja os resultados do objetivo da análise Horas, dias, semanas, meses,... Projeto de 14 Experimentos de medição devem ser distribuídos no tempo O sistema é dinâmico (escala de milisegundos, segundos, minutos) O sistema é sazonal (escala de horas, dias, meses) Deve-se capturar a sazonalidade Em geral: Não é suficiente fazer todos os experimentos de medição num mesmo dia As conclusões podem não ser corretas ou gerais o suficiente Exemplos Mesmo dia em horas diferentes A cada 5 minutos Todas as horas Todas os dias em determinada hora Três vezes ao dia (8h, 12h, 18h) 7

8 Projeto de 15 Parâmetros O que pode ser configurado com valores diferentes durante a avaliação de desempenho e que pode interferir nas métricas Fatores: parâmetros cujos valores são modificado em experimentos diferentes Quantidade de requisições, aplicações utilizadas, provedor usado,... Níveis: Valores que os parâmetros assumem A aplicação pode ser A={Skype, MSN, Yahoo} A capacidade do enlace pode pode ser C={256K, 512K ou 1M} A quantidade de requisições por minuto R={1,10,100,1000,10000} Miniteste 8

9 Miniteste - 17 Realizar o plano de medição de codificadores de vídeo Devem ser considerados pelo menos quatro fatores a partir dos diversos parâmetros, como por exemplo: Codificadores (obrigatório), Bitrate, Resolução, Duração do vídeo, etc. Definir os níveis para cada um dos fatores que serão considerados Definir as métricas serão consideradas na avaliação. Entrega: 14/03/2014 9