Avaliação de Desempenho de Sistemas Discretos

Transcrição

1 Referências Avaliação de Desempenho de Sistemas Discretos Parte I: Introdução Professor: Reinaldo Gomes 4 Kleinrock, L. Queueing Systems - Vol. : Theory. John Wiley & Sons, N.Y Papoulis, A. Probability, Random Variables and Stochastic Processes. McGraw-Hill Moura, J. A. B. et al. Redes Locais de Computadores - Protocolos de Alto Nível e Avaliação de Desempenho. MCGraw-Hill, 1986 Banks, J. et al. Discrete-Event System Simulation. Prentice-Hall, Jain, R. The Art of Computer Systems Performance Analysis. Wiley, Avaliação 5 2 ADSD Programa Referências Avaliação Mini testes (8) e dois projetos Turma será organizada em grupos de no máximo 3 alunos para o desenvolvimento dos projetos Média final = 35% mini testes, 30% projeto de medição, 35% relatório do projeto de simulação Cada aluno terá direito a ter a nota de dois minitestes descartadas Os projetos e suas apresentações/relatórios são obrigatórios! Programa 3 Parte I (modelagem) O ciclo de vida de um sistema de computação Modelagem 6 O que é Avaliação de Desempenho? Parte II (técnicas de simulação) Trabalho em grupo Parte III (quantificação do desempenho) Análise operacional (metodologia para AD que você já adota) Validação do simulador Parte IV (ferramentas matemáticas) Probabilidades Cadeias de Markov, Processos de Nascimento e Morte Principais resultados da Teoria das Filas Mais validação do simulador Análise de resultados de simulação Objetivos Necessidades Erros Comuns Parte V (medição) 1

2 Avaliação de Desempenho (AD) Desempenho é um item essencial para qualquer sistema computacional Sistemas lentos são irritantes e podem comprometer as atividades necessárias para o usuário Obter maior desempenho pelo menor preço (otimizar) Sistemas lentos, onde não se sabe o motivo são extremamente comuns Problema na implementação? Instalação? Equipamentos?... Portanto, saber avaliar o desempenho de um sistema computacional é essencial para garantir o seu bom funcionamento Necessidade de AD Exemplo: o acesso à Internet está lento Deve-se aumentar a capacidade do enlace para não prejudicar as atividades da empresa? Ou, existe algum usuário/aplicação que está produzindo congestionamento no sistema de maneira indevida? Como posso identificar quais seriam as opções possíveis e escolher a melhor delas? Objetivos Erros comuns em AD Comparar alternativas Escolher valores ótimos para determinados parâmetros Primeiros passos: selecionar Métricas corretas Ambiente de avaliação correto Técnica correta Não ter objetivos! Objetivos tendenciosos Abordagem não sistemática Métricas de desempenho inadequadas Carga de trabalho não representativa Técnica de avaliação errada Ignorar fatores importantes Necessidade de AD Erros comuns em AD AD é necessária em vários estágios Projeto, fabricação, venda/compra, uso, atualização, etc. Comparar alternativas de projeto e escolher a melhor Comparar diferentes sistemas / fabricantes para obter o melhor desempenho das aplicações Investigar problemas de desempenho e propor soluções Avaliar necessidade de atualização de sistemas já existentes (normalmente custa caro!!) Projeto de experimentos não apropriado Nível de detalhe não apropriado Análise de resultados Analisar resultados sem entender o problema! Não analisar resultados Fazer análises erradas Apresentar evidências como fatos conclusivos Ignorar erros ocorridos e outliers Ignorar variabilidade nas amostras (Medidas de dispersão) Apresentação inadequada dos resultados 2

3 Simulação 13 Técnicas para Avaliação de Desempenho Modelagem analítica Simulação Medição Técnica para avaliação de sistemas: Prever desempenho Comparar alternativas Consiste na construção e execução de programas Simulação permite construir modelos mais complexos e representativos do mundo real Problemas: Extrapolações indevidas Pequenas variações no modelo podem produzir resultados contraditórios Pode esconder bugs nos programas Seleção de Técnicas Técnicas utilizadas para AD Modelagem analítica Simulação Medição Critérios Estágio do ciclo de vida da rede Tempo disponível para avaliação Disponibilidade de ferramentas Nível de precisão exigido Conhecimento da técnica Simulação Exemplo Modelagem analítica Possibilita explorar um modelo sobre o qual se tem controle Modelos matemáticos simplificados geram resultados rapidamente Técnica barata: lápis, papel e cérebro Muitos pressupostos e abstrações são feitas Pode-se perder o comportamento original Exemplo: sistemas de filas Simulação Exemplo Minha proposta 6 Proposta 6 concorrente Minha proposta 0 Minha 2 proposta Proposta concorrente Proposta 0 concorrente

4 Medição Realização de testes reais em um sistema Técnica que permite a compreensão do comportamento do sistema avaliado O que, por que, onde, como, quando, quem,... Limitações de medição e experimentação: Somente exploram sistemas e situações atuais Nem sempre é possível ter acesso ao sistema É uma técnica que pode se tornar cara (equipamentos específicos) 22 Como realizar a Avaliação de Desempenho de Sistemas? O que são sistemas? O que são modelos? Etapas da construção de um modelo Classificação dos modelos Medição Exemplo Como avaliar o desempenho de sistemas? Analisar o sistema projetado através de uma representação abstrata que represente o comportamento desse sistema Construir e analisar um modelo do sistema O detalhamento do modelo vai depender do objetivo da avaliação Quais são as características do sistema que eu desejo estudar? Como garantir que meu modelo representa a realidade? Medição O que são Sistemas? Exemplo Conjunto de partes organizadas funcionalmente Entidade: parte de um sistema Atributo: propriedade ou característica de um sistema ou de uma Sub-Sistema: parte de um sistema que pode ser estudada como um sistema independente Atividade: qualquer processo que efetue mudanças no sistema Ambiente ou Meio de um Sistema: é onde o sistema está inserido. Mudanças no ambiente podem afetar o sistema Estado do Sistema: a descrição de todas as s, atributos e atividades num dado ponto do tempo 4

5 O que são Sistemas? Exemplo: Sistema Redes de Computadores Entidades: pacotes, canais de comunicação, comutadores, estações de trabalho... Atributos: Sistema: rede de longa distância (WAN) Pacotes: dados ou TTL Canais: capacidade de transmissão Atividades Transmitir pacotes Comutar pacotes O que são Modelos? Uma representação (abstração) de um sistema Pode ser uma representação formal ou empírica Usualmente é uma combinação de ambos Modelagem Processo de extrair as características mais importantes de um sistema Modelar não é fácil! É uma arte, mais que uma disciplina científica (ES, BD, Circuitos, etc.) O que são Sistemas? O que são Modelos? Sistema RC Sub-sistema Atributo: WAN H H Modelagem requer: Conhecimento completo do sistema, Intuição Habilidade Experiência Somente as características mais importantes devem ser representadas no modelo Essas características dependem de vários fatores Objetivos, tipo do sistema, técnica me avaliação a ser usada, momento do sistema, etc. Atividades: comutar/ transmitir pacotes O que são Sistemas? O que são Modelos? Sistema RLC Sub-sistema Parâmetros Entradas Correspondência Entradas Atributo: CSMA/CD H Sistema Modelo Atividade: transmitir pacotes Saídas Inferência Saídas 5

6 Etapas da construção de um modelo Estabelecer a estrutura do modelo Identificar/determinar os limites operacionais do sistema (com o seu ambiente) Identificar as s, os atributos e as atividades do sistema Definir os parâmetros de entrada e de saída do sistema Fornecer valores aos atributos e definir as interações existentes entre suas s Classificação dos Modelos Discreto Os eventos acontecem em momentos esparsos da execução do sistema, portanto seu estado se mantém inalterado durante alguns períodos Contínuo Os eventos acontecem durante toda a execução do sistema, fazendo que seu estado se encontre em constante mudança Validar o modelo Classificação dos Modelos Determinístico Cada entrada válida tem um efeito preciso e determinado no estado do modelo Estocástico Uma entrada válida pode causar várias mudanças no estado do modelo devido aos processos randômicos existentes Quando observações suficientes são feitas, é possível encontrar a distribuição estatísticas desses processos 35 Exemplos de métricas Classificação dos Modelos A: Atividade E: Estado A A1 E1 Escolha específica para estudo, a partir da lista de serviços e possíveis saídas E0 E1 E0 A2 E2 Execução correta: desempenho, escalabilidade (a) Determinístico (b) Estocástico Estático: considera o sistema em um momento específico Dinâmico: considera o modelo em um período de tempo, ou seja, como ele é modificado durante o tempo Execução incorreta: confiabilidade Não execução: disponibilidade 6

7 Tempo de Resposta Intervalo de tempo entre a requisição do usuário e a respostado sistema Vazão Pode conter vários componentes, com influência de vários subsistemas e da carga durante execução Exemplos de Métricas relacionada à vazão Ex: busca de produto em site de vendas Vazão Ou taxa de processamento, taxa de serviço: Quantidade de serviço executado por unidade de tempo Capacidade nominal: capacidade especificada pelo fabricante Ethernet de 100 Mbps Disco com 40Mbps Capacidade útil: vazão máxima alcançável Ethernet 100: Mbps Disponibilidade Fração de tempo que um sistema está disponível (ativo e acessível) Indisponibilidade do sistema pode ser causada por: Falhas: deve-se detectar, diagnosticar e recuperar rapidamente Sobrecarga: deve-se limitar requisições para garantir qualidade de serviço para os serviços admitidos (controle de admissão) 7

8 Escalabilidade O desempenho do sistema não é degradado significantemente a medida que a carga de trabalho submetida aumenta Outras métricas que podem ser consideradas Eficiência: capacidade útil / capacidade nominal Utilização: fração de tempo que recurso está ocupado servindo requisições Confiabilidade(reliability): probabilidade de um sistema funcionar corretamente e continuamente por um certo período de tempo Latência: tempo entre o início de um evento e o momento em que seus efeitos tornam-se perceptíveis Perda de pacotes: fração de pacotes perdidos... 8