Avaliação de Desempenho de Sistemas Introdução a Avaliação de Desempenho de Sistemas Prof. Othon M. N. Batista othonb@yahoo.com
Roteiro Definição de Sistema Exemplo de Sistema: Agência Bancária Questões Sobre o Sistema de Agência Bancária Definição de Desempenho Definição de Avaliação de Desempenho 2
Roteiro Métricas de Desempenho de um Carro Métricas de Desempenho de um Agência Bancária Métricas de Desempenho de um Sistema Computacional Classificação das Métricas de Desempenho Técnicas de Avaliação de Desempenho Medição Métodos Analíticos Simulação Modelagem 3
Definição de Sistema Sistema é um conjunto de objetos, como pessoas ou máquinas, por exemplo, que atuam e interagem com a intenção de alcançar um objetivo ou um propósito lógico (Taylor, 1970) 4
Exemplo de Sistema: Agência Bancária Alguns objetos do sistema: Caixa computador; operador do caixa; clientes; Objetivo desse sistema é o atendimento ao cliente: saques, depósitos; transferências, extratos; pagamento de contas; O que seria uma boa agência bancária? Rápido atendimento; filas pequena; muitos caixas. 5
Exemplo de Sistema: Agência Bancária Caixa Grande quantidade de caixas: filas pequenas rápido atendimento Grande quantidade de caixas é caro!!! Caixa O mais interessante é maximizar o custo benefício Para isso é necessário fazer um dimensionamento do nº ideal de operadores de caixa 6
Questões Sobre o Sistema de Agência Bancária Caixa 1. Quantos caixas são necessários para garantir um tempo de espera máximo de 15 minutos? O que pode influenciar essa medida de desempenho? Caixa nível de satisfação; tipo de serviço requisitado; quantidade de clientes; ganhos por produtividade; experiência. Assumindo uma determinada taxa de chegada de clientes, quantos clientes em média são atendidos por hora em uma agência bancária com somente 3 caixas no modelo de fila única? 7
Definição de Desempenho Desempenho conforme dois dicionários: Aurélio: Conjunto de características ou de possibilidades de atuação de uma aeronave, tais como velocidade de cruzeiro, velocidade de pouso, capacidade de carga, autonomia de vôo, etc. Houaiss: Desempenho: Maneira como atua ou se comporta alguém ou algo, avaliada em termos de eficiência, de rendimento. Performance: conjunto de índices aferidos experimentalmente que define o alcance ideal de algo; desempenho ótimo 8
Definição de Avaliação de Desempenho Avaliação de desempenho de sistemas é o estudo de sistemas com o objetivo de: entender melhor o comportamento do sistema; Quantos clientes são atendidos por hora? dimensionar, otimizar os recursos, maximizar custo benefício; Quantos caixas são necessário para um bom* atendimento dos clientes? comparar técnicas de gerenciamento de recursos. Qual o melhor horário e esquema de almoço para os operadores de caixa? É mais eficiente ter um nº maior de caixas pela manhã ou pela tarde? 9
Métricas de desempenho de um Carro Velocidade máxima Aceleração (tempo para ir de 0 a 100 km/h) Espaço de frenagem a uma dada velocidade X 10
Métricas de Desempenho de um Agência Bancária Taxa de atendimento de clientes Taxa em que os clientes são atendidos (servidos) pelos caixas do banco. Utilização Fração do tempo em que o caixa permanece ocupado atendendo os clientes do banco Tempo de resposta Tempo decorrido entre o momento que o cliente entra na fila do caixa até o momento que ele termina de ser atendido. 11
Métricas de Desempenho de um Agência Bancária Taxa de atendimento de clientes Caixa Quantos clientes um caixa atende por hora? O que pode influenciar essa medida de desempenho? Caixa nível de satisfação; tipo de serviço requisitado; quantidade de clientes; ganhos por produtividade; experiência. Quantos clientes todos os caixas juntos atendem por hora? 12
Métricas de Desempenho de um Agência Bancária Tempo de resposta Qual o intervalo de tempo que um cliente precisa para ser atendido? No caso da figura são 35 minutos. Saída 14:45 Caixa O que pode influenciar essa medida de desempenho? Quantidade de clientes que desejam atendimento Quantidade de caixas do banco Chegada 14:10 13
Métricas de Desempenho de um Sistema Computacional Vazão ou Throughput Taxa na qual os pedidos são atendidos (servidos) pelo sistema. Taxa de Utilização Fração do tempo em que o recurso permanece ocupado atendendo os pedidos dos usuários Tempo de Resposta tempo decorrido entre o pedido e o início/conclusão da realização do serviço. 14
Classificação das Métricas de Desempenho requisição Velocidade corretamente tempo de resposta, vazão e taxa de utilização Sistema atendida não incorretamente Confiabilidade probabilidade de erro intervalo entre erros atendida Disponibilidade duração da falha intervalo entre falhas 15
Técnicas de Avaliação de Desempenho Tradicionalmente, três são as técnicas de avaliação de desempenho: medição; modelagem analítica; simulação. 16
Medição Para efetuarmos medições (como benchmarks) é preciso termos à disposição ao menos um protótipo do sistema. Normalmente é difícil comparar alternativas. Nem sempre um instrumento de medição é simples. 17
Modelagem Analítica Teoria das filas. Filas associadas a recursos. Caracterização: processo de chegada; processo de atendimento; quantidade de servidores; tamanho máximo da fila; política de atendimento da fila. 18
Modelagem Analítica Técnica aproximada. Aproxima a realidade por um modelo analítico. Se o modelo for simples e a aproximação boa, é possível avaliar facilmente compromissos entre alternativas 19
Simulação Simulação de eventos discretos. Cada evento (ex.: chegada de usuário, término de serviço, etc.) é tratado quando do instante de sua ocorrência. Em geral, é possível construir um modelo muito mais próximo da realidade do que com a teoria das filas. 20
Critérios para Seleção da Técnica de Avaliação de Desempenho Critério Modelagem Simulação Medição analítica Estágio Qualquer Qualquer Protótipo Tempo Pouco Médio Variado necessário Ferramentas Analistas Linguagens de Instrumentação Programação Precisão Pouca Moderada Variada Custo Baixo Médio Alto 21
Técnicas para Avaliação de Desempenho de Sistemas Medição Realização de medidas utilizando um sistema real ou protótipo Normalmente é difícil comparar alternativas Modelagem Analítica Uso de modelos matemáticos que correspondam ao sistema real É uma técnica aproximada Algumas vezes muito limitada. Simulação Uso de modelos implementados em linguagens de programação Simula o comportamento de um sistema real Em geral, é possível construir um modelo muito próximo da realidade. 22
Modelo do Sistema Entradas Saídas 23
Modelo do Sistema A modelagem de um sistema é a representação, geralmente simplificada, de um sistema (real) através de relações lógicas e matemáticas com o objetivo de estudar e entender o comportamento desse sistema. A modelagem pressupõe um processo de criação e descrição, envolvendo um determinado grau de abstração que, na maioria das vezes, acarreta numa série de simplificações sobre a organização e o funcionamento do sistema 24
Modelo do Sistema Há a necessidade de conhecer bem o sistema que se deseja modelar. O modelo deve ser definido conforme as medidas de desempenho desejadas. Por exemplo: quantos são os caixas para o tempo de atendimento médio ser de 15min? 25
Modelo do Sistema Problema A modelagem perfeita de um sistema implica na caracterização de um sistema a partir de um número muito grande (ilimitado) de variáveis Solução Definir quais as medidas de desempenho de interesse Selecionar um conjunto limitado de variáveis de caracterização do sistema Por exemplo: para estudar desempenho (nº de clientes atendidos por hora) de uma agência bancária, o Nº de aparelhos de ar condicionado não é necessariamente relevante 26
Cosiderações Tópicos estudados: definições de sistema, desempenho e avaliação de desempenho; exemplos de sistemas e métricas de desempenho; técnicas de avaliação de desempenho: medição, métodos analíticos e simulação; modelagem. 27