Material baseado nos slides de: Marcos José Santana Regina Helena Carlucci Santana

Transcrição

1 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação SSC643 Avaliaçãode Desempenhode Sistemas Computacionais Aula 7 Sarita Mazzini Bruschi Material baseado nos slides de: Marcos José Santana Regina Helena Carlucci Santana

2 Técnicas de Avaliação de Desempenho Aferição Modelagem Protótipos Benchmarks Coleta de Dados Rede de Filas Redes de Petri Statecharts Simulação Analítica Sistema Modelo Solução Métodos Analíticos Simulação 2

3 Soluções para o Modelo Solução Analítica Modelos analíticos descrevem a operação do sistema e sua carga em termos completamente abstratos. 3

4 Soluções para o Modelo Solução Analítica Estimativas de desempenho são obtidas através da resolução analítica ou numérica do modelo matemático Relação funcional entre parâmetros do sistema e critérios de desempenho escolhidos Rápido Resultados exatos Restrição - Simplificações Modelo baseado em redes de filas 4

5 Solução Analítica Métodos de Solução Analítica Modelo Aberto Modelo Fechado Análise do Valor Médio (AVM) Equação Global de Equilíbrio Redes BCMP Decomposição Hierárquica Limites de Desempenho Rede de Jackson Processo Nascimento-e-Morte Análise do Valor Médio (AVM) Equação Global de Equilíbrio Redes BCMP Decomposição Hierárquica Limites de Desempenho Método de Gordon e Newell 5

6 Soluções para o Modelo Solução por Simulação Modelos de simulação são programas de computador nos quais a operação de um sistema e sua carga são descritas utilizando-se algoritmos apropriados. 6

7 Soluções para o Modelo Solução por simulação Estimativas de desempenho são obtidas através da execução de um programa que simula o modelo Resultados estocásticos Necessidade de tratamento estatístico Tempo para obtenção dos resultados Flexível 7

8 Soluções para o Modelo 8 Uso preferencial das técnicas de modelagem

9 Soluções para o Modelo Solução por Simulação 9 Uso preferencial das técnicas de modelagem

10 Solução por Simulação Simulação -o que é? construção de um programa computacional que implemente um modelo; o modelo é suposto ser uma representação válida do sistema em estudo. 10

11 Simulação -Utilização Criação de ambientes virtuais Avaliação de desempenho de sistemas complexos Ambientes Virtuais Decisões humanas fazem parte do processo Simulações Analíticas Decisões humanas não fazem parte do processo Mundo real simulações militares Jogos Simulação Aumenta o grau de abstração e velocidade 11 Aumenta o grau de realismo e custo

12 Ambientes Virtuais Distribuídos Distributed Interactive Simulation (DIS) Versão 1.0 padrão IEEE 1278 Padrão de protocolo de simulação que garante a consistência entre diferentes simulações e permite simuladores heterogêneos serem conectados SIMNET (SIMulator NETworking) DARPA (Defense Advanced Research Projects Agency) HLA (High Level Architecture) reuso e interoperabilidade 12

13 Simulação -Ambientes Virtuais Análise Comportamental Jogos Simuladores 13

14 Simulação -Avaliação de Desempenho Exemplo: Simulação de um ambiente que faz escalonamento de processos considerando a potência computacional e ociosidade das máquinas Pode-se avaliar: Adequabilidade de um índice de carga Utilização de diferentes arquiteturas Utilização de diferentes políticas de escalonamento 14

15 Processador Disco Máquina 1 Rede Escalonador Processador Disco Máquina 2 Rede... Processador Disco Rede Máquina n 15

16 Técnicas de Simulação Objetivo Tempo Interação humana Precisão Simulação Analítica Análise quantitativa de sistemas complexos O mais rápido possível Ambientes Virtuais Criação realística ou representação para diversão Tempo Real Observador externo Integral para controlar os objetos Resultados Sensível a precisão estatísticamente humana corretos 16

17 Tipos de Simulação Discreta X Contínua Discreta -variáveis dependentes variam discretamente em pontos específicos do tempo simulado (tempo de evento) Contínua -variáveis dependentes podem variar continuamente ao longo do tempo simulado Variável Dependente Variável Dependente Tempo Tempo de Evento Tempo Sistemas Computacionais 17 Simulação Discreta

18 Tipos de Simulação Processos X Eventos X Atividade 18

19 Tipos de Simulação Simulação Orientada a Evento Simples de ser implementada Modelos complexos -> representação complexa Simulação orientada a Processos Ambiente de simulação complexo Maior clareza no programa Simulação orientada a Atividades Difícil de ser implementada 19

20 Tipos de Simulação Tipos de Dados de Entrada 1. Estocásticos Dados Probabilísticos Amostragem baseada em Distribuições que modelam os dados 2. Determinísticos Conjunto fixo de dados Ex. Traces 20

21 Tipos de Simulação Simulações Estocásticas Dados de entrada e/ou parâmetros do modelo são probabilísticos Custos do Planejamento Estatístico warm-up usar corretamente os números aleatórios cálculo de intervalos de confiança Etc. 21

22 Fases de uma Simulação 1. Estudo do sistema e definição dos objetivos; 2. Construção do modelo; 3. Determinação dos dados de entrada e saída; 4. Tradução do modelo; 5. Verificação do programa de simulação; 6. Validação do programa (modelo) de simulação; 7. Experimentação; 8. Análise dos resultados; 9. Documentação. 22

23 Solução por Simulação Programa Simulação Problema Modelo 23 validação operacional validação do modelo análise e modelamento experimentação Implementação do programa Verificação do modelo computacional

24 Fases de uma Simulação 1. estudo do sistema e definição dos objetivos; 2. construção do modelo; 3. determinação dos dados de entrada e saída; 4. tradução do modelo; 5. verificação do programa de simulação; 6. validação do modelo de simulação; 7. experimentação; 8. análise dos resultados; 9. documentação. 24

25 Desenvolvimento de simulação Conhecimentos necessários para o desenvolvimento de uma simulação seqüencial Modelagem Programação / Linguagens para simulação Probabilidade e estatística para análise dos resultados 25

26 Tradução do modelo Software para simulação Linguagens de programação de uso geral Construção do ambiente e do programa Linguagens de simulação Aprendizado de novas linguagens Oferece suporte para a implementação da simulação Exemplos SIMSCRIPT (eventos) GPSS, SIMULA (processos) 26

27 Tradução do modelo Software para simulação Extensões funcionais Uso de linguagens conhecidas Implementa o ambiente Disponibiliza os recursos da linguagem hospederia Exemplos: SMPL, SIMPACK (eventos) Pacotes de uso específico Voltados a um ou mais domínios de aplicação Pouco flexíveis 27

28 Exemplos de Pacotes de Simulação Software ARENA OPNET Modeler QueGAUSS PROVISA WorkFlow Analyzer Proprietário Systems Modeling Corporation MIL 3, Inc. Aptech Systems, Inc. AT&T Meta Software Corp. Aplicações Típicas Plataformas Ferramenta de Simulação geral, molda- -se a muitas aplicações diferentes. PC s (DOS) e Estações (UNIX) Modelagem de protocolos de comunicação de redes. DEC-Alpha, HP-UX, IBM, SUN Sistemas de filas. IBM PC, SUN, IBM RISC. Manufatur a com capacidade finita de escalonamento IBM PC, SUN, HP. Melhorias de processos de negócios IBM, MAC, SUN. Preço (U$) Versão Padrão Contato com o vendedor Contato com o vendedor

29 Tradução do modelo Software para simulação Ambientes para Simulação Automáticos Facilitam a elaboração de programas de simulação Pouco conhecimento de simulação ou programação Usuário deve conhecer as técnicas de modelagem Geram o programa automaticamente Oferecem ferramentas que orientam o usuário na descrição, coleta de dados e análise de resultados 29

30 Desenvolvimento do Programa Depende da Abordagem escolhida Exemplo Considere o atendimento a clientes, por caixas de um banco. Ao chegar ao banco, o cliente: 1. Entra na fila e espera sua vez de ser atendido 2. Após terminar suas operações no caixa, o cliente deixa a agência bancária. 30

31 Desenvolvimento do Programa Depende da Abordagem escolhida 1. Processos Desenvolvimento de um processo para cada recurso Ativação de todos os processos concorrentemente Problema: Sincronismo entre os processos 31

32 Simulação Orientada a Processo Processo Cliente Se o caixa está desocupado então Torne o estado do caixa ocupado O cliente ocupa o caixa pelo tempo de atendimento (escalone processo para tempo_corrente + tempo_atendimento) Torne o estado do caixa desocupado O cliente parte do sistema Senão O cliente entra na fila de espera 32

33 Simulação Orientada a Processo Processo Chegada de Clientes Indique chegada de novo cliente Escalone processo para tempo_corrente + tempo_entre_chegadas Programa de simulação executa concorrentemente vários processos Cliente: Chegam segundo uma distribuição de probabilidade, Requisitam serviços, Deixam o sistema 33

34 Desenvolvimento do Programa Depende da Abordagem escolhida 2. Atividade Loop verificando a cada pulso de clockse existe atividade a ser executada Sobrecarga de processamento muito alta Inviável por problemas de desempenho 34

35 Simulação Orientada a Atividade Atividades: chegada de um cliente término de atendimento 35

36 Simulação Orientada a Atividade Início tempo de simulação = 1 Enquanto não fim de simulação faça Verificar o conjunto de atividades Se chegada de cliente então Processa chegada Se término de atendimento então Processa término tempo de simulação =tempo de simulação + 1 Imprima Estatísticas 36

37 Desenvolvimento do Programa Depende da Abordagem escolhida 3. Eventos Define-se uma lista de eventos futuros (LEF) Todos os eventos a serem executados devem estar nessa lista em ordem de time stamp Dentro de um loop, o próximo evento é retirado da lista, executado e são colocados na lista eventos ativados pela execução 37

38 Simulação Orientada a Eventos Mudanças de estado no sistema ocorrem devido aos seguintes eventos: Um cliente chega para pagar suas contas Um cliente já foi atendido por um caixa e parte do sistema. 38

39 Simulação Orientada a Eventos Evento Chegada de Cliente Escalone a próxima chegada Se o caixa está ocupado então Aumente o número de clientes na fila Senão Torne o estado do caixa ocupado Escalone o fim de atendimento para tempo_corrente +tempo_atendimento 39

40 Simulação Orientada a Eventos Evento Término de Atendimento Se existe algum cliente na fila então Retire um cliente da fila para atendimento Escalone o fim de atendimento para tempo_corrente +tempo_atendimento Senão Torne o estado do caixa desocupado 40

41 Simulação Orientada a Eventos Escalone a primeira chegada Selecione o primeiro evento Avance o tempo de simulação para o tempo de ocorrência do evento Se final de simulação então Imprima estatísticas Senão Se evento = Chegada de Cliente então Trata chegada de Cliente Senão Trata término de atendimento 41

42 Desenvolvimento do Programa Depende da Abordagem escolhida Abordagem mais utilizada para simulação de sistemas computacionais: 1. Eventos Implementação mais fácil 2. Processos Sistemas complexos geram programas mais claros 42

43 Simulação -Exemplo Controle de tráfego aéreo Simulação orientada a eventos: chegada do avião escalona pouso escalona partida 43

44 Simulação -Exemplo chegada schedules 8:00 partida pouso schedules 9:15 8:05 chegada 9:30 Evento processado Evento corrente Evento não processado Tempo da simulação Eventos não processados são armazenados em uma lista de eventos futuros(lef) Eventos são processados seguindo a ordem de time stamp 44

45 Simulação -Exemplo Modelodo sistema físico Aplicação variáveis de estado código modelando o comportamento do sistema entrada e saída (interface com o usuário) Independe da aplicação Chamadas para escalonamento dos eventos Simulação Gerencia a lista de eventos Avança o tempo da simulação Chamadas para gerenciamento dos eventos 45

46 Simulação -Exemplo Variáveis de estado Procedimentos para gerenciamento dos eventos Integer: NoAr; Integer: NaTerra; Evento Chegada { } Evento Pouso { } Evento Partida { } Aplicação Simulação Laço de processamento dos eventos Agora = 8:45 Lista de Eventos Futuros (LEF) 9:00 10:10 9:16 Enquanto (simulação não é encerrada) E = evento com menor time stamp na LEF Retire E da LEF Agora = time stamp de E chamada ao manipulador do procedimento 46

47 Simulação -Exemplo Fila M/M/1 Eventos: 1. Chegada 2. Início atendimento 3. Final do atendimento Programa em SMPL Chegada dos Processos Fila de Espera de Processos Centro de Serviço Processador Partida dos Processos 47

48 /* */ #include <dir.h> #include <stdio.h> #include <conio.h> #include "smpl.h" #include "rand.h" main() { /* definicoes */ float Te = 10000; int Event = 1, Customer = 1; real Ta1 = 10, Ts1 = 10; int Server1; FILE *p, *saida; saida = fopen( saida.out","w"); if ((p = sendto(saida)) == NULL) printf("erro na saida\n"); /* prepara o sistema de simulacao e da nome ao modelo */ smpl(0," Exemplo M/M/1"); /* cria e da nome as facilidades */ Server1 = facility("servidor1",1); /* escalona a chegada do primeiro cliente */ schedule(1,0, Customer); 48

49 while ( (time() < Te) ) { cause(&event,&customer); switch(event) { case 1: schedule(2,0.0,customer); schedule(1,expntl(ta1),customer); break; case 2: if (request(server1,customer,0) == 0) schedule(3,expntl(ts1),customer); break; case 3: release(server1, Customer); break; } } /* gera o relatorio da simulacao */ report(); fclose(saida); } /* */ 49

50 Exemplo de Simulação 50

51 Exemplo de Simulação 51

52 Exemplo de Simulação 52

53 Exemplo de Simulação 53

54 Fases de uma Simulação 1. estudo do sistema e definição dos objetivos; 2. construção do modelo; 3. determinação dos dados de entrada e saída; 4. tradução do modelo; 5. verificação do programa de simulação; 6. validação do modelo de simulação; 7. experimentação; 8. análise dos resultados; 9. documentação. 54

55 Validação de uma Simulação Uma das fases mais difíceis Nunca pode-se dizer que um modelo é totalmente válido Válido para condições particulares Obtêm-se uma confiança no modelo desenvolvido para este conjunto de condições 55

56 Verificação e validação Validação: validação operacional experimentação Programa Simulação Problema Implementação do programa garante que as suposições feitas para delinear o modelo são válidas Verificação do modelo computacional: Verificação do modelo computacional análise e modelamento Modelo o programa deve representar todas as características do modelo de uma forma correta validação do modelo 56

57 Fases da Validação Validade operacional: verifica se a saída do programa de simulação tem a precisão necessária para a aplicação e nos domínios desejados Validação dos dados: deve-se assegurar que os dados necessários para a construção do modelo, sua avaliação e testes são precisos Aquisição de dados apropriada validação operacional experimentação Programa Simulação Problema Implementação do programa Verificação do modelo computacional análise e modelamento validação do modelo Modelo Análise cuidadosa 57

58 Técnicas para Verificação e Validação Comparação com outros modelos Resultados da simulação sendo validados são comparados com resultados de outras simulações já validadas. Teste de degeneração Partes do modelo são retiradas ou os parâmetros de entrada são selecionados apropriadamente. Ex.: Tamanho da fila aumenta quando o tempo entre chegadas diminui 58

59 Técnicas para Verificação e Validação Teste de condições extremas As saídas da simulação devem ser compatíveis com condições extrema Ex.: Se número de clientes é zero -> tempo de utilização e fila = 0 Validade aparente Pessoas que têm um bom conhecimento do sistema sendo simulado analisam os resultados. Ex.: verifica se a relação entre entrada e saída são coerentes 59

60 Técnicas para Verificação e Validação Valores fixos Valores fixos permitem a comparação dos resultados da simulação com resultados calculados à mão Validação através de dados existentes Se dados sobre o sistema existem, parte deste dados pode ser utilizados na construção do sistema e parte para a validação 60

61 Técnicas para Verificação e Validação Validação interna A simulação é executada várias vezes. Se resultados variam muito -> desconfiança (falta de consistência) Gráficos da operação O comportamento do modelo é mostrado conforme o tempo passa. Consistência pode ser verificada a cada passo 61

62 Técnicas para Verificação e Validação Teste de comparação Pessoas que conhecem bem a operação do sistema simulado são questionadas qual é a saída real e qual é a saída do modelo. Variabilidade de parâmetros Mudanças equivalentes no modelo e no sistema real devem predizer diferenças no resultados equivalentes Precisão Resultados obtidos na simulação e no sistema real são comparados 62

63 Fases de uma Simulação 1. estudo do sistema e definição dos objetivos; 2. construção do modelo; 3. determinação dos dados de entrada e saída; 4. tradução do modelo; 5. verificação do programa de simulação; 6. validação do modelo de simulação; 7. experimentação; 8. análise dos resultados; 9. documentação. Itens já vistos nas primeiras aulas 63

64 Concluindo... Solução por Simulação Versatilidade (aplicada em diferentes situações) Flexibilidade (adaptável a novas situações) Baixo custo (com um mesmo programa pode-se simular diferentes situações do mesmo problema) Útil quando o sistema não está disponível Facilidade de uso Problemas: precisão e validação 64