Avaliação de Desempenho

Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Lembrando... Etapas a serem consideradas 1. Estudar o sistema e definir os objetivos 2. Determinar os serviços oferecidos pelo sistema 3. Selecionar métricas de avaliação 4. Determinar os parâmetros que afetam o desempenho do sistema 5. Determinar o nível de detalhamento da análise 6. Determinar a Técnica de Avaliação apropriada 7. Determinar a carga de trabalho característica 8. Realizar a avaliação e obter os resultados 9. Analisar e interpretar os resultados 10. Apresentar os resultados Planejamento de Experimento Técnica de Avaliação Análise dos Resultados 1

Conteúdo 1. Planejamento de Experimentos Motivação Introdução à Avaliação de Desempenho Etapas de um Experimento Planejamento do Experimento Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento 2. Análise de Resultados 3. Técnicas para Avaliação de Desempenho Tipos de Planejamento de Experimentos Planejamento Simples Planejamento Fatorial completo Planejamento Fatorial parcial 2

Tipos de Planejamento de Experimentos Planejamento Simples Iniciar com uma configuração inicial Fixar todos os fatores e variar um fator por vez Verificar que fator afeta o desempenho Fácil de ser implementado Não permite verificar a relação entre os fatores Estatisticamente não eficiente Tipos de Planejamento de Experimentos Planejamento Simples Para um experimento com K fatores e n i níveis no fator i, tem-se: n = 1+ K i= 1 1) Exemplo do servidor de arquivos ( n i 3

Planejamento de Experimentos Exemplo do Servidor de arquivos 4 fatores Fator 1 Microprocessador a ser utilizado 3 níveis: Pentium IV; Athlon XP; Pentium IV com Hyper Thread Fator 2 Quantidade de Memória 4 níveis: 512 M bytes; 1 G bytes; 2G bytes; 4G bytes Fator 3 Quantidade de Cache 3 níveis: 256 K bytes; 512 K bytes; 1 M bytes Fator 4 Número de Discos: 3 níveis: Dois; Três; Quatro n= 1+(3-1)+(4-1)+(3-1)+(3-1) = 10 Tipos de Planejamento de Experimentos Planejamento Simples Não recomendado Muito utilizado 4

Tipos de Planejamento de Experimentos Planejamento Simples - Não recomendado Porque? Ex. Aquário Tipos de Planejamento de Experimentos Planejamento Simples - Não recomendado Porque? Fatores: 1. Número de garrafas de cerveja: 10, 100, 1000 2. Espessura do vidro: 2mm, 5mm, 10mm 3. Quantidade de gelo: 0,5 kg, 1Kg, 10Kg Variável de Resposta: Tempo necessário para diminuir a temperatura de cerveja em 30 graus 5

Tipos de Planejamento de Experimentos Planejamento Simples - Não recomendado 1o. Experimento, fixo: Esp = 5mm; no. Garrafas = 10 gelo = 0,5 Kg -> Saída = 2 minutos gelo = 1 Kg -> Saída = 2 minutos gelo = 10Kg -> Saída = 2minutos Mas... 2o. Experimento, fixo: Esp = 5mm; no. Garrafas = 100 gelo = 0,5 Kg -> Saída = 30 minutos gelo = 1 Kg -> Saída = 20 minutos gelo = 10 Kg -> Saída = 20 minutos Tipos de Planejamento de Experimentos Planejamento Simples - Não recomendado Porque? 3o. Experimento, fixo: Esp = 5mm; no. Garrafas = 1000 gelo = 0,5 Kg -> Saída = XX minutos gelo = 1 Kg -> Saída = 3horas Gelo = 10Kg -> Saída = 1 hora 6

Tipos de Planejamento de Experimentos Planejamento Totalmente Fatorial Utiliza todas as combinações considerando todos os fatores e todos os níveis Para um experimento com K fatores e n i níveis no fator i, tem-se: K n = i= 1 Para o exemplo da estação de trabalho tem-se: n = 3 (CPU)*4(memória)*3(cache)*3(no. discos) n= 108 n i Tipos de Planejamento de Experimentos Planejamento Totalmente Fatorial Vantagens Todos os fatores são avaliados Pode-se determinar o efeito de qualquer fator Interações entre fatores podem ser verificadas Desvantagens Grande número de experimentos Alto custo para avaliação 7

Planejamento Totalmente Fatorial Formas para minimizar custos 1. Reduzir o número de níveis de cada fator Altamente recomendada Selecionar dois níveis para cada fator a ser analisado número de experimentos reduzido para 2 k Analisar os resultados e selecionar os fatores primários Analisar os fatores primários para um número maior de níveis Planejamento Totalmente Fatorial Formas para minimizar custos 2. Reduzir o número de fatores Deve ser implementada com cuidado. Por exemplo, utilizando forma 1. Se não for utilizada uma metodologia adequada podem estar sendo desconsiderados fatores com grande influência para as variáveis de resposta 8

Planejamento Totalmente Fatorial Formas para minimizar custos 3. Utilização do método do Fatorial Parcial Parte dos experimentos são excluídos Podem ser eliminadas comparações em que se sabe, a interação não existe ou é insignificante Por exemplo, no servidor de arquivos tem-se 108 experimentos. Pode-se dizer que o número de discos não tem relacionamento com a quantidade de cache Mais rápido Obtém-se menos informações Método Fatorial Pelo método fatorial pode-se ter k fatores com n i níveis para cada fator i Para valores elevados de K e n i o custo da avaliação pode tornar-se inviável, principalmente lembrando-se que diversas execuções de cada experimento devem ser consideradas. Forma recomendada: Selecionar poucos fatores e 2 níveis por fator. Para entender a abordagem utilizada para a análise inicia-se com 2 fatores contendo 2 níveis em cada um - 2 2 9

Projeto Fatorial 2 2 Análise através do modelo de regressão Considere um problema analisando dois fatores (A e B) Quatro experimentos são efetuados obtendo-se os valores y 1, y 2, y 3, y 4 Os quatro experimentos consideram a seguinte seqüência Experimento A B y 1-1 -1 y 1 2 1-1 y 2 3-1 1 y 3 4 1 1 y 4 Projeto Fatorial 2 2 Modelo para projeto 2 2 é dado por: y = q 0 + q A x A + q B x B + q AB x AB Substituindo-se as quatro observações no modelo, obtêm-se os valores de q 0, q A, q B, q AB q 0 = ¼ *(y 1 + y 2 + y 3 + y 4 ) q A = ¼ *(-y 1 + y 2 - y 3 + y 4 ) q B = ¼ *(-y 1 - y 2 + y 3 + y 4 ) q AB = ¼ *(y 1 - y 2 - y 3 + y 4 ) 10

Projeto Fatorial 2 2 A partir dos valores de q 0, q A, q B, q AB pode-se determinar a soma dos quadrados A soma dos quadrados dará a variação total das variáveis de resposta e as variações devido a influência do fator A, do fator B e da interação entre A e B Variância Total de y ou Soma dos Quadrados Total ou SST = + SST = 2 2 2 2 2 2 2 qa + 2 qb 2 qab 2 2 i= 1 ( y i y) 2 Projeto Fatorial 2 2 Experimento A B y 1-1 -1 y 1 2 1-1 y 2 3-1 1 y 3 4 1 1 y 4 1. A soma das entradas em cada coluna = 0 2. Soma dos quadrados em cada coluna = 4 3. Produto interno de cada duas colunas = 0 11

Projeto Fatorial 2 2 Modelo considerado: y = q 0 + q A x A + q B x B + q AB x AB A Média da Amostra é dada por: Projeto Fatorial 2 2 Variação total - SST: 12

Projeto Fatorial 2 2 Soma dos Quadrados devido a influência do Fator A SSA = Soma dos Quadrados devido a influência do Fator B SSB = 2 2 2 q A 2 2 2 q B Influência do Fator A = SSA / SST Influência do Fator B = SSB / SST Soma dos Quadrados devido a interação entre os Fatores A e B Influência da interação 2 2 SSAB = 2 q AB entre os Fatores A e B = SSAB/SST Projeto Fatorial 2 2 Interpretações possíveis a partir desses resultados: Média da variável de resposta q 0 Qual a variação da variável de resposta devido ao fator A Qual a variação da variável de resposta devido ao fator B Qual a variação devido a interação entre os fatores A e B De que fator a variável de resposta é mais dependente? Algum dos fatores observados pode ser desprezado? A interação entre os fatores observados é considerável? 13

Projeto Fatorial 2 2 Exemplo: Avaliação de duas redes de comunicação em uma máquina paralela com: 16 processadores Escalonamento aleatório Não existe problema de acesso a memória interleaving de memória infinito Redes utilizam Chaveamento de circuito conexão é estabelecida da fonte ao destino e pacotes são enviados (ex. telefone) Requisições não atendidas são bloqueadas Fatores Considerados Duas formas de acesso a memória Fator B Aleatório probabilidade uniforme de referenciar cada posição de memória Nível = -1 Matriz simula uma multiplicação de matrizes Nível = 1 Duas Redes de Interconexão Fator A Omega Nível = 1 Crossbar Nível = -1 14

Tipos de Redes de Interconexão Consideradas Resultados Obtidos Variáveis de Resposta Throughput - T Ciclos para transmissão - N Tempo de Resposta R Fatores Variáveis de Resposta A (rede) B(Acesso) T N R -1(C) -1(A) 0,6041 3 1,655 1(O) -1 (A) 0,7922 2 1,262-1(C) 1(M) 0,4220 5 2,378 1(O) 1 (M) 0,4717 4 2,190 15

Fatores Variáveis de Resposta I A (rede) B(Acesso) AB T N R 1-1(C) -1(A) 1 0,6041 3 1,655 1 1(O) -1 (A) -1 0,7922 2 1,262 1-1(C) 1(M) -1 0,4220 5 2,378 1 1(O) SSA/SST=0.0595 1 (M) /(0,0595 1 +0,1257 0,4717 +0,0346 4 ) 2,190 Parâmetro Média Estimada Variação % T N R T N R q 0 0,5725 3,5 1,871 q A 0,0595-0,5-0,145 17,2 20 10,9 q B -0,1257 1,0 0,413 77,0 80 87,8 q AB -0,0346 0 0,051 5,8 0 1,3 Parâmetro Média Estimada Variação % T N R T N R q 0 0,5725 3,5 1,871 q A 0,0595-0,5-0,145 17,2 20 10,9 q B -0,1257 1,0 0,413 77,0 80 87,8 q AB -0,0346 0 0,051 5,8 0 1,3 Média das variáveis de Resposta q 0 Influência de cada fator Fator com maior influência Grau de interação entre os fatores 16

Mais Um Exemplo... Avaliação de Desempenho do Gerenciador de Banco de Dados MySQL Trabalho desenvolvido por alunos do Curso de Bach em Ciências da Computação Avaliação do MySQL Objetivo: verificar como o número de usuários executando comandos em paralelo e o tamanho do banco de dados influenciam no desempenho do sistema 2 Fatores: Tamanho do Banco: 50.000, 100.000, 200.000 Quantidade de usuários: 5, 10, 20 e 50 AMD Athlon 64 com 512 MBs de RAM 17

Avaliação do MySQL Procedimento Utilizado: Configuração do servidor MySQL Criação de um Banco de Dados Programa para inserir nomes na tabela Programa que realiza n consultas no banco Programa que ativa k vezes a consulta Avaliação do MySQL Tem-se k usuários realizando consultas no banco de dados em paralelo Variável de Saída tempo para executar um conjunto de consultas dividido por n Para 5, 10 e 20 usuários n = 20 Para 50 usuários n = 5 18

Avaliação do MySQL Alguns Resultados... Avaliação do MySQL Alguns Resultados... 19

Avaliação do MySQL Alguns Resultados... Avaliação do MySQL Alguns Resultados... 20

Avaliação do MySQL Alguns Resultados... Avaliação do MySQL Alguns Resultados... 21

Projeto Fatorial 2 k Utilizado para avaliar experimentos com k fatores com 2 níveis cada Análise similar ao 2 2 Para k = 3 3 2 2 2 2 2 2 SST = 2 ( q + q + q + q + q + q + q A B C AB AC BC 2 ABC ) SSA = SSAB = 3 2 2 q A 3 2 2 q AB SSB =... 3 2 2 q B SSC = SSABC = 3 2 2 q C 3 2 2 q ABC Projeto Fatorial 2 k Problema com o Projeto Fatorial 2 k Para k = 2 4 experimentos Para k = 3-8 experimentos Para k = 4 16 experimentos... 1. Muitos fatores devem ser avaliados 2. Sabe-se que existem fatores que não interagem 3. Deseja-se determinar quais fatores realmente influenciam no resultado Solução Planejamento Fatorial Parcial - 2 k -p 22

Planejamento Fatorial Parcial - 2 k -p k número total de fatores a serem considerados p número inteiro - quantas dimensões serão desprezadas Exemplo: p=1 reduz os experimentos a metade p=2 um quarto dos experimentos k=7 128 experimentos p=4 8 experimentos k=7 128 experimentos p=5 16 experimentos Neste caso não é possível avaliar as interações Algumas interações podem ser avaliadas Projeto Fatorial 2 2 Experimento A B y 1-1 -1 y 1 2 1-1 y 2 3-1 1 y 3 4 1 1 y 4 1. A soma das entradas em cada coluna = 0 2. Soma dos quadrados em cada coluna = 4 3. Produto interno de cada duas colunas = 0 23

Planejamento Fatorial Parcial - 2 k -p Exemplo (Jain) 2 7-4 Devo satisfazer as mesmas condições que 2 2 Modelo Similar: Planejamento Fatorial Parcial - 2 k -p Exemplo (Jain) 2 7-4 24

Planejamento Fatorial Parcial - 2 k -p Exemplo (Jain) 2 7-4 37,26 4,74 43,40 6,75 0 8,06 0,03 Variação em porcentagem Planejamento Fatorial Parcial - 2 k -p Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições Exemplo (Jain) 2 4-1 25

Planejamento Fatorial Parcial - 2 k -p Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições Exemplo (Jain) 2 4-1 Coluna D Influência do fator D + interação entre A, B e C Planejamento Fatorial Parcial - 2 k -p Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições Exemplo 19.2 (Jain) Considere um sistema que possa ser utilizado para: Processamento de textos, Processamento de dados interativo, Processamento de dados em background Analisar cada caso independentemente Fator Descrição nível -1 nível +1 A Preempção não sim B Time slice pequeno grande C Filas (prioridade) uma fila duas filas D Classes para as tarefas duas filas cinco filas E Justiça (pref. p/ tarefa antiga) desligado ligado 26

Planejamento Fatorial Parcial - 2 k -p Exemplo 19.2 (Jain) 2 5-1 Planejamento Fatorial Parcial - 2 k -p Exemplo 19.2 (Jain) 27

Planejamento de Experimento Planejamento de Experimentos designa toda uma área de estudos da Estatística que desenvolve técnicas de planejamento e análise de experimentos. Existe um grande número de técnicas, com vários níveis de sofisticação e uma grande quantidade de ferramentas visando oferecer as condições necessárias para o planejamento de experimentos. Essas técnicas cobrem todas as possibilidades, diversos fatores, diferentes quantidades de níveis, tratamento de replicações, etc. Importância dentro de Avaliação de Desempenho saber como utilizar as técnicas/ferramentas e saber analisar os resultados Erros Comuns em Experimentos Uso de apenas um fator por vez essa opção simplifica a experimentação mas não permite verificar interações Execução de muitos experimentos em um primeiro passo poucos fatores/níveis devem ser considerados. Com as conclusões iniciais, pode-se considerar outros fatores/níveis 28

Conteúdo 1. Planejamento de Experimentos Motivação Introdução à Avaliação de Desempenho Etapas de um Experimento Planejamento do Experimento Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento 2. Análise de Resultados 3. Técnicas para Avaliação de Desempenho 29