Inserindo Credibilidade Estatística aos Resultados de uma Avaliação de Desempenho

Transcrição

1 Inserindo Credibilidade Estatística aos Resultados de uma Avaliação de Desempenho Avaliação de Desempenho Prof. Kleber Rezende

2 Conteúdo Revisão de Probabilidade e Estatística: Média; Desvio Padrão; Distribuição Normal de Probabilidades. Inserindo Credibilidade Estatística aos Resultados de uma Avaliação de Desempenho: Intervalo de Confiança da Média; Comparação de Sistemas; Exercícios; 2 Inserindo Credibilidade Estatística

3 Revisão Média: É o valor que aponta para onde mais se concentram os dados de uma distribuição. É calculada somando-se todos os valores da população e dividindo o resultado pelo total de elementos da população. Exemplo: Uma amostra de 5 barras de aço foi retirada da linha de produção e seus comprimentos foram medidos. Os valores foram: 4,5; 4,6; 4,5; 4,4; 4,5. 3 Inserindo Credibilidade Estatística

4 Revisão Desvio Padrão: Mostra o quanto de variação ou dispersão existe em relação à média (ou valor esperado). Um baixo desvio padrão indica que os dados tendem a estar próximos da média; um desvio padrão alto indica que os dados estão espalhados por uma gama de valores. É calculado como a raiz quadrada de variância. Variância é o somatório dos quadrados das diferenças entre cada valor da amostra pela média dividido pelo tamanho da amostra. 4 Inserindo Credibilidade Estatística

5 Revisão Desvio Padrão (Exemplo 1): Se medirmos a temperatura máxima durante três dias em uma cidade e obtivermos os seguintes valores, 28, 29 e 30, podemos dizer que a média desses três dias foi 29. Em outra cidade, as temperaturas máximas nesses mesmos dias podem ter sido 22, 29 e 35. No segundo caso, a média dos três dias também foi 29. As médias têm o mesmo valor, mas os moradores da primeira cidade viveram três dias de calor, enquanto os da segunda tiveram dois dias de calor e um de frio. 5 Inserindo Credibilidade Estatística

6 Revisão Desvio Padrão (Exemplo 1): Para diferenciar uma média da outra, foi criada a noção de desvio padrão, que serve para dizer o quanto os valores dos quais se extraiu a média são próximos ou distantes da própria média. No exemplo anterior, o desvio padrão da segunda cidade é muito maior que o da primeira. 6 Inserindo Credibilidade Estatística

7 Revisão Desvio Padrão (Exemplo 2): Uma das aplicações mais comuns do desvio padrão é para cálculo da classificação no vestibular. Se dois candidatos ao mesmo curso tiram nota 7 em provas diferentes, o peso desse resultado vai depender do desvio padrão de cada exame. Digamos que a média das notas nas duas provas tenha sido 5. 7 Inserindo Credibilidade Estatística

8 Revisão Desvio Padrão (Exemplo 2): Aquele que obteve 7 na prova cujo desvio padrão foi menor, será mais considerado porque significa que ele conseguiu um 7 em um exame em que quase todo mundo ficou próximo a 5. Enquanto o outro conquistou um 7 em uma prova onde muitos outros também tiraram notas altas. 8 Inserindo Credibilidade Estatística

9 Revisão Desvio Padrão (Exemplo 3): Vídeo sobre Variância e Desvio Padrão - Dados agrupados Uma pesquisa foi realizada com um grupo de 20 trabalhadores. Cinco disseram ganhar entre 5 e 10 salários mínimos (SM), outros 8 ganham entre 10 e 15 SM, 4 ganham entre 15 e 20 SM e 3 afirmaram ganhar entre 20 e 25 SM. Calcule a média salarial e o desvio padrão para o grupo de trabalhadores entrevistados. 9 Inserindo Credibilidade Estatística

10 Revisão - Exercício Imagine a seguinte situação: O dono de uma microempresa pretende saber, em média, quantos produtos são produzidos por cada funcionário em um dia. O chefe tem conhecimento que nem todos conseguem fazer a mesma quantidade de peças, mas pede que seus funcionários façam um registro de sua produção em uma semana de trabalho. Ao fim desse período, chegou-se à seguinte tabela: 10 Inserindo Credibilidade Estatística

11 Revisão - Exercício Calcule a média, a variância e o desvio padrão da produção diária de cada funcionário. 11 Inserindo Credibilidade Estatística

12 Revisão Distribuição Normal de Probabilidades 12 Inserindo Credibilidade Estatística

13 Revisão 13 Inserindo Credibilidade Estatística

14 Revisão - Exercício O salário médio dos funcionários de uma empresa é de R$ 800,00, com desvio padrão de R$ 300,00. Qual a probabilidade de que, selecionando-se aleatoriamente um funcionário, ele receba: a) entre R$ 650,00 e R$ 1.100,00 b) mais de R$ 900,00 c) menos de R$ 500,00 14 Inserindo Credibilidade Estatística

15 Intervalo de Confiança da Média Introdução Durante a avaliação do desempenho de um sistema, deve-se ter alguns cuidados: i. Esperar até que o sistema atinja certo grau de estabilidade (warm-up) compreende cerca de 10% do tempo inicial do processo; ii. Definição de um Intervalo de Confiança (IC), que consiste em um intervalo de valores com alta probabilidade de conter a verdadeira média populacional. 15 Inserindo Credibilidade Estatística

16 Intervalo de Confiança da Média Está sempre associado a um grau de confiança Exemplo: se o grau de confiança for de 95%, significa que existe 95% de probabilidade de a média da população se situar entre os limites do intervalo calculado. Por outro lado, se a média real estiver fora desse intervalo, significa que a amostra não representa, satisfatoriamente, a população. 16 Inserindo Credibilidade Estatística

17 Intervalo de Confiança da Média Obtém a estimativa de que a média de um sistema analisado esteja contida em um intervalo, onde a probabilidade de a média estar contida nesse intervalo seja igual a um nível de confiança desejado: onde: Prob{c 1 <c<c 2 } = 1-α (c 1, c 2 ) é o intervalo de confiança, em que c 1 é o limite inferior e c 2 é o limite superior do intervalo; α é o nível de significância; 100(1 α) é o nível de confiança Na avaliação de sistemas computacionais, o valor geralmente usado para o nível de confiança varia de 90% a 99%. 17 Inserindo Credibilidade Estatística

18 Intervalo de Confiança da Média Exemplo: Uma conexão Fast Ethernet entre duas redes locais foi analisada para verificação do tempo médio de resposta de transmissão de dados entre as duas redes. O gerente da rede tinha o cálculo do intervalo de confiança do tempo de resposta de transmissão em um arquivo de 1 GB, que variava de 90,34 segundos a 93,01 segundos, dependendo do tráfego no link, com 90% de confiança. Portanto, tem-se: Prob{90,34 m 93,01} = 0,9 e 100 (1 - α) = 90 α = 0,1 18 Inserindo Credibilidade Estatística

19 Teorema do Limite Central Este teorema diz que a aproximação do histograma das médias amostrais para a distribuição Normal melhora à medida que o tamanho amostral cresce. Isto permite que, independentemente do tipo da distribuição da população, seja possível inferir dados e realizar os cálculos desejados para essa população. 19 Inserindo Credibilidade Estatística

20 Teorema do Limite Central No caso do cálculo do Intervalo de Confiança, deseja-se conhecer o limite inferior e o limite superior onde a média das amostras se localiza com um certo nível de confiança. Assim, para um nível de confiança de 100 (1-α)%, o IC pode ser calculado por: onde: Limite inferior: Limite superior: é a média das amostras s é o desvio padrão n é o tamanho da amostra Z1 / 2 é um (1-α/2) quantil de uma Normal (significa o número de desvios padrões que se estendem da média de uma distribuição Normal necessário para conter 1-α/2 da área). 20 Inserindo Credibilidade Estatística X X Z 1 / 2 n X Z 1 / 2 n

21 21

22 Teorema do Limite Central Exemplo 1: Calculando z para um nível de confiança de 90%. 0, ,95 e z 1, Exemplo 2: Calculando z para um nível de confiança de 95%. 0, ,975 e z 1, Inserindo Credibilidade Estatística

23 Teorema do Limite Central Exemplo 3: Trinta e quatro amostras de tempo de resposta foram coletadas de uma rede de computadores em diferentes momentos. O conjunto M representa as amostras coletadas (milissegundos): M={840, 860, 850, 840, 860, 835, 1100, 500, 825, 833, 830, 830, 835, 840, 845, 825, 844, 845, 2000, 820, 840, 843, 844, 845, 823, 844, 843, 855, 851, 811, 847, 850, 834, 849} a) Calcule o IC com 90% de confiança b) Calcule o IC com 95% de confiança 23 Inserindo Credibilidade Estatística

24 IC para amostras pequenas Para pequenas amostras, a distribuição Normal apresenta valores menos precisos, o que nos leva a utilizar outro modelo, a distribuição t de Student; Quando o tamanho das amostras é grande, por exemplo 100, a distribuição t é muito similar à distribuição Normal. Mas para amostras pequenas, a distribuição t é mais precisa; 24 Inserindo Credibilidade Estatística

25 IC para amostras pequenas Para calcular o valor de t a ser usado, é necessário estabelecer: o nível de confiança desejado e o número de graus de liberdade a ser utilizado. Usando o símbolo t no lugar de z, tem-se que o IC, neste caso, é dado por: s ( X t[1 / 2; n1] ; X t[1 / 2; n1] n s n ) 25 Inserindo Credibilidade Estatística

26 26

27 IC para amostras pequenas Exemplo: Foram realizadas 25 medidas de vazão de um servidor de banco de dados. A média computada foi de 190 requisições por segundo, com desvio padrão igual a 11. Deseja-se saber, com 95% de certeza, o intervalo de confiança da média. 27 Inserindo Credibilidade Estatística

28 Comparação de Sistemas Esta seção mostrará como fazer a comparação entre os sistemas utilizando quatro técnicas diferentes: 1. Teste da média zero; 2. Observações pareadas; 3. Observações não pareadas; 4. Teste visual. 28 Inserindo Credibilidade Estatística

29 Teste da Média Zero Consiste em checar se os valores medidos são significativamente diferentes de zero. Usando o IC para o valor medido, verificase o intervalo contém zero. Basicamente, o que se tem a fazer é: 1. utilizar a diferença dos valores das amostras dos dois sistemas; 2. calcular o IC para o nível de confiança desejado. 29 Inserindo Credibilidade Estatística

30 Teste da Média Zero Se o IC resultante incluir a média zero, não é possível dizer se os dois sistemas analisados são diferentes em termos de desempenho; Caso contrário, pode-se afirmar que os sistemas são diferentes, com o nível de confiança desejado. 30 Inserindo Credibilidade Estatística

31 Teste da Média Zero Exemplo: A empresa X analisou dois servidores Firewalls para realizar a compra. Foram feitas oito tentativas de passar um tráfego suspeito para dentro da rede da empresa, e computou-se o tempo de resposta para cada tentativa filtrada e rejeitada para saber se os sistemas eram compatíveis em termos de desempenho. 31 Inserindo Credibilidade Estatística

32 Teste da Média Zero Os valores obtidos para a diferença dos tempos de resposta dos dois servidores, em segundos, foram: D = {1,5; -1,4; 0,8; -1,3; -0,5; 1,7; 0,9; 1,1} Neste caso, é possível dizer, com confiança de 95%, que um servidor é superior ao outro? 32 Inserindo Credibilidade Estatística

33 Observações Pareadas Consiste na comparação direta dos valores de IC nos casos em que existem n amostras de um sistema A e n amostras de um sistema B, ou seja, correspondência umpara-um. 33 Inserindo Credibilidade Estatística

34 Observações Pareadas Exemplo: Dois roteadores foram comprados e é necessário fazer uma avaliação em relação à vazão de pacotes por segundo. O conjunto da carga de trabalho dos roteadores A e B está resumido no seguinte conjunto de pares (vazão A, vazão B): Medidas = {(55,4; 69,1), (80,1; 90,2), (59,1; 55,4), (60,2; 60,1), (62,3; 60,1), (55,3; 53,7)} É possível dizer que um dos roteadores é melhor do que o outro, com confiança de 90%? 34 Inserindo Credibilidade Estatística

35 Observações não Pareadas Usado para comparação de dois sistemas que não possuem correspondência umpara-um. Neste caso, usa-se o teste t: 1. Calculam-se as médias das amostras X e a X b s 2. Calculam-se os desvios padrões S a e S b 3. Calcula-se a diferenças da média X a X b 4. Calcula-se o desvio padrão da diferença da média s n 2 a a s n 2 b b onde n i é o númerodeamostrasdosistemai 35 Inserindo Credibilidade Estatística

36 Observações não Pareadas 36 Inserindo Credibilidade Estatística 4. Calculam-se os graus de liberdade 5. Calcula-se o IC da diferença da média s t x x v b a ] ; 1 [ b b b a a a b b a a n s n n s n n s n s v

37 Observações não Pareadas Exemplo: Dois sistemas de processamento de requisições Web foram medidos em relação ao tempo de atendimento de requisições. Os valores medidos, em segundos, para os sistemas foram: A = {1,22; 1,23; 1,67; 0,98; 0,88; 3,34} B = {0,99; 1,48; 3,88; 1,20; 2,09} Deseja-se saber, com 90% de certeza, se os dois sistemas são significantemente diferentes. 37 Inserindo Credibilidade Estatística

38 Teste visual Neste teste, utiliza-se a comparação dos sistemas, através da sobreposição dos intervalos de confiança analisados. São possíveis três opções: 1. IC não se sobrepõem (neste caso, a análise comparativa pode se basear na média) 2. IC e médias se sobrepõem (neste caso, não possível dizer que os sistemas são diferentes) 3. IC se sobrepõem, mas médias não (neste caso, não é possível ter certeza sobre a diferença dos sistemas) 38 Inserindo Credibilidade Estatística

39 Teste visual Exemplo: Os tempos de resposta de dois servidores para uma mesma tarefa foram medidos e os ICs com 90% foram calculados em: Média A = 10,71, IC A = (10,24; 10,98) Média B = 10,91, IC B = (10,18; 12,23) Deseja-se saber, com 90% de certeza, se os dois sistemas são significantemente diferentes. 39 Inserindo Credibilidade Estatística

40 Referências Bibliográficas JOHNSON, T. e MARGALHO, M. Avaliação de Desempenho de Sistemas Computacionais, Rio de Janeiro: LTC, 2011 PORTAL ACTION. Disponível em: Acesso em: 14 nov Inserindo Credibilidade Estatística