Métodos Quantitativos para Ciência da Computação Experimental Aula #4

Transcrição

1 Métodos Quatitativos para Ciêcia da Computação Experimetal Aula #4 Jussara Almeida DCC-UFMG 2017

2 Measuremets are ot to provide umbers, but isights

3 Metodologia de Comparação de Sistemas Experimetais Comparado quatitativamete sistemas experimetais: Algoritmos, protótipos, modelos, etc Sigificado de uma amostra Itervalos de cofiaça Tomado decisões e comparado alterativas Cosiderações especiais sobre itervalo de cofiaça Tamaho das amostras

4 Estimado os Itervalos de Cofiaça Duas fórmulas para itervalo de cofiaça Acima de 30 amostras de qualquer distribuição: distribuição-z (Normal) Pequeas amostras de populações ormalmete distribuídas: distribuiçao-t (Studet) Um erro comum: usar distribuição-t para populações ão ormalmete distribuídas.

5 Itervalo de Cofiaça da Média da Amostra Chave: Teorema Cetral do Limite As médias de amostras são distribuidas pela Normal. Desde que sejam idepedetes Média das medias coverge para a média da população Desvio padrão (erro padrão) é

6 A Distribuição-z Itervalo em cada lado da média: z x / x z 1 2 s O ível de sigificâcia é pequeo para íveis maiores de cofiaça (100*(1- Existem tabelas para a variável z!

7 A Distribuição t Fórmula quase a mesma: x t 1 2 ; 1 s Usável para populações ormalmete distribuídas! Fucioa para pequeas amostras Similar a Normal (bell-shaped, porem mais espalhada) e depede do tamaho da amostra.

8 Como calcular Itervalo de Cofiaça Você pode calcular itervalos de cofiaça para diferetes estatísticas y^ z s ou 1 y y^ t 1 s,df y 2 2 ode df são os graus de liberdade a estimativa ŷ Isto é só pra você saber que as fórmulas dadas os slides ateriores podem ser aplicadas apeas se você estiver trabalhado com médias Erro comum: usar distribuição t para população ão Normal Tipicamete aproximação está ok (Teorema do Limite Cetral)

9 Tomado decisões sobre os dados experimetais Sumarizar o erro a média da amostra (ou qualquer outra estatística obtida a partir dela) Cofiaça = 1- α Precisão = 100% - metade do itervalo / média Prover elemetos para saber se a amostra é sigificativa (estatisticamete) Permitir comparações à luz dos erros

10 Testado a Média Zero A média da população é sigificativamete ão-zero? Se o itervalo de cofiaça iclui 0, a resposta é ão! Pode-se testar para qualquer valor: Supoha IC de 90% para precisao média de método A: ± 0.12 (0.755, 0.995) A precisão pode ser 0.96? Sim, com 90% de cofiaça, já que o IC cotém 0.96 Qual erro máximo a miha estimativa da precisão média? Com 90% de cofiaça, o erro máximo é %

11 Comparado Alterativas Num projeto de pesquisa, geralmete, procura-se o melhor sistema, o melhor algoritmo: Exemplos: Determiar o sistema que apreseta a melhor relação QoS-preço, ode QoS é medido experimetalmete. Mostrar que um algoritmo Y executa mais rápido que outros existetes e sejam similares fucioalmete. Métodos diferetes para observações pareadas (com par) e ão pareadas (sem par). Pareadas se o i-ésimo teste em cada sistema foi o mesmo Não pareadas, caso cotrário

12 Comparado Observações Pareadas: método 1. Tratar o problema como uma amostra de pares 2. Para cada teste: calcule as difereças dos resultados 3. Calcule o itervalo de cofiaça para a difereça media 4. Se o itervalo iclui 0 (zero), os objetos de comparação (ex.: sistemas, algoritmos, etc) ão são diferetes com a dada cofiaca 5. Se o itervalo ão iclui zero, o sial da difereça idica qual dos objetos é melhor, baseado os dados experimetais.

13 Exemplo: Comparado Observações Pareadas Cosidere dois metodos de busca A e B que sao avaliados em fucao do # de documetos relevates (em um total de 100) que cada um retora Num teste com várias cosultas, o algoritmo A retora mais documetos relevates que o B? Amostra de testes com 14 cosultas: Alg. A Alg. B Alg. A Alg. B

14 Exemplo: Comparado observações pareadas Difereças etre algoritmos A-B: Média 1.4, itervalo de 90% (-0.75, 3.6) Não se pode rejeitar a hipótese que a difereça é 0 e que portato os algoritmos tem desempeho similar. Itervalo de 70% é (0.10, 2.76), A tem desempeho melhor que B

15 Comparado Observações Não Pareadas o úmero de experimetos comus ão precisa ser o mesmo! Cosidere as médias das amostras para cada uma das alterativas, A e B, x e a x b Comece com os itervalos de cofiaça Se ão houver sobreposição: Algoritmos são diferetes e a maior média é melhor (pelas métricas usadas) media A B Se houver sobreposição e cada IC cotem a outra média: Algoritmos ão são diferetes este ivel media A B Se houver sobreposição e uma média ão está o outro IC Tem de fazer o teste-t media A B

16 O teste-t (1) x a 1 Compute as médias das amostras e 2. Compute os desvio-padrões s a e s b 3. Compute a difereça das médias = x a 4. Compute o desvio padrão das difereças: x b x b s s s 2 2 a b a b

17 O teste-t (2) 5. Compute os graus efetivos de liberdade: ν 1 a 1 s a 2 / a + s b 2 / b ( ) 2 6. Compute o itervalo de cofiaça: s a 2 a b 1 s b 2 b x x t s a b / ; 7. Se o itervalo iclui zero, ão há difereça

18 Exemplo O tempo de processameto ecessario para executar uma tarefa foi medido em dois sistemas. Os tempos o sistema A foram: {5.36, 16.57, 0.62, 1.41, 0.64, 7.26}. Os tempos o sistema B foram: {19.12, 3.52, 3.38, 2.50, 3.60, 1.74}. Os dois sistemas sao sigificativamete diferetes?

19 Exemplo Sistema A: media variacia A 6 x A 5.31 s 2 A Sistema B: media variacia A 6 x A 5.64 s 2 A 44.11

20 Exemplo Difereca das medias x A x B = 0.33 Desvio Padrao da difereca media s = Graus de liberdade ν = quatil da va t com 8 graus de liberdade t [0.95,12] =1.86 IC de 90% para a difereca das medias = (-7.21, 6.54) IC iclui 0, logo os dois sistemas NAO sao diferetes este ivel de cofiaca

21 Outros Testes Teste t assume a população segue distribuição Normal Caso esta premissa ão seja válida: Testes ão paramétricos (distributio-free tests) Importate pricipalmete para amostras pequeas Desvios da ormalidade causam grades distorções os resultados

22 Outros Testes Ma-Whitey-Wilcoxo test (Wilcoxo Rak-Sum test) Dados são amostras aleatórias das populações aalisadas Amostras são idepedetes Dados em uma amostra são idepedetes Explora a soma dos rakigs dos dados das amostras Calcula estatística U, cuja distribuição é cohecida e tabelada (como a distribuição t) Procedimeto equivalete ao t-test (mas ão explora médias) Quase tão eficiete quato t-test se população é Normal Wilcoxo siged rak test (pareado)

23 Outros Testes Comparação de > 2 sistemas Correção de Boferroi : cotrole da taxa de erro Testa cada par de sistemas com ível de sigificâcia α/k, ode k é o úmero de comparações sedo feitas Maior cofiaça a comparação de cada par k = C (,2)

24 Comparado Proporções Se 1 de experimetos dão um certo resultado, etão pode-se dizer que a proporção das amostras é dada por: p 1 Exemplos: A precisão do algoritmo A de recuperação de iformação foi superior a precisão de B em 55 dos 100 casos aalisados. Com 90% de cofiaça pode-se dizer que A supera B em precisão? 5000 samples coletados, em 1000, o percetual de system time foi iferior a 20%. Com 95% de cofiaça, qual o itervalo de cofiaça para a porcetagem das vezes em que o sistema operacioal gasta meos de 20% dos recursos?

25 Comparado Proporções Se 1 de experimetos dão um certo resultado, etão o itervalo de cofiaça (IC) para a proporção: IC p z 1 / 2 p(1 p) A fórmula acima é baseada uma aproximação da distribuição biomial por uma ormal que e valida somete se p>10

26 Exemplo Um experimeto foi repetido em dois sistemas 40 vezes. O sistema A foi superior ao B em 26 repeticoes. Podemos dizer que, com cofiaca de 99%, o sistema A e superior ao sistema B (a maioria daz vezes)? E com uma cofiaca de 90%?

27 IC de 99% IC de 90% Exemplo 26 proporcao p desvio padrao da estimativa de proporcao: s p(1 p) (2.576) (1.645)0.075 (0.46,0.84) IC iclui 0.5, logo A ao e superior a B este ivel de cofiaca (0.53,0.77) IC ao iclui 0.5, logo A e superior a B este ivel de cofiaca

28 Cosiderações Especiais 1. Selecioar um itervalo de cofiaça para trabalhar 2. Teste de Hipótese 3. Itervalos de cofiaça de um úico lado

29 A Seleção um Itervalo de Cofiaça Depede do custo de se estar errado!!! Produção de um paper cietífico Demostração de um ovo algoritmo experimetalmete Geração de um produto Os íveis de cofiaça etre 90% e 95% são os valores comus para papers cietificos (em Computacao) Em geral, use o maior valor que lhe permita estabelecer coclusões sólidas um processo experimetal! Mas é melhor ser cosistete durate todo o paper que se está trabalhado.

30 Teste de Hipótese A ull hypothesis (H 0 ) é comum em estatísticas e tratameto de dados experimetais: Pode ser cofuso em egativas duplas Provê meos iformação que itervalos de cofiaça Em geral mais dificil de iterpretar/eteder Deve-se eteder que rejeitar a hipótese ula implica que o resultado é sigificativo.

31 Itervalos de Cofiaça de um-lado Itervalos de dois lados testam se a média está fora ou detro de uma variação defiida pelos dois lados do itervalo Ex: Com 90% de cofiaça, a média da população pode ser valor alvo? Teste de itervalos de um úico lado são úteis somete quado se está iteressado em um limite. Ex.: Com 90% de cofiaça, média da população é meor/maior que um certo valor alvo?

32 Itervalos de Cofiaça de um-lado,, Limite superior, Limite iferior 1] ; [1 1] ; [1 s t x s t x

33 Itervalos de Cofiaça de um-lado Limite iferior

34 Itervalos de Cofiaça de um-lado Exemplo Tempo etre quedas foi medido em dois sistemas A e B. Os valores de media e desvio padrao obtidos estao listados abaixo. O sistema A e mais suceptivel a falhas do que o sistema B Sistema Numero Media Desvio Padrao A B

35 Exemplo Solucao: obter IC para difereca media usado procedimeto de aalise das observacoes ao pareadas Difereca das medias x A x B = = Desvio Padrao da difereca media s = s A 2 + s 2 B A = B =19.35 Graus de liberdade ν = 2 2 ( s A A + s B B ) 2 1 A 1 s 2 ( A A ) = B 1 s 2 ( B B ) 2

36 Exemplo Como os graus de liberdade sao mais que 30, podemos usar a ormal uitaria ao ives da distribuicao t. Alem disto, como e um itervalo de um uico lado, usamos z 0.90 = 1.28 para um IC de 90%: (-, *19.35) = (-, 7.402) Como o IC cotem valores positivos, ao podemos dizer que A e mais suceptivel a falhas do que B.

37 ICs: 1 lado ou 2 lados? Se usarmos ICs de 2 lados, podemos dizer: Teho 90% cofiaca de que a media (proporcao) esta etre os dois extremos Para tal, usamos z 0.95 ou t 0.95,df Se usarmos ICs de 1 lado, podemos dizer: Teho 90% de cofiaca de que a media (proporcao ) e o maximo (o miimo) o extremo superior (iferior) Para tal, usamos z 0.90 ou t 0.90,df

38 Tamaho das Amostras Amostras maiores levam a itervalos mais estreitos Obtem-se meores valores de t à medida que cresce as formulas Coleta de amostras pode ser um processo caro! Qual o míimo que se pode querer um experimeto? Comece com um pequeo úmero de medições prelimiares para estimar a variâcia.

39 Escolha do Tamaho da Amostra Supoha que queremos determiar o itervalo de cofiaça para com uma certa largura x 2 2 / 1 2 / / ) ( ) (1 ) (1 ) ),(1 ) ((1 ), ( ex s z s z x x e c s z x x e c x e x e c c

40 Escolhedo Tamaho da Amostra Para obter um erro percetual ± r %: zs 100 rx 2 Para uma proporção p = 1 /: 2 z p 1 p r 2

41 Escolha do Tamaho da Amostra: Exemplo 1 Cico execuções de um query levaram 22.5, 19.8, 21.1, 26.7, 20.2 secods Quatas execuções devem ser executadas para obter ± 5% em um IC com ível de cofiaça de 90%? x = 22.1, s = 2.8, t 0.95;4 =

42 Escolha do Tamaho da Amostra: Exemplo 2 Supoha que o tempo médio para gravar um arquivo é 7,94 seg com desvio padrão de 2,14. Aproximadamete, quatas medidas serão requeridas se ós desejamos um IC de 90% e que a média esteja detro de um itervalo com erro de 3.5%.

43 Escolha do Tamaho da Amostra: Exemplo 2 Supoha que o tempo médio para gravar um arquivo é 7,94 seg com desvio padrão de 2,14. Aproximadamete, quatas medidas serão requeridas se ós desejamos um IC de 90% e que a média esteja detro de um itervalo com erro de 3.5%. = 0.10, 1- /2= 0.95 e = ( z 161 s) ex 1 / (2.14) 0.035(7.94)

44 Escolha do Tamaho da Amostra: Exemplo 3 Dois algoritmos para trasmissao de pacotes foram aalisados. Medicoes prelimiares mostraram que o algoritmo A perde 0.5% dos pacotes e o algoritmo B perde 0.6%. Quatos pacotes precisamos observar para podermos dizer com cofiaca de 95% que o algoritmo A e melhor que o algoritmo B?

45 Escolha do Tamaho da Amostra: Exemplo 3 Dois algoritmos para trasmissao de pacotes foram aalisados. Medicoes prelimiares mostraram que o algoritmo A perde 0.5% dos pacotes e o algoritmo B perde 0.6%. Quatos pacotes precisamos observar para podermos dizer com cofiaca de 95% que o algoritmo A e melhor que o algoritmo B? IC de 95% para % de pacotes perdidos por A: ( ) IC de 95% para % de pacotes perdidos por B: ( )

46 Escolha do Tamaho da Amostra: Exemplo 3 Para podermos dizer que algoritmo A e melhor que algoritmo B, com 95% de cofiaca, o limite superior do itervalo de A tem que ser meor que o limite iferior do itervalo de B ( ) ( ) Temos que observar pacotes

47 Exercício de Revisao 1 Cosidere que seu trabalho é comparar o desempeho de dois algoritmos (A e B) de computação gráfica, que usam métodos diferetes para geração de faces humaas realistas. São sistema complexos cuja execução leva tempos logos para geração das faces. O sistema A foi testado 8 vezes e o sistema B apeas 5, ode em cada experimeto utilizou-se o mesmo padrão de resultado a obter. Os tempos de teste dos algoritmos estão a tabela a seguir. Com base esses resultados, pede-se que se determie qual algoritmo teve melhor desempeho.

48 Exercício de Revisao 1 Experimeto Algoritmo A (seg) Algoritmo B (seg)

49 Exercicios de Revisao 2 Cosidere que um cojuto de servidores de uma máquia de busca, um servidor tem a probabilidade de falhar o período oturo igual 0.25 (i.e., a probabilidade de qualquer servidor ter falhado ao amahecer é 25%). Para dois servidores, desehe os gráficos da pmf e CDF da variável aleatória X, ode P[X=x] = P[x servidores falharam]. Determie a média, a variâcia e o coeficiete de variacao de X. Assuma que as falhas são idepedetes e ideticamete distribuídas. Repita o processo para servidores

50 Exercicios de Revisao 3 Cosidere um switch de N portas de etrada e N portas de saída (NxN). O sistema opera com o tempo dividido em itervalos ( time slots ). Um pacote chega em qualquer time slot uma porta de etrada com probabilidade p, idepedete de outros time slots e das outras portas de etrada. Assuma uma probabilidade de roteameto uiforme (i.e., um pacote que chegou em uma dada porta de etrada vai para qualquer porta de saída com probabilidade igual igualmete provavel). Qual é a probabilidade de exatamete ( < N) pacotes irem para uma porta de saída qualquer um time slot.

51 Exercicios de Revisao 4 Cosidere um sistema costituido de tarefas sequeciais. Cada tarefa X i (i=1..) executa em um tempo expoecial com media de 10*i segudos. Se o sistema termia execucao somete quado todas as tarefas termiarem, qual a media e o desvio padrao do tempo de execucao do sistema? Se o sistema for revisado de tal maeira que as tarefas executem em paralelo, qual a probabilidade do sistema executar por mais de z miutos? Calcule a probabilidade para z=1 miuto e = 3? Dica: 2 ( 1)(2 1) i 6 i1

52 Exercicios de Revisao 5 O umero de operacoes de I/O realizadas por um cojuto de programas foi medido e obteve-se: {23, 33, 14, 15, 42, 28, 33, 45, 23, 34, 39, 21, 36, 23, 34}. Respoda: a) Quais sao o 10 th e o 90 th percetis da amostra? b) Qual o umero medio de operacoes de I/O realizadas por um programa? c) Qual e o IC de 90% para este umero? Se voce assumir que o umero medio de operacoes de I/O realizadas pelos programas de mesma classe e igual a media da amostra, qual o maior erro que voce pode icorrer, assumido uma cofiaca de 90%? d) Qual e a porcetagem de programas que fazem o maximo 25 operacoes de I/O? Voce pode dizer, com 90% de cofiaca, que meos que 50% dos programas realizam o maximo 25 operacoes de I/O? E meos que 60%? Utilize a formula de IC para proporcao dada em sala mesmo embora p < 10 e) Supoha que o umero de operacoes medido correspode ao umero de I/Os realizados por segudo por cada programa. Supoha aida que o mix de programas acima deve executar (em paralelo) em um determiado sistema. O sistema A cosegue suportar, em media, o maximo 450 operacoes de I/O por segudo. O sistema A ira suportar a execucao simultaea do mix de programas acima?