Virgílio A. F. Almeida DCC-UFMG 1/2005

Transcrição

1 Virgílio A. F. Almeida DCC-UFMG 1/005

2 !"

3 # Comparado quatitativamete sistemas eperimetais: Algoritmos, protótipos, modelos, etc Sigificado de uma amostra Itervalos de cofiaça Tomado decisões e comparado alterativas Cosiderações especiais sobre itervalo de cofiaça Tamaho das amostras

4 $% Duas fórmulas para itervalo de cofiaça Acima de 30 amostras de qualquer distribuição: distribuição-z (Normal) Pequeas amostras de populações ormalmete distribuídas: distribuiçao-t (Studet) Um erro comum: usar distribuição-t para populações ão ormalmete distribuídas. Teorema do limite cetral base do cálculo do ível de cofiaça do itervalo de cofiaça (IC).

5 $% Por eemplo, sabedo ode 90% das médias de amostras se situam, podemos etão estabelecer um itervalo de cofiaça de 90% Chave: Teorema do Limite Cetral: As médias de amostras são distribuidas pela Normal. Desde que sejam idepedetes Média das amostras sigifica que a média da população é µ σ Desvio padrão (erro padrão) é

6 & '( Itervalo em cada lado da média: z = σ / ± z 1 α s O ível de sigificâcia α é pequeo para íveis maiores do itervalo de cofiaça. Eistem tabelas para a variável z!

7 & Fórmula quase a mesma: ± t [ 1 α ; 1] s Usável para populações ormalmete distribuídas! Fucioa para pequeas amostras Similar a Normal (bell-shaped, porem mais espalhada) e depede do tamaho da amostra.

8 ) * Por que usamos itervalos de cofiaça? Sumarizar o erro a média da amostra Prover elemetos para saber se a amostra é sigificativa Permitir comparações à luz dos erros Aviso: um itervalo de 90% de cofiaça, 10% das médias (observações coletada) ão icluem a média da população.

9 )+ A média da população é sigificativamete ãozero? Se o itervalo de cofiaça iclui 0, a resposta é ão! Pode-se testar para qualquer valor (média das somas é a soma das médias) Eemplo: as amostras de alturas são cosistetes com a altura média de 1,70 m Também cosistetes com 1,60 e 1,80!

10 Num projeto de pesquisa, geralmete, procura-se o melhor sistema, o melhor algoritmo: Eemplos: Determiar o sistema que apresete a melhor relação QoS-preço, ode QoS é medido eperimetalmete. Provar que um algoritmo Y eecuta mais rápido que outros eistetes e sejam similares fucioalmete. Métodos diferetes para observações pareadas (com par) e ão pareadas (sem par). Pareadas se o i-ésimo teste em cada sistema foi o mesmo Não pareadas, caso cotrário

11 , * Tratar o problema como uma amostra de pares. Para cada teste calcule as difereças dos resultados 3. Calcule os itervalos de cofiaça para as difereças 4. Se o itervalo iclui 0 (zero), os objetos de comparação (e.: sistemas, algoritmos, etc) ão são diferetes 5. Se o itervalo ão iclui zero, o sial da difereça idica qual dos objetos é melhor, baseado os dados eperimetais.

12 ., *- Cosidere dois algoritmos de IA que recohecem objetos: A e B Num teste com vários objetos, o algoritmo A acerta mais que o B? Amostra de testes com 14 objetos: 40 4/ / / / 9 4/ /

13 . * / '0 '1 ' '3 Difereças etre algoritmos A-B: Média 1.4, itervalo de 90% (-0.75, 3.6) Não se pode rejeitar a hipótese que a difereça é 0 e que portato os algoritmos tem desempeho similar. Itervalo de 70% é (0.10,.76), A tem desempeho melhor que B

14 , *: - ; < Cosidere as amostras a b para cada uma das alterativas, A e B Comece com os itervalos de cofiaça Se ão houver sobreposição: Algoritmos são diferetes e a maior média é melhor (pelas métricas usadas) Se houver sobreposição e cada IC cotem a outra média: Algoritmos ão são diferetes este ivel Se estiverem próimos, pode-se abaiar o ível de cofiaça Se houver sobreposição e uma média ão está o outro IC Tem de fazer o teste-t e media media media A A A B B B

15 , ' =4> 1 Compute as médias das amostras a e. Compute os desvio-padrões s a e s b 3. Compute adifereça das médias = a 4. Compute o desvio padrão das difereças: b b s sa = + a s b b

16 , ' =0> 5. Compute os graus efetivos de liberdade: ν = a ( s a / a + s b / b ) 6. Compute o itervalo de cofiaça: + 7. Se o itervalo iclui zero, ão há difereça s s a b a b t s 1 ( ) a b [ α / ; ν ] b

17 -* Se 1 de eperimetos dão um certo resultado, etão podese dizer que a proporção das amostras é dada por: = p 1 Eemplos: A precisão do algoritmo A de recuperação de iformação foi superior a precisão de B em 55 dos 100 casos aalisados. Com 90% de cofiaça pode-se dizer que A supera B em precisão? Durate 5000 samples coletados, em 1000, o percetual de system time foi iferior a 0%. Com 95% de cofiaça, qual o itervalo de cofiaça ode o sistema operacioal gasta meos de 0% dos recursos?

18 -* Se 1 de eperimetos dão um certo resultado, etão o itervalo de cofiaça (IC) para a proporção: IC p z 1 α / p(1 p) A fórmula acima é baseada uma aproimação da distribuição biomial (variâcia = p(1-p)) Na prática, deve-se ter p>10 para obter resultados válidos

19 * 1. Selecioar um itervalo de cofiaça para trabalhar. Teste de Hipótese (aulas seguites) 3. Itervalos de cofiaça de um úico ado

20 # $% Depede do custo de se estar errado!!! Produção de um paper cietífico Demostração de um ovo algorítmo eperimetalmete Geração de um produto Os íveis de cofiaça etre 90% e 95% são os valores comus para papers cietificos Em geral, use o maior valor que lhe permita establecer coclusões sólidas um processo eperimetal! Mas é melhor ser cosistete durate todo o paper que se está trabalhado.

21 A ull hypothesis (H 0 ) é comum em estatísticas e tratameto de dados eperimetais: Pode ser cofuso em egativas duplas Provê meos iformação que itervalos de cofiaça Em geral mais dificil de computar Deve-se eteder que rejeitar a hipótese ula implica que o resultado é sigificativo.

22 $% 'A Itervalos de dois lados testam se a média está fora ou detro de uma variação defiida pelos dois lados do itervalo (observe os gráficos de badas de erro do eemplo aterior. ) Teste de itervalos um úico lado são úteis somete quado se está iteressado em um limite. E.: Com 90% de cofiaça, qual o itervalo para o tempo médio de resposta ser meor que a média R alcaçada. P ( R t 1, α ) = 1 α

23 $% ' Limite iferior t [1 α ; 1] s, Limite superior, + t [1 α ; 1] s,

24 )! Amostras maiores levam a itervalos mais estreitos Obtem-se meores valores de t e v à medida que cresce i formulas Coleta de amostras pode ser um processo caro! Qual o míimo que se pode querer um eperimeto? Comece com um pequeo úmero de medições prelimiares para estimar a variâcia.

25 !)! Para obter um erro percetual ± r %: zs = 100 r Aqui z represeta ou z or t qdo apropriado Para uma proporção p = 1 /: z p 1 = p r ( )

26 !)!. 4 Cico eecuções de um query levaram.5, 19.8, 1.1, 6.7, 0. secods Quatas eecuções devem ser eecutadas para obter ± 5% de CI um ível de cofiaça de 90%? =.1, s =.8, t 0.95;4 =.13 = ( )(. 1 3 )(. 8) = 5. 4 = 9. ( 5)(. 1)

27 !)!. 0 Supoha que queremos determiar o itervalo de cofiaça para tal que eiste um itervalo com probabilidade 1-α tal que um valor real esteja o itervalo. / 1 / 1 / ) ( ) (1 ) (1 ) ),(1 ) ((1 ), ( e s z s z e c s z e c e e c c α α α = = + = = = + =

28 !)!. 0 Supoha que o tempo médio para gravar um arquivo é 7,94 seg com desvio padrão de,14. Aproimadamete, quatas medidas serão requeridas se ós desejamos um IC de 90% e que a média esteja detro de um itervalo de 7%. α = 0.10, 1- α/= 0.95 e = 0.35 ( z 1 α / = = 13 s) e 1.895(.14) = 0.035(794) = 1.95

29 & --B I. Elaboração de um documeto de uma ou duas págias o máimo, cotedo os potos abaio: 1. Especificação do problema e coteto. Defiição da hipótese 3. Decisões da carga de trabalho 4. Metricas a serem usadas 5. Método de testes

30 C Cosidere que seu trabalho é comparar o desempeho de dois algoritmos (A e B) de computação gráfica, que usam métodos diferetes para geração de faces humaas realísticas. São sistema compleos cuja eecução leva tempos logos para geração das faces. O sistema A foi testado 8 vezes e o sistema B apeas 5, ode em cada eperimeto utilizou-se o mesmo padrão de resultado a obter. Os tempos de teste dos algoritmos estão a tabela a seguir. Com base esses resultados, pede-se que se determie qual algoritmo teve melhor desempeho?

31 C Eperimeto Algoritmo A (seg) Algoritmo B (seg)