IV.4 Análise de Dados da Avaliação IV AVALIAÇÃO IV.4 ANÁLISE DE DADOS DA AVALIAÇÃO. Interactive System Design, Cap. 10, William Newman. Melhor e Pior?

Transcrição

1 IV AVALIAÇÃO IV.4 ANÁLISE DE DADOS DA AVALIAÇÃO Interactive System Design, Cap. 10, William Newman 1 Melhor e Pior? 2 1

2 Resumo Aula Anterior o Testes com utilizadores o Fases do Teste o Análise dos dados 3 Sumário o Análise dos dados por métodos estatísticos Teste t Intervalos de Confiança Chi Quadrado 4 2

3 As Bases Estatística Descritiva Média Soma dos quadrados das diferenças Variância Desvio Padrão 5 No Excel AVERAGE(range) VAR(range) STDEV(range) MEDIAN(range) MODE(range) 6 3

4 Não Chega! 7 TESTES ESTATÍSTICOS! 8 4

5 Testes Estatísticos Solução A melhor que a B? Alteração no tipo de menus (PullDown vs Pie) Caligráfico vs Menus Solução cumpre os objectivos? Os nossos objectivos de usabilidade são atingidos? 9 Para quê este trabalho todo Questão: a tarefa leva menos do que 30 segundos? 10 5

6 Para quê este trabalho todo Testes com 10 utilizadores: Média: Para quê este trabalho todo Testes com 10 utilizadores: 29.6 <

7 Para quê este trabalho todo Testes com 10 utilizadores: 29.6 < Para quê este trabalho todo Média: 29.6 StDev: 8.7 Problema 1: Grande dispersão! 14 7

8 Para quê este trabalho todo Média: 29.6 StDev: Para quê este trabalho todo 40 Média: 29.6 StDev:

9 Para quê este trabalho todo 40 Média: 29.6 StDev: Para quê este trabalho todo Problema 2: amostra pequena!

10 Para quê este trabalho todo 40 Média: 31.3 StDev: Para quê este trabalho todo Mas mesmo assim não chega! 20 10

11 Para quê este trabalho todo Mas mesmo assim não chega! Para quê este trabalho todo 40 Média: 29.1 StDev:

12 Para quê este trabalho todo Então?? 23 Para quê este trabalho todo Acreditamos na média? 24 12

13 Para quê este trabalho todo Acreditamos na média? É melhor olhar para os dados 25 Para quê este trabalho todo Acreditamos na média? É melhor olhar para os dados Mas Só temos uma amostra! 26 13

14 Universo vs Amostra Média, desvio padrão da população Da amostra 27 Significado Variância/Desvio Padrão 28 14

15 IV.4 Análise de Dados da Avaliação Há sempre mais um 29 Procedimento 1. Escolha da amostra representativa Público alvo 30 15

16 Procedimento 1. Escolha da amostra representativa 2. Formulação da hipótese nula (H 0 ) 31 Procedimento Hipótese Nula Hipótese H 0 Hipótese Nula Não há diferenças, o tempo é igual Ex. A mudança de menus não afecta o desempenho Hipótese H 1 - Hipótese experimental Diz o que queremos verificar Ex. Os novos menus melhoram o desempenho 32 16

17 Procedimento Grau de Confiança α = Probabilidade de parecer que H 1 se verifica, mas afinal estarmos errados ( apanhámos esquisitos ) Grau de Confiança = (1 - α ) 33 Procedimento Grau de Confiança Aceitável: α = 0.05, grau de confiança = 95% Melhor: α = 0.01, grau de confiança = 99% 34 17

18 Procedimento Grau de Confiança Objectivo rejeitar H 0 para um determinado α 35 Procedimento 1. Escolha da amostra representativa 2. Formulação da hipótese nula (H 0 ) 3. Realização dos testes Recolher os dados 36 18

19 Realizar os testes Inter-Grupos Dois grupos de teste Cada grupo usa apenas um dos sistemas Intra-Grupos Um grupo de utilizadores Cada pessoa usa ambos os sistemas Não podem usar as mesmas tarefas ou pela mesma ordem (aprendizagem) 37 Realizar os testes Maiores Amostras Melhores Resultados 38 19

20 Procedimento 1. Escolha da amostra representativa 2. Formulação da hipótese nula (H 0 ) 3. Realização dos testes 4. Aplicar tratamento estatístico 39 Três testes diferentes t-student para médias intervalos de confiança chi-quadrado 40 20

21 t T-STUDENT 41 Objectivo: Médias Iguais? Atalhos Menus Média D.Pad Atalhos é melhor que Menus? 42 21

22 Objectivo: Médias Iguais? Atalhos Menus Média D.Pad Atalhos é melhor que Menus? Não Sabemos!! Valores próximos, grande desvio padrão 43 O t-student para médias Definir H

23 Bicaudal e Unicaudal 45 Unicaudal 46 23

24 Bicaudal 47 O t-student para médias H 0 As médias são iguais 48 24

25 O t-student para médias Se rejeitarmos H 0 : A probabilidade de (não parecerem iguais e) serem é menor que α. 49 O t-student para médias Se rejeitarmos H 0 : Posso dizer que são diferentes com uma confiança de (1- α)

26 Presusposto: Normalidade Amostra segue uma distribuição normal 51 E agora? testes de normalidade D'Agostino's K-squared test Jarque Bera test Anderson Darling test Lilliefors test for normality Kolmogorov Smirnov test Shapiro Wilk test 52 26

27 IV.4 Análise de Dados da Avaliação E agora? testes de normalidade D'Agostino's K-squared test Jarque Bera test Anderson Darling test Lilliefors test for normality Kolmogorov Smirnov test Shapiro Wilk test 53 O Universo é Porreiro 54 27

28 É Verdade que Valores medidos na natureza tendem para a normalidade! Amostras de pelo menos Como se calcula? Variância combinada Desvio padrão da diferença Valor de t 56 28

29 Conclusão! Se t > th 0 (da tabela) rejeitamos H 0 (para α) 57 Exemplo: Bilheteira Objectivo: Comparar Bilheteira com Máquina Hipótese nula: a forma de aquisição do bilhete não tem influência no tempo da tarefa (α = 0.05) Medidas bilheteira: 28, 25, 23, 26, 30, 32 segundos máquina: 32, 41, 37, 40, 30 segundos Médias bilheteira: 29 s máquina: 36 s 58 29

30 Teste de t - Bilheteira TTEST( ) Type: 3 (se inter-grupos) Type: 1 (se intra-grupos) 59 Teste de t - Bilheteira Resultado: probabilidade com que não poderiamos rejeitar H <

31 Teste de t - Bilheteira Resultado: probabilidade com que não poderiamos rejeitar H < 0.05 Rejeita-se H 0! 61 Teste de t - Bilheteira Conclusão A compra de bilhetes em máquina é 24% (36/29) mais lenta do que na bilheteira, com uma probabilidade de 96,4% 62 31

32 INTERVALOS [0, 1] DE CONFIANÇA 63 Objectivo: Atingimos um valor? Atalhos Média 2.9 D.Pad O tempo para usar os atalhos é inferior a 3s? 64 32

33 Objectivo: Atingimos um valor? Atalhos Média 2.9 D.Pad O tempo para usar os atalhos é inferior a 3s? Não Sabemos!! Grande desvio padrão 65 lembram-se disto? 40 Média: 29.1 StDev:

34 Intervalo de Confiança A média da população está dentro do intervalo com uma dada probabilidade. 67 Intervalo de Confiança Evitar este 68 34

35 Intervalo de Confiança Exemplo Uma operação não deve demorar mais do que 25s Intervalo totalmente abaixo de 25 s 69 Como se calcula? 1. Calcular variância (s 2 ) 2. Desvio padrão da média 3. Determinar t bicaudal para a probabilidade pretendida e grau de liberdade da amostra (N-1) 4. O intervalo estará compreendido entre 70 35

36 Intervalo de Confiança (Ex.) Métrica: Nº de Erros Objectivo: Nº erros <= 15 (α = 0.05) Amostra: 13, 6, 8, 11 Média: 9,5 Variância: 9,67 71 Intervalo de Confiança (Ex.) Desvio padrão da média: Para p=0,05 t=3.182 (da tabela ou usando TINV ()) Intervalo x min = 9,5 3,182 x 1,55 = 5,84 x max = 9,5 + 3,182 x 1,55 = 13,

37 Intervalo de Confiança (Ex.) Intervalo abaixo de 15 Conclusão: Nº erros da população inferior a 15 c/ 95% de certeza 73 χ 2 CHI-QUADRADO 74 37

38 Objectivo: Frequências esperadas = observadas? Achamos que: 40% usa menus 60% usa atalhos Medimos: 45% usam menus 55% usam atalhos 75 Objectivo: Frequências esperadas = observadas? 40%!= 45% 60%!= 55% Afinal é 45/55 em vez de 40/60? 76 38

39 Objectivo: Frequências esperadas = observadas? 40%!= 45% 60%!= 55% Afinal é 45/55 em vez de 40/60? Não sabemos! 77 Chi-Quadrado H 0 As frequências observadas são as esperadas 78 39

40 Como se calcula? diferença entre freq. observadas e esperadas Se > H 0 (da tabela) rejeitamos H 0 (para α) 79 Tabela do chi Quadrado 80 40

41 Teste do Chi Quadrado (Exemplo) Objectivo: Qual a opção preferida de entre as 3? Hipótese Nula: As freqs. 5,16,9 (observadas) são iguais a 10,10,10 (esperadas) 30 utilizadores Opção f esperada f observada Diferença Quad. Da Diferença / f esperada A ,5 B ,6 C ,1 81 Teste do Chi Quadrado (Exemplo) Opção f esperada f observada Diferença Quad. Da Diferença / f esperada A ,5 B ,6 C ,1 = 6.2 Graus de liberdade: N-1 = 3-1 = 2 Da tabela obtemos 5,99 para α =0,05 Rejeita-se a hipótese nula (6.2 > 5.99) 82 41

42 Chi Quadrado no Excel < > Rejeitar H 0 83 CHI-Quadrado (Ex.) Conclusão: Uma das opções é preferida relativamente às outras, com 95% de certeza

43 Foi fácil! 85 Escolha de testes Funções estatísticas disponíveis em : Matlab, SPSS, R, ou mesmo Excel Essencial: escolher método apropriado 86 43

44 Escolha de testes: resumo! t-student: Duas médias são diferentes? A é mais rápido/lento que B Os utilizadores do grupo A cometem menos erros do que os do grupo B intervalos de confiança: atingimos um dado valor? A tarefa leva mais/menos do que x segundos? 87 Escolha de testes: resumo! chi-quadrado: vimos as frequências que esperávamos? Metade dos utilizadores prefere menus e a outra teclas de atalho? 70% das vezes escolhe-se usar a toolbar, 20% o menu de contexto e 10% a tecla de atalho 88 44

45 Resumo Os testes mais conclusivos devem ser realizados com utilizadores reais Os testes devem ser planeados e aprovados previamente Devem ser recolhidos dados qualitativos e quantitativos Dados numéricos só são conclusivos se validados por testes estatísticos Escolhido o método estatístico adequado 89 Próxima Aula o Factores Humanos HCI, Cap. 1, Alan Dix o Modelo Humano de Processamento Subsistema de Percepção Visão Audição Tacto Subsistema Motor 90 45