IV.4 Análise de Dados da Avaliação IV AVALIAÇÃO IV.4 ANÁLISE DE DADOS DA AVALIAÇÃO. Interactive System Design, Cap. 10, William Newman. Melhor e Pior?

Transcrição

1 IV AVALIAÇÃO IV.4 ANÁLISE DE DADOS DA AVALIAÇÃO Interactive System Design, Cap. 10, William Newman Melhor e Pior? 1

2 Melhor e Pior? Resumo Aula Anterior o Avaliação com utilizadores Local (Laboratório, Ambiente de trabalho) Utilizadores Métodos de avaliação Observação Interrogação (Questionários e Entrevista) Monitorização fisiológica 2

3 Sumário o Testes com utilizadores o Fases do Teste o Análise dos dados por métodos estatísticos Teste t Intervalos de Confiança Chi Quadrado EFECTUANDO OS TESTES 3

4 Planear os Testes Objectivo Planear os Testes Objectivo Onde 4

5 Planear os Testes OCT 12 Objectivo Onde Quando Planear os Testes OCT 12 Objectivo Onde Quando Duração 5

6 Planear os Testes OCT 12 Objectivo Onde Quando Duração Equipamento Planear os Testes OCT 12 Objectivo Onde Quando Duração Equipamento Software 6

7 Antes dos Testes Estado Antes dos Testes Estado Tempo de Resposta 7

8 Antes dos Testes Estado Tempo de Resposta Quem Conduz? Antes dos Testes Estado Tempo de Resposta Quem Conduz? Angariar Utilizadores 8

9 Antes dos Testes Estado Tempo de Resposta Quem Conduz? Angariar Utilizadores Quantos? Antes dos Testes Estado Tempo de Resposta Quem Conduz? Angariar Utilizadores Quantos? Tarefas 9

10 Antes dos Testes Fim Correcto Antes dos Testes Fim Correcto Ajuda & Docs. 10

11 Antes dos Testes Fim Correcto Ajuda & Docs. Podemos Ajudar? Antes dos Testes Fim Correcto Ajuda & Docs. Podemos Ajudar? Dados 11

12 Antes dos Testes Fim Correcto Ajuda & Docs. Podemos Ajudar? Dados Sucesso? Resumo: Antes dos Testes OCT 12 Objectivo Onde Quando Duração Equipamento Software Estado Tempo de Resposta Quem Conduz? Fim Correcto Ajuda & Docs. Podemos Ajudar? Angariar Utilizadores Quantos? Tarefas Dados Sucesso? 12

13 Testes Piloto Testar procedimento com 1 / 2 sujeitos piloto Qualquer pessoa Instruções compreensíveis? Questionários? Tempo realista? Refinar o procedimento Ex. de Protocolo Experimental 13

14 Fases do Teste 1. Preparação 2. Introdução 3. Realização do Teste 4. Debriefing 1. Preparação Sala de testes pronta Sistema no estado planeado Material disponível Preparar tudo antes da chegada do utilizador 14

15 2. Introdução Boas vindas Propósito dos testes Procedimento dos testes Formulário de consentimento se existir 2. Introdução: Referir O objectivo é avaliar o sistema e não o utilizador Utilizador pode falar livremente sem medo de ferir susceptibilidades Resultados do teste serão usados para melhorar a interface 15

16 2. Introdução: Referir Explicar se vão gravar audio e vídeo O utilizador pode fazer as perguntas que quiser, mas não durante o teste. Instruções específicas para a experiência Pensar em voz alta, realizar a tarefa tão rápido quanto possível sem ajuda, etc. 3. Realização do Teste Coordenador dá instruções claras e precisas Por escrito (ex. Tarefas) 16

17 3. Realização do Teste Coordenador dá instruções claras e precisas Por escrito (ex. Tarefas) Não deve Interagir com o utilizador Fazer comentários Ajudar o utilizador 3. Realização do Teste Coordenador dá instruções claras e precisas Por escrito (ex. Tarefas) Anotar medidas de desempenho Deve Anotar comentários e observações do utilizador 17

18 Medidas de Desempenho Medidas de Usabilidade típicas Tempo para completar uma tarefa Nº de tarefas concluídas num determinado intervalo de tempo Nº de erros cometidos Tempo gasto a recuperar de erros Relação entre interacções com sucesso e erros Medidas de Desempenho Medidas de Usabilidade típicas Nº comandos ou funções usadas pelo utilizador Nº comandos ou funções que nunca foram usadas Nº de funções do sistema que o utilizador consegue recordar no debriefing Frequência de utilização de manuais ou ajudas Etc. 18

19 4. Debriefing Questionário de satisfação Antes de discutir o sistema Pedir comentários Agradecer aos participantes 4. Debriefing Depois do utilizador sair: Garantir que toda a informação recolhida está identificada com o utilizador Escrever pequeno relatório sobre a experiência 19

20 Avaliação dos resultados Ordenem e prioritizem observações Escrevam um relatório sobre resultados Alterem o desenho e repitam a experiência Relatório Avaliação Objectivos Descrição do sistema a testar Ambiente em que se fazem as tarefas Características dos participantes Metodologia Tarefas Testes e medidas Análise dos dados medidos 20

21 Relatório Avaliação Objectivos Descrição do sistema a testar Ambiente em que se fazem as tarefas Características dos participantes Metodologia Tarefas Testes e medidas Análise dos dados medidos ESTATÍSTICA INTERACTIVE SYSTEM DESIGN, CAP. 10, WILLIAM NEWMAN 21

22 O que (NÃO) vem ai 22

23 SOMOS ENGENHEIROS! As Bases Estatística Descritiva Média Soma dos quadrados das diferenças Variância Desvio Padrão 23

24 As Bases Estatística Descritiva Média Soma dos quadrados das diferenças Variância Desvio Padrão Significado do Desvio Padrão σ Média = 50 StDev = σ σ σ Média = 50 StDev =

25 Mais valores Mediana 9, 4, 15, 2, 8, 1, 1, 4, 2, 2, 12, 3, 2, 1, 9 Mais valores Mediana 9, 4, 15, 2, 8, 1, 1, 4, 2, 2, 12, 3, 2, 1, 9 1, 1, 1, 2, 2, 2, 2, 3, 4, 4, 8, 9, 9, 12, 15 25

26 Mais valores Mediana 9, 4, 15, 2, 8, 1, 1, 4, 2, 2, 12, 3, 2, 1, 9 1, 1, 1, 2, 2, 2, 2, 3, 4, 4, 8, 9, 9, 12, 15 Mais valores Mediana 9, 4, 15, 2, 8, 1, 1, 4, 2, 2, 12, 3, 2, 1, 9 1, 1, 1, 2, 2, 2, 2, 3, 4, 4, 8, 9, 9, 12, 15 Média = 5 26

27 Mais valores Moda 1, 1, 1, 2, 2, 2, 2, 3, 4, 4, 8, 9, 9, 12, 15 Mais valores Moda 1, 1, 1, 2, 2, 2, 2, 3, 4, 4, 8, 9, 9, 12, 15 = 2 27

28 O Quê Quando? Média sempre com desvio padrão Tempo médio para fazer a tarefa Votos em categorias: mediana, moda Quantos preferem A, B ou C Categorias numéricas: média, moda Nível de satisfação, de 1 a 5 O Quê Quando? Média + Desvio Padrão Tempo médio para fazer a tarefa 28

29 No Excel AVERAGE(range) VAR(range) STDEV(range) MEDIAN(range) MODE(range) Não Chega! 29

30 TESTES ESTATÍSTICOS! Próxima Aula o Análise dos dados por métodos estatísticos Teste t Intervalos de Confiança Chi Quadrado 30