IV AVALIAÇÃO IV.4 ANÁLISE DE DADOS DA AVALIAÇÃO Interactive System Design, Cap. 10, William Newman Melhor e Pior? 1
Melhor e Pior? Resumo Aula Anterior o Avaliação com utilizadores Local (Laboratório, Ambiente de trabalho) Utilizadores Métodos de avaliação Observação Interrogação (Questionários e Entrevista) Monitorização fisiológica 2
Sumário o Testes com utilizadores o Fases do Teste o Análise dos dados por métodos estatísticos Teste t Intervalos de Confiança Chi Quadrado EFECTUANDO OS TESTES 3
Planear os Testes Objectivo Planear os Testes Objectivo Onde 4
Planear os Testes OCT 12 Objectivo Onde Quando Planear os Testes OCT 12 Objectivo Onde Quando Duração 5
Planear os Testes OCT 12 Objectivo Onde Quando Duração Equipamento Planear os Testes OCT 12 Objectivo Onde Quando Duração Equipamento Software 6
Antes dos Testes Estado Antes dos Testes Estado Tempo de Resposta 7
Antes dos Testes Estado Tempo de Resposta Quem Conduz? Antes dos Testes Estado Tempo de Resposta Quem Conduz? Angariar Utilizadores 8
Antes dos Testes Estado Tempo de Resposta Quem Conduz? Angariar Utilizadores Quantos? Antes dos Testes Estado Tempo de Resposta Quem Conduz? Angariar Utilizadores Quantos? Tarefas 9
Antes dos Testes Fim Correcto Antes dos Testes Fim Correcto Ajuda & Docs. 10
Antes dos Testes Fim Correcto Ajuda & Docs. Podemos Ajudar? Antes dos Testes Fim Correcto Ajuda & Docs. Podemos Ajudar? Dados 11
Antes dos Testes Fim Correcto Ajuda & Docs. Podemos Ajudar? Dados Sucesso? Resumo: Antes dos Testes OCT 12 Objectivo Onde Quando Duração Equipamento Software Estado Tempo de Resposta Quem Conduz? Fim Correcto Ajuda & Docs. Podemos Ajudar? Angariar Utilizadores Quantos? Tarefas Dados Sucesso? 12
Testes Piloto Testar procedimento com 1 / 2 sujeitos piloto Qualquer pessoa Instruções compreensíveis? Questionários? Tempo realista? Refinar o procedimento Ex. de Protocolo Experimental 13
Fases do Teste 1. Preparação 2. Introdução 3. Realização do Teste 4. Debriefing 1. Preparação Sala de testes pronta Sistema no estado planeado Material disponível Preparar tudo antes da chegada do utilizador 14
2. Introdução Boas vindas Propósito dos testes Procedimento dos testes Formulário de consentimento se existir 2. Introdução: Referir O objectivo é avaliar o sistema e não o utilizador Utilizador pode falar livremente sem medo de ferir susceptibilidades Resultados do teste serão usados para melhorar a interface 15
2. Introdução: Referir Explicar se vão gravar audio e vídeo O utilizador pode fazer as perguntas que quiser, mas não durante o teste. Instruções específicas para a experiência Pensar em voz alta, realizar a tarefa tão rápido quanto possível sem ajuda, etc. 3. Realização do Teste Coordenador dá instruções claras e precisas Por escrito (ex. Tarefas) 16
3. Realização do Teste Coordenador dá instruções claras e precisas Por escrito (ex. Tarefas) Não deve Interagir com o utilizador Fazer comentários Ajudar o utilizador 3. Realização do Teste Coordenador dá instruções claras e precisas Por escrito (ex. Tarefas) Anotar medidas de desempenho Deve Anotar comentários e observações do utilizador 17
Medidas de Desempenho Medidas de Usabilidade típicas Tempo para completar uma tarefa Nº de tarefas concluídas num determinado intervalo de tempo Nº de erros cometidos Tempo gasto a recuperar de erros Relação entre interacções com sucesso e erros Medidas de Desempenho Medidas de Usabilidade típicas Nº comandos ou funções usadas pelo utilizador Nº comandos ou funções que nunca foram usadas Nº de funções do sistema que o utilizador consegue recordar no debriefing Frequência de utilização de manuais ou ajudas Etc. 18
4. Debriefing Questionário de satisfação Antes de discutir o sistema Pedir comentários Agradecer aos participantes 4. Debriefing Depois do utilizador sair: Garantir que toda a informação recolhida está identificada com o utilizador Escrever pequeno relatório sobre a experiência 19
Avaliação dos resultados Ordenem e prioritizem observações Escrevam um relatório sobre resultados Alterem o desenho e repitam a experiência Relatório Avaliação Objectivos Descrição do sistema a testar Ambiente em que se fazem as tarefas Características dos participantes Metodologia Tarefas Testes e medidas Análise dos dados medidos 20
Relatório Avaliação Objectivos Descrição do sistema a testar Ambiente em que se fazem as tarefas Características dos participantes Metodologia Tarefas Testes e medidas Análise dos dados medidos ESTATÍSTICA INTERACTIVE SYSTEM DESIGN, CAP. 10, WILLIAM NEWMAN 21
O que (NÃO) vem ai 22
SOMOS ENGENHEIROS! As Bases Estatística Descritiva Média Soma dos quadrados das diferenças Variância Desvio Padrão 23
As Bases Estatística Descritiva Média Soma dos quadrados das diferenças Variância Desvio Padrão Significado do Desvio Padrão 80 70 60 50 σ Média = 50 StDev = 16 40 30 20 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 σ 80 70 60 50 40 30 σ σ Média = 50 StDev = 4.2 20 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 24
Mais valores Mediana 9, 4, 15, 2, 8, 1, 1, 4, 2, 2, 12, 3, 2, 1, 9 Mais valores Mediana 9, 4, 15, 2, 8, 1, 1, 4, 2, 2, 12, 3, 2, 1, 9 1, 1, 1, 2, 2, 2, 2, 3, 4, 4, 8, 9, 9, 12, 15 25
Mais valores Mediana 9, 4, 15, 2, 8, 1, 1, 4, 2, 2, 12, 3, 2, 1, 9 1, 1, 1, 2, 2, 2, 2, 3, 4, 4, 8, 9, 9, 12, 15 Mais valores Mediana 9, 4, 15, 2, 8, 1, 1, 4, 2, 2, 12, 3, 2, 1, 9 1, 1, 1, 2, 2, 2, 2, 3, 4, 4, 8, 9, 9, 12, 15 Média = 5 26
Mais valores Moda 1, 1, 1, 2, 2, 2, 2, 3, 4, 4, 8, 9, 9, 12, 15 Mais valores Moda 1, 1, 1, 2, 2, 2, 2, 3, 4, 4, 8, 9, 9, 12, 15 = 2 27
O Quê Quando? Média sempre com desvio padrão Tempo médio para fazer a tarefa Votos em categorias: mediana, moda Quantos preferem A, B ou C Categorias numéricas: média, moda Nível de satisfação, de 1 a 5 O Quê Quando? Média + Desvio Padrão Tempo médio para fazer a tarefa 28
No Excel AVERAGE(range) VAR(range) STDEV(range) MEDIAN(range) MODE(range) Não Chega! 29
TESTES ESTATÍSTICOS! Próxima Aula o Análise dos dados por métodos estatísticos Teste t Intervalos de Confiança Chi Quadrado 30