Interfaces Pessoa. Avaliação IV. Máquina. Cap. 9 -Avaliação

Transcrição

1 Avaliação IV Interfaces Pessoa Máquina 13 Cap. 9 -Avaliação

2 Melhor e Pior?

3 Melhor e Pior?

4 Resumo Aula Anterior Avaliação Preditiva GOMS KLM Avaliação com Utilizadores Planeamento dos testes

5 Perguntas! É necessário um protótipo para fazer avaliação preditiva? Importância do planeamento dos testes.

6 Sumário Avaliação com utilizadores Participantes Tarefas Fases da sessão de testes Métodos de avaliação

7 01 PARTICIPANTES

8 Participantes Considerações Éticas Que Utilizadores? Quantos utilizadores? Distribuição dos utilizadores

9 Considerações Éticas

10 Considerações Éticas Tempo

11 Considerações Éticas Tempo Conforto

12 Considerações Éticas Tempo Conforto Informação

13 Considerações Éticas Tempo Conforto Informação Privacidade

14 Considerações Éticas Tempo Conforto Informação Privacidade Controlo

15 Considerações Éticas

16 Quem?

17 Quem?

18 Quem?

19 Quem?

20 Quantos?

21 Formativa 1 utilizador -> 33% 5 utilizadores -> 85% 15 utilizadores -> 99%

22 Formativa 1 x 15utilizadores ->99%

23 Formativa 1 x 15utilizadores ->99% 3 x 5utilizadores ->3 x 85%

24 Sumativa 10a 20utilizadores

25 Comparação de dois Sistemas Sistema 1 Sistema 2

26 Como dividi-los? Testes Intergrupos Grupo 1 Grupo 2 Sistema 1 Sistema 2

27 Como dividi-los? Testes Intragrupos Grupo 1 Sistema 1 Sistema 2

28 Como dividi-los? Testes Intragrupos Grupo 1 Sistema 1 Sistema 2 Trocar ordem de uso dos sistemas (aprendizagem)

29 02 TAREFAS E MEDIDAS DE USABILIDADE

30 Características Tarefas Reais e representativas O quê e não como Específicas Mistura complexidades Identificar utilizador

31 Tarefas Identificadas na AUT Avaliação Sumativa (comparativa) Não favorecer uma das soluções Usar as mesmas tarefas

32 Exemplo de Tarefa (CERTO!) Escolher a opção do menu para encomendar um bife com batatas fritas e depois carregar no botão da salada.

33 Exemplo de Tarefa (CERTO!) Escolher a opção do menu para encomendar um bife com batatas fritas e depois carregar no botão da salada. Encomendar um bife da vazia mal passado, com ovo estrelado, batatas fritas, arroz e uma salada de alface e tomate.

34 Medidas de Usabilidade Tempo para completar tarefa Nº de erros cometidos Nº tarefas concluídas Nº de cliques Nº de consultas à ajuda Etc. Satisfação do utilizador Escalas de Likert Escala diferencial semântica

35 Testes-Piloto Qualquer pessoa 2 a 3 pessoas Testar procedimento Duração Instruções Tarefas Questionário Etc.

36 03 FASES DA SESSÃO DE TESTES

37 1 -Preparação Coordenador assegura condições Sala Sistema Material Formulários Questionários etc.

38 2 -Introdução Boas vindas Objetivos do teste Procedimentos dos testes Formulário consentimento

39 2 -Introdução Objetivo avaliar o sistema não o utilizador Resultados para melhorar sistema Pode falar livremente Pode abandonar os testes

40 2 -Introdução Pode fazer perguntas Não durante os testes Explicar se vão gravar áudio e vídeo Dar instruções específicas Pensar em voz alta Realizar rápido Com ou sem ajuda Etc.

41 3 Realização do Teste Coordenador Conduz os testes Explica objetivos Dá instruções claras e precisas (ex. Tarefas) Interage com utilizador Observador Observa utilizadores Toma notas

42 3 Realização do Teste Devem Anotar medidas de desempenho Anotar comentários e observações do utilizador

43 3 Realização do Teste Não devem Interagir com o utilizador Fazer comentários Ajudar o utilizador

44 4 -Balanço Questionário de Satisfação Antes de discutir o sistema Pedir comentários Agradecer

45 4 -Balanço Garantir identificação da informação recolhida Escrever relatório da experiência

46 Relatório da Avaliação Objectivos Descrição do sistema testado Ambiente onde se fizeram as tarefas Descrição dos participantes Metodologia Tarefas Medidas recolhidas Questionários usados Análise dos dados recolhidos Problemas de usabilidade encontrados

47 04 MÉTODOS DE AVALIAÇÃO COM UTILIZADORES

48 Observação Direta Local trabalho Laboratório

49 Questionários / Entrevistas

50 SystemUsabilityScale(SUS) Medida de Usabilidade do sistema

51 Single Ease Question (SEQ) Colocada depois de realizar a tarefa No geral, quão difícil ou fácil foi completar a tarefa? Muito Díficil Muito Fácil

52 Mais Métodos Pensar em voz alta Diz o que pensa e vai fazer Observação indireta Registos de interação (logs) Recolha automática Monitorização Fisiológica EyeTracking Medidas fisiológicas

53 Escolha do Método Avaliação Formativa (problemas de usabilidade) Observação direta no laboratório Pensar em voz alta Observação indireta Avaliação Sumativa (medidas de desempenho) Observação direta Questionários / Entrevistas Observação indireta

54 Resumo: Avaliação de Usabilidade Avaliação Heurística Realizada por peritos Permite avaliar protótipos iniciais (PP) Também pode ser usada para avaliar produtos Avaliação Preditiva Utiliza modelos preditivos (GOMS, KLM) Estima desempenho da realização das tarefas Avaliação com Utilizadores Realizada com utilizadores Tarefas reais

55 Avaliação Heurística / Utilizadores Avaliação Heurística é muito mais expedita 1-2 horas por avaliador vs dias-semanas AH não requer interpretação das ações do utilizador Teste com utilizadores é muito mais preciso Considera utilizadores e tarefas reais AH pode ignorar problemas ou indicar falsos positivos Alternar entre AH e teste com utilizadores Identificam problemas diferentes Desperdiça menos recursos (participantes)

56 Resumo Participantes Ética; Quem; Quantos; Divisão Tarefas e Medidas Fases da sessão de testes Preparação; Introdução; Avaliação; Balanço Métodos de avaliação

57 TPC Análise Dados Ler Cap. 11 do Livro Secções 11.1 a 11.4