Os participantes convidados realizam tarefas controladas Os avaliadores coletam e analisam dados

Transcrição

1 Interface Homem/Máquina Aula 23 Professor Leandro Augusto Frata Fernandes Material disponível em Teste de Usabilidade Método de avaliação por observação Envolve usuários reais ou potenciais Permite identificar imprevistos Os participantes convidados realizam tarefas controladas Os avaliadores coletam e analisam dados Avaliar o desempenho dos participantes Apontar problemas na interação do sistema Sugerir melhorias Conteúdo baseado em Barbosa e Silva (2010), Capítulo

2 Ambiente de Avaliação Laboratório de Usabilidade da IBM Ambiente controlado Computador Participante ado Monitor Clone Avaliador Avaliador Vidro Espelh TCC Interface Homem/Máquina (2011.1) 3 Ambiente de Avaliação Ambiente remoto Pago (tanto para páginas quanto para aplicativos) o UserZoom ( Gratuito (apenas para páginas) o Usabilla ( free trial para 2 páginas o GhostRec ( 100 créditos grátis o Silverback ( free trial por 30 dias o Userfly ( 10 capturas por mês TCC Interface Homem/Máquina (2011.1) 4 2

3 Coleta de Dados Experiência de uso observada Registrar desempenho dos participantes Registrar opiniões e sentimentos por decorrência de uso Formas de registro Vídeo de usuário utilizando o sistema Log da interação na interface Áudio de comentários ou interjeições do usuário Sinais sensórios-motores Entrevistas e questionários TCC Interface Homem/Máquina (2011.1) 5 Exemplos de Resultados Obtidos Sobre dados mensuráveis Quantos erros os usuários cometem nas primeiras sessões de uso? Quantos usuários conseguiram completar com sucesso determinada tarefa? Quantas vezes os usuários consultaram a ajuda on-line ou o manual de usuário? Qual o tempo mediano para realizar determinada tarefa? Sobre dados não mensuráveis Impressões, opiniões e reações emocionais TCC Interface Homem/Máquina (2011.1) 6 3

4 Aplicação do Teste de Usabilidade Realizado por um ou mais avaliadores, que podem trabalhar em conjunto, revezar ou dividir as tarefas Atividades 1. Preparação 2. Coleta de dados 3. Interpretação 4. Consolidação dos resultados 5. Relato dos resultados TCC Interface Homem/Máquina (2011.1) 7 Aplicação do Teste de Usabilidade Realizado por um ou mais avaliadores, que podem trabalhar em conjunto, revezar ou dividir as tarefas Atividades 1. Preparação 2. Coleta de dados 3. Interpretação 4. Consolidação dos resultados 5. Relato dos resultados Definir tarefas para os participantes executarem Definir o perfil e recrutar participantes Preparar material para observar e registrar o uso Executar um teste piloto TCC Interface Homem/Máquina (2011.1) 8 4

5 Preparação Tipicamente seleciona-se entre 5 e 10 usuários Custo Benefício, segundo Jakob Nielsen TCC Interface Homem/Máquina (2011.1) 9 Preparação Tarefas geralmente não demoram mais que 30 minutos Mesmas condições de teste para todos os participantes Lembre-se do termo de consentimento e das questões éticas! TCC Interface Homem/Máquina (2011.1) 10 5

6 Usabilidade Realizado por um ou mais avaliadores, que podem trabalhar em conjunto, revezar ou dividir as tarefas Atividades 1. Preparação 2. Coleta de dados 3. Interpretação 4. Consolidação dos resultados 5. Relato dos resultados Observar e registrar a performance e a opinião dos participantes durante sessões de uso controladas TCC Interface Homem/Máquina (2011.1) 11 Coleta de Dados Questionário pré-teste Observação da interação Entrevista pós-teste O que medir Grau de sucesso da execução Total de erros cometidos Quantos erros de cada tipo ocorreram Tempo necessário para concluir tarefas Número de vezes que a ajuda on-line foi consultada Grau de satisfação do usuário Como coletar os dados Vídeo de usuário utilizando o sistema Log da interação na interface Áudio de comentários ou interjeições do usuário Sinais sensórios-motores Anotações do avaliador TCC Interface Homem/Máquina (2011.1) 12 6

7 Ferramentas para Coleta de Dados Questionário Interação TCC Interface Homem/Máquina (2011.1) 13 Aplicação do Teste de Usabilidade Realizado por um ou mais avaliadores, que podem trabalhar em conjunto, revezar ou dividir as tarefas Atividades 1. Preparação 2. Coleta de dados 3. Interpretação 4. Consolidação dos resultados 5. Relato dos resultados Reunir, contabilizar e sumarizar os dados coletados dos participantes TCC Interface Homem/Máquina (2011.1) 14 7

8 Interpretação Dados devem ser organizados de modo a evidenciar as relações entre eles Os resultados podem ser Quantitativos o Expressos como números Qualitativos o Difíceis de medir razoavelmente com números TCC Interface Homem/Máquina (2011.1) 15 Análise Quantitativa Levantamento das estatísticas de ocorrências de determinados fenômenos observados Testar hipóteses Descobrir tendências Calcular média, mediana, moda, etc. Comparar desempenho de soluções alternativas Apresentação Gráficos e tabelas TCC Interface Homem/Máquina (2011.1) 16 8

9 Análise Qualitativa A análise de dados identifica a origem do problema Informação relevante emergem por meio de análise conjunta Sincronize as diferentes fonte de dado Relacionar o áudio com o as interações e os comentários do observador TCC Interface Homem/Máquina (2011.1) 17 Consolidação Categorizar os problemas encontrados durante a interação de todos os participantes O que deve ser feito Descrever cada categoria de problema Apontar em que parte da interface ela ocorre Relatar impactos imediatos na usabilidade do sistema avaliadoaliado Explicar hipóteses sobre as possíveis causas Sugerir melhorias TCC Interface Homem/Máquina (2011.1) 18 9

10 Aplicação do Teste de Usabilidade Realizado por um ou mais avaliadores, que podem trabalhar em conjunto, revezar ou dividir as tarefas Atividades 1. Preparação 2. Coleta de dados 3. Interpretação 4. Consolidação dos resultados 5. Relato dos resultados Relatar a performance e a opinião dos participantes TCC Interface Homem/Máquina (2011.1) 19 Relato dos Resultados Objetivos e escopo da avaliação Breve descrição do método de teste de usabilidade Número e perfil dos avaliadores e dos voluntários Tarefas executadas pelos voluntários Tabelas e gráficos que sumarizam medições realizadas Lista de problemas encontrados, indicando, para cada problema Local onde ocorreu Descrição e justificativa Fatores de usabilidade prejudicados Sugestões de solução TCC Interface Homem/Máquina (2011.1) 20 10