Técnicas para Avaliação de Interfaces

Universidade Federal do Vale do São Francisco - UNIVASF Colegiado de Engenharia de Computação Técnicas para Avaliação de Interfaces Prof. Jorge Cavalcanti jorge.cavalcanti@univasf.edu.br www.twitter.com/jorgecav Técnicas de avaliação Existem diversas técnicas de avaliação e que podem ser classificadas de várias maneiras. Vamos examinar as seguintes: Observação de usuários Opinião de usuários Opinião de especialistas Teste de desempenho dos usuários Modelagem do desempenho das tarefas dos usuários, para prever a eficácia de uma interface. 1

1 - Observação dos usuários Envolve ver e ouvir os usuários. Observá-los interagindo com softwares, mesmo que casualmente, pode dizer muita coisa sobre o que fazem, o contexto em que estão, como a tecnologia os apóia e outros suportes. Usuários podem ser observados em condições controladas de laboratório (testes de usabilidade) ou em ambientes naturais (estudos de campo). Metas, questões e paradigmas Metas e questões proporcionam o foco da observação, por exemplo identificar ou confirmar os objetivos da usabilidade. Independente do paradigma adotado, deve-se buscar um equilíbrio entre o guiado pelas metas e estar aberto a modificar, moldar e redirecionar o estudo, conforme se aumenta a experiência. Observar é algo útil em qualquer momento do desenvolvimento. 2

Como observar Ferramentas básicas de coletas de dados (observação direta, anotações, vídeos etc). Em laboratório, a ênfase está nos detalhes do que os usuários fazem. No campo, o contexto é importante e o foco está em como as pessoas interagem umas com as outras, com a tecnologia e com o seu ambiente. Em ambientes controlados, testes com os equipamentos e sistemas de coleta devem ser feitos antecipadamente, para que tudo ocorra sem transtornos. Em campo, os eventos da observação podem ser complexos e mudarem rapidamente. Os avaliadores devem contar com um frameworkpara melhor guiá-los, mantendo as metas e questões. Esses frameworks são úteis também para organizar a observação e a coleta de dados. (Exemplos na pag 388 Livro Texto) Como observar Técnica de pensar em voz alta (Erikson e Simon, 1985) As pessoas devem dizer alto o que estão pensando e tentando fazer, de modo a exteriorizar seus processos de raciocínio. Um silêncio momentâneo pode indicar que o mesmo cometeu um erro ou está com uma dúvida relevante. A etnografia é uma metodologia que utiliza técnicas que inclui observação participativa e entrevistas. Há uma imersão na cultura de quem se está observando. Uma combinação de registros em vídeo, áudio, papel, logs de interação e diários pode ser usada para coletar os dados das observações. Analisar logs de vídeo e dados pode ser difícil, em razão do grande volume de dados. É importante ter as questões claramente especificadas, a fim de orientar o processo e também acessar as ferramentas apropriadas. Os avaliadores marcam os eventos em tempo real e os analisam com detalhes posteriormente. 3

2 Perguntando a usuários e especialistas As entrevistas e questionários constituem técnicas bem estabelecidas de pesquisas; Podem ser utilizadas em avaliações rápidas e sujas, testes de usabilidade e estudos de campo; Podem ser estruturadas (como o estudo de caso HuchWord) ou mais flexíveis (discussão); Os questionários destinam-se mais a coletar resposta a questões específicas, obtendo mais dados quantitativos; As entrevista são usadas para explorar questões, obtendo mais dados qualitativos que quantitativos. As formas e detalhes destes processos são os mesmos para a coleta de requisitos (slide Métodos). Analisando dados Identificar tendências ou padrões nas respostas. Uma planilha pode ser útil; Em geral, são necessárias somente simples estatísticas, como o número ou percentual de respostas por categoria; Se o número de participantes é pequeno, deve-se fornecer valores reais. Para maiores quantidades, recomenda-se usar porcentagem; Gráficos podem ser usados para visualizações mais significativas. Ferramentas para questionários: http://www.ucc.ie/hfrg/questionnaires/ Software Usability Measurement Inventory (SUMI) Measuring the Usability of Multi-Media Systems (MUMMS) Website Analysis and MeasureMent Inventory (WAMMI) 4

Analisando dados O Google (sempre eles) já incorporou uma ferramenta útil de questionários ao Docs. https://docs.google.com/support/bin/answer.py?answer=141062 Avaliação Heurística (Nielsen, 1994) Heurística: baseada em conhecimentos ou definições prévias. Uma regra geral que descreve uma propriedade comum em interfaces usáveis; Envolve pequeno conjunto de avaliadores, examinando a interface e julgando suas características em face de reconhecidos princípios de usabilidade (heurísticas); Avaliadores, por experiência, estudam e observam a interface; Nãodeveserfeitaporumúnicoavaliador; Avaliadores não estarão usando o sistema de fato: interfaces não implementadas; Resultado: lista de problemas de usabilidade da interface com referências aos princípios de usabilidade violados. 5

Avaliação Heurística (Nielsen, 1994) Metodologia: Sessão inicial: onde se diz aos especialistas o que fazer, através de um roteiro prévio; Período de avaliação: onde os especialistas percorrem a interface usando as heurísticas como guia e relatam problemas encontrados. Eles devem checar as interfaces pelo menos duas vezes; Posteriormente, as listas de problemas dos avaliadores são consolidadas; Discussão final e resultados: equipe de desenvolvimento e sugestões de re-design. Questões focadas na avaliação heurística: 1. Visibilidade do status do sistema Refere-se ao fato do sistema manter os usuários informados sobre o que eles estão fazendo, com feedback imediato. 2. Compatibilidade entre o sistema e o mundo real O sistema deve utilizar a linguagem do usuário, com palavras, frases e conceitos familiares a ele, fazendo as informações aparecerem em ordem lógica e natural, de acordo com as convenções do mundo real 3. Liberdade e controle do usuário Estão relacionados à situação em que os usuários escolhem as funções do sistema por engano e então necessitam de uma saída de emergência clara para sair do estado não desejado sem ter de percorrer um longo diálogo, ou seja, é necessário suporte a undo e redo. 6

Questões focadas na avaliação heurística: 4. Consistência e padrões Referem-se ao fato de que os usuários não deveriam ter acesso à diferentes situações, palavras ou ações representando a mesma coisa. A interface deve ter convenções não ambíguas. A mesma operação deve ser apresentada na mesma localização e deve ser formatada/apresentada da mesma maneira para facilitar o reconhecimento. 5. Prevenção contra erros O erros são as principais fontes de frustração, ineficiência e ineficácia durante a utilização do sistema. 6. Reconhecimento em lugar de lembrança Diz respeito à característica da interface de ter objetos, ações e opções visíveis e coerentes, para que os usuários não tenham que lembrar as informações entre os diálogos, ou seja, as instruções de uso do sistema devem ser visíveis ou facilmente recuperadas sempre que necessário. Questões focadas na avaliação heurística: 7. Flexibilidade e eficiência de uso(atalhos) Para usuários experientes executarem as operações mais rapidamente: abreviações, teclas de função, duplo clique no mouse, função de volta em sistemas hipertexto. Atalhos também servem para recuperar informações que estão numa profundidade na árvore navegacional a partir da interface principal. 8. Projeto minimalista e estético Os diálogos não devem conter informações que são irrelevantes ou raramente necessárias. Cada nova informação em um diálogo compete com as informações relevantes, diminuindo sua relativa visibilidade. 9. Auxiliar os usuários a reconhecer, diagnosticar e recuperar-se de erros As mensagens devem ser expressas em linguagem simples (sem códigos), indicando o problema e sugerindo uma solução. Não devem culpar nem intimidar o usuário. 7

Questões focadas na avaliação heurística: 10. Ajuda e documentação Por melhor que seja a interface, pode ser necessário fornecer ajuda e documentação. Qualquer informação deveria ser fácil de achar, e estar focalizada nas tarefas do usuário. Também deve estar disponível uma lista das etapas concretas a serem realizadas (informações breves). Relação Nº Avaliadores e Problemas de Usabilidade Encontrados 3 Testando e modelando usuários Testes de usabilidade constituem um aspecto fundamental do design da interação. Obter dados objetivos do desempenho dos usuários, para medir quanto um produto é usável no que diz respeito às metas de usabilidade. Baseiam-se na combinação de técnicas que incluem observação, entrevistas, questionários e testes com usuários. A modelagem é realizada para predizer a usabilidade, descrevendo o comportamento do usuário frente às interfaces. 8

Testando usuários Nos testes com usuários, mede-se o tempo em que usuários levam para realizar tarefas e o número e tipos de erros que cometem. Tipicamente, envolvem-se de 5 a 12 usuários nos testes. Exemplo de um teste: Medline Plus (pg. 454) Roteiro: Explicações iniciais e agradecimentos pela participação; Tempo para exploração inicial; Execução de tarefas, por ordem de dificuldades; Observação dos usuários; Aplicação de questionários; Coleta de dados Análise dos dados; Conclusões e relatos das descobertas. Testando usuários Deve-se assegurar as mesmas condições para todos os participantes. O teste é mais adequado para examinar protótipos ou sistemas funcionando. Algumas medidas quantitativas (pg 462): Tempo para completar uma tarefa; Número e tipos de erros por tarefa; Número de erros por unidade de tempo; Número de consultas à ajuda on-line ou manuais; Número de usuários que completa a tarefa; Número de usuários que cometem determinado erro; Níveis mínimo, atual e desejável de desempenho. 9

Modelos Preditivos O Porquê da Avaliação Preditiva Nenhuma empresa constrói um avião sem primeiro fazer uma análise de Engenharia para prever o seu desempenho. O custo de construção e o risco de falhar são muito elevados Do mesmo modo, o custo de construir uma interface e testá-la com vários utilizadores até descobrir todos os problemas é inaceitável. Modelos Preditivos Permitem que se obtenham medidas de desempenho dos usuários sem ter que realmente testá-los. Útil em situações que é difícil a realização de testes com eles. Estimativas sobre como diferentes sistemas irão funcionar nos vários tipos de tarefas. Modelos têm sido utilizados para prever o desempenho do usuário quando se comparam diferentes aplicações e dispositivos. Os dois principais modelos são o GOMS e o KLM. 10

O Modelo GOMS (Goals, Operators, Methods e Selection rules) Desenvolvido no início dos anos 80 por Card et al. Destinado a modelar o conhecimento e os processos cognitivos envolvidos quando usuários interagem com sistemas. Predizer o tempo das ações físicas e cognitivas associadas à forma correta de realização de uma tarefa. Os objetivos (G) referem-se a um estágio em particular que o usuário pretende alcançar. (Ex.: encontrar um websitesobre um assunto específico), Os operadores (O) referem-se aos processos cognitivos e às ações físicas que precisam ser realizadas para se atingir os objetivos. (Ex.: decidir qual ferramenta de busca, acessá-la e inserir os critérios de busca) Os métodos (M) são procedimentos aprendidos para a realização de objetivos. É a exata seqüência dos passos exigidos. (Ex.: arrastar o mouse para um ponto, digitar a palavra-chave, pressionar o OK). As regras de seleção (S) são utilizadas para determinar que método selecionar quando houver mais de uma opção. O Modelo GOMS (Goals, Operators, Methods e Selection rules) Aplicação do modelo: Objetivo: deletar uma palavra em uma frase no word (pág 472, Livro texto). Objetivo: votar para prefeito na urna eletrônica (pág 182, livro ergonomia e usabilidade). Exemplos de parâmetros (pág 182, livro ergonomia e usabilidade). Com base nos valores das tabelas de tempo e na descrição da tarefa, segundo o formalismo, é possível calcular os tempos prováveis para realização de uma tarefa. 11

O Modelo GOMS (exemplo Livro Ergonomia e Usabilidade, Cybis et. Al, 2007) O Modelo KLM (Keystroke Level Model, Card et al., 1983) Difere do GOMS pois fornece previsões numéricas reais do desempenho do usuário. As tarefas são comparadas pelo seu tempo de realização utilizando estratégias diferentes. Vantagem principal da previsão quantitativa reside no fato de se poder comparar recursos e verificar qual é o mais eficaz. Baseado em vários estudos empíricos do desempenho real dos usuários, obtendo-se um conjunto-padrão de tempos aproximados para os principais tipos de operadores. Ações físicas comuns podem ser dimensionadas. 12

O Modelo KLM (Keystroke Level Model, Card et al., 1983) Principais tempos propostos pelo modelo: Operador Descrição Tempo (s) K Pressionar uma tecla ou botão 0,35 Digitador com prático (55 tpm) 0,22 Digitador Médio (40 tpm) 0,28 Usuário não familiarizado com o teclado 1,20 Pressionar a tecla shift ou control 0,08 P Apontar com o mouse ou outro dispositivo para um alvo 1,10 P1 Clicar o mouse ou dispositivo semelhante 0,20 H Retornar as mãos para o teclado 0,40 M Preparar-se mentalmente para fazer algo (ou decidir) 1,35 R (t) Tempo de resposta do sistema, contado apenas se faz com que o usuário tenha que esperar durante a realização da tarefa. t O Modelo KLM (Keystroke Level Model, Card et al., 1983) O tempo previsto levado para executar uma dada tarefa é calculado descrevendo-se uma seqüência de ações e depois somando-se os tempos aproximados que cada uma levará: T executar =T K + T P + T H + T M + T R Exercício: Quanto tempo levará para incluir a palavra não, usando o MS Word, na frase: Correr nu pelas ruas (não) é normal. Preparar-se mentalmente (M) 1,35 Pegar o mouse (H) 0,40 Posicionar o mouse antes de é (P) 1,10 Clicar com o mouse (P1) 0,20 Mover as mãosde volta p/ o teclado(h) 0,40 Preparar-se mentalmente (M) 1,35 Digitar n (bom digitador) (K) 0,20 Digitar ~ (bom digitador) (K) 0,20 Digitar a (bom digitador) (K) 0,20 Digitar o (bom digitador) (K) 0,20 Digitar espaço (bom digitador) (K) 0,20 Tempo Total previsto 5,80 Quando há muitos componentes a serem adicionados, é mais fácil pôr os mesmos tipos de operadores juntos. No exemplo, poderia reescrever os tempos assim: 2(M) + 2(H) + 1(P) + 1(P1) + 5(K) = 2,70 + 0,88 + 1,10 + 0,20+ 1 = 5,80 13

Vantagens e Limitações dos modelos preditivos Esse tipo de análise pode ser útil para comparar antecipadamente alternativas de interfaces, mesmo preservando seus limites. O seu valor está em permitir comparações de soluções. Rapidamente identificamos a solução mais rápida. Não é necessário construir sistema. Mais barato que testes com usuários. Limitações -Não leva em conta a mínima hesitação do usuário, erro ou incidente de interação. Trata-se de prever o tempo da interação perfeita. Previsões são apenas aproximações. Calendário Assuntos restantes: Usabilidade web 28/06 Usabilidade TV digital 30/06 Projeto Final 30/06 a 08/07 Orientação/Elaboração 12/07 Apresentações. 14