DECIDE - Guia para o planejamento de uma avaliação

Transcrição

1 Introdução à Interação Humano-Computador Métodos Empíricos de Avaliação de Interfaces Professora: Raquel Oliveira Prates \ Aula 7: 30/08 DECIDE - Guia para o planejamento de uma avaliação Determinar os objetivos gerais que a avaliação deverá tratar. Explorar perguntas específicas a serem respondidas. Escolher (Choose) o paradigma e as técnicas de avaliação que responderão as perguntas. Identificar questões práticas que devem ser tratadas. Decidir como lidar com questões éticas. Avaliar (Evaluate), interpretar e apresentar os dados. (Preece et al., 2002) 1

2 Questões de Ética na Avaliação No Brasil a Resolução 196/96: define como sendo pesquisa com seres humanos toda investigação que envolva direta ou indiretamente seres humanos, incluindo o manejo de informações por ele geradas [CNS, 1996] Inclui toda avaliação de software que envolva usuário define que toda pesquisa com seres humanos envolvem riscos, que podem causar danos físicos, psíquicos, morais, intelectuais, sociais ou culturais ao ser humano. Principais Considerações Éticas em Avaliação de Sistemas (Leitão e Romão-Dias, 2003) Consentimento informado do participante Preservação do anonimato Garantia de bem estar dos participantes Proteção de grupos vulneráveis 2

3 Métodos de avaliação com usuário Entrevistas e questionários online Grupos focais Registro de uso (logs) Observação de uso Exploração livre Trabalho cotidiano Testes em laboratório: Teste de Usabilidade Teste de Comunicabilidade Verbalização Protocolo Verbal, Avaliação Cooperativa, Co-descoberta Testes em Laboratório - Preparação Determinação do objetivo do teste Determinação dos critérios relevantes e pontos críticos: Decisões de design (aspectos de qualidade de uso, forma de comunicação) Tarefas de uso freqüente ou estratégicas ou críticas para o sucesso comercial; Como um dos objetivos do design era que o quadro de avisos fosse simples para pessoas leigas que usam o computador eventualmente fossem capazes de usá-lo bem, o principal objetivo da avaliação era observar se os usuários conseguiam compreender o que podiam fazer e como usar o Quadro de Avisos. Em função do objetivo da avaliação, definiu-se que a qualidade de uso a ser avaliada seria a comunicabilidade, e logo o planejamento para um teste de comunicabilidade foi feito. Assim, os pontos críticos a serem avaliados foram identificados como: O usuário consegue entender e executar as tarefas básicas de achar e ler um aviso? O usuário consegue utilizar o sistema de ajuda oferecido? Este é útil para ele? O usuário consegue entender a diferença entre os espaços público e privativo? Consegue passar do público para o privativo? 3

4 Testes em Laboratório - Preparação Seleção das tarefas Tarefas típicas e realistas Medidas a serem observadas (Teste de Usabilidade) Cuidados: tempo de execução e motivação Foram selecionadas 5 tarefas que permitiam aos observadores apreciar a compreensão que os usuários tinham sobre os pontos críticos identificados. As tarefas selecionadas foram: Tarefa 1: Encontrar um aviso no espaço público Tarefa 2: Identificar que um aviso deveria estar no espaço privativo, entrar no espaço privativo e encontrá-lo Tarefa 3: Criar um aviso Tarefa 4: Alterar um aviso Tarefa 5: Utilizar o mecanismo de busca para encontrar um aviso, identificar quem teria acesso a ele. Testes em Laboratório - Preparação Seleção dos usuários Usuários representantes dos perfis definidos na etapa de design Número recomendado é 5. Se existem 2 ou mais perfis, devese pegar 3 de cada grupo de usuários identificados. Para participação dos testes foram selecionados 6 usuários que correspondiam aos perfis do público alvo definidos durante a etapa de design. Como o grupo de potenciais participantes nesta etapa não era muito extenso, a seleção foi feita a pela equipe de design a partir de uma reunião com os parceiros do Projeto Oré na ASCR em que se discutiu os perfis de participante desejado para o teste. O grupo de usuários contava com funcionários e voluntários da ASCR, 5 mulheres e apenas 1 homem (note-se que na comunidade ASCR tem um número muito maior de mulheres envolvidas que homens), que já utilizavam o computador ou na ASCR ou particularmente e com a faixa etária variando de 30 e poucos a 60 e poucos anos. 4

5 Testes em Laboratório - Preparação Geração do material para o teste questionário para seleção de participantes do teste (e/ou pré-teste) scripts de apresentação e explicação do processo de teste aos usuários formulários de consentimento do usuário textos de descrição da tarefa roteiros de entrevista ou questionários. Testes em Laboratório - Preparação (cont) Exemplo de cenário para descrição da tarefa: Atividade 2: Você é voluntário do Renascer e trabalha tanto no atendimento, quanto na recreação. A salinha de recreação do hospital no momento está fechada, mas na reunião mensal dos voluntários no Parque Lage você soube que ela deve ser reaberta logo. Você soube também que antes de todos poderem voltar a trabalhar haverá uma reunião com os voluntários da recreação para a apresentação das novas regras de uso da salinha. Porém, outro dia lhe disseram que a reunião já foi marcada e que seu horário/data/local estão disponíveis no Quadro de Avisos. Você então vai entrar no sistema para descobrir quando e onde será esta reunião. Teste piloto Quantidade de testes Fazendo zero testes, não se descobre nada. Quanto mais testes, melhor. Três testes com 5 usuários é melhor que um teste com 15 usuários. 5

6 Testes em Laboratório - Execução Ambientes de teste Sala de teste: participante e um avaliador na sala. Sala de observação: avaliador observando por trás do vidro espelhado. Laboratório de comunicabilidade do Grupo de Pesquisa em Engenharia Semiótica (SERG / PUC-Rio). Testes em Laboratório - Execução Consentimento formal do usuário por escrito e assinado pelo participante do teste e pelo avaliador documento deve especificar as condições acordadas do teste formulário deve permitir ao usuário acrescentar novas condições ao acordo Aplicação do teste deixar usuário à vontade leitura dos scripts assinatura do documento de consentimento questionário pré-teste execução das tarefas observador faz anotações sem interromper ou interferir com a concentração do usuário observador só responde perguntas não relacionadas com o software sendo testado (e.g sistema operacional) entrevista ou questionário pós-teste 6

7 Testes em Laboratório - Análise Análise dos dados coletados Geração do relatório: Descrição dos testes feitos Problemas encontrados Pode ter ou não hipóteses sobre causas dos problemas. Testes de Usabilidade Objetivo: medir quantitativamente o valor alcançado pelo sistema em cada um dos aspectos de usabilidade de interesse (facilidade de aprendizado, facilidade de uso, eficiência de uso e produtividade, satisfação do usuário, flexibilidade, utilidade e segurança no uso ) Prioridade: definida no projeto de design e critérios de avaliação. 7

8 Teste de Usabilidade - Preparação Definição das medidas a serem observadas para cada tarefa Para cada medida a ser observada, definição de: limites mínimos aceitáveis limites máximos possíveis valor almejado para a medida no projeto. Teste de Usabilidade - Análise Classifica gravidade dos problemas: Problema catastrófico: impede que o usuário termine sua tarefa Problema sério: atrapalha a execução da sua tarefa Problema cosmético: atrasa a execução e/ou irrita usuários Para cada medida observada: verifica a distância para limites mínimos, máximos e almejados 8

9 Projeto Oré - Teste de Usabilidade Critérios prioritários: Facilidade de uso: O usuário consegue utilizar facilmente o Quadro de Avisos? Sem cometer muitos erros? O sistema de ajuda é eficiente no auxílio as dúvidas dos usuários? Produtividade: O usuário consegue criar e encontrar um aviso rapidamente? Ele é útil para a comunidade ASCR? Satisfação: Os usuários ficaram satisfeitos com o Quadro de Avisos? Exemplo de Tarefa: Você é voluntário do Renascer e trabalha tanto no atendimento, quanto na recreação. Foi colocado no Quadro de Avisos um aviso destinado apenas aos voluntários da recreação sobre a reunião marcada para reabertura da salinha. Utilizando o Quadro de Avisos descubra o horário/data/local desta reunião. Projeto Oré - Teste de Usabilidade fator método de medição pior caso nível almejado melhor caso Facilidade de uso Facilidade de uso Eficiência para criar aviso Eficiência para encontrar aviso Número de erros cometidos Porcentagem de vezes que o usuário vai ao sistema de ajuda Tempo gasto para criar um aviso Tempo gasto para encontrar um aviso Mais de 10 erros No máximo 3 erros Nenhum erro Para cada tarefa vai pelo menos 1 vez. Apenas a 1a. vez que realiza uma tarefa complexa Nunca 5 min 40 segundos 20 segundos (tempo para digitar campos) Não encontrar o aviso Utilidade Freqüência de uso Uma vez a cada três dias ou menos freqüente Eficiência do sistema de ajuda Eficiência do sistema de ajuda Avaliação inicial Porcentagem das vezes que usuário encontrou o que procura no sistema de ajuda Consegue resolver o problema com base no conteúdo de ajuda Questionário (subjetivo) Nunca Nunca 30 segundos 10 segundos (tempo para digitar alguns campos no mecanismo de busca) Uma vez ao dia Acima de 90% das vezes Acima de 90% das vezes Mais de uma vez ao dia 100% das vezes 100% das vezes Negativa Positivo Muito positivo 9

10 Protocolos Verbais Permitem que o avaliador tenha acesso aos processos mentais dos participantes Métodos: Pensaralto(Think Aloud): Usuário narra o que está pensando à medida que executa tarefa. Co-descoberta: Dois usuários trabalham juntos em uma tarefa. Avaliação cooperativa: Avaliador interage com usuário durante a tarefa. 10