Referências Bibliográficas

Agenda Considerações Iniciais Classificação dos Métodos de Avaliação Avaliação Heurística Teste de Usabilidade Comparativo Referências Bibliográficas 2-57

Avaliação Coletar informações sobre um projeto ou produto em relação a funcionalidade e a interação; Estimativa do sucesso ou insucesso das hipóteses do projetista sobre a solução que está propondo; Envolve desde o que você acha desta idéia até avaliações rigorosas (experimentos em laboratório e questionários em larga escala). 5-57

Avaliação Obtenção de interfaces com melhor usabilidade; Garante melhores decisões de projeto; Evita custos de fazer e distribuir correções; Vantagens indiscutíveis: modificação do projeto nas fases iniciais são melhores que nas fases finais! 6-57

Por quê avaliar? Conhecer o que os usuários querem e problemas que experimentam; Verificar se idéias estão de acordo com as necessidades e os desejos dos usuários; Responder dúvidas que surgem durante o projeto e desenvolvimento. 7-57

Por quê avaliar? Verificar o sistema na situação real de uso; Comparar alternativas de design; Marketing: comparação entre produtos (funcionalidade, aceitação) Adequação a normas: produtos estão de acordo com padrões específicos (exemplo ISO)? 8-57

O que avaliar? Funcionalidade do sistema qualidade da adequação aos problemas do usuário; design permite que usuário efetue as tarefas pretendidas de modo fácil e eficiente; Usabilidade da interface qualidade da interação usuário/sistema; fácil aprender usar o sistema, uso agradável e eficiente. 9-57

O que avaliar? Comunicabilidade qualidade da comunicação projetista/usuário; interface expressa o modelo de interação previsto pelos projetistas; Aprendizado do usuário conhecimento do usuário evolui através da interação. 10-57

Quando? Deve ocorrer durante o ciclo de vida do sistema: resultados utilizados para melhorias gradativas da interface. Nas primeiras fases: verificar compreensão dos projetistas sobre as necessidades dos usuários (estudo de um sistema existente); testar idéias (possibilidades de layout). Nas fases finais: identificar dificuldades do usuário; melhorar produto. 11-57

Tipos de Avaliação Formativa feita durante o processo de projeto e desenvolvimento; permite identificar e consertar um problema de interação antes que a aplicação seja implementada ou terminada; uso de modelos, protótipos, storyboards. Somativa avaliar o produto já terminado; testar se produto está de acordo com o estilo padrão da empresa. 12-57

Considerações Características dos usuários experiência, idade, gênero; Tipo de atividade a ser realizada atividades específicas controladas ou livres, de acordo com a vontade do usuário; 13-57

Considerações Ambiente do estudo laboratório, ambiente natural de trabalho (estudo de campo); Natureza do artefato projeto gráfico não implementado, protótipo em desenvolvimento, produto terminado. 14-57

Métodos e Técnicas de Avaliação Envolvem: observação e monitoração das interações do usuário; coleta de opiniões dos usuários; experimentos; interpretação de interações naturais; predição de usabilidade de um produto. 15-57

Métodos e Técnicas de Avaliação Classificação (Rocha e Baranaukas, 2000) Inspeção de usabilidade Teste de usabilidade Experimento controlado Método interpretativo 16-57

Inspeção de Usabilidade Conjunto de métodos baseados em se ter avaliadores inspecionando ou examinando aspectos de usabilidade de uma interface; Avaliadores: especialistas em usabilidade ou em determinado padrão de interface, consultores de software, usuários finais. 18-57

Inspeção de Usabilidade Visa encontrar problemas de usabilidade no projeto de uma interface e fazer recomendações para eliminação destes problemas; Utiliza a habilidade e a experiência de avaliadores; Pode ser aplicada em fases iniciais e finais do projeto e desenvolvimento. 19-57

Inspeção de Usabilidade Métodos: Avaliação Heurística: uso de lista de heurísticas; Revisão de Guidelines: verificação da conformidade com guidelines; Inspeção de Consistência: consistência dentro de uma família de interfaces (terminologia, cores, layout, formatos entrada/saída); Percurso Cognitivo (predição de uso): análise do caminho percorrido na execução de uma tarefa (modelagem psicológica); especialistas revisam o sistema para predizer problemas que usuários podem encontrar. 20-57

Teste de Usabilidade Método centrado no usuário; Inclui Métodos experimentais ou empíricos; Métodos observacionais; Técnicas de questionamento. Necessária existência de uma implementação real (simulação, protótipo básico, cenário, implementação completa). 22-57

Experimento Controlado Envolve a execução de um bem projetado experimento de laboratório; Tem-se uma hipótese a ser testada e variáveis de interesse devem ser controladas; Uso de métodos estatísticos: necessário conhecimento estatístico para validação dos resultados. 24-57

Experimento Controlado Controle de variáveis em interações complexas envolvendo humanos pode ser difícil e de validade questionável; São feitos em laboratórios especialmente construídos; Coleta de dados através de observação e monitoramento; Avaliação rigorosa e dados coletados analisados quantitativamente, de modo a produzir métricas que guiem o projeto. 25-57

Experimento Controlado No planejamento, observar: propósito do experimento; o que se mantém constante, o que é alterado; hipótese (estabelecida de forma a ser testada); quais testes estatísticos e por que? 26-57

Experimento Controlado Exemplo: - avaliação da eficiência relativa dos usuários utilizando teclas de função ou menus num sistema de controle de processos estabelecida em termos dos elementos comparados, constantes (experiência dos usuários e tarefa de controle) e medidas de performance (velocidade na execução dos comandos ou percentual de erros). 27-57

Experimento Controlado Exemplo Hipótese possível - Teclas de função são mais eficientes (produzem execução mais rápida dos comandos); Grupos usarão duas interfaces; Significância estatística entre as diferenças serão determinadas. 28-57

Métodos e Técnicas de Avaliação Classificação (Rocha e Baranauskas, 2000) Inspeção de usabilidade Teste de usabilidade Experimento controlado Método interpretativo 29-57

Método Interpretativo Objetiva proporcionar ao projetista um melhor entendimento das condições naturais de trabalho do usuário; de como o uso do sistema se integra as outras atividades do usuário. 30-57

Método Interpretativo Coleção de dados é informal deve causar pouca interferência ao trabalho do usuário; participação do usuário na coleta, análise e interpretação dos dados; formas de registro como vídeos e áudio podem ser adotadas. Incluem avaliação participativa e etnográfica (pesquisadores inseridos no contexto de trabalho). 31-57

Qual método utilizar? Fatores determinantes: o que se deseja avaliar; etapa do desenvolvimento; disponibilidade de especialistas; ambiente e recursos necessários; tempo disponíveis para avaliação. Técnica ideal: misturar e adaptar métodos. 32-57

Métodos e Técnicas de Avaliação Técnicas representativas: Avaliação Heurística Teste de Usabilidade 33-57

Avaliação Heurística Engenharia Econômica de Usabilidade proposta por Nielsen (1989,1993); Envolve pequeno conjunto de avaliadores, examinando a interface e julgando suas características em face de reconhecidos princípios de usabilidade (heurísticas). 34-57

Avaliação Heurística Heurística: regra geral que descreve uma propriedade comum em interfaces usáveis; Avaliadores, por experiência, estudam e observam a interface; Não deve ser feita por um único avaliador (3-5). 35-57

Avaliação Heurística Metodologia: feita, em primeiro momento, individualmente; avaliadores percorrem a interface e relatam problemas encontrados, junto as heurísticas violadas; posteriormente, as listas de problemas dos avaliadores são consolidadas; discussão final: equipe de desenvolvimento e sugestões de re-design. 36-57

Avaliação Heurística Avaliadores não estarão usando o sistema de fato: interfaces não implementadas; Resultado: lista de problemas de usabilidade da interface com referências aos princípios de usabilidade violados; Uso de heurísticas específicas: derivadas da análise de produtos similares e de resultados de uso (Ex.: formulários). 37-57

Algumas Heurísticas (Nielsen, 1990/93) Diálogo simples e natural; Falar na linguagem do usuário; Minimizar a carga de memória do usuário; Ser consistente; Prover feedback; Saídas claras marcadas; Prover shortcuts; Mensagens de erro construtivas e precisas; Prevenir erros; Help e documentação. 38-57

Avaliação Heurística (Rocha e Baranauskas, 2000, pág. 177) 39-57

Avaliação Heurística Diagnóstico de um problema associado as heurísticas: possibilidades concretas de re-design; Pode ser usada para avaliar a gravidade de cada problema: atribuição de graus de severidade; Método básico da engenharia da usabilidade, relativamente fácil de ser usado e aprendido. 40-57

Teste de Usabilidade Observação da interação de usuários no mundo real ou sob condições controladas; Avaliadores coletam dados e verificam se a interface suporta as tarefas do usuário; Importância do teste: impossibilidade do projetista em prever o comportamento dos usuários diante da interface; Ferramentas de registro: áudio, vídeo, software para registro da interação, outras; Importante coleta da opinião do usuário. 41-57

Teste de Usabilidade 42-57

Teste de Usabilidade Resultados práticos: testes têm acelerado desenvolvimento e produzido redução de custos; Vantagens (Matias, 1995): indicar reações dos usuários potenciais; mostrar os problemas e falhas no sistema; mostrar onde o sistema funciona bem; fornecer idéias ao projeto através das sugestões dos usuários; fornecer meios para comparar múltiplos usuários; promover a participação do usuário. 43-57

Teste de Usabilidade Observação dos usuários: direta usuários podem ser observados diretamente em seu local de trabalho; observador toma nota sobre o comportamento do usuário, como seqüência de ações (escolher o que é importante ser anotado); usuários podem alterar comportamento pelo fato de estarem sendo observados; 44-57

Teste de Usabilidade Observação dos usuários: direta técnicas de anotação de dados podem ser utilizadas ou desenvolvidas, do tipo checklist; para registro permanente, vídeo, áudio ou logging de interação é necessário. 45-57

Teste de Usabilidade Observação dos usuários: indireta software logging: coleta é automática e não interfere no trabalho do usuário; ferramentas disponíveis para software logging; tempo de digitação: grava seqüência e os intervalos de tempo. 46-57

Teste de Usabilidade Observação dos usuários: indireta vídeo: uso de diferentes câmeras; usuários têm noção de que estão sendo filmados; reduzir impacto da presença da câmera: coloca-la dias antes do início das filmagens; análise é difícil e consome tempo; podem ser usados para convencer gerentes e projetistas dos problemas no sistema. 47-57

Teste de Usabilidade Coleta da opinião dos usuários: além da performance é importante saber o que ele pensa sobre o uso que faz da tecnologia; impressão dos usuários sobre o software; performance pode ser boa, mas usuário não gostar do sistema; detalhes para os projetistas podem ser desagradáveis ao usuário. 48-57

Teste de Usabilidade Coleta da opinião dos usuários: protocolo verbal: usuários pensam em voz alta ; usuários podem ver vídeos e comentar sobre suas ações; dois usuários podem testar uma interface e comentar; entrevistas e questionários podem ser utilizados. 49-57

Teste de Usabilidade Entrevistas e questionários: dados de entrevistas: qualitativos; dados de questionários: quantitativos; questionários podem ser aplicados a um grande número de pessoas, possibilitando a obtenção de resultados estatisticamente validados; questionário deve ser planejado de forma a garantir que perguntas sejam relevantes às questões analisadas. 50-57

Teste de Usabilidade Entrevistas e questionários: entrevistas flexíveis podem ser moldadas se acordo com a reação dos entrevistados (uso de um plano básico); entrevistado deve se sentir seguro e a vontade: podem ter vergonha de criticar o sistema; entrevistador responsável por criar um clima agradável de conversação. 51-57

Teste de Usabilidade Entrevistas e questionários: questionários podem conter respostas fechadas ou abertas; fechadas checklists (sim, não, não sei); escalas (muito útil... Inútil; concordo plenamente... discordo plenamente); questionários devem ser breves; estudos pilotos: antes de distribuir um questionário para 500 pessoas, distribuir um rascunho para 20. 52-57

Teste de Usabilidade Testes realizados em laboratório; Problemas: limitações de tempo e de recursos; dificuldade em conseguir usuários representativos; contexto do trabalho dificilmente consegue ser reproduzido; Saídas: testes remotos (tele-conferência); testes de campo: ambientes reais de uso (resposta do usuário, logs, comandos usados, freqüência de acesso ao help). 53-57

Teste de Usabilidade Plano detalhado de teste: objetivo, quando e onde, duração, recursos necessários, experimentadores, usuários, tarefas a serem avaliadas; Etapas: Preparação dos recursos; Apresentação usuários as tarefas de teste; Teste (evitar auxiliar o usuário); Sessão final: usuários convidados a comentar, sugerir e comentar ou responder questionário; 54-57

Teste de Usabilidade Usuários: Representativos em relação aos usuários aos reais: se não forem usuário reais: características similares (idade, conhecimento, experiência com sistema, outras); evitar influências: Ex.: determinar um conjunto de ícones que é mais rapidamente reconhecido por crianças entre 7 e 10 anos selecionar crianças que cubram todas as idades; número igual de meninos e meninas; mesmo nível de experiência; notas escolares semelhantes. 55-57

Teste de Usabilidade Equipe experimentadores: - conhecimento da aplicação e interface; - saber lidar com problemas que afetem o teste; - isenção na avaliação. 56-57

Teste de Usabilidade Comentar com usuário: importância do teste: melhorias na interface; sistema é confidencial e resultados não serão colocados publicamente; participação é voluntária (usuários tem outras coisas para fazer); explicar gravações de vídeo ou áudio; informa-los dos objetivos do teste, tarefas a serem realizadas e que podem ser livres para abandonar o teste se assim desejarem. 57-57

Comparativo Testes de laboratório são caros; Abordagem heurística proposta para oferecer informação de usabilidade de modo mais rápido e barato não substituem os testes: uso em conjunto; Avaliação heurística melhor quando aplicada por especialistas em avaliação; permite avaliação global da interface, menor custo, detecção de erros; 58-57

Comparativo Testes são mais eficazes, mas caros (50x); Avaliação heurística detectou mais problemas ao custo mais baixo, mas necessita de pessoas com conhecimento e experiência para aplica-la (Jeffries); Não se pode afirmar qual o melhor método: cada situação de projeto irá requerer uma forma de avaliação. 59-57

Referências Rocha, Heloísa; Baranauskas, Maria. Design e avaliação de interfaces humano-computador. São Paulo, IME-USP, 2000 (Escola de Computação, 2000), 242 p. Matias, Márcio. Checklist: Uma ferramenta de suporte à avaliação ergonômica de interfaces. Florianópolis, 1995 (dissertação de mestrado). Souza, Clarisse; Leite, Jair; Prates, Raquel; Barbosa, Simone. Projeto de Interfaces de Usuário: Perspectivas Cognitivas e Semióticas. In: XIX Congresso Nacional da Sociedade Brasileira de Computação, 1999, Rio de Janeiro. Anais do XIX Congresso Nacional da Sociedade Brasileira de Computação; Material disponibilizado pela Profª Renata Vieira - Internet. 60-57