Introdução à Avaliação de Interfaces

Transcrição

1 Universidade Federal do Vale do São Francisco -UNIVASF Colegiado de Engenharia de Computação Introdução à Avaliação de Interfaces Prof. Jorge Cavalcanti Avaliação de Interfaces Processo sistemático de coleta de dados responsável por nos informar o modo como um determinado usuário ou grupo de usuários deve utilizar um produto em uma determinada tarefa; Faz parte do ciclo de desenvolvimento: design avaliação redesign; O design de interação exige que se saiba avaliar tipos diferentes de sistemas em estágios diferentes de desenvolvimento; Desenvolver sistemas neste processo acaba sendo mais barato do que consertar problemas depois do sistema entregue. 1

2 Avaliação de Interfaces O projeto e o design de sistemas são inerentemente criativos e imprevisíveis: São processos, não-hierárquicos, transformacionais e envolvem a descoberta de novos objetivos. mas em todo domínio criativo pode haver disciplina, técnicas refinadas, métodos corretos e medidas de sucesso Os projetos de desenvolvimento também envolvem métodos de avaliação e usabilidade Neste sentido, engenheiros de usabilidade e arquitetos de interface do estão ganhando experiência em gerenciar as mudanças organizacionais, o que repercute em $. Avaliação de Interfaces Usuários preferem sistemas que sejam fáceis de aprender e utilizar, assim com eficientes, eficazes e seguros (Preece et. al., 2007); Saber o que avaliar, a sua importância e quando avaliar são, portanto, tarefas fundamentais para designers de interação. O Quê? Por que? Quando? 2

3 O quê, porquee quando? Grande variedade de produtos interativos com muitas características que necessitam ser avaliadas; Forte tendência a se observar e avaliar como as pessoas interagem com o sistema no trabalho, no lar e outros ambientes, embora a avaliação em laboratório seja bastante satisfatória; A avaliação é necessária para a certificação de que os usuários podem vir a utilizar o produto e apreciá-lo; Os usuários procuram cada vez mais produtos usáveis (NN Group); O quê, porquee quando? Tognazinni, outro bem sucedido consultor de usabilidade, afima: O design interativo, com seu ciclo repetitivo de design e teste, é a única metodologia validada existente que produzirá resultados bem-sucedidos com consistência. ( Ele aponta 05 razões para se investir em testes com usuários: 1. Problemas são consertados antes do produto ser lançado; 2. A equipe pode se concentrar em problemas reais e não imaginários; 3. Os engenheiros codificam, em vez de debater; 4. O tempo para que o produto entre no mercado é menor; 5. Após a entrega da primeira versão, o produto terá um design consistente, que poderá ser vendido sem que se tenha de se esperar a versão 1.1. ou

4 O quê, porquee quando? Correções em projetos em desenvolvimento; Revisões em produtos acabados; Definir a aceitação ou não, de projetos encomendados; Comparar o desempenho de softwares interativos. Constatar, observar e registrar problemas; Calcular métricas objetivas para eficácia, eficiência e produtividade; Diagnosticar as falhas do projeto que provavelmente atrapalhem a interação; Prever dificuldades de aprendizado na operação do sistema; Prever os tempos de execução de tarefas; Conhecer a opinião do usuário; Sugerir as ações de re-projeto. O quê, porquee quando? O produto que está sendo desenvolvido pode consistir em algo totalmente novo ou em uma atualização de algo já existente; Em caso de produto novo, as pesquisas de mercado são necessárias e os designers podem fornecer suporte a esse processo, a partir de maquetes dos produtos, para extrair reações dos usuários em potencial; Muitas das técnicas de elicitação de requisitos são usadas na coleta de opiniões sobre os produtos ( prototipação, entrevistas etc.); O objetivo é saber se o design preenche as necessidades dos usuários e se estes o apreciam. 4

5 Avaliação de usabilidade Porque a avaliação da usabilidade é tão importante? Intuições de designers e desenvolvedores não estão sempre corretas Terminologia de designers e desenvolvedores nem sempre significa a mesma do usuário Pessoas diferem e não há um usuário médio Princípios de usabilidade e guidelines não são suficientes Feedback informal é inadequado para avaliações do produto Tempo, dinheiro e recursos gastos nas avaliações de usabilidade valem a pena Produtos construídos em pedaços sempre têm inconsistências de alto nível Problemas encontrados mais tarde no software são mais difíceis e caros de consertar Problemas consertados no processo de desenvolvimento reduzem os custos mais tarde Avaliações de usabilidade podem dar vantagens sobre produtos competitivos Avaliação de usabilidade A ISO define usabilidade como a efetividade, eficiência e satisfação com a qual um conjunto específico de usuários pode alcançar um conjunto específico de tarefas em um ambiente particular Os métodos de avaliação da interface e os testes de usabilidade são muitos e seguem orientações teóricas diversas Quando se deve parar de fazer um teste? Se a sessão não produziu feedback do usuário em novos problemas. 5

6 Atividades Pense em exemplos dos seguintes sistemas e escreva as características que sejam importantes para cada um deles: 1. Um processador de textos 2. Um telefone celular 3. Um website que vende roupas Faça a leitura do estudo de caso do HutchWorld (10.3, a partir da pag344 do Livro Texto) e anote os principais tópicos do processo de avaliação da interface. O Caso HutchWorld HutchWord é uma comunidade virtual que permite a pacientes com câncer,auxiliares, familiares e amigos conversem sobre as doenças, experiências, histórias etc. Ambiente deveria ser: útil, envolvente, fácil de usar, emocionalmente satisfatório e, de um certo modo, privado. 6

7 O Caso HutchWorld Início da avaliação: Estudos informais e estudo de campo. Entendimento do funcionamento do hospital e das formas de tratamento. Uso de entrevistas com os stakeholders. Observação das atividades diárias. Primeiros resultados: Definição do ambiente distribuído Validaram o projeto (verificação por meio de estudos do núcleo do problema) Design parecido com o Hall de entrada do local (conclusão usando metáforas). Definição de comunicação síncrona (metáfora) Uso de avatares3d. Ambiente interativo e parecido com um jogo. O Caso HutchWorld Como foram realizados os testes? Dois conjuntos de testes Teste 1: realizado no próprio ambiente do Hospital Fred Hutchinson Center Teste 2: realizado nos laboratórios de usabilidade da Microsoft 7

8 O Caso HutchWorld Teste 1 Uso de um protótipo nos computadores do hospital Treinamento e realização de fóruns. Observação do uso do sistema durante o dia. Resultados Teste 1 Testes com o chat do sistema mostrou déficit no número de participantes, redefinição para uso de comunicação assíncrona. Usuário costumavam jogar e pesquisar sobre a doença, funções não disponíveis originalmente. Re-projeto do sistema com nova forma de comunicação, áreas de entretenimento e informação. O Caso HutchWorld 8

9 O Caso HutchWorld Teste 2 (Teste de usabilidade) Feito nos laboratórios de usabilidade da Microsoft Número de participantes pequeno, inicialmente com uso livre do sistema. Depois do uso livre, execução de tarefas estruturadas. Preenchimento de questionários. Resultados do Teste 2 Problemas com a página de login(uso incorreto de palavras) Avaliação das tarefas estruturadas por meio de notas. Construção da tabela de erros. Novo teste: O Caso HutchWorld Uso de múltiplos usuários Mais detalhados e com foco direcionado Finalização Testes com pacientes reais frente ao produto final 9

10 Questões Práticas na avaliação Questões abordadas pelos avaliadores: O que fazer quando não há muitos usuários? Como observar os usuários em seus ambientes naturais? Preciso ter equipamentos próprios? Como lidar com orçamentos e prazos pequenos? Como coletar dados úteis? Definições importantes Avaliações quantitativas Envolvem somente medidas; Avaliações qualitativas Envolvem descrições e relatos; Avaliações objetivas São baseadas em técnicas que utilizam medições quantitativas, em vez das opiniões dos usuários ou especialistas; Avaliações subjetivas São baseadas em opiniões e relatos; Estudos de Laboratório Ocorrem em ambientes controlados e preparados; Estudos de campo ou naturais Estão situados no contexto do mundo real, no qual o sistema é ou será utilizado. 10

11 Paradigmas de avaliação Avaliação rápida e suja obtenção de feedback informal dos usuários e consultores, para confirmar que as idéias dos designers estão de acordo com as necessidades. Podem ser realizadas em qualquer estágio do projeto, com ênfase na contribuição rápida e não em descobertas documentadas; O termo rápida e suja é em razão de ter de ser realizada em curto espaço de tempo; Bastante usada no web design. Paradigmas de avaliação Testes de usabilidade envolvem avaliar o desempenho dos usuários típicos na realização de tarefas cuidadosamente preparadas. O desempenho é avaliado no que diz respeito ao número de erros e ao tempo para completar a tarefa; Enquanto realizam as tarefas, os usuários são observados e filmados e suas interações são registradas por meio de softwares (cálculo do tempo e esclarecimentos posteriores); Questionários e entrevistas também são usados para elicitar opiniões dos usuários; Os testes são controlados pelo avaliador. Não há comunicação com terceiros. Todas as ações são registradas. 11

12 Paradigmas de avaliação Estudos de Campo Realizados em ambientes reais com o objetivo de aumentar o entendimento do que os usuários fazem naturalmente e de como a tecnologia causa impacto nessas atividades; Usados para (1) ajudar a identificar oportunidades de uso de novas tecnologias, (2) determinar requisitos para o design, (3) facilitar a introdução de um tecnologia e (4) avaliar a tecnologia; Empregam técnicas qualitativas como entrevistas, observação participativa e etnografia. Paradigmas de avaliação Avaliação preditiva Os especialistas aplicam seu conhecimento a respeito de usuários típicos, guiados por heurísticas, visando prever problemas de usabilidade. Os usuários não precisam estar presentes, o que torna o processo atrativo e barato; Novas heurísticas são necessárias para avaliarem diferentes classes de produtos interativos; 12

13 Características dos diferentes paradigmas de avaliação Paradigma Rápida e suja Testes Usabilidade Papel dos Comportamento usuários natural Quem Avaliadores Avaliadores controla (mínimo) (máximo) Local Ambiente Laboratório natural/laborat. Quando é usado Tipos de dados Retorno para o design Filosofia A qualquer momento Geralmente qualitativos e informais Esboços, citações, relatórios Abordagem centrada no usuário, prática. Estudos de campo Realizar um conjunto de tarefas Comportamento natural Com um protótipo ou produto Quantitativos Relatório de desempenhos, de erros etc. Abordagem aplicada, eng. Usabilidade. Avaliadores e usuários Ambiente natural Início do design, verificar necess. Qualitativos, com esboços, cenários etc. Descrições, citações, logs. Observação objetiva ou etnográfica Avaliação preditiva Não são envolvidos Avaliadores experientes Orientada a Laboratório, mas nas instal. Usuários Revisões especialistas, a qualquer momento Lista de problemas, dados quantitativos Problemas e sugestões, métricas Heurísticas práticas e experiências dos profissionais Técnicas de avaliação Existem diversas técnicas de avaliação e que podem ser classificadas de várias maneiras. Vamos examinar as seguintes: Observação de usuários Opinião de usuários Opinião de especialistas Teste de desempenho dos usuários Modelagem do desempenho das tarefas dos usuários, para prever a eficácia de uma interface. 13

14 Técnicas de avaliação - Observação de usuários Ajudam a identificar necessidades, levando a novos tipos de produtos a avaliar protótipos; Anotações, áudio, vídeo e logsde interação são formas usuais da técnica; Desafios: como observar sem atrapalhar as pessoas e como analisar o grande volume de dados coletados; Técnicas de avaliação Opinião dos usuários Perguntar o que os usuários pensam a respeito do produto se realiza o que querem; se apreciam; se é atraente; se enfrentaram problemas ao utilizá-lo; Entrevistas e questionários são as principais técnicas para fazê-la; Atingem diferentes faixas de público. 14

15 Técnicas de avaliação Opinião dos especialistas Inspiradas nas inspeções e revisões de software; Guiadas por heurísticas (conhecimentos ou definições prévias), onde os especialistas desempenham tarefas como se fossem usuários típicos, identificando problemas; Abordagem mais rápida e relativamente mais barata; Os especialistas sugerem soluções para os problemas; Técnicas de avaliação Testes com usuários Ambientes controlados para que o desempenho possa ser analisado; Tarefas típicas e bem definidas; Mede-se o tempo para realizar uma tarefa, o número de erros cometidos e o caminho mais comum na navegação do uso do produto. 15

16 Técnicas de avaliação Modelagem do desempenho das tarefas Sem construir protótipos elaborados, tenta-se prever a eficiência e os problemas associados ao design, ainda em estágio preliminar; Bem aplicadas a sistemas com funcionalidades limitadas; Modelos mais usados: KLM (Keystroke Level Model) Predizer o tempo de interações físicas GOMS (Goals, Operators, Methods & Selection rules) Predizer o tempo total da interação (física e cognitiva) para atingir objetivos. Relação entre paradigmas e técnicas de avaliação Paradigma Técnica Observar os Observar o usuários comportamento do usuário nos ambientes naturais Perguntar aos usuários Perguntar aos especialistas Testes com usuários Modelar o desempenho das tarefas Rápida e suja Testes Usabilidade Discussão individuais ou em grupo de foco. Fornecer críticas da usabilidade de um protótipo N/A Estudos de campo Logs de vídeo e Imprescindível interação, para idt para o estudo de erros, rotas de uso campo ou calcular tempo de desempenho Questionários de satisfação de usuários para coletar opiniões O avaliador pode entrevistar ou discutir o que vê com os part. Avaliação preditiva N/A N/A N/A N/A Os espec. usam heurísticas logo no início do design, para prever eficácia da interface. Testar usuários N/A N/A típicos na realização de tarefas típicas, em laboratório. N/A N/A N/A Modelos utilizados para prever a eficácia ou comparar tempos. 16

17 Preparando a avaliação Avaliações bem planejadas são dirigidas por metas claras e perguntas adequadas. Check list para auxílio de avaliadores: 1. Determinar as metas que a avaliação irá abordar. 2. Explorar as questões específicas a serem respondidas. 3. Escolher o paradigma de avaliação e as técnicas de respostas para as perguntas. 4. Identificar questões práticas que devem ser abordadas, como a seleção dos participantes. 5. Decidir como lidar com questões éticas. 6. Avaliar, interpretar e apresentar os dados. 17