A pesquisa com usuários como guia para o desenvolvimento de um aplicativo Web User research as a guide to the development of a Web application Cardoso, Gabriel; Mestrando em Design; Universidade Federal de Santa Catarina gabrielc.cardoso@gmail.com Quint de Campos, Marcela; Bacharel em Design; Universidade do Estado de Santa Catarina mpontas@gmail.com Gonçalves, Berenice; Dr.; Universidade Federal de Santa Catarina berenice@cce.ufsc.br Resumo Este artigo apresenta um estudo de caso que enfatiza a pesquisa com usuários ocorrida no desenvolvimento de um aplicativo Web para advogados e pequenos escritórios de advocacia. Ressalta a importância de utilizar fundamentos do Design Centrado no Usuário. Ilustra como ocorreram os testes de usabilidade e de conceito visual, trazendo referencial teórico e descrevendo os métodos e ferramentas utilizadas, técnicas de coleta de dados, sua análise e interpretação e a validação com o cliente. Conclui que é possível fazer pesquisa de baixo custo com usuários e mostra como esta modificou o projeto do aplicativo. Palavras Chave: pesquisa com usuários; teste de usabilidade; teste de conceito visual. Abstract This paper presents a case study that emphasizes the user research occurred in the development of a Web application for lawyers and small law firms. It highlights the importance of utilizing fundamentals of User Centered-Design. It illustrates, in a case study, how usability and visual concept testing happened, bringing theory and describing the methods and tools used, the techniques of data collection, its analysis and interpretation as well the validation with the customer. It concludes that it is possible to do low-cost research with users and shows how it has changed the way to design the application. Keywords: user research; usability testing; visual concept testing.
Introdução O processo de desenvolvimento de software tem vivenciado um período de mudanças nas últimas duas décadas. Durante o início da popularização das interfaces gráficas na década de 80, a própria existência da tecnologia era uma maravilha, mesmo que as pessoas se questionassem sobre sua utilidade (NORMAN, 2011). Contudo, a tecnologia foi amadurecendo, passando a ser julgada pela capacidade de fazer mais e melhor, até chegar na maturidade, quando a qualidade da experiência proporcionada é o que importa (NORMAN, 2011). Acompanhando tal evolução, o termo Experiência do Usuário ganhou grande destaque na década passada nos campos da Interação Humano-Computador (IHC) e do Design de Interação (HASSENZAHL; TRACTINSKY, 2006), evidenciando o valor do design no desenvolvimento de produtos, sistemas, serviços e objetos com interface gráfica (LAW et al., 2009). Frente à popularização do termo, Garrett (2011), afirmou que abordagem de design para uma boa experiência do usuário é o Design Centrado no Usuário, que propõe um envolvimento dos usuários em todo o processo de desenvolvimento e o projeto é conduzido e refinado por uma avaliação centrada no usuário. (ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS, 2011, p.8). Nesse processo, a construção de protótipos (versões interativas) e a validação (com usuários) são essenciais (figura 1). Figura 1: Processo de Design de Interação com foco centrado no usuário. Fonte: PREECE; ROGERS; SHARP, 2005. Avaliações centradas no usuário podem ser aplicadas para diferentes propósitos, como avaliar a usabilidade, o aspecto visual da interface ou a experiência do usuário como um todo. Para Preece, Rogers e Sharp (2005): A avaliação diz respeito ao processo de determinar a usabilidade e a aceitabilidade do produto ou do design. [...] O design de interação exige um alto nível de participação do usuário durante seu desenvolvimento, o que aumenta as chances de se entregar um produto aceitável. (PREECE; ROGERS; SHARP, 2005, p.189).
Na qualidade de produto interativo, um aplicativo Web pode fazer uso de um processo de Design de Interação. Contudo, para Cooper, Reimann e Cronin (2007), muitos desses produtos digitais falham com seus usuários principalmente porque os times de desenvolvimento não envolvem os usuários em seu processo. Nesse contexto, esse artigo busca ilustrar um caso de pesquisa com usuários envolvidos no processo de desenvolvimento de um software para área de Direito, evidenciando como a abordagem trouxe contribuições relevantes para a tomada de decisão e modificação do design do produto. Problema de design e contexto Uma equipe de design foi contratada para desenvolver a interface de um aplicativo Web para advogados autônomos e pequenos escritórios de advocacia 1. O aplicativo teria o objetivo de facilitar seu dia-a-dia, permitindo o gerenciamento de tarefas, compromissos, contatos, casos e processos. A interface deveria ser simples, fácil de usar e agradável, uma alternativa simples frente à complexidade de alguns similares da área. Naquele estágio do projeto, a interface já estava em desenvolvimento, com as principais telas já em protótipos de baixa fidelidade (wireframes). Frente à demanda, a equipe de design sugeriu uma abordagem de pesquisa com os usuários, buscando validar o trabalho em desenvolvimento. A primeira sugestão foi realizar avaliações de usabilidade. Dessa forma, o design visual só seria projetado após a detecção de problemas de usabilidade, permitindo que as telas fossem desenhadas já com os problemas solucionados, uma redução de custos em comparação a modificações em etapas posteriores. Como o cliente concordou, a primeira atividade foi analisar os wireframes e conduzir avaliações de usabilidade, processo detalhado a seguir. Avaliações com usuários no design de interfaces Um tipo de avaliação no design de interfaces é a avaliação de usabilidade. Para Nielsen e Loranger (2006), os usuários cada vez mais se tornam intolerantes aos problemas de usabilidade. Dessa forma, a usabilidade tem um papel fundamental para que o produto ofereça uma boa experiência do usuário. A usabilidade se tornou, portanto, requisito mínimo, e ao mesmo tempo diferencial competitivo (SANTA ROSA; MORAES, 2008). Para tanto, é preciso construir protótipos e avaliar a usabilidade. Cooper, Reimann e Cronin (2007, p.71, tradução nossa) apontam que os testes de usabilidade são especificamente interessantes para se determinar: Nomes: Os nomes das seções e botões fazem sentido? Organização: A informação está agrupada em categorias que fazem sentido? Uso na primeira vez e descobrindo coisas novas: Os itens comuns estão fáceis de visualizar para novos usuários? Eficácia: Os consumidores conseguem completar eficientemente tarefas específicas? Em avaliações de usabilidade com usuários, podem ser utilizados protótipos em papel, protótipos navegáveis e até o sistema em funcionamento. De acordo com Snyder (2003), a 1 Astrea, desenvolvido pela Aurum software. Disponível em: <http://www.aurum.com.br/>. Acesso em: 12 Jun. 2012.
prototipação em papel tem sido um método amplamente utilizado para fazer o design, testar e refinar interfaces. Segundo a autora, a técnica pode ser utilizada para avaliar aplicativos Web: Prototipação em papel é uma variação do teste de usabilidade, onde usuários representativos executam tarefas realistas interagindo com uma versão em papel da interface que é manipulada por uma pessoa "jogando como o computador", que não explica como a interface é planejada para funcionar. (SNYDER, 2003, p.4, tradução nossa). Apesar da usabilidade contribuir para uma boa experiência do usuário, ela não é o único fator que a influencia. Norman (2004) afirma que um produto é percebido em três níveis cognitivos e emocionais complementares. O nível visceral é o mais imediato, quando uma pessoa reage ao aspecto visual antes mesmo de interagir com o produto. Assim, uma interface agradável convida o usuário a interagir, causando uma boa impressão imediata. O nível comportamental trata da reação ao interagir com os produtos e está relacionado à usabilidade. Ambos contribuem na opinião gerada pelo nível reflexivo, que envolve considerações conscientes e reflexões sobre experiências do passado. Para Preece, Rogers e Sharp (2005), a aparência da interface pode afetar a usabilidade. Assim, para contribuir com a redução da frustração dos usuários, a interface deve ser simples, saliente, elegante e utilizar-se de princípios de usabilidade, bons princípios de design gráfico e guidelines de ergonomia. Antes de aplicar um design a todas as telas, Cooper, Reimann e Cronin (2007) recomendam que se façam estudos de linguagem visual. Os autores propõem que diferentes conceitos visuais sejam desenvolvidos, explorando variações de cores, tipos, formas e texturas. Esses estudos ser avaliados isoladamente e, segundo os princípios do Design Centrado no Usuário, devem ser avaliados pelos usuários antes que se escolha uma solução. Estudo de caso: avaliações de usabilidade As avaliações de usabilidade realizadas no contexto do projeto aqui em foco consistiam em avaliações formativas intermediárias. Objetivavam validar o conceito do produto, as funcionalidades propostas e a qualidade da interface. Foram utilizados métodos de inspeção e métodos de teste com usuários. O método de inspeção utilizado foi a avaliação heurística, baseada nas dez heurísticas propostas por Nielsen (2005), conduzida por dois designers, que encontraram 62 problemas de usabilidade. Na sequência, foram realizados dois testes com usuários, número reduzido devido a quantidade limitada de recursos disponíveis. Como suporte para a execução dos testes, foram escolhidos protótipos em papel, por sua maior facilidade e menor custo. Devido a seu aspecto rudimentar, os testes deveriam evitar interações avançadas e focar nas principais tarefas a serem realizadas no sistema, verificando os rótulos da interface e a navegação. Os testes foram aplicados com dois usuários que fazem parte do público-alvo do produto, advogados autônomos e pequenos escritórios de advocacia que buscam uma maneira mais eficiente de gerenciar as informações relacionadas ao trabalho. Os usuários escolhidos representam duas parcelas do público: um advogado experiente (faixa de 40 anos), com conhecimento mediano em informática e que trabalha sozinho; e uma advogada recémformada (aproximadamente 25 anos) com maior conhecimento em informática e que trabalha em um pequeno escritório de advocacia. A amostra foi intencional, buscando compreender diferentes perfis de usuários em diferentes contextos.
Uma versão preliminar do roteiro do teste foi preparada pela equipe de design e refinada pelo cliente. O teste trazia uma introdução e permitia uma exploração inicial da Área de trabalho (página inicial após o login) por parte do usuário. Depois, seguia-se para a execução das tarefas, introduzidas através de um cenário que buscava se aproximar à realidade do dia-adia dos usuários, como o seguinte: Um cliente que você atendeu no início do ano te indicou um amigo, o João Arnaldo de Campos. Ele quer abrir um processo de indenização trabalhista contra a CELESC. Você deseja gerenciar esse novo caso no aplicativo. Como você faria isso? O teste previa a execução de 10 tarefas no sistema, escolhidas por representarem tarefas que seriam frequentemente realizadas, por apresentar algum nível de dificuldade e por se adequarem aos protótipos em papel, como as seguintes: Criar um caso no sistema (descrita no cenário acima); Criar uma tarefa referente ao processo; Adicionar o contato de um cliente. Para cada tarefa, foram listados os fluxos que representavam a melhor eficiência (menor número de passos) para seu cumprimento, como criar um caso no sistema: 1. Clica no link Casos > Clica no botão Novo caso > Preenche os dados do formulário > Clica no botão Adiciona caso. Com a lista das tarefas e dos fluxos desenvolvidos, definiram-se as telas necessárias para os testes, desenhadas no estado inicial (figura 2), em componentes dinâmicos da interface e também no estado após a realização de tarefas (com dados). Figura 2: Wireframe da área de trabalho desenhada no software Balsamic. Buscando captar uma percepção inicial sobre o teste, foi realizado um teste piloto com uma estagiária de design da empresa. Neste, foi possível ensaiar a condução do teste e
perceber um tempo médio para a execução das tarefas, assim como experimentar como seria a operação do computador. Todos os testes foram conduzidos por um designer e contaram com a participação do cliente. As folhas simulavam a tela do computador e a caneta simulava o mouse. A cada clique, o cliente trocava a folha à frente do usuário, fazendo o papel do computador. Foi solicitado que os usuários fizessem uso de verbalização 2. Com isso, foi possível capturar seus fluxos de pensamento e algumas opiniões sobre as interfaces. Durante os testes, pontos interessantes foram anotados e os houve gravação em vídeo (figura 3), o que possibilitou uma melhor interpretação do ocorrido. Figura 3: Usuária apontando a caneta em um botão, simulando um clique. Após os testes, as filmagens foram assistidas para complementar as notas. Para evidenciar os problemas com relação às tarefas, os fluxos de navegação realizados pelos dois usuários foram desenhados e comparados com o fluxo ideal (figura 4). Nesse exercício detectaram-se os passos não necessários, categorizados em ruído 3 e obstáculo 4. 2 Para que se entenda o que o usuário está pensando ou o que está causando bloqueios ou facilidades no produto, é necessário que o mesmo verbalize suas ações. (CYBIS; BETIOL; FAUST, 2007). 3 Ruído: aspecto da interface que, sem consistir em barreira ou obstáculo ao usuário, causa diminuição no seu desempenho. (CYBIS; BETIOL; FAUST, 2007). 4 Obstáculo: aspecto da interface que o usuário esbarra muitas vezes e aprende a suplantá-lo. O obstáculo ocasionará perda de desempenho nas próximas realizações da tarefa. (CYBIS; BETIOL; FAUST, 2007).
Figura 4: Fluxos de navegação referentes a uma tarefa realizada pelos usuários. Além dos fluxos, foram geradas planilhas (figura 5) que detalhavam cada problema de usabilidade nos seguintes itens: Tarefa: uma das dez tarefas solicitadas no teste; Problema; Descrição: utilizada caso o problema necessitasse detalhamento; Tipo: categorização do problema em ruído, obstáculo ou barreira 5 ; Métrica: a qual dimensão da interface se referia o problema. Foram utilizadas as métricas propostas pela International Human Factors (2008) 6 ; Página/componente: a qual página ou componente do aplicativo (elemento presente em mais de uma página) o problema estava relacionado; Feedback do usuário: declarações do usuário durante a execução ou após a realização da tarefa; Interpretação do designer; Proposta de solução: sugestão do designer para solucionar o problema. Deveria ser validada pelo cliente. Figura 5: Um problema de usabilidade descrito na planilha. 5 Barreira: aspecto da interface que impede a realização da tarefa. O usuário não aprende a suplantá-lo sem uma ajuda externa. (CYBIS; BETIOL; FAUST, 2007). 6 Artigo que descreve as 5 dimensões da interface do usuário (UI): navegação, conteúdo, apresentação, interação e utilidade.
Como resultado dos testes com usuários, foram detectados 25 problemas de usabilidade, sendo 23 do tipo ruído e 2 do tipo obstáculo. Não houve barreiras. As soluções para os problemas foram inicialmente sugeridas pela equipe de design, discutidas e aprovadas com o cliente. Como etapa seguinte, as telas deveriam ser redesenhadas com os problemas de usabilidade resolvidos. Tendo em vista que já havia wireframes, a equipe decidiu não redesenhá-los com os erros corrigidos, mas sim implementar as soluções diretamente em interfaces de altafidelidade, buscando evitar retrabalho. Dessa forma, era preciso aguardar a elaboração de um projeto gráfico para seguir com o trabalho. Avaliações de conceito visual A metodologia utilizada na elaboração do projeto gráfico contemplou as etapas de definição de problema, coleta de dados, análise de dados, definição conceitual, geração de alternativas, avaliações com usuários, refinamento e validação junto ao cliente. Na coleta de dados, foram pesquisados aplicativos Web concorrentes e similares, buscando entender especificidades de interfaces direcionadas ao mesmo público. Também foram levantadas imagens referentes ao dia-a-dia dos advogados, resultando em mais de 100 capturas de tela de aplicativos, fotos de advogados durante o trabalho e escritórios de advocacia. As imagens que mais claramente representavam o público e seu contexto foram selecionadas e, a partir dessa filtragem, gerou-se o painel semântico 7 de público-alvo (figura 6). Figura 6: Painel semântico de público-alvo. A partir do painel de público-alvo, percebeu-se que a interface não necessariamente deveria se utilizar apenas de referências tão tradicionais. Assim, sentiu-se a necessidade da composição de um painel de conceito gráfico (figura 7) devido às diferenças entre o contexto dos usuários e as características que deveriam ser tratadas no desenvolvimento da interface: os usuários eram tradicionais, a aplicação deveria ser inovadora; a advocacia era considerada 7 O painel semântico visa estimular o pensamento bissociativo através de metáforas do contexto para o qual está sendo projetado. Assim, o designer observa elementos do novo contexto e projeta a partir dessas associações. (BAXTER, 2003).
burocrática, a aplicação deveria ser ágil; a advocacia já é um exercício antigo, a aplicação deveria ser moderna etc. Figura 7: Painel semântico de conceito. Através de um brainstorming, foram levantadas características que deveriam representar o produto. Entre mais de 50 palavras, algumas foram selecionadas e deram origem à definição conceitual: Permitir o exercer da advocacia clássica de forma a acompanhar o dinamismo e as necessidades do mercado contemporâneo. Dentro de um ambiente seguro e conectado, é possível manter permanentemente processos e organizar tarefas com autonomia e agilidade. Após uma etapa de validação com o cliente, os painéis e a definição conceitual foram aprovados, refletindo em diretrizes para o desenvolvimento visual do aplicativo, com elementos tradicionais -- como mogno e couro -- e elementos mais modernos e minimalistas. Foi sentida a necessidade de fornecer duas alternativas de interface para os usuários, já que uma combinação de elementos tradicionais com elementos modernos provavelmente não atingiria bons resultados. Dessa forma, os designers propuseram que o aplicativo deveria dispor de dois temas: um minimalista e moderno, que enfatizaria o conteúdo e a ideia de agilidade; e outro mais tradicional e com texturas, que ressaltaria a realidade dos advogados. Tal sugestão vai ao encontro da tendência das interfaces atuais, que por um lado tendem ao minimalismo enquanto outras trabalham com metáforas visuais, como os aplicativos encontrados no ipad. Além disso, a possibilidade de escolha de um tema agrada o usuário, que pode escolher a interface com a qual mais se identifica. Foi proposto ao cliente o desenvolvimento de uma proposta minimalista e duas propostas tradicionais, visto que estas teriam uma maior quantidade de elementos para serem utilizados. As três propostas (figuras 8, 9 e 10) foram construídas a partir de um fragmento da tela Área de trabalho e deveriam conter elementos de cunho ergonômico -- proporção, contraste, agrupamento, equilíbrio --, e de cunho conceitual -- texturas, cores e elementos que deveriam ser atraentes e ter significado para os usuários.
Figura 8: Tema minimalista. Figura 9: Tema escritório. Figura 10: Tema pasta. As três alternativas foram apresentadas ao cliente em um reunião com os dois sócios. Houve aprovação unânime quanto ao tema minimalista, porém as opiniões foram divergentes quanto aos temas com textura, sendo que um sócio preferiu o tema pasta e o outro, o tema escritório. Frente ao impasse, foi sugerido envolver os usuários na escolha dos temas a serem desenvolvidos. Assim, optou-se por aplicar um questionário online que buscasse compreender sua opinião quanto às diferentes características sobre cada um dos temas. O instrumento foi desenvolvido na ferramenta formulário do Google Docs. Para respondê-lo, foram selecionados 20 usuários pelo cliente, que receberam as perguntas por e- mail. Este continha uma breve introdução sobre o porquê da pesquisa e a importância da participação do usuário e ressaltava que o tempo para respondê-lo levava em torno de 5
minutos, informação com a qual esperava-se cativar até os usuários mais ocupados. Logo em seguida, as instruções pediam que o usuário observasse cada um dos 3 temas (anexados ao e- mail) por cerca de 30 segundos antes de responder às questões. A primeira questão fornecia opção de múltipla escolha para a pergunta: Se fosse para escolher um dentre os 3 desenhos para usar no seu dia-a-dia, qual você usaria? Em seguida, havia 9 as afirmações antagônicas para cada tema em escala de diferencial semântico (figura 11), para compreender o posicionamento da opinião dos usuários sobre cada aspecto dos diferentes temas. A pesquisa buscou compreender o tema preferido, como eles eram percebidos e como os usuários se sentiam em relação a algumas regiões da interface, totalizando 28 questões. Figura 11: Fragmento do questionário. Apesar dos gráficos facilitarem a visualização dos dados, não era possível comparar as respostas de forma eficaz, fazendo-se necessário tratar os dados. Os resultados foram convertidos de uma escala 1 a 7 para outra de -3 a 3, visto que a ferramenta não aceitava números negativos. Assim, a resposta da mediana ficava posicionada no 0. Posteriormente, foi feita uma média aritmética para cada uma das respostas, somando-se o valor de todas as afirmações referentes a uma resposta e dividindo o resultado por 12, número de usuários respondentes. As respostas variavam de -3 a 3, representando a média da opinião. Figura 12: Gráfico das respostas de uma pergunta.
Para facilitar a visualização dos resultados e a tomada de decisão, as médias foram representadas em um gráfico que trazia, no eixo horizontal, as respostas referentes aos três temas (figura 13). Dessa forma, ficou fácil observar a média das diferenças de opinião para cada tema. Figura 13: Gráfico de diferencial semântico dos temas. A partir do gráfico de diferencial semântico e das respostas sobre o tema preferido, foi possível perceber que os temas pasta e minimalista estavam mais adequados com o que se buscou transmitir aos usuários. O tema pasta, que trazia maior quantidade de elementos semelhantes ao mundo dos usuários, foi considerado melhor, mais agradável e mais interessante. Por outro lado, o tema minimalista, que buscava enfatizar o conteúdo, foi considerado mais leve, mais simples e mais adequado para o tipo de software. O resultado do questionário forneceu base para que o cliente escolhesse os temas minimalista e o pasta para desenvolver. Além disso, evidenciou que mesmos os temas considerados mais adequados ainda possibilitavam um refinamento gráfico. Com os temas selecionados, a equipe de design trabalhou no refinamento visual de cada tema à partir da tela Área de Trabalho, incluindo os elementos de informação, navegação e interação ausentes nos conceitos gráficos. As propostas foram aprovadas com o cliente, que autorizou o desenho das outras telas a partir do projeto gráfico definido (figuras 14 e 15).
Figura 14: Tema minimalista refinado. Figura 15: Tema pasta refinado. As interfaces redesenhadas materializam o aperfeiçoamento do projeto no âmbito da usabilidade e do conceito visual, em um processo guiado pelo feedback dos usuários. Os designers desenharam as telas inicialmente contratadas, entregando arquivos abertos em Photoshop para o time de desenvolvimento do software. Um dos designers continuou trabalhando no projeto, desenvolvendo novas telas inicialmente não contratadas. O cliente ficou tão satisfeito com os testes que posteriormente entrevistou novamente um dos usuários, buscando validar ideias para novas telas. O produto tem a previsão de uma etapa de beta teste para Julho de 2012 e pretende ser lançado em Outubro de 2012. Conclusão Apesar dos métodos de pesquisa com usuários contarem com diversas técnicas abordadas pela IHC e pelo Design de Interação, não raro observam-se processos de
desenvolvimento de software que não envolvem os usuários. Embora se vivencie um período de transição onde o que importa é a experiência fornecida, muitas equipes continuam a entender o design como uma camada visual aplicada ao final do processo ao invés de um guia para o processo de desenvolvimento. Nesse sentido, iniciativas que envolvem os usuários no processo são bem vistas, sobretudo em termos de Brasil. Este artigo buscou mostrar como é possível executar testes de baixo custo com impacto relevante no resultado do projeto. As avaliações de usabilidade conduzidas em protótipos em papel revelaram problemas básicos que puderam ser corrigidos antes do lançamento do produto, resultando em economia para o cliente e em uma melhor experiência para seus usuários. Os testes de conceito visual foram cruciais no processo de decisão sobre quais interfaces implementar, baseando a tomada de decisão nos feedbacks e permitindo um aprimoramento dos temas escolhidos. Como resultado, o cliente e os designers ficaram satisfeitos com o processo, tendo a consciência de que estavam tomando decisões mais adequadas, baseando-se nas percepções de usuários reais. Também os usuários ficaram interessados, se mostrando dispostos a contribuir de outras maneiras e interessados em utilizar o software no futuro. O envolvimento dos usuários trouxe uma nova visão, contribuindo não só para o resultado das interfaces mas também para um melhor entendimento das necessidades, motivações, comportamentos e frustrações do público-alvo. Ao final, não houve dúvidas que o esforço trouxe resultados valiosos ao produto. Referências ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. CEE 126: ergonomia da interação humano-sistema Parte 210: Projeto centrado no ser humano para sistemas interativos. [S.l.], 2011. Disponível em: <http://www.faberludens.com.br/files/abnt_nbr_iso_9241-210_2011.pdf> Acesso em: 22 dez. 2011. BAXTER, Mike. Projeto de Produto: Guia prático para o design de novos produtos. São Paulo: Edgard Blücher Ltda, 2003. COOPER, Alan; REIMANN, Robert; CRONIN, David. About Face 3: The Essentials of Interaction Design. Indianapolis: Wiley Publishing, 2007. CYBIS, Walter; BETIOL, Adriana; FAUST, Richard. Ergonomia e Usabilidade: conhecimentos, métodos e aplicações. São Paulo: Novatec Editora, 2007. GARRETT, Jesse J. The Elements of User Experience: User-centered Design for the Web and Beyond. 2nd ed. Berkeley: New Riders, 2011. HASSENZAHL, Marc; TRACTINSKY, Noam. User experience a research agenda. Behaviour and Information Technology, London, v. 25, n. 2, p. 91-97, 2006. Disponível em: <http://www.informaworld.com/openurl?genre=article&doi=10.1080/01449290500330331& magic=crossref>. Acesso em: 08 out. 2011. INTERNATIONAL HUMAN FACTORS. User Experience Metrics: Connecting the language of UI design with the language of business. Human Factors. [S.l.], 2008. Disponível em:
<http://www.humanfactors.com/downloads/whitepapersrequest.asp?whitepaper=uxmetrics> Acesso em: 20 jul. 2011. LAW, Effie et al. Understanding, Scoping and Defining User Experience: A Survey Approach. In: Conference on Human Factors in Computing Systems, 27, 2009, Boston. Proceedings... New York: ACM Digital Library, 2009, p. 719-728. NIELSEN, Jakob. Ten Usability Heuristics. 2005. In: Papers and Essays by Jakob Nielsen. Disponível em: <http://www.useit.com/papers/heuristic/heuristic_list.html>. Acesso em: 12 jan. 2012. NIELSEN, Jakob; LORANGER, Hoa. Prioritizing Web Usability. Berkeley: New Riders, 2006. NORMAN, Donald. Design Emocional: Por que adoramos (ou detestamos) os objetos do dia-a-dia. Rio de Janeiro: Editora Rocco, 2004.. Comentário em User Experience and Experience Design por HASSENZAHL, Marc. 2011. Disponível em <http://www.interactiondesign.org/encyclopedia/user_experience_and_experience_design.html#donald+a.+norman>. Acesso em: 24 nov. 2011. PREECE, Jennifer; ROGERS, Yvonne; SHARP, Helen. Design de Interac a o: Além da interação homem-computador. Porto Alegre: Bookman, 2005. SANTA ROSA, José G.; MORAES, Anamaria de. Avaliação e Projeto no Design de Interfaces. Teresópolis: 2AB, 2008. SNYDER, Carolyn. Paper Prototyping: The fast and easy way to design and refine user interfaces. San Francisco: Elsevier, 2003.