Avaliação dos aspectos de usabilidade do Sistema Financeiro Web: usuários novatos versus usuários experientes Alan Braga, alansbraga@gmail.com Danillo da Silva Rocha, danrocha@ifsp.edu.br Evandro Fioravante Gonçalves, evandrofg@gmail.com Renan Barbosa, renancambre@hotmail.com Thiago Schumacher Barcelos, tsbarcelos@ifsp.edu.br Instituto Federal de Educação, Ciência e Tecnologia de São Paulo Campus Guarulhos Avenida Salgado Filho, 3501. Vila Rio de Janeiro. Guarulhos SP Brasil CEP: 07115-000 RESUMO. Este artigo apresenta os resultados da aplicação de uma Avaliação Heurística, utilizando como referencial teórico as heurísticas de Nielsen, e de um teste de usabilidade definido a partir de uma avaliação preliminar, realizados com usuários do Sistema Financeiro Web (nome fictício) de uma Universidade localizada na cidade de São Paulo - SP. A avaliação e os testes foram obtidos considerando apenas o módulo de requisição de compras, utilizado tanto por usuários novatos, quanto por experientes, que, desde sua implantação, em 1999, tem sido alvo de fortes críticas por parte de seus usuários. Os objetivos foram o de identificar e mapear o quanto a ferramenta está aderente a critérios de usabilidade e contribuir para a criação de novas versões objetivando a correção dos problemas identificados. Ao analisar os resultados deste trabalho, ficou evidente que o sistema não oferece boa usabilidade em sua versão atual pois ambos os tipos de usuários não se sentiram familiarizados com o seu uso. Palavras-chave: Heurísticas de Nielsen.Teste de Usabilidade. 1. INTRODUÇÃO Com a popularização dos computadores e dos sistemas de informação, novas tecnologias e diferentes tipos de sistemas foram desenvolvidos oferecendo possibilidades cada vez mais úteis e atraentes. Neste contexto, os sistemas que ganham destaque são aqueles que oferecem um maior nível de interatividade com os usuários, possibilitando a realização de tarefas de maneira rápida e fácil. Este estudo visa mostrar os resultados da aplicação da Avaliação Heurística e de testes de usabilidade, a partir de uma avaliação preliminar, realizados com usuários do Sistema Financeiro Web de uma Universidade localizada na cidade de São Paulo - SP, levando-se em conta apenas o módulo de requisição de compras, utilizado tanto por usuários novatos quanto por experientes desde seu desenvolvimento em 1999. Como etapas deste trabalho, foram realizadas: uma Avaliação Heurística focada na tarefa de realizar uma requisição de compras; a consolidação dos resultados obtidos nas avaliações feitas pelos estudantes da área de IHC (Interação Humano-Computador); a delimitação do perfil dos usuários através de um questionário; a aplicação de testes de usabilidade com os usuários do sistema; a comparação dos resultados da Avaliação Heurística e dos Testes de Usabilidade, procurando verificar onde essas duas técnicas foram coincidentes ou não, visando evidenciar de forma mais precisa os problemas de usabilidade que podem ocorrer durante a elaboração da requisição de compras. Segundo Nielsen, um sistema com boa usabilidade é aquele que pode ser utilizado por seus usuários de forma que eles atinjam seus objetivos com eficiência e satisfação. A boa usabilidade também pode ser definida a partir da relação de múltiplos componentes (Nielsen 1993), dividida em cinco critérios básicos: i. Facilidade de aprendizado O sistema deve ser fácil de aprender, o que demanda menor esforço do usuário ao realizar uma tarefa, pois são produtos intuitivos; ii. Eficiência O sistema deve maximizar a produtividade, proporcionando a realização de uma atividade de forma rápida e eficiente; iii. Memorização Suas telas devem apresentar facilidade de memorização permitindo que usuários ocasionais consigam utilizá-lo mesmo depois de um longo intervalo de tempo; iv. Erros É preciso minimizar os erros, analisando a possibilidade de ocorrência dos mesmos e visando evitá-los. Além disso, devem apresentar soluções simples e rápidas mesmo para usuários novatos; v. Satisfação O sistema deve oferecer uma experiência agradável aos usuários, tanto àqueles que são novatos quanto aos experientes. Este artigo utiliza como referencial teórico as heurísticas de Nielsen. O autor propõe um conjunto de 10 (dez) heurísticas, que devem ser verificadas em uma interface. São elas: 1. Visibilidade do estado do sistema: Os usuários são mantidos informados à respeito do que está acontecendo? 2. Correspondência entre o sistema e o mundo real: A linguagem utilizada no sistema é simples?
3. Controle do usuário e liberdade: Existem maneiras de permitir que os usuários saiam com facilidade de lugares em que não esperavam encontrar-se? 4. Consistência e padronização: As maneiras de executar ações semelhantes são consistentes? 5. Ajudar usuários a reconhecer, diagnosticar e corrigir erros: As mensagens de erro são úteis? 6. Prevenção de erros: É fácil cometer erros? Se sim, onde e por quê? 7. Reconhecimento ao invés de lembrança: Os objetos, as ações e operações são sempre visíveis? 8. Uso flexível e eficiente: São oferecidos atalhos que permitem aos usuários mais experientes realizar suas tarefas mais rapidamente? 9. Projeto minimalista e estético: Existem informações desnecessárias e irrelevantes? 10. Ajuda e documentação: É oferecida uma ajuda que pode ser facilmente acessada e seguida? A justificativa para a escolha deste sistema é em razão das diversas críticas identificadas na prática profissional de um dos autores deste artigo. Tais críticas são citadas tanto por usuários novatos quanto por experientes, que utilizam o sistema há muitos anos. Esse trabalho tem como objetivo comparar os problemas apresentados por esses dois tipos de usuários, a fim de encontrar pontos que poderiam ou deveriam ser melhorados no sistema, justificando a importância da elaboração deste artigo. Em virtude das inúmeras queixas apresentadas pelos usuários quanto à dificuldade na utilização do Sistema e considerando que, em média, seus usuários o utilizam apenas uma vez por mês, no contexto deste artigo consideramos como usuários novatos aqueles que utilizam o sistema entre 1 e 2 anos e como experientes aqueles que o utilizam há mais de 2 anos. 2. DESENVOLVIMENTO Os objetivos deste artigo são o de identificar e mapear, baseado na Avaliação Heurística e em testes realizados com usuários, o quanto o sistema avaliado está aderente a critérios de usabilidade. Outra finalidade deste trabalho é contribuir para que a Universidade responsável crie novas versões do sistema para a correção dos problemas de usabilidade identificados. Na subseção seguinte, serão apresentados os trabalhos relacionados, que contribuíram para as atividades realizadas, juntamente com as metodologias empregadas em cada etapa, os resultados obtidos e as discussões geradas. 2.1. Trabalhos acadêmicos relacionados Com o objetivo de fundamentar a importância da construção deste artigo, foram analisados alguns trabalhos recentes que se referem à área de IHC (Interação Humano-Computador), e ao tema da pesquisa relatada. Pode-se constatar que avaliações feitas em sistemas disponíveis na internet são mais complexas do que as realizadas em outros tipos de sistemas, ficando claro, com o trabalho de More et al. (2010), que o público alvo destes sistemas é muito amplo e diversificado. A participação de usuários pertencentes ao público alvo da aplicação em conjunto com a Avaliação Heurística, que é mais direcionada a pontos chave encontrados por especialistas, como o realizado no trabalho de Chammas et al (2012), é um método muito eficiente e capaz de detectar problemas mais graves, recorrentes e globais (Hollingsed e Novick 2007), pois busca avaliar a usabilidade numa simulação de uma situação real de uso. A Avaliação Heurística foi escolhida por apresentar um bom equilíbrio custo/benefício, pois a participação de 5 a 10 avaliadores é suficiente para poder identificar de 55 a 90 por cento dos problemas já conhecidos sobre usabilidade, além de ser o método que mais identifica problemas, sendo um dos mais bem sucedidos nos últimos anos (Hollingsed e Novick 2007). 2.2. Metodologia aplicada A metodologia inicial de trabalho foi a Avaliação Heurística, que consistiu na identificação de problemas de usabilidade da ferramenta pelos quatro primeiros autores deste artigo. Primeiramente, cada avaliador identificou os problemas individualmente e, em seguida, houve uma junção dos fatores coincidentes. Esta avaliação heurística embasou-se, principalmente, nas heurísticas de Nielsen e pelo conhecimento já adquirido pelos estudantes sobre usabilidade. Recentemente, novos conjuntos especializados de heurísticas têm apresentado melhores resultados em domínios específicos, tais como aplicações móveis (Bonifácio et al., 2010) e jogos digitais (Barcelos et al., 2011); mesmo assim, o caráter generalista dos critérios de qualidade propostos por Nielsen ainda se mostra adequado no caso de sistemas de informação comerciais como o Sistema Financeiro Web, alvo da avaliação deste trabalho. Cada avaliação heurística resultou em diversos problemas de usabilidade que, posteriormente, foram consolidadas em um total de 18 (dezoito) problemas, sendo que destes, 4 (quatro) foram classificados como problemas cosméticos, ou seja, devem ser corrigidos se houver tempo e dinheiro; 8 (oito) foram considerados como problemas simples, onde correções devem ser realizadas, porém, com baixa prioridade; 5 (cinco) como problemas graves, que devem ser
corrigidos o quanto antes, e 1 (um) problema considerado catastrófico, ou seja, deve ter solução imediata, pois impede de fato ao usuário utilizar a interface corretamente e sem prejuízos para a sua rotina de trabalho. Paralelamente à Avaliação Heurística, foi aplicado um questionário com perguntas dissertativas e de múltipla escolha com o objetivo de identificar o perfil dos usuários do sistema, facilitando, assim, o planejamento dos testes de usabilidade. As perguntas abordavam questões relacionadas às características do usuário, a frequência de uso da ferramenta, entre outras perguntas pertinentes para o mapeamento de perfis. As tarefas instituídas para a execução do Teste de Usabilidade tiveram embasamento nos problemas mais críticos identificados pelos estudantes através da Avaliação Heurística, todavia, vários outros problemas também foram descobertos. A ideia principal foi confrontar as dificuldades encontradas pelos usuários novatos comparando-as com as dificuldades apresentadas pelos usuários experientes. Os testes foram concretizados com a participação de 5 (cinco) funcionários da própria Universidade onde o sistema é utilizado. A primeira funcionária participante, que colaborou para a implantação do sistema, possui quase 14 anos de experiência em sua utilização, sendo, dessa forma, considerada uma usuária experiente. O quarto participante também foi considerado experiente, possuindo entre 5 e 6 anos de experiência na utilização do sistema. O segundo, terceiro e quinto participantes possuem entre 1 e 2 anos de experiência na utilização do sistema, sendo considerados novatos. Para a realização dos testes, foram criadas 5 (cinco) tarefas que, resumidamente, foram as seguintes: 1. Localizar a ajuda do Sistema referente à elaboração de requisições de compras; 2. Elaborar uma requisição de compras no sistema; 3. Alterar, Excluir e Adicionar itens na requisição de compras criada; 4. Verificar e indicar a situação (status) atual da requisição; 5. Excluir a requisição. 2.3. Resultados obtidos e discussão Como resultados obtidos na Avaliação Heurística, foram apontados vários problemas críticos de usabilidade. Neste sentido, foi dada maior importância aos problemas que tiveram como severidade os níveis "Grave" ou "Catastrófico". São eles: 1. Falta de Tratamento de erro: Há validação de números para os campos código do bem e código do material, porém não existe validação para os campos quantidade e preço. A severidade deste problema foi considerada como Grave e a frequência com que ocorre este erro é entre 11% e 50% das vezes em que o Sistema é utilizado. Este problema viola a heurística "Prevenção de Erros" de Nielsen; 2. Quantidade informada inadequadamente faz perder todos os dados que foram digitados anteriormente: Caso o usuário digite uma quantidade não numérica e clique, posteriormente, no botão voltar, todos os dados digitados serão perdidos. A severidade deste problema foi considerada como Grave e a frequência com que ocorre este erro é entre 1% e 10% das vezes em que o Sistema é utilizado. Este problema viola a heurística "Consistência e Padronização" de Nielsen; 3. Características semelhantes dificultam a escolha do item correto. Falta de imagem que ilustre o item desejado: Existem bens que possuem características muito semelhantes, diferenciando-se apenas por detalhes muito simples. Seria importante que os itens de uma compra fossem ilustrados com fotos, porquanto o usuário teria uma maior segurança sobre o bem que estaria solicitando. A severidade deste problema foi considerada como Grave e a frequência com que ocorre este erro é maior que 90% das vezes em que o Sistema é utilizado. Este problema viola a heurística "Correspondência entre o Mundo Real e o Sistema" de Nielsen; 4. O sistema não oferece ajuda adequada: O sistema não oferece ajuda por função (tela), apresentando apenas um tutorial completo do sistema, que não contém todas as informações necessárias para o usuário. A severidade deste problema foi considerada como Grave e a frequência com que ocorre este erro é maior que 90% das vezes em que o Sistema é utilizado. Este problema viola a heurística "Ajuda e Documentação" de Nielsen; 5. Não há confirmação para ações críticas como sair do sistema e excluir um item da requisição: Quando se clica na opção para remover um item da requisição ou se deseja sair do sistema, o mesmo não solicita confirmação do usuário. A severidade deste problema foi considerada como Catastrófico e a frequência com que ocorre este erro é entre 51% e 90% das vezes em que o Sistema é utilizado. Este problema viola a heurística "Prevenção de Erros" de Nielsen; 6. Falta de filtro para busca e classificação na procura de bens: Falta de refinamento para a opção de busca. Digitando-se o item "caneta" no campo de busca, foram encontrados 437 (quatrocentos e trinta e sete) registros, com até 8 (oito) características diferentes para cada item. Caso existisse um filtro por seus atributos (características), ajudaria na classificação ou busca mais detalhada. A severidade deste problema foi considerada como Grave e a frequência com que ocorre este erro é entre 51% e 90% das vezes em que o Sistema é utilizado. Este problema viola a heurística "Uso Flexível e Eficiente" de Nielsen.
Os testes de usabilidade foram executados no ambiente de trabalho de cada usuário, com a intenção de evitar distorções em seus resultados, sendo feitas as seguintes observações: 1. O sistema apresenta lentidão, demandando tempo superior ao que se considera suficiente para elaborar a requisição. Este problema não foi apontado na Avaliação Heurística; 2. A maioria dos usuários nem sabia que o sistema oferece ajuda, ainda que simplória; 3. A ajuda do sistema não contém informações que auxiliam totalmente aos usuários na execução de suas tarefas; 4. Existe uma quantidade exacerbada de itens repetidos no sistema. Este problema não havia sido identificado através da Avaliação Heurística; 5. O tempo médio para a efetivação do Teste de Usabilidade pelos usuários novatos foi de 16 min e pelos usuários experientes foi de 25 min. O quadro abaixo compara as dificuldades encontradas pelos usuários na realização das tarefas, levando em consideração o nível de experiência na utilização do sistema, o tempo médio de execução de cada tarefa, as dificuldades encontradas e, por fim, apresenta uma breve correspondência entre o Teste de Usabilidade e a Avaliação Heurística: Quadro 1. Dificuldades encontradas pelos usuários na realização das tarefas Tarefa Nível do Usuário Tempo médio para a execução da tarefa Dificuldades/Problemas Encontradas(os) Problema apontado na Avaliação Heurística Encontrar a ajuda do sistema 4 min 30 s 7 min Dos 3(três) usuários testados, 1(um) deles não conseguiu concluir a tarefa. Os 2(dois) usuários não conseguiram concluir a tarefa. Problema de visibilidade do link de "Ajuda" Problema de visibilidade do link de "Ajuda" Elaborar uma requisição de compras no sistema 4 min 30 s 1. Um dos usuários encaminhou um item ao autorizador pensando ter encaminhado a requisição completa. (OBS.: Não fazia parte da tarefa encaminhar a requisição para o autorizador); 2. A unidade de compra induziu ao erro, fazendo com que o usuário solicitasse 5 (cinco) caixas de canetas, ao invés de 5 unidades; 3. Um dos usuários, em virtude da dificuldade em encontrar o lápis, acabou escolhendo o primeiro item da lista, sem se preocupar com os critérios estabelecidos; 1. Problema não verificado na Avaliação Heurística; 2 e 4. Características semelhantes dificultam a escolha do item correto; 3. Falta de filtros de busca para a classificação na procura de bens. 4. Um dos usuários escolheu caneta de tinta azul, ao invés de caneta de tinta preta.
Tarefa Nível do Usuário Tempo médio para a execução da tarefa Dificuldades/Problemas Encontradas(os) Problema apontado na Avaliação Heurística 10 min 1. A busca pelo item desejado foi dificultada pela quantidade excessiva de itens semelhantes; 2. Um dos usuários solicitou lápis dermatográfico ao invés de lápis preto número 2. 1 e 2. Características semelhantes dificultam a escolha do item correto. Editar a requisição de compras 4 min 4 min 21 s Um dos usuários não conseguiu alterar a finalidade da requisição. Um dos itens foi excluído acidentalmente e o sistema não apresentou confirmação de exclusão. Dificuldade para acessar a edição completa da requisição. Não há confirmação do sistema para ações críticas como sair do sistema e excluir itens da requisição. 1 min 30 s Um dos usuários se perdeu no processo, mas passou por diversas vezes pelo local que continha a informação desejada. O sistema não oferece ajuda adequada Verificar a situação atual da requisição 50 s Um dos usuários realizou a consulta de uma requisição para verificar a situação atual, porém o mesmo já se encontrava na própria requisição e poderia ter obtido essa informação apenas acessando as informações contidas no documento. Problema não verificado na Avaliação Heurística. Excluir a requisição 25 s 1 min Um dos usuários não conseguiu concluir a tarefa. Um dos usuários não conseguiu concluir a tarefa. O sistema não oferece ajuda adequada. O sistema não oferece ajuda adequada. Comparando-se o teste de usabilidade entre os usuários novatos e experientes é possível observar que não há ganho de produtividade entre eles, pois o sistema viola constantemente a heurística Reconhecimento ao invés de lembrança e Uso Flexível e Eficiente. Fato que pode ser observado no Quadro acima e nos vídeos gravados durante o teste de usabilidade, onde os usuários experientes utilizaram tempos superiores aos usuários novatos para a execução das tarefas propostas. 4. CONCLUSÃO A Avaliação Heurística foi importante para diagnosticar os problemas da interface do sistema, pois cada avaliador identificou problemas de usabilidade baseado nos princípios de Nielsen. Os resultados obtidos nesta avaliação geraram base para elaborar e aplicar o Teste de Usabilidade aos usuários do sistema. O Teste de usabilidade é uma técnica relevante, pois forneceu informações de como os usuários utilizam o sistema e quais problemas ocorrem durante a
interação. Este trabalho contribuiu para confirmar que a sequência de atividades executadas pelos autores foi efetiva e que ambas as técnicas empregadas ajudam a encontrar problemas de usabilidade. Para trabalhos futuros, os autores sugerem que sejam feitos testes com uma amostra maior de usuários e que as atividades de testes contemplem uma quantidade maior de tarefas com o objetivo de explorar outros pontos críticos e possíveis problemas de usabilidade não identificados neste trabalho. Sugere-se, ainda, a aplicação de outras heurísticas que sejam cabíveis para este tipo de sistema, realizando uma junção das que já foram utilizadas (heurísticas de Nielsen) com outras que possam agregar valor. 5. AGRADECIMENTOS Agradecemos, especialmente, ao Prof. MSc. Thiago Schumacher Barcelos pela orientação e ajuda oferecida para a elaboração deste artigo e pela participação dos usuários que fizeram parte dos testes de usabilidade. 6. REFERÊNCIAS BARCELOS, T. S. et al. Análise comparativa de heurísticas para avaliação de jogos digitais. Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems and the 5th Latin American Conference on Human-Computer Interaction. Pernambuco: SBC, 2011 BONIFÁCIO, B. et al. Aplicando técnicas de inspeção de usabilidade para avaliar aplicações móveis. Anais do IX Simpósio Brasileiro em Fatores Humanos em Sistemas Computacionais. Belo Horizonte: SBC, 2010 CHAMMAS, M.; MORAES, A.; TEIXEIRA, E. Avaliação Heurística e Avaliação Cooperativa em interfaces de games para crianças: um estudo comparativo. Interaction South America, 2012. São Paulo: IxDA, 2012. HOLLINGSED, T; NOVICK, D. Usability Inspection Methods after 15 Years of Research and Practice. Proceedings of the 25th annual ACM international conference on Design of Communication: SIGDOC '07, 2007. MORE, Jesús Domech; MATTOSO, Luciana Fagundes; ALTAF, Joyce Gonçalves e XEXEO, Geraldo Bonorino. Avaliação da eficiência do portal Globo.com: um estudo de caso à luz da teoria dos conjuntos Fuzzy. JISTEM J.Inf.Syst. Technol. Manag. (Online) [online]. 2010, vol.7, n.2, pp. 353-374. NIELSEN, J. Usability Engineering. Cambridge, MA: Academic Press, 1993. 7. NOTA DE RESPONSABILIDADE Os autores são os únicos responsáveis pelo conteúdo deste artigo.