UNIVERSIDADE FEDERAL DE SANTA CATARINA DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA RAFAEL FACCIO

Transcrição

1 UNIVERSIDADE FEDERAL DE SANTA CATARINA DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA RAFAEL FACCIO VALIDAÇÃO DE HEURÍSTICAS DE USABILIDADE PARA CELULARES TOUCHSCREEN POR MEIO DE TESTES DE USABILIDADE FLORIANÓPOLIS 2014

2 Rafael Faccio VALIDAÇÃO DE HEURÍSTICAS DE USABILIDADE PARA CELULARES TOUCHSCREEN POR MEIO DE TESTES DE USABILIDADE Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação. Orientadora: Prof.Dr.rer.nat. Christiane Gresse von Wangenheim, PMP Coorientador: Prof. Dr. Adriano Ferreti Borgatto FLORIANÓPOLIS 2014

3 Rafael Faccio VALIDAÇÃO DE HEURÍSTICAS DE USABILIDADE PARA CELULARES TOUCHSCREEN POR MEIO DE TESTES DE USABILIDADE Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação. Florianópolis, 2014 Profa. Christiane Gresse von Wangenheim, INE/UFSC Professora Orientadora Prof. Adriano Ferreti Borgatto INE/UFSC Professor Coorientador Juliane Vargas Nunes Membro da Banca Examinadora

4 RESUMO FACCIO, Rafael. Validação De Heurísticas De Usabilidade Para Celulares Touchscreen Por Meio De Testes De Usabilidade. 78 p. Trabalho de Conclusão de Curso (Bacharel em Sistemas de Informação) Departamento de Informática e Estatística. Universidade Federal de Santa Catarina, Florianópolis, Atualmente celulares cada vez mais modernos e capazes estão fazendo parte de nossas vidas que nos apresentam novas formas de interação. Dentre eles, destacam-se os touchscreen smartphones, aparelhos com tela sensível ao toque e capacidade de processamento avançado. Na engenharia de usabilidade existem vários conjuntos de heurísticas de usabilidade voltados para sistemas desktop, mas, devido às diferenças de uso apresentadas pelos smartphones, faz-se necessário conjuntos de heurísticas de usabilidade focadas neles. Ou seja, para que estes dispositivos ofereçam a melhor experiência de uso de maneira eficiente e eficaz. Para isso, foi desenvolvido no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para medir a usabilidade de aplicativos em celulares touchscreen chamado MATcH. O presente trabalho tem como objetivo validar esse conjunto de heurísticas de usabilidade para celulares touchscreen por meio de um estudo empírico comparativo entre resultados obtidos na aplicação do MATcH com resultados obtidos por meio de testes de usabilidade, buscando uma maior confiabilidade no uso do MATcH. Foram realizadas duas iterações de testes e um total de 9 aplicativos foram testados através de tarefas pré-definidas por meio de testes presenciais e à distância (online). Após a análise dos resultados obtidos foi possível perceber uma inconsistência em quase 70% dos resultados comparados, percebendo uma propensão do MATcH em avaliar mais firmemente questões de usabilidade ligadas ao projeto e design da interface quando os testes de usabilidade têm uma propensão de avaliar a experiência geral do usuário. Com base nesta análise foi realizada a validação, e discutida a necessidade de um refinamento para aproximar os resultados do MATcH com o resultado dos testes de usabilidade de forma mais confiável. Palavras-chave: Usabilidade. Celulares Touchscreen. Heurísticas de Usabilidade. Teste de Usabilidade.

5 LISTA DE FIGURAS FIGURA 1: METODOLOGIA FIGURA 2: USO E CONTEXTO DA INTERAÇÃO HUMANO-COMPUTADOR FIGURA 3: DEFINIÇÃO DO ESTUDO COMPARATIVO FIGURA 4: PÁGINA DO QUESTIONÁRIO ONLINE ATRAVÉS DO LIMESURVEY FIGURA 5: APLICATIVOS SELECIONADOS E DEFINIÇÃO DA ITERAÇÃO FIGURA 6: APLICATIVOS SELECIONADOS E DEFINIÇÃO DA ITERAÇÃO FIGURA 7: PARTICIPANTE RESPONDENDO O QUESTIONÁRIO PRESENCIALMENTE FIGURA 8: PLANILHA EXCEL COM AS RESPOSTAS DOS QUESTIONÁRIOS UNIFICADAS.. 41 FIGURA 9: RESULTADOS OBTIDOS FIGURA 10: GRÁFICO COMPARATIVO ENTRE OS RESULTADOS DO SUS E DO SURE. 48

6 LISTA DE TABELAS TABELA 1: HEURÍSTICAS DE NIELSEN TABELA 2: CONJUNTO UNIFICADO DE HEURÍSTICAS PARA CELULARES (SALAZAR, ET AL., 2012) TABELA 3: ESCALA DE MEDIÇÃO DE USABILIDADE TABELA 4: EXTRAÇÃO DE DADOS TABELA 5: EXEMPLO DE ESCALA LIKERT DE RESPOSTA TABELA 6: CRITÉRIOS DE ESCOLHA DE APLICATIVOS (OLIVEIRA, 2013) TABELA 7: TAREFAS POR APLICATIVO NA ITERAÇÃO TABELA 8: APLICATIVOS PRÉ-SELECIONADOS PARA ITERAÇÃO TABELA 9: TAREFAS DEFINIDAS PARA OS APLICATIVOS DA 2ª ITERAÇÃO TABELA 10: ESPECIFICAÇÕES DO IPHONE 4S TABELA 11: ESPECIFICAÇÕES DO SAMSUNG GALAXY Y TV TABELA 12: RESUMO DEMOGRÁFICO DOS PARTICIPANTES DA 2ª ITERAÇÃO TABELA 13: DADOS UNIFICADOS DA ITERAÇÃO 1 E TABELA 14: MÉDIA DE NOTAS POR PLATAFORMA (ITERAÇÕES 1 E 2) TABELA 15: DIVERGÊNCIA NA CLASSIFICAÇÃO DE USABILIDADE (ITERAÇÕES 1 E 2).. 51

7 LISTA DE ABREVIATURAS E SIGLAS ANATEL Agência Nacional de Telecomunicações TRI - Teoria de Resposta ao Item IHC - Interação Humano-Computador UFSC Universidade Federal de Santa Catarina CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior GQS Grupo de Qualidade de Software INCoD - Instituto Nacional de Convergência Digital SUS System Usability Scale SURE - Smartphone Usability questionnaire INE Departamento de Informática e Estatística

8 SUMÁRIO 1 INTRODUÇÃO PROBLEMA OBJETIVOS MÉTODO DE PESQUISA ESTRUTURA DO DOCUMENTO FUNDAMENTAÇÃO TEÓRICA ENGENHARIA DE USABILIDADE HEURÍSTICAS DE USABILIDADE Heurísticas para Celulares MATcH Measuring Usability of Touchscreen Phone Applications ESTADO DA ARTE DEFINIÇÃO EXECUÇÃO EXTRAÇÃO DE DADOS E ANÁLISE VALIDAÇÃO DO CONJUNTO DE HEURÍSTICAS MATCH DEFINIÇÃO Primeira Iteração Segunda Iteração EXECUÇÃO ANÁLISE DOS DADOS Pergunta De Pesquisa A Plataforma Influencia Na Avaliação? O Tipo Do Questionário Influencia Na Avaliação? O Tipo Do Aplicativo Influencia Na Avaliação? DISCUSSÃO... 50

9 5.1 DISCUSSÃO GERAL AMEAÇAS A VALIDADE CONCLUSÃO REFERÊNCIAS APENDICE A TAREFAS POR APLICATIVO APENDICE B - TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO67 ANEXO A CHECKLIST MATCH ANEXO B SURE ANEXO C SURE RESUMIDO... 75

10 10 1 INTRODUÇÃO Celulares são dispositivos que rapidamente se integraram ao mundo em que vivemos e já fazem parte do modo de vida das pessoas sendo considerados aparelhos imprescindíveis para grande parte delas. Sua rápida aceitação chegou a um ponto em que existem tantas linhas de celulares quanto pessoas no mundo (UN, 2013), isto significa quase 7 bilhões de linhas ativadas. As vendas mundiais de dispositivos móveis atingiram 1,75 bilhões de unidades em 2012, e o quarto período desse mesmo ano viu um acréscimo de 38,3% (GARTNER, 2013) em relação ao mesmo período do ano passado. A previsão de aumento de unidades vendidas é de 50% até 2014 (LEE, 2011), comprovando a popularidade da tecnologia e justificando uma concentração de pesquisa nesta área, visando seu aprimoramento. No Brasil, a situação é promissora também, tendo registrado mais de 271,1 milhões linhas ativas e 9,92 milhões de novas linhas ativadas no ano de 2013, um crescimento de 3,35% em relação ao ano passado. Também é importante notar o crescimento de acessos à banda larga 3G (tecnologia introduzida por smartphones), um aumento de 75,85% de janeiro a dezembro de 2013 (ANATEL, 2014). Os celulares surgiram em meados da década de 70, e na época não eram os aparelhos compactos e leves que conhecemos hoje. Eles foram bastante aprimorados nas suas funcionalidades e capacidades desde lá, partindo do conceito de um telefone móvel para legítimos computadores de bolso, com tecnologias como câmera, GPS e sensores diversos, para citar alguns. Dentre os vários modelos de celulares, os que viram uma maior ascensão e destaque nos últimos anos foram os chamados smartphones. Smartphones, ou celulares inteligentes em tradução livre, diferenciam-se de outros celulares pela sua capacidade de processamento mais avançada e alta conectividade. Usualmente, são acompanhados de um Sistema Operacional padronizado que oferece uma plataforma para desenvolvedores de aplicações. Considera-se que são dispositivos que estão em uma categoria intermediária entre computadores e os chamados feature phones, celulares mais simples, com menor suporte a aplicações integradas desenvolvidas por terceiros. Fisicamente, os smartphones diversificam entre si em relação ao número de botões, tamanho e formas de entrada de dados e comandos. Dentre essas variedades, a que mais se espera crescer, de acordo com uma pesquisa feita pela Strategy

11 11 Analytics (2008), são os touchscreen smartphones, com um total de 425 milhões de aparelhos vendidos até o fim de Touchscreen phones são celulares que possuem a tela sensível ao toque, dispensando o uso de teclados para interação com os elementos na tela, sendo esta feita através de toques diretamente sobre a representação gráfica dos elementos. Além de interação por toques, os touchscreen phones podem oferecer uma série de sensores diferentes, como de luz, proximidade, GPS e acelerômetros (WASSERMAN, 2010). Outro fator a ser levado em consideração é o ambiente onde estes dispositivos são utilizados, sendo bastante variados, diferentemente de computadores pessoais. Um smartphone pode ser utilizado em qualquer ambiente que uma pessoa pode imaginar (por exemplo: em movimento, em um local com muito barulho, muita luz ou pouca luminosidade ou em casa calmamente). Estes perfis variados de usuário modificam muito a experiência que uma pessoa poderá ter com o aparelho, portanto, projetar aplicações com isto em mente pode vir a ser um fator de sucesso (SALAZAR, et al., 2012), já que segundo Preece (2005), é de grande importância que interfaces sejam eficientes e eficazes durante o uso oferecendo uma experiência agradável ao usuário, ou seja, interfaces devem possuir boa usabilidade. Segundo a ISO9241, usabilidade é a medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso. Como forma de mensurar e avaliar usabilidade, existem heurísticas de usabilidade que podem ser utilizadas na hora de projetar a interface ou após, para avaliá-la de forma padronizada. Segundo Nielsen (1994), heurísticas de usabilidade são definidas como um conjunto de regras gerais que descrevem propriedades comuns em interfaces usáveis derivado do conhecimento de aspectos psicológicos, computacionais e sociológicos dos domínios do problema. Dentro do conjunto, Consistência e Padrões, Prevenção de erros e Feedback são alguns exemplos. Apesar de criadas para interfaces desktop, estas heurísticas foram adaptadas a diferentes paradigmas (como tablets e TVs), existindo também conjuntos de heurísticas especificamente para celulares (Salazar et al., 2012) (Bertini et al., 2006). Uma forma de colocar em prática estas heurísticas é a avaliação heurística, que é um método de inspeção de interfaces realizado por pesquisadores especialistas em usabilidade e interação humano-computador, onde são diagnosticados problemas de forma sistematizada. Segundo Nielsen (1994), a

12 12 necessidade de um grupo pequeno de avaliadores e o uso de regras pré-definidas para encontrar problemas (heurísticas) é o que garante a praticidade e baixo custo das avaliações heurísticas. Uma ferramenta para operacionalizar a avaliação heurística é o checklist, e sua elaboração é de grande importância para os resultados da avaliação. Segundo Tezza (2009), checklists bem elaborados devem produzir resultados mais uniformes e abrangentes, em termos de identificação de problemas de usabilidade. Em função disso, o checklist MATcH passou por um processo de validação de suas questões, apresentado por Witt (2013). 1.1 Problema Foi desenvolvido no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones. Chamado de MATcH (Measuring Usability of Touchscreen Phone Applications), este é um conjunto de heurísticas organizadas com base em Nielsen e customizadas especificamente para os dispositivos móveis. Como instrumento de avaliação heurística, o checklist do MATCH é composto de uma série de itens que buscam identificar as características que representam efetivamente uma boa usabilidade em interfaces touchscreen para celulares. O problema que surge é a necessidade destas heurísticas customizadas para smartphones em serem validadas quanto a sua confiabilidade e eficácia. A validação de heurísticas deve ocorrer para determinar seu potencial em detecção de erros. Se não validadas, os problemas por elas detectados podem não representar erros reais ou ignorar problemas existentes, não cumprindo o propósito das heurísticas de conduzir a um melhor desenvolvimento das interfaces. Em Witt (2013), foi dado um primeiro passo para a validação deste conjunto de heurísticas, realizando um estudo empírico composto de várias avaliações heurísticas utilizando o checklist desenvolvido para este propósito. Este trabalho resultou na identificação da relevância de cada item do checklist utilizando a TRI Teoria da Resposta ao Item (ANDRADE, 200) aplicando-o para avaliação de uma série de aplicativos. A validação das heurísticas foi feita através da validação destes itens; eliminando os itens que apresentavam problemas após a análise dos

13 13 resultados (itens com falta de consistência se comparados ao conjunto) e criando uma escala padronizada de grau de usabilidade. Em Oliveira (2013), foi então definido um questionário a ser aplicado ao final de testes de usabilidade para celulares touchscreen e identificado que ele é adequado para avaliação da usabilidade de aplicativos para celulares touchscreen. Este questionário será utilizado para a captação dos resultados dos testes de usabilidade neste trabalho. Dessa forma a pergunta de pesquisa a ser analisada no presente trabalho é: O conjunto de heurísticas e o checklist de usabilidade para dispositivos de celulares touchscreen (MATcH) é valido quando comparado com os resultados de testes de usabilidade? 1.2 Objetivos Objetivo Geral: O objetivo geral deste trabalho é validar as heurísticas e checklist de usabilidade MATcH customizada para celulares touchscreen. Para este fim é realizando um estudo empírico comparativo, onde são realizadas avaliações heurísticas utilizando o checklist desenvolvido e uma série de testes de usabilidade referente aos mesmo aplicativos para celulares touchscreen. Durante os testes de usabilidade, os dados relativos a percepção dos usuários sobre a usabilidade do aplicativo serão coletadas sistematicamente, a partir de um questionário pós-teste. Objetivos Específicos: Os objetivos específicos são: O1. Analisar a teoria da área de usabilidade em termos de heurísticas de usabilidade focando dispositivos celulares touchscreen.

14 14 O2. Analisar o estado da arte em relação a avaliações de heurísticas de usabilidade em geral e para dispositivos celulares touchscreen. O3. Comparar os resultados das avaliações heurísticas com MATcH com os resultados de uma série de testes de usabilidade de 9 aplicativos. Limites: O presente trabalho possui as seguintes limitações: 1. É focado na avaliação do MATcH enquanto checklist para medir a usabilidade de dispositivos celulares touchscreen. 2. A avaliação só é realizada em dispositivos celulares touchscreen que possuam sistema operacional ios ou Android. De acordo com a International Data Corporation (IDC, 2014), estas duas plataformas representam juntas 95,7% do mercado de sistemas operacionais para smartphones. 1.3 Método de Pesquisa A metodologia de desenvolvimento deste trabalho é dividida em três etapas, como mostra a figura 1: Área Interação Humano-Computador Revisão da Literatura Área de testes de usabilidade em dispositivos móveis Revisão do Estado da Arte Avaliações heurísticas existentes para interfaces de celulares touchscreen Estudo de Caso Iteração 1 Iteração 2 Figura 1: Metodologia Análise e comparação

15 15 Etapa 1 - Revisão da Literatura: Será levantado, a partir da literatura, a definição sobre conceitos pertinentes a área de interação humano-computador em geral e posteriormente com ênfase na área de heurísticas de usabilidade para dispositivos celulares touchscreen. Atividade 1.1: Definir conceitos da área a área de IHC/Engenharia de usabilidade/heurísticas de Usabilidade. Atividade 1.2: Analisar a área de testes de usabilidade com dispositivos moveis. Etapa 2 Revisão do estado da arte: Analisar o estado da arte em relação à avaliação de heurísticas de usabilidade existentes para o design de interface para celulares touchscreen. Para esta etapa será utilizada a técnica de revisão sistemática de literatura (KITCHENHAM, 2007). Atividade 2.1: Definir a revisão sistemática da literatura Atividade 2.2: Executar a revisão sistemática da literatura Atividade 2.3: Analisar e interpretar as informações extraídas Atividade 2.4: Documentar e discutir os resultados Etapa 3 - Estudo de Caso: Nessa etapa será realizado o estudo empírico comparativo. Serão definidos o objetivo e o design do estudo. As avaliações dos aplicativos para celulares touchscreen para plataformas ios ou Android serão realizadas em duas iterações utilizando de testes de usabilidade de forma remota e presencial. Atividade 3.1: Definir o estudo Atividade 3.2: Realizar as avalições heurísticas usando o MATcH Atividade 3.3: Executar a iteração 1 dos testes de usabilidade Atividade 3.3.1: Executar os testes de usabilidade remota não-moderada Atividade 3.3.2: Executar os testes de usabilidade no laboratório Atividade 3.4: Executar a iteração 2 dos testes de usabilidade Atividade 3.4.1: Executar os testes de usabilidade remota não-moderada Atividade 3.4.2: Executar os testes de usabilidade no laboratório

16 16 Atividade 3.5: Analisar os resultados dos testes de usabilidade Atividade 3.6: Comparar resultados 1.4 Estrutura Do Documento Este trabalho está estruturado em seis capítulos. No capítulo dois, o autor apresenta a fundamentação teórica, onde aborda os conceitos de sustentação do estudo. Conceitos de engenharia de usabilidade, heurísticas de usabilidade e heurísticas para celulares, bem como a apresentação do conjunto de heurísticas a ser validado neste estudo de caso. No capítulo três, é apresentado um estudo do estado da arte, analisando o panorama atual de pesquisas elaboradas na mesma área deste trabalho a partir de uma revisão sistemática da literatura. Trabalhos sobre validação de heurísticas voltadas aos dispositivos móveis são estudados. No capítulo quatro é realizada a validação de um conjunto de heurísticas para celulares touchscreen. São definidos os testes realizados e os resultados obtidos são analisados. No capítulo cinco os dados analisados são então discutidos de forma mais geral, bem como são discutidas as ameaças à validade deste trabalho. No capítulo seis são realizadas as conclusões deste estudo de caso comparativo e também aborda-se os possíveis trabalhos futuros nesta área de pesquisa.

17 17 2 FUNDAMENTAÇÃO TEÓRICA Neste capítulo são apresentados conceitos e definições teóricas acerca de usabilidade e seus assuntos relacionados, como avaliações heurísticas, interfaces e interações humano-computador e abordagens para validação em dispositivos móveis. 2.1 Engenharia De Usabilidade Ao iniciar o estudo de engenharia de usabilidade, podemos começar pela conceituação da interação humano-computador (IHC). Esta área da Ciência da Computação surgiu no início dos anos 80 e tem se expandido rapidamente até os dias de hoje, adotando um caráter multidisciplinar a medida que sua popularidade aumenta e sua importância no dia a dia é reconhecida (CARROL, 2009). A IHC foca num melhor desenvolvimento da interface utilizada para nos comunicarmos com as máquinas e computadores e, por consequência, aperfeiçoarmos as tarefas cotidianas através de tecnologias que se misturam ao ambiente analógico com o mínimo de fricção possível. Ou seja, visa o melhor desempenho das tarefas realizadas por seres humanos em máquinas e a estrutura que possibilita isso, bem como analisar a capacidade de aprendizado do ser humano das diferentes interfaces existentes até a sua devida especificação e implementação (ACM, 2009). Figura 2: Uso e Contexto da Interação Humano-Computador Fonte: ISO Requisitos Ergonômicos para Trabalho de Escritórios com Computadores.

18 18 Segundo a ISO , usabilidade é a medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso. Esta se refere à relação que se estabelece entre usuário, tarefa, interface, equipamento e demais aspectos do ambiente no qual o usuário utiliza o sistema. Eficiência neste contexto está relacionada ao quão bem o produto faz o que é esperado dele; eficácia está relacionada ao modo como este produto melhora a realização das tarefas dos usuários e satisfação é uma medida de conforto e de atitude do usuário em relação ao uso deste produto (PREECE, 2005) (ISO ). A Engenharia de Usabilidade é uma área da ciência que tem como objetivo apresentar técnicas que possam ser implementadas metodicamente para garantir um nível de qualidade de usabilidade da interface dos produtos. O conceito de qualidade de usabilidade de um produto ou interface é determinado por um processo de avaliação e atividades validadas (PÁDUA, 2011). O termo interface começou a ser utilizado em computação como o ponto de interação entre o software e o hardware para o usuário realizar tarefas. Com o passar do tempo e a popularização da computação, o termo abrange agora aspectos emocionais e cognitivos do usuário enquanto ocorre esta interação com o sistema (ROCHA; BARANAUSKAS, 2003). Carvalho (2003) diz que o desenvolvimento destas interfaces de modo profissional é uma etapa complexa devido aos aspectos humanos (e bastante variáveis) das relações e por isso esta área de estudo pode definir a adoção de uma nova tecnologia e, portanto deve ser considerado com igual importância ao projetar novos produtos. Preece (1994) propõe uma sequência de processos de engenharia de usabilidade que é composta, em ordem, de: definição dos objetivos de usabilidade utilizando métricas, especificar níveis de usabilidade a serem alcançados, analisar impactos de soluções de projeto, utilizar o feedback proveniente dos usuários durante o projeto e repetir o ciclo até alcançar os níveis planejados. 2.2 Heurísticas De Usabilidade A usabilidade em seu conceito mais abrangente pode se referir à facilidade de uso do design aplicado a diferentes tipos de usuário e ambientes. Para melhor

19 19 qualificar usabilidade em um produto, podem ser implementados alguns parâmetros pelos desenvolvedores a fim de auxiliar no desenvolvimento e tornar o desenho da interface menos complexa e frustrante. Heurísticas são, segundo Nielsen (1994), regras/diretrizes para encontrar uma melhor maneira de resolver um problema de forma eficiente com um bom custo-benefício e resultados confiáveis. Elas descrevem propriedades comuns em interfaces. Estas propriedades são derivadas de estudos de aspectos psicológicos, computacionais e sociológicos do problema. Estas regras são utilizadas tanto para direcionar o design de interface quanto na avaliação da usabilidade. A seguir na tabela 1 estão descritas as 10 heurísticas de Nielsen. Tabela 1: Heurísticas de Nielsen Heurística Visibilidade de Status do Sistema Relacionamento entre a interface do sistema e o mundo real Liberdade e controle do usuário Consistência Prevenção de erros Reconhecimento no lugar de lembrança Flexibilidade e eficiência de uso Estética e design minimalista Ajudar usuários a reconhecer, diagnosticar e resolver erros Ajuda e documentação Definição Identificar o estado atual do sistema ao efetuar ações para que o usuário possa saber o que está acontecendo. A interface precisa estar contextualizada com o domínio de comunicação que o usuário alvo possui O usuário deve se sentir no comando podendo desfazer e cancelar ações indesejadas ou retornar facilmente a um estado anterior Indicar ações iguais de maneira igual e utilizar o mesmo tipo de linguagem através de toda a interface para facilitar aprendizagem Ações definitivas (de deleção ou envio de dados) serem acompanhadas por avisos claros e possibilidade de cancelamento Utilizar símbolos contextualizados e em lugares coerentes para que o usuário não precise lembrar o que cada área ou função do sistema executa O sistema precisa ser fácil para usuários leigos, mas flexível o bastante para se tornar ágil aos usuários avançados. Textos e design simples, diretos e de acordo com a necessidade apenas As mensagens de erro devem ser claras quanto ao que ocorreu indicando uma saída ou solução construtiva Quando necessária, a documentação de ajuda deve ser encontrada facilmente, com linguagem simples e indicação clara dos passos para realizar as tarefas necessárias. Fonte: NIELSEN (1994)

20 20 É importante reconhecer que as heurísticas de Nielsen não são o único conjunto de heurísticas possível. Dentre estes outros, podemos destacar também as 8 Regras de Design de Interface de Shneiderman ( Shneiderman s 8 Golden Rules of Interface Design ) (SHNEIDERMAN, 1998). Shneiderman propôs este conjunto de heurísticas derivadas de sua experiência na Ciência da Computação e é aplicável a grande parte de sistemas com interações humano-computador. É possível notar várias semelhanças entre os conjuntos, como por exemplo as heurísticas de Consistência, Feedback e a importância no tratamento de erros. Uma avaliação heurística, segundo Nielsen, é um método de avaliação sistemático a fim de encontrar problemas de usabilidade em designs de interface. A avaliação é feita por especialistas em usabilidade, que revisam a interface comparando-a com os princípios pré-definidos (heurísticas). O resultado desta avaliação são os problemas de usabilidade, não é do objetivo da avaliação heurística propor soluções. Avaliações heurísticas são baseadas em modelos, a fim de poder inferir um grau de usabilidade ao alinhar o modelo às heurísticas. Os responsáveis pela avaliação podem ser um grupo pequeno de especialistas (de 3 a 5 avaliadores) que examinarão a interface e irão avaliá-la de acordo com as heurísticas definidas. Estas avaliações são relativamente de baixo custo e manutenção, não necessitando muito tempo para implementação. A eficácia de sua aplicação é comprovada não só no início do desenvolvimento, mas em qualquer estágio em que o projeto se encontra. A avaliação de cada membro do grupo avaliador deve ser feita de forma individual e imparcial. Para auxílio, podem ser definidos checklists que compreendem os tópicos relevantes ao sistema; dessa forma, a análise se torna padronizada entre os avaliadores e melhor preparada para análises estatísticas (SALAZAR et al., 2012). É importante notar que, dependendo do caso, é possível juntar e desenvolver um conjunto focado ao propósito ou contexto da avaliação.

21 Heurísticas para Celulares Quando pensamos na época em que foram desenvolvidas as heurísticas de Nielsen, é fácil imaginar o contexto em que o usuário se encontrava, já que a variedade e capacidade dos aparelhos era menor. Hoje, smartphones possuem uma série de aplicações feitas por terceiros que ampliam suas funcionalidades iniciais (como redes sociais, , resultados esportivos, entre outros). Estes aplicativos são utilizados de forma bastante casual, por períodos de tempo curto (se comparados ao desktop) e em ambientes em constante movimento ou com distrações, sendo o uso do dispositivo realizado paralelamente. Os usuários estão normalmente engajados em outras atividades maiores, onde o celular é um dispositivo de ajuda ou consulta e estão mais sujeitos à interrupção de uso (SALAZAR et al., 2012). É em busca de melhor atender esta variedade de características dos aplicativos de celulares que surge o interesse em customizar as heurísticas de usabilidade. Heurísticas específicas tendem a oferecer melhor suporte para a inspeção de interfaces touchscreen. Dentre os conjuntos de heurísticas, em Salazar et al. (2013) foi analisada esta questão para definir quais deles possuem este enfoque em dispositivos móveis e, mais especificamente celulares touchscreen. A revisão sistemática encontrou artigos considerados relevantes ao tópico e analisou-os em comparação com o conjunto de heurísticas clássicas de Nielsen. O resultado encontrado foi que heurísticas como design minimalista e diálogo e linguagens naturais ao usuário continuaram presentes nestes conjuntos, enquanto prevenção de erros e ajuda e documentação praticamente não aparecem. Alguns trabalhos, como Salazar et al. (2013) e Bertini et al. (2006) ainda elaboram conjuntos com alguma adaptação e heurísticas de usabilidade novas, frisando a necessidade destes dispositivos em serem confortáveis e rápidos de usar (interação física e ergonomia) e de terem foco claro com apenas a informação que o usuário realmente procura ao utilizá-lo; a compatibilidade entre diferentes plataformas também é um ponto citado entre algumas destas pesquisas como uma nova heurística.

22 MATcH Measuring Usability of Touchscreen Phone Applications Foi desenvolvido no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones (Salazar, et al., 2012) (Nunes, et al., 2013). O MATcH (Measuring Usability of Touchscreen Phone Applications) é um conjunto de heurísticas adaptadas de Nielsen para os dispositivos móveis e decompostas em uma série de itens de medida que representem efetivamente uma boa usabilidade. Tabela 2: Conjunto Unificado de Heurísticas para Celulares (Salazar, et al., 2012) Conjunto Unificado de Heurísticas para Celulares Visibilidade e Status do Sistema Compatibilidade entre o Sistema o Mundo Real Liberdade e Controle do Usuário Consistência e Padrões Prevenção de Erros Tradicionais Reconhecimento em vez de Lembrança Flexibilidade e Eficiência de Uso Estética e Design Minimalista Ajudar os usuários a reconhecer, diagnosticar e recuperar de erros Ajuda e documentação Compatibilidade entre Diferentes Plataformas Novas Pouca interação homem/dispositivo Interação Física e Ergonomia Legibilidade e Layout Ele foi operacionalizado através de um checklist baseado em problemas específicos para este ambiente de uso (Anexo A).

23 23 O conjunto de heurísticas e o checklist foram analisados por meio de um estudo empírico usando a técnica de estatística de TRI Teoria de Resposta ao Item (WITT, 2013). A TRI é um conjunto de modelos matemáticos que procuram representar a probabilidade de um indivíduo dar uma certa resposta a um item como função dos parâmetros do item e da habilidade (ou habilidades) do respondente (ANDRADE, et al., 2000). A Teoria da Resposta ao Item também possibilita a criação de escalas a partir de um checklist que utiliza os conceitos de usabilidade (TEZZA, 2009). Essa validação foi realizada com base na aplicação do checklist em 247 aplicativos. As respostas ao checklist destas aplicações foram então analisados utilizando a Teoria da Resposta ao Item, a fim de identificar itens problemáticos. O checklist inicial continha 92 itens que, após análises de consistência do traço latente, foi finalizado com 48 itens para avaliação. A partir da relevância estatística destes itens comprovada pela TRI, e com base na análise apresentada em Witt (2013), as heurísticas MATcH podem ser também consideras válidas para medir o grau de usabilidade. Como resultado, também foi definida uma escala padronizada de medição de usabilidade. Esta pesquisa pode ser acessada via o website: Tabela 3: Escala de Medição de Usabilidade Faixa Até 20 pontos Descrição Usabilidade Muito Baixa 30 Usabilidade Baixa 40 Usabilidade Razoável 50 Usabilidade Alta 60 Usabilidade Muito Alta

24 24 3 ESTADO DA ARTE Este capítulo tem como objetivo apresentar o estado atual em que se encontram as pesquisas relacionadas a validações de conjuntos de heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen. 3.1 Definição Com o objetivo de analisar o estado da arte sobre pesquisas relacionadas a validações de conjuntos de heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen. A questão principal a ser avaliada nesta seção é: Como são avaliados os conjuntos de heurísticas de usabilidade para dispositivos móveis? Para responder esta questão, é realizada uma revisão sistemática da literatura, seguindo o procedimento proposto por Kitchenham (1994). O objetivo é buscar artigos e publicações descrevendo pesquisas que validam conjuntos de heurísticas e checklists desenvolvidos para a avaliação heurística de dispositivos móveis, mais especificamente dispositivos touchscreen. Critérios de Inclusão/Exclusão: O trabalho deve ser focado em analisar interfaces de dispositivos móveis touchscreen O trabalho deve apresentar o uso de algum conjunto de heurística O objetivo do trabalho deve ser avaliar a usabilidade da interface um dispositivo móvel O trabalho deve apresentar relação com métodos de avaliação heurísticas O trabalho deve apresentar a validação dos conjuntos de heurísticas nele propostos

25 25 A pesquisa foi feita utilizando o mecanismo de pesquisa acadêmica online Google Scholar e nas bases da IEEE. Para padronizar a busca foi utilizado o seguinte termo de busca: interface usability heuristics evaluation mobile OR smartphone OR handheld OR cellphones touch screen. Foram levados em consideração artigos em inglês e português publicados no período de 2008 até Devido ao caráter de rápida evolução na tecnologia envolvida em celulares e a popularização recente dos que possuem tela sensível ao toque, artigos anteriores à 2008 foram considerados desatualizados e não agregariam informações relevantes hoje em dia. Nos termos de busca, por causa do fato de dispositivos móveis possuírem diversos sinônimos na língua inglesa, foram incluídos na pesquisa palavras intercambiáveis para "mobile" (smartphone, handheld, cellphone), a fim de ampliar o número de resultados. 3.2 Execução A busca foi realizada em setembro de 2013, e resultou em aproximadamente 3,780 resultados no Google Scholar, sendo que pesquisa na base de dados IEEExplore retornou 7 resultados aplicados os mesmos termos de inclusão e exclusão, porém aqui não refinando de acordo com o período por causa do número bastante reduzido de resultados. Foram excluídas publicações que: não tratassem de dispositivos móveis touchscreen; não possuíssem o foco da pesquisa em avalição heurística; não citassem a forma de pesquisa com foco em usabilidade. Após analisar os resultados do Google Scholar até a página 10 e os 7 resultados na IEEE, levando em consideração o título, resumo apresentado e aplicando-se os critérios de inclusão e exclusão, restaram 9 artigos considerados relevantes. Destes artigos, realizando uma leitura e análise aprofundada de cada um, restaram 4 artigos relevantes para discussão.

26 Extração de Dados e Análise A tabela 4 apresenta os artigos relevantes encontrados na pesquisa. Tabela 4: Extração de Dados Referência Tipo de objeto avaliado (Jeongyun, H.; Não Dong-Han, H.; informado Sanghyun, P.; (N. I.) Chiwon, S.; Wan Chul, Y.; 2009) Heurísticas Design de pesquisa (experimento/estudo de caso) Combinado das heurísticas de Nielsen (1994), ISO/IEC (1998), e Hix and Hartson s principles (1993). Número total não informado. Estudo de caso de um framework de avaliação heurística contemplando vários tipos de UI (interfaces de usuário) Avaliação heurística 8 avaliadores Teste de usabilidade Utilizando um checklist com Likert-scale de 5 pontos Sistema/ software/app Sistema Operacional de Celulares (não informado quais dispositivos) Técnica estatística para fazer análise Não apresentada uma análise estatística (Ji, Y. G.; Park, J. H.; Lee, C.; Yun, M. H.; 2006) 21 heurísticas extraídas de diversas fontes (Constantine, 1994; Nielsen, 1994; Treu, 1994; Dix, Finlay, Abowd and Beale, 1998; Lauessen e Younessi, 1998; Preece, Rogers e Sharp, 2002;) Estudo de caso comparando resultados de avaliação heurística com testes de usabilidade 10 avaliadores (5 homens, 5 mulheres, usuarios com experiência no uso dos celulares) para realizar tarefas e graduar a experiência de uso Checklist com Likert-scale de 7 pontos 3 Celulares tradicionais distintos (dispositivos presmartphone s) Sistema préinstalado nos dispositivos ANOVA (análise de variância)

27 27 (Inostroza, R.; Rusu, C.; Roncagliolo, S.; Jimenez, C.; Rusu, V., 2012) Blackberry Storm 2 (9550) Definidas a partir de uma metodologia de 6 Passos (C. Rusu, et al, A methodology to establish usability heuristics ) em conjunto com uma adaptação das Heurísticas de Nielsen. Resultou em 11 heurísticas (10 baseadas em Nielsen e adaptadas ao paradigma mobile/touchscreen, 1 resultante de análises das características dos dispositivos e problemas de usabilidade encontrados) Estudo de caso utilizando heurísticas tradicionais (Nielsen) comparando com heurísticas focadas em dispositivos móveis touchscreen utilizando um checklist. 4 avaliadores, 2 avaliando sob o conjunto tradicional de Nielsen, 2 sob o conjunto de 11 heurísticas adaptadas Não realizado Blackberry Operating System ) (v. N.I. (Bertini, Gabrielli, Kimani, 2006) E.; S.; S.; N. I. 8 heurísticas definidas a partir de uma adaptação das heurísticas de Nielsen (1994) em comparação com problemas comuns de usabilidade em dispositivos móveis Estudo de caso comparando resultados de avaliação heurística com testes de usabilidade 8 avaliadores, 4 utilizando as heurísticas de Nielsen e 4 utilizando o conjunto adaptado de 8 heurísticas O teste ocorreu com o uso das aplicações e o avaliador descrevendo as tarefas que estava realizando e identificando os problemas na escala SRS proposta por Nielsen Aplicativo de supermercado de PDAs e um aplicativo de e- mail de PDAs N. I.

28 28 Analisando estes artigos e com base nos resultados das pesquisas, fica evidente que o número de artigos que tratam e validam os conjuntos de heurísticas propostos para estes dispositivos é muito baixo e, muitas vezes, estão desatualizados com o padrão touchscreen dos dias atuais. Com base nos números divulgados por Gartner (2013), pela ANATEL (2014) e pela IDC (2014), é evidente a popularidade crescente de celulares. De acordo com estes artigos, as interfaces são avaliadas por meio de avaliações heurísticas ou com base em testes de usabilidade. Normalmente envolvendo poucos participantes e em ambiente controlado (em laboratório). Pela quantidade baixa de artigos encontrados que descrevem algum tipo de avaliação heurística, elas não parecem estar sendo amplamente executadas, e quando feitos testes de usabilidade, a escala de participantes, aplicações e dispositivos é bastante reduzida. Por consequência, os resultados encontrados não demonstram números significativos de um ponto de vista estatístico, e portanto, podem não ser considerados conclusivos, de acordo com os próprios autores dos artigos analisados. A partir dos artigos encontrados pode ser visto que este tipo de avaliação e geralmente é feito a) comparando os resultados da avaliação heurística realizada com conjuntos tradicionais e da avaliação com um conjunto específico para a pesquisa ou b) realizando também testes de usabilidade, para posteriormente comparar os resultados destes testes com os resultados das avaliações heurísticas. As avaliações heurísticas foram aplicadas em sua grande maioria em apenas um dispositivo e focando em funcionalidades do sistema operacional destes (ao invés de aplicativos de terceiros). Ele foi conduzido por profissionais ligado à área de Usabilidade ou de Interação Humano-Computador, e que possuíam conhecimento prévio de como realizar uma avaliação deste tipo. Também foi amplamente utilizada uma escala de satisfação do tipo Likert, variando entre 5 e 7 pontos, dependendo do estudo. A escala Likert é útil para indicar o nível de concordância ou discordância dos participantes de testes (PADILHA, 2004). A tabela 5 demonstra um exemplo de como seria uma escala likert de 4 pontos.

29 29 Tabela 5: Exemplo de escala Likert de Resposta Escala Descrição 1 Discordo Totalmente 2 Discordo 3 Concordo 4 Concordo Totalmente Os testes de usabilidade foram aplicados definindo primeiramente uma série de tarefas a serem executadas nos sistemas/aplicativos em grupos de até 10 pessoas, que já possuíam alguma familiaridade com dispositivos móveis. Após a realização das tarefas, cada participante respondeu a um questionário para medir sua satisfação. Estes participantes foram compensados pelo tempo dedicado ao experimento. Os resultados dos testes coletados pelo checklist foram comparados com os resultados obtidos pelos profissionais avaliadores normalmente encaixando as perguntas dos questionários às heurísticas da avaliação e assim obtendo médias de satisfação para cada aspecto das interfaces. Das publicações selecionadas, apenas Inostroza et al. (2012) realizaram o teste em um dispositivo touchscreen (Blackberry Storm), e validaram comparando os resultados provenientes da análise através das heurísticas de Nielsen (1994) com um novo conjunto proposto com base no tipo de dispositivo em avaliação. Dois grupos distintos de avaliadores se utilizaram cada um de um dos conjuntos mas aplicados sob o mesmo dispositivo. Esta é uma abordagem que parece ser popular entre as observadas nos artigos, sendo que Bertini (2006) também se utilizou dela anos antes. O resultado encontrado dentro destas publicações foi uma maior eficiência em identificar problemas de usabilidade através dos conjuntos adaptados do que com o conjunto tradicional. Nas outras duas publicações, apesar de não apresentarem a comparação com conjuntos tradicionais, a criação do conjunto voltado aos dispositivos móveis também se deu a partir destas heurísticas já pré-estabelecidas (englobando inclusive outras além das de Nielsen).

30 30 Finalizada a pesquisa, observa-se que conjuntos de heurísticas voltadas para celulares touchscreen ainda é pouco explorado. Por isso, o presente trabalho procura expandir o estado atual desta área.

31 31 4 VALIDAÇÃO DO CONJUNTO DE HEURÍSTICAS MATCH Neste capitulo é apresentada a definição dos testes de usabilidade realizados para atingir o objetivo deste trabalho. Por meio de um estudo de caso comparativo entre avaliações heurísticas utilizando MATcH e uma série de testes de usabilidade será feita a validação das heurísticas de usabilidade MATcH. 4.1 Definição O objetivo da validação do conjunto de heurísticas MATcH é avaliar a confiabilidade e eficácia de uma avaliação heurística através do MATcH em comparação com o grau de usabilidade percebido por usuários através de testes de usabilidade de aplicativos móveis para celulares touchscreen. Esta validação é feita através de um estudo de caso comparativo entre os resultados de avaliações heurísticas usando MATcH e os resultados de duas iterações de testes de usabilidade. O questionário pós-teste de usabilidade utilizado nesta pesquisa foi elaborado e avaliado em Oliveira (2013) e chamado de SURE - Smartphone Usability Questionnaire 1, composto de 37 itens. Este questionário foi aplicado em alguns aplicativos pré-selecionados pelos pesquisadores. Isto ocorre para ser possível concentrar um maior número de usuários por aplicativo (obtendo quantidade de dados suficientes para análise), dada a enorme quantidade de aplicativos disponíveis no mercado. Deste modo, tanto os usuários quanto os pesquisadores avaliarão os mesmos aplicativos, facilitando comparações. Os aplicativos selecionados estão distribuídos entre dois principais sistemas operacionais de celulares touchscreen no momento, Android e ios. De acordo com 1 Primeiramente batizado de TULIP - Touchscreen Usabilidade Pós-teste, mas rebatizado posteriormente para SURE - Smartphone Usability Questionnaire.

32 32 o IDC (2014), o sistema operacional Android tem uma maior representatividade no mercado atualmente, e por isso foram selecionados mais deste sistema do que de ios. Em ambas iterações, o teste foi feito de maneira presencial e de maneira online. Foi definido um termo de consentimento livre e esclarecido (apêndice B) tanto para a aplicação no laboratório do Grupo de Qualidade de Software, da Universidade Federal de Santa Catarina e em salas de aula, bem como na aplicação à distância (por meio online em e apresentado aos participantes antes do início dos testes, que assinavam após a leitura completa do documento. Na figura 3, é possível visualizar o design do estudo, onde as flechas representam a comparação que será feita entre os resultados em ambas as iterações. A pesquisa foi aprovada pelo Comitê de Ética em Pesquisas com Seres Humanos, parecer nº Figura 3: Definição do Estudo Comparativo No teste de usabilidade presencial, o voluntario é convidado a participar do teste, onde são disponibilizados aparelhos no laboratório do GQS (podendo utilizar o próprio celular se assim preferir) e as folhas de teste. Os aplicativos são sorteados através de uma pilha de folhas de teste previamente embaralhadas, e que o próprio participante retirava. Antes de realizar as tarefas, o participante lê e assina o Termo de Consentimento Livre e Esclarecido. Então, o voluntário executava as tarefas

33 33 específicas presentes na sua folha e respondiam as questões (folhas de teste compostas dos Apêndices A e B e do Anexo B). O teste de usabilidade online consiste no participante voluntariamente acessar o questionário disponibilizado pelo servidor do GQS. O questionário online (Figura 4) foi realizado utilizando a plataforma Limesurvey ( ferramenta open source para realização de formulários. A escolha desta plataforma se deu por permitir realizar um sorteio aleatório dos aplicativos a serem testados, bem como randomização das questões dentro do próprio questionário, a fim de evitar respostas inválidas resultantes de fadiga por parte do voluntário. Após passar a página introdutória da pesquisa, o participante é apresentado com perguntas demográficas e sua identificação (nome, ) é opcional. Nas páginas seguintes ocorrem a identificação do sistema operacional que o participante irá utilizar (no caso, o que ele tem disponível em mãos) e é feito o sorteio do aplicativo e reveladas as tarefas específicas a serem feitas (juntamente com um link para o download do aplicativo caso o participante ainda não possua ele instalado), e só então é apresentado ao participante o questionário pós-teste. Figura 4: Página do Questionário Online através do Limesurvey

34 Primeira Iteração A primeira atividade é definir os critérios de seleção de aplicativos para depois realizar a avaliação heurística de aplicativos. Os critérios estão descritos na tabela 6. Tabela 6: Critérios de escolha de aplicativos (OLIVEIRA, 2013) 1. Aplicativos gratuitos; 2. Aplicativos com diversas recomendações nas páginas que disponibilizam; 3. Aplicativos com número elevado de download 4. Aplicativos que não necessitam de informações bancárias do Usuário 5. Um aplicativo por cada faixa de usabilidade com base numa avaliação heurística através do MATcH (um aplicativo com usabilidade baixa, razoável, alta e muito alta). Para esta primeira iteração, foram aproveitados parte dos resultados das avaliações heurísticas realizadas em Witt (2013), limitando a seleção para apenas 5 aplicativos. Os selecionados encontram-se destacados nas caixas em cinza na figura 5. Figura 5: Aplicativos Selecionados e Definição da Iteração 1 *aplicativos para ios Foram então definidas tarefas específicas para cada aplicativo, com o objetivo de padronizar a experiência de uso e obter resultados passíveis de comparação entre os participantes (Apêndice A). Estas tarefas estão explicitadas na tabela 7.

35 35 Tabela 7: Tarefas por Aplicativo na Iteração 1 Aplicativo Tarefas 1.Faça uma busca pelo livro "Não me faça pensar". Buscapé 2.Filtre os resultados pelo menor preço. 3.Calcule a oferta para o frete com menor preço. 1.Veja notícias sobre o time Cruzeiro Globoesporte.com 2.Veja notícias sobre basquete. 3.Veja a classificação do Campeonato Brasileiro 2013 e leia em voz alta o nome do quinto colocado. Gmail 1. Escreva um novo 2. Abra o da caixa de entrada 3. Delete o 1.Inicie um jogo Qual é a resposta? 2. Pule a primeira questão. 3.Continue respondendo até o final do jogo. 1.Veja a previsão do tempo para amanhã para a cidade de São Paulo. Weather Channel 2.Compartilhe a previsão com gqsincod@gmail.com. 3.Leia em voz alta a previsão para a temperatura máxima Segunda Iteração Para a segunda iteração os critérios de escolha de aplicativos foram os mesmo da primeira (vide tabela 6), mas com base nas experiências e conhecimentos obtidos na primeira iteração, optou-se por selecionar apenas aplicativos dentro de um mesmo tema Saúde, para o caso desta iteração.

36 36 Para a escolha dos aplicativos nesta iteração também é preciso seleciona-los com avaliações MATcH dentro de faixas de usabilidade diferentes. Foi feita então novamente uma busca por aplicativos que já possuíam avaliação em Witt (2013) dentro dos critérios definidos e encontrados sete pré-candidatos. Como os aplicativos não se encaixavam dentro de todos os critérios simultaneamente, a lista de candidatos foi completada incluindo aplicativos que se encaixassem em todos os critérios e em faixas de usabilidade não representadas pelos já pré-selecionados. Foi necessário o autor deste trabalho realizar novas avaliações nos que não possuíam, através do questionário de avaliação MATcH disponível em adicionando mais seis aplicativos à lista de pré-seleção. Para estas avaliações heurísticas adicionais, três alunos bolsistas de iniciação científica do laboratório do GQS e o autor deste trabalho discutiram, selecionaram e testaram os novos aplicativos. A lista completa está na tabela 8. Tabela 8: Aplicativos pré-selecionados para iteração 2 Aplicativo Appediatria Bulas LinkSaude Cardiograph Cruzi Dieta e Saude Eu Atleta Medscape Myway Diabetes Manager Nike+ Running Pressão Arterial Resultados Runkeeper Runtastic Plataforma Android ios Android Android Android Android Android e ios Android Android e ios Android ios Android Android Aplicando os critérios de seleção, foram então eliminados aplicativos em que era obrigatório o cadastro de informações, que não eram gratuitos e que se encaixavam em faixas de usabilidade diferentes. Resultando nos seguintes aplicativos selecionados para os testes conforme Figura 6.

37 37 Figura 6: Aplicativos Selecionados e Definição da Iteração 2 *aplicativo para ios Próximo passo foi a definição das tarefas para estes aplicativos, da mesma forma como foi realizado na primeira iteração. As tarefas estão representadas na tabela 9. Tabela 9: Tarefas Definidas para os aplicativos da 2ª Iteração Aplicativo Resultados Cruzi Cardiograph Runkeeper Tarefas 1. Acessar o exame através do protocolo fornecido 2. Acessar as imagens do exame realizado 3. Acessar através do histórico um exame do ano passado. 1. Buscar informações sobre a doença Febre Amarela e ler o Médico Especialista 2. Procurar pelo remédio "Paracetamol" e citar suas indicações. 3. Ler as doenças que a Especialidade Médica "Cardiologista" trata. 1. Medir os batimentos cardíacos por 30 segundos e dizer a média indicada. 2. Olhar o histórico de medições e ler a última medição. 3. Apagar a última medição feita. 1. Selecionar uma atividade do tipo caminhada 2. Selecionar uma "rotina de exercícios" como "meta de ritmo" e para um tempo de 20 minutos. 3. Dar início à atividade por 10 segundos e selecionar "parar" e depois "salvar". 4.2 Execução A iteração 1 foi executada em setembro de 2013 aplicando-se o teste de usabilidade com o questionário SURE - Smartphone Usability Questionnaire (Oliveira, 2013) composto por 37 itens para avaliar a usabilidade dos aplicativos. Na primeira iteração, 305 pessoas participaram no total, 185 através do teste de

38 38 usabilidade online e 120 no teste de usabilidade presencial, aplicado no laboratório e em salas de aula cedidas por alguns professores da universidade. Em maio de 2014 foi realizada à segunda iteração dos testes. Ao fim do período de testes, um total de 48 pessoas participaram, sendo 36 através no questionário online e 12 através dos questionários e aparelhos disponibilizados no laboratório do GQS. Figura 7: Participante respondendo o questionário presencialmente Os participantes que realizaram seus testes no laboratório do GQS utilizaram os aparelhos pré-selecionados iphone 4S (Apple) e Galaxy Y TV (Samsung), especificados nas tabelas 10 e 11. Tabela 10: Especificações do iphone 4S Tamanho da Tela 3.5 polegadas Resolução da tela 640 x 960 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional ios 7 Peso 140 g Fonte:

39 39 Tabela 11: Especificações do Samsung Galaxy Y TV Tamanho da Tela 3.14 polegadas Resolução da tela 240 x 320pixels Método touchscreen TFT capacitive touchscreen Sistema operacional Android 2.3 Peso 98 g Fonte: Para participar online, os voluntários acessavam o teste através do link Um dos aplicativos selecionados para a segunda iteração ( Resultados ) foi desenvolvido pela UFSC e não estava presente nas lojas de aplicativos da plataforma ios, portanto precisou ser removido do teste de usabilidade online e mantido apenas nos testes presenciais. Para guiar os participantes que poderiam responder possuir um celular com sistema ios ou outro que não fosse Android, foi inserida uma função no Limesurvey que finalizava o questionário e o teste para estes usuários após responder a seção de perguntas demográficas do questionário. Já os participantes que selecionavam Android como o sistema operacional de seus aparelhos eram então guiados para o sorteio de aplicativo. Na primeira iteração não ocorreu nenhuma diferença entre os testes presenciais e online. Os testes de usabilidade presenciais foram realizados com pessoas ligadas à universidade (e comunidade acadêmica) e com uma população diversa nos questionários online, alcançado divulgando-o via listas de e redes sociais.

40 40 Pode-se observar na tabela 12 a distribuição demográfica entre os participantes da segunda iteração. Tabela 12: Resumo demográfico dos participantes da 2ª Iteração Frequência De Uso Do Celular Quantidade De Vez Em Quando 2 Diariamente 6 Várias Vezes Por Dia 40 Escolaridade Quantidade Ensino Médio (2º Grau) Completo 3 Ensino Superior Completo 24 Ensino Superior Incompleto 17 Mestrado 4 Faixa Etária Quantidade 18 a 25 anos a 45 anos a 60 anos Análise Dos Dados Oliveira (2013) sugeriu para a parte de análise dos dados uma versão reduzida do SURE, com 11 itens, e outro instrumento de avaliação chamado SUS - System Usability Scale (Brooke, 1996), cuja totalidade de suas questões estão presentes dentro do SURE original de 37 itens. A seleção das 11 questões para o SURE resumido foi feita eliminando-se questões que apresentariam dificuldades para o usuário responder, questões muito similares entre si, entre outros critérios discutidos por Oliveira (2013). Os documentos SURE e SURE-resumido estão disponíveis nos Anexos B e C, e são utilizados para a análise dos dados desta pesquisa como indicadores extras. As respostas das iterações foram agrupadas em uma planilha Excel (figura 8) contendo um número identificador do participante, o Sistema Operacional do celular, o aplicativo sorteado e as respostas preenchidas. Foram desconsiderados testes incompletos, ou seja, questionários com 5 ou mais respostas faltantes, de participantes que desistiram no andamento do preenchimento. Foram também

41 41 desconsideradas respostas aparentemente não válidas (p.ex. todas as perguntas respondidas com a mesma categoria na escala Likert). Figura 8: Planilha Excel com as respostas dos questionários unificadas Com o auxílio do Prof. Dr. Adriano F. Borgatto, as respostas foram avaliadas e agrupadas em 3 categorias para análise: notas derivadas de todos os itens do questionário (SURE completo), notas derivadas dos itens do SUS e do SURE resumido (11 itens), definição essa feita com base na análise estatística utilizando a Teoria de Resposta ao Item realizada na iteração 1 por Oliveira (2013), onde foi possível avaliar a qualidade dos itens e do instrumento em relação à usabilidade e classificar os itens respondentes em relação à sua usabilidade. Ao estabelecer as notas, busca-se descobrir na análise se estes resultados dos testes de usabilidade conferem com os resultados da avaliação heurística.

42 Pergunta De Pesquisa O conjunto de heurísticas e o checklist de usabilidade para dispositivos de celulares touchscreen (MATcH) são válidos quando comparados com os resultados de testes de usabilidade? Tabela 13: Dados unificados da iteração 1 e 2 Aplicativo SUS SURE 11 itens MATcH Iteração 1 Buscapé 49,18 50,05 50,12 48,3 Globoesporte.com 51,06 52,01 52,02 57,3 Gmail 50,63 50,86 50,81 62 Qual é a resposta? 49,73 49,33 49,31 27,7 Weather Channel 48,48 48,54 47,89 37,8 Iteração 2 Cardiograph 49,96 49,76 50,25 37,6 Cruzi 51,92 53,47 52,63 53,9 Runkeeper 47,97 48,99 48,58 65,3 Resultados 60,53 61,81 60,33 48,9 Na tabela 13, podemos observar que tanto na iteração 1 quanto na iteração 2 os questionários pós-teste mantiveram uma média de avaliações bastante regular, indicando boa seleção de seus itens. Já se compararmos com a coluna do MATcH, há uma grande variação de aplicativo para aplicativo, estando bastante claro onde houve uma aproximação nos resultados.

43 43 Figura 9: Resultados Obtidos Seguindo a ordem e dados da figura 9 e tabela 13, primeiramente analisando o aplicativo Buscapé, que obteve notas extremamente próximas, observa-se uma semelhança grande de resultados entre o SUS e o MATcH, com o SURE tendo avaliado o aplicativo levemente melhor, estando quase ou no limiar entre a faixa de usabilidade razoável e a alta. Questões como o aprendizado e a facilidade no manuseio do aplicativo obtiveram respostas favoráveis, já perguntas que indagavam o usuário sobre ter gostado de o utilizar não foram. Respostas negativas também acusaram o aplicativo de não fornecer informações suficientes para completar as tarefas. Com estas informações é possível traçar um paralelo entre os testes de usabilidade e a avaliação heurística e inferir que, apesar de possuir uma boa usabilidade, ele apresenta dificuldades em alguma tarefa menos frequente (possivelmente a de adicionar um produto aos favoritos), que pode ser decorrente de botões ou rótulos mal destacados ou de não possuir uma ordem de utilização lógica, características definidas pelo MATcH como sendo de aplicativos com notas superiores a 50 (com usabilidade alta).

44 44 No aplicativo Globoesporte.com, o MATcH avaliou-o com cerca de 5 pontos a mais do que o SURE 2, e 6 pontos a mais do que o SUS. Isso pode ter ocorrido devido ao tema do aplicativo ser futebol e que pode ter levado (como constatado por alguns verbalmente depois do teste) a uma baixa avaliação em perguntas como Eu recomendaria este aplicativo... ou Eu gostei de usar este aplicativo, que possuem um viés mais voltado ao gosto pessoal. Diferentemente, as questões levantadas pela avaliação heurística são menos voltadas à sensação de satisfação, e sim mais ligadas à apresentação visual do aplicativo. O Gmail foi um aplicativo Android com boa avaliação por parte dos usuários (atingindo usabilidade alta pelos 3 modelos de questionário) mas ficando diferente da sua avaliação MATcH com usabilidade muito alta. Fatores que podem ter levado o Gmail a receber usabilidade alta nos testes de usabilidade com usuários pode ter sido sua popularidade e uso frequente por parte dos participantes, tendo assim maior familiaridade com o aplicativo e eliminando avaliações ruins quanto à dificuldade de uso, como demonstram as respostas para questões com esse viés. Porém, mesmo assim, não atingiu a mesma nota do MATcH. Durante alguns testes, participantes manifestaram problemas com a internet, e por se tratar de um serviço dependente de conexão com um servidor remoto, uma conexão ruim entre estas duas partes enfraquece e muito a experiência de uso, algo que em escala reduzida como a avaliação heurística é mais difícil de acontecer. Outro ponto a se levar em consideração e identificado ao realizar a avaliação heurística é a competente apresentação de seus símbolos e tipos, trazendo aspectos já bem estabelecidos no ambiente de s (como a caixa de entrada, anexo, envio) e a sua boa adaptação à estética do sistema operacional (característica de aplicativos com usabilidade muito alta), talvez pelo fato do Gmail ter sido desenvolvido pela empresa Google, também responsável pelo Android, onde este aplicativo foi testado. No caso do aplicativo Qual é a Resposta? os questionários do SUS e SURE/SURE resumido obtiveram notas muito próximas, classificando o aplicativo na faixa de usabilidade razoável, enquanto a avaliação heurística com o MATcH resultou em uma classificação de usabilidade muito baixa (2 faixas abaixo). Este fato 2 (Ocorrendo também no SURE resumido, sempre muito próximos, indicando boa distribuição das perguntas)

45 45 pode ser proveniente do fato de que o aplicativo apresente elementos e esquema de cores carregado. O posicionamento mau posicionamento destes elementos são mais profundamente abordados no MATcH, com perguntas como Possibilitam o retorno a tela anterior a qualquer momento e Apresentam título e rótulo curtos, o alinhamento favorece a leitura, em como as fontes e o espaçamento entrelinhas, entre outras similares. Um outro fenômeno que pode acontecer num aplicativo como este também é o de diversão ou satisfação do usuário, já que se trata de um jogo e a experiência pode estar diretamente ligada ao desempenho do usuário durante seu uso. Quanto ao aplicativo Weather Channel podemos inferir análise semelhante ao Qual é a Resposta, apesar de haver diferença menor (de apenas uma faixa de usabilidade, sendo Razoável pelo SURE/SUS e Baixa pelo MATcH). Aqui a diferença menor pode ser pelo fato de que, durante a avaliação heurística, foi possível perceber que os elementos estão melhor apresentados do que no aplicativo anterior, como pode ser inspecionado através da questão presente no MATcH Permitem que as funções mais utilizadas sejam facilmente acessadas., algo que acontece neste aplicativo e que não acontecia no anterior. Também é possível observar que há grande quantidade de informação numa mesma tela, fato constatado por tanto pelos participantes quanto pelo avaliador. Iniciando a análise dos aplicativos da segunda iteração, o Cardiograph, considerado com usabilidade muito próxima de alta pelo questionário pós-teste e com usabilidade baixa pelo MATcH, pode ter sofrido com perguntas como Possuem botões e links com a área clicável ocupando toda a dimensão dos mesmos e Possuem botões com tamanho adequado ao clique e os mesmos podem ser acessados com qualquer uma das mãos, observando-se através da avaliação heurística botões pequenos e escolha de cores com pouco contraste. Nele também não ocorreu consistência no modo em que se interage com o aplicativo, sendo muitas vezes por botões, e para uma ação apenas (deletar um item no histórico) por um gesto de deslizar o dedo que não é claramente indicado, apenas pelo uso da metáfora de folha de papel que a tela apresenta. Por outro lado, perguntas no SURE como Eu achei este aplicativo consistente... podem avaliar o mesmo aspecto, portanto indicando aqui algum outro fator mais ligado à disposição dos elementos na tela ou ainda pelo fato de que, apesar de terem respondido que não

46 46 acharam o design atraente e que não usariam com frequência, acharam ele fácil de aprender, e talvez mais importante, concordaram ou concordaram totalmente que conseguiram completar as tarefas e gostaram de usar, ou seja, atendendo ao objetivo do aplicativo. No aplicativo Cruzi apresentam-se valores muito próximos, talvez, como constatado pelo avaliador, pela interface ser bastante simples e clara, com boa definição de botões e das diferentes áreas do aplicativo, textos com tamanho adequado e lógica de interação consistente. As questões do SURE que obtiveram maior índice não concordância foram as relacionadas à utilização dele em casos especiais (com pressa, em movimento) e à frequência do uso, talvez por se tratar de um aplicativo de consulta especifico para área da saúde. Com relação ao aplicativo Runkeeper, considerado pelos usuários como tendo usabilidade razoável e pelo MATcH como usabilidade muito alta, talvez tenha se encaixado em situação semelhante ao do aplicativo Gmail na iteração 1. Aqui o caso de ser um aplicativo bastante atraente e com uso de cores, símbolos e botões claros e consistentes através das telas pode ter garantido uma nota alta na avaliação heurística, principalmente pelas perguntas Permitem identificar o número de passos necessários para a realização de uma tarefa e também permitem que o usuário cancele uma ação em progresso, Realçam conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados e todas as telas mantêm acessíveis menus e funções comuns do aplicativo. A diferença nas avaliações pode se dar pelo fato do aplicativo ter um uso difícil de se testar em laboratório, talvez exigindo que mais pessoas tenham um contato prévio com ele para melhor compreender todas as suas funções (por se tratar de um aplicativo que necessita de movimentação). Nas respostas do SURE, os usuários refletiram sob este aspecto de forma um pouco contraditória nas respostas, tendo respondido que não acharam o aplicativo de fácil aprendizado em uma pergunta positiva Foi fácil de aprender a usar este aplicativo e discordaram nas perguntas negativas Eu precisei aprender muitas coisas para usar este aplicativo e Eu achei o aplicativo desnecessariamente complexo. O aplicativo Resultados obteve um caso comparável com o Weather Channel na iteração anterior, onde os usuários o avaliaram em uma faixa de usabilidade superior ao MATcH, neste caso usabilidade muito alta, por parte do teste de usabilidade, e razoável, por parte da avaliação heurística. Fatos que podem ter

47 47 levado à esta diferença, no entanto, se mostram diferentes, visto que um dos fatores importantes na hora da avaliação heurística são Utilizam objetos (ícones) ao invés de botões e o significado de símbolos e ícones são compreensíveis e intuitivos e Não apresentam problemas durante a interação. O primeiro fator neste aplicativo foi mal avaliado no que diz respeito aos símbolos, que, apesar de terem um significado compreensível, estão num padrão de cores que sugere que os mesmo estão desabilitados (em cinza), já no segundo fator, talvez o que mais pesou, foi que o aplicativo apresentou diversos erros durante a avaliação e testes, como por exemplo na hora do acesso utilizando o protocolo que apresentava um aviso de carregando sem possibilidade de cancelamento e quando ocorrido o erro, a formatação da tela inicial era completamente desfeita (as imagens e textos desalinhavam ou sumiam da tela), sendo necessária a reinicialização do aplicativo. Em outro momento, quando o erro ocorria já dentro das funções principais (visualização dos dados), a mensagem de erro era editável e não possuía opção de cancelamento, impossibilitando o uso novamente. Ainda nas telas de erro, durante os testes de usabilidade, talvez os participantes não se depararam com uma situação em que estas aconteceram, portanto não avaliando de forma ruim este aspecto através de questões como As mensagens de erro ajudam a corrigir os problemas e Eu achei que a ajuda/dica dada pelo aplicativo foi útil e como suas respostas indicam não se aplica em praticamente todos os testes A Plataforma Influencia Na Avaliação? Tabela 14: Média de notas por Plataforma (iterações 1 e 2) Plataforma SUS SURE 11 itens MATcH Android 49,82 50,17 49,94 47,38 ios 55,37 56,44 55,76 50,85 Continuando a análise, desta vez de modo mais alto nível, através dos dados podemos inferir que, apesar de não muito proeminente, a plataforma ios costuma receber notas melhores nos instrumentos de teste de usabilidade. Algo que pode estar ligado à maneira como estes aplicativos são desenvolvidos e à curadoria das lojas que os disponibilizam. A Apple (desenvolvedora do ios) possui diretrizes e

48 48 práticas bem mais rígidas na hora de oferecer um aplicativo na sua loja, diferentemente do Android, que é (desde sua concepção), mais aberto a qualquer desenvolvedor, permitindo desde aplicativos muito bons até aplicativos bem ruins O Tipo Do Questionário Influencia Na Avaliação? Buscapé Globoesporte.com Gmail Qual é a resposta? Weather Channel Cardiograph Cruzi Runkeeper Resultados 0 SUS SURE Figura 10: Gráfico Comparativo entre os Resultados do SUS e do SURE A partir do gráfico acima (figura 10), é possível observar que a curva desenhada pelos resultados obtidos pelo questionário SURE é muito similar à curva desenhada pelos resultados obtidos nas questões do SUS. Isto indica que o SURE está bem alinhado com um questionário já bem estabelecido e utilizado há anos. Portanto, não pode se afirmar que o tipo do questionário influenciou na avaliação.

49 O Tipo Do Aplicativo Influencia Na Avaliação? Para responder esta pergunta foram diferenciados os aplicativos por tema, comparando por exemplos os da segunda iteração (tema Saúde ). É possível perceber visualizando o gráfico da figura 10 também, que não há uma indicação de que há tendência em avaliar melhor ou pior aplicativos de um dado tema comum. Os aplicativos foram classificados em graus de usabilidade diversos, portanto, não interferindo na avaliação.

50 50 5 DISCUSSÃO Neste capítulo é feita a discussão acercado dos resultados obtidos com os testes de usabilidade, a avaliação heurística e o que as notas obtidas representam para a validação destas heurísticas. 5.1 Discussão Geral Feita a análise, é possível observar que avaliações heurísticas com o checklist MATcH podem sim gerar alguns resultados que condizem com os obtidos nos testes de usabilidade, porém são necessários ajustes para que isso ocorra de forma mais confiável. Quanto aos questionários utilizados nos testes de usabilidade, pode ser observado que as notas do questionário SURE e sua versão resumida de 11 itens se mantiveram muito próximas entre todos os testes, com uma diferença máxima de 1,47 pontos. A versão resumida obteve notas 1 ponto mais baixas em 3 casos (Weather Channel, Cruzi e Resultados), e em 1 caso com nota 1 ponto maior (Cardiograph). O restante obteve diferença ínfima (alguns décimos), e ao fim em apenas um dos aplicativos (Cardiograph) isto significou uma classificação em faixa diferente de usabilidade. Portanto, o SURE resumido se mostra uma boa alternativa para testes de usabilidade que necessitem de algo mais rápido e menos trabalhoso para o participante. O mesmo pode ser dito se compararmos os resultados do SURE com os itens pertencentes ao SUS, aqui obtendo notas com uma diferença máxima de 1,55 pontos (tendendo para notas levemente mais baixas no SUS) e com um dos casos resultando no aplicativo (Buscapé) ser categorizado em faixa de usabilidade diferente. Ao compararmos os resultados dos testes de usabilidade com os resultados obtidos na avaliação heurística, há uma maior disparidade de resultados. Entre o MATcH e o SURE, em apenas 2 casos (Globoesporte.com e Cruzi) os aplicativos foram avaliados na mesma faixa de usabilidade ( usabilidade alta ). Isto indica uma

51 51 boa calibragem no peso dos itens de heurísticas como visibilidade e status do sistema, flexibilidade e eficiência de uso e legibilidade e layout, característicos desta faixa de usabilidade. Em cinco casos (Buscapé, Qual é a Resposta?, Weather Channel, Cardiograph e Resultados) o MATcH classificou os aplicativos em faixas de usabilidade abaixo do avaliado pelo SURE. O Qual é a resposta e o Respostas sendo os únicos que foram classificados duas faixas abaixo do avaliado pelo teste de usabilidade, na classificação de usabilidade muito baixa e razoável, respectivamente. Já nos outros 4 aplicativos, a divergência foi de apenas uma faixa de usabilidade abaixo. É importante ressaltar que no caso do Buscapé, esta diferença foi de apenas 1,75 pontos, enquanto nos outros 4 aplicativos a diferença passa dos 10 pontos. Nos dois casos restantes (Gmail e Runkeeper), o MATcH avaliou de forma melhor. Sendo no Gmail uma faixa de usabilidade acima (de alta para muito alta ) e no Runkeeper duas faixas acima (de razoável para muito alta ). No caso do Runkeeper pode-se ressaltar que sua avaliação em 48,9 pontos está muito próxima de alta, diminuindo a divergência para apenas uma faixa. Tabela 15: Divergência na Classificação de Usabilidade (iterações 1 e 2) Aplicativo SURE MATCH Divergência Buscapé Usabilidade alta Usabilidade razoável 1 grau Globoesporte.com Usabilidade alta Usabilidade alta - Gmail Usabilidade alta Usabilidade muito alta 1 grau Qual é a Resposta? Usabilidade razoável Usabilidade muito baixa 2 graus Weather Channel Usabilidade razoável Usabilidade baixa 1 grau Cardiograph Usabilidade razoável Usabilidade baixa 1 grau Cruzi Usabilidade alta Usabilidade alta - Runkeeper Usabilidade razoável Usabilidade muito alta 2 graus Resultados Usabilidade muito alta Usabilidade razoável 2 graus

52 52 Outro fator interessante observado foi o SURE não ter identificado aplicativos com usabilidade baixa ou muito baixa, enquanto o MATcH identificou aplicativos em todas as faixas de usabilidade. Isto pode demonstrar uma tendência do SURE em não identificar problemas de interface com a mesma eficácia que as heurísticas identificam, como por exemplo questões mais ligadas à consistência e padrões e ao uso de textos e símbolos, características avaliadas pelas heurísticas nesta faixa de usabilidade baixa. Por outro lado, o MATcH parece não avaliar a satisfação da experiência que o usuário terá ao usar o aplicativo, algo que ele levará em conta na hora de responder o questionário. Os itens do MATcH são todos voltados aos conceitos e modelos de design interface, não havendo nenhum item que o avaliador deva responder com base em algo subjetivo como satisfação. Há vários pontos que seus itens abordam que um usuário realizando o teste de usabilidade dificilmente levaria em conta na hora de responder. Quanto a validade das heurísticas MATcH em avaliarem a usabilidade de um aplicativo, elas pareceram funcionar do ponto de vista técnico de um especialista. Isto é, ao realizar a avaliação heurística, a tendência é avaliar cada elemento ou caso de uso da interface de modo imparcial e isolado, pelo avaliador. Para o problema ser corrigido é necessário incluir questões que abordem aspectos mais abrangentes da interface (mais ligados ao psicológico), itens que contenham o ponto de vista do usuário (incluindo a mesma linguagem utilizada) ou a adição de novas heurísticas. Rever a exclusão dos itens retirados na elaboração do checklist pode preencher as lacunas necessárias para uma aproximação dos resultados ou a redistribuição dos itens na escala, movendo questões mais irrelevantes ao usuário para faixas mais abaixo (como No caso de aplicativos associados a cadastro de login ou contas de , permite o fácil acesso de mais de um usuário?, um item da faixa de usabilidade muito alta).

53 Ameaças A Validade O presente trabalho tem como ameaça principal à sua validade a qualidade das respostas dadas pelos participantes voluntários. Não é possível garantir que tenham completados todos os passos dos testes com honestidade, principalmente nos realizados à distância em que não era possível a monitoração e tutoria para com os usuários. Como tentativa de mitigar este problema foram analisadas e retiradas respostas com padrões de erro, tais como um usuário preenchendo a mesma alternativa em todas as respostas, sendo que haviam questões de caráter negativo que não poderiam seguir este padrão. Também pode-se citar como ameaça à validade a escolha dos aplicativos para teste. Poderia ocorrer de não haver representação fiel de aplicativos diversificados o suficiente para validar a pesquisa. Para isso foram definidos critérios de escolha, entre eles destaca-se a necessidade de escolher um aplicativo por faixa de usabilidade e dentro de um mesmo tema, para melhor correlacionar os resultados. Outra ameaça a validade é a população dos participantes, tanto em quantidade como em diversidade. Para obter uma população com características variadas e com maior alcance foi utilizado o teste online, para evitar que todos os voluntários fossem do mesmo perfil. Por fim, algo que pode invalidar esta pesquisa é a qualidade do questionário SURE. Suas questões podem não abordar de maneira satisfatória todos os pontos necessários para se classificar um aplicativo em determinada categoria de modo condizente com a avaliação heurística. Um item como Foi fácil de aprender a usar este aplicativo. pode, por exemplo, não remeter ao usuário dos problemas que a interface possui com a mesma capacidade das heurísticas MATcH.

54 54 6 CONCLUSÃO Este trabalho tem como objetivo validar as heurísticas e o checklist de usabilidade MATcH para celulares touchscreen através de um estudo comparativo. O estudo comparativo foi feito comparando os resultados das avaliações heurísticas aos testes de usabilidade com os usuários finais. Ambas avaliações foram realizadas com os mesmos aplicativos, sendo estes pré-selecionados pelo pesquisador e com tarefas pré-definidas. Os testes de usabilidade e as avaliações heurísticas foram realizados em duas iterações com uma amostra de aplicativos diferente em cada iteração. No total 353 pessoas participaram dos testes, sendo 305 na primeira iteração e 48 na segunda. Os resultados obtidos com os testes de usabilidade foram então comparados aos resultados obtidos nas avaliações heurísticas. Uma análise foi feita levando-se em conta as respostas dadas nos itens e as faixas de usabilidade em que cada aplicativo foi encaixado após cada avaliação. Foi constatado que, apesar das heurísticas com o checklist e os testes de usabilidade terem avaliado igualmente em 2 casos (3 se contarmos o Buscapé), há uma inconsistência em quase 60% dos casos. Para resolver isso pode ser que seja necessário um refinamento dos itens para que isto aconteça de maneira mais confiável e consistente. Este refinamento pode ser focado na introdução de novas heurísticas ou itens no checklist, ou na redistribuição dos pesos na hora de montar a escala em itens que possuam características irrelevantes ao usuário. A contribuição deste trabalho está na análise feita acerca da validade das heurísticas para celulares touchscreen e nos itens que devem ser revistos para futuras versões. O presente trabalho deixa como oportunidade de futuras pesquisas na área de usabilidade o refinamento de heurísticas para celulares touchscreen utilizando-se os dados e análises aqui observados. Também é possível expandir a pesquisa para áreas de user experience dentro do escopo de aplicativos móveis touchscreen. Recomenda-se utilizar mais aplicativos em cada faixa de usabilidade e participantes mais demograficamente variados.

55 55 REFERÊNCIAS ACM SIGCHI. ACM Special Interest Group on Computer-Human Interaction Disponível em: < Acesso em: 22 out AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório de Acompanhamento Brasília, Disponível em < ao=273912&pub=principal&filtro=1&documentopath= pdf> Acesso em: 21 jun AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório Anual Brasília, Disponível em < cao=260639&assuntopublicacao=relatorio%20anual%202010&caminhorel=cidada o-biblioteca-acervo%20documental&filtro=1&documentopath= pdf> Acesso em: 21 jun ANDRADE, D. F.; TAVARES, H. R. e VALLE, R. C. Teoria de Resposta ao Item: conceitos e aplicações. ABE Associação Brasileira de Estatística, 14º Simpósio Nacional de Probabilidade e Estatística, Caxambu/Brasil, BERTINI, E., GABRIELLI, S., e KIMANI, S. Appropriating and assessing heuristics for mobile computing. In Proceedings of the Working Conference on Advanced visual interfaces. Veneza/Itália, CYBIS, W.; BETIOL, A. H.; FAUST, R. Ergonomia e usabilidade: conhecimentos, métodos e aplicações. São Paulo: Novatec 2007.

56 56 FALK, T.; There are (almost) as many cell phone subscriptions as people. Disponível em: < > GARTNER. Gartner Says Sales of Mobile Devices Grew 5.6 Percent in Third Quarter of 2011; Smartphone Sales Increased 42 Percent. Disponível em: < Acesso em 21 jun GARTNER. Gartner Says Worldwide Mobile Phone Sales Declined 1.7 Percent in Disponível em: < Acesso em 21 jun HEO, J., HAM, D. H., PARK, S., SONG, C., e YOON, W. C. A framework for evaluating the usability of mobile phones based on multi-level, hierarchical model of usability factors. Interacting with Computers, 21(4), pp INOSTROZA, R., et al. "Usability Heuristics for Touchscreen-based Mobile Devices." In Proceedings of the Ninth International Conference on Information Technology: New Generations (ITNG), Las Vegas/EUA, JI, Y. G., et al. A usability checklist for the usability evaluation of mobile phone user interface. International Journal of Human-Computer Interaction, 20(3), 2006, pp KITCHENHAM, B. A. Procedures for Performing Systematic Reviews. Tech. Report TR/SE-0401, Keele University, Inglaterra LEE, D. The State of the Touch-Screen Panel Market. Disponível em: < t.pdf>. Acesso em: 21 jun NIELSEN, J., (1994) Heuristic evaluation. In J. Nielsen & R. L. Mack (Eds.), Usability Inspection Methods. New York: John Wiley & Sons, Inc.

57 57 NUNES, J. V.; GRESSE VON WANGENHEIM, C.; WITT, A. T.; BORGATTO, A. F.; LACERDA, T. C.; KRONE, C.; SOUZA, L. O. Elaboração e validação de um checklist para avaliação de usabilidade de aplicativos para celular touchscreen. In Proceedings of Conference Interaction South America (ISA), Recife/Brazil, PÁDUA, C. I.P S. Engenharia de Usabilidade Material de Referência. UFMG, Belo Horizonte, MG. PREECE, J.; ROGERS, Y.; SHARP, H. Design de interação: além da interação homem-computador. Porto Alegre (RS): Bookman, p. ISBN ROCHA, H. V. da; BARANAUSKAS, M. C. C.. Design e avaliação de interfaces humano-computador. Campina: NIED/ UNICAMP, SALAZAR, L. H. A.; LACERDA, T. C.; GRESSE VON WANGENHEIM, C.; BARBALHO, R. A. Customizando Heurísticas De Usabilidade Para Celulares. In Proceedings Of Simpósio Brasileiro De Fatores Humanos Em Sistemas Computacionais, Cuiabá/Brazil, SHNEIDERMAN, B. Use the eight golden rules of interface design. Designing the user interface: Strategies for effective human-computer interaction. 3rd ed. Boston: Addison-Wesley Professional, TEZZA, R. Proposta de um construto para medir usabilidade em sites de e-commerce utilizando a Teoria da Resposta ao Item. 139 f.. Dissertação (Mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção. Florianópolis, SC, TEZZA, R.; BORNIA, A. C. Teoria da Resposta ao Item: vantagens e oportunidades para a engenharia de produção. In Proceedings of XXIX Encontro

58 58 Nacional de Engenharia de Produção ENEGEP, 2009, Salvador BA. Rio de Janeiro RJ: ABEPRO, v 1. UNITED NATIONS; The Millennium Development Goals Report Disponível em: < english.pdf > WITT, A. T. Aplicação da Técnica Estatística Teoria da Resposta ao Item para avaliar um conjunto de Heurísticas de Usabilidade para dispositivos celulares touchscreen.164f. Trabalho de Conclusão de Curso (Bacharel em Sistemas de Informação) Departamento de Informática e Estatística. Universidade Federal de Santa Catarina, Florianópolis, OLIVEIRA, R. Proposta de um questionário pós-teste para medir usabilidade de aplicativos de celulares touchscreen. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) Departamento de Informática e Estatística, Universidade Federal de Santa Catarina, Florianópolis, BROOKE, J. SUS - A quick and dirty usability scale. Usability evaluation in industry, 189, WASSERMAN, A. I. Software Engineering Issues for Mobile Application Development. In Proceedings of Workshop on Mobile Software Engineering/MobiCASE, Santa Clara/USA ANATEL. Brasil fecha 2013 com 271,10 milhões de acessos móveis = IDC. Android and ios Continue to Dominate the Worldwide Smartphone Market with Android Shipments Just Shy of 800 Million in 2013, According to

59 59 IDC. Disponível em: < PADILHA, A. Usabilidade na Web: uma Proposta de Questionário para Avaliação do Grau de Satisfação de Usuários do Comércio Eletrônico. Dissertação (Mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciências da Computação. Florianópolis, SC, 2004.

60 60 APENDICE A Tarefas Por Aplicativo Tarefa - Gmail Se você já possui o Gmail instalado no seu celular, pule para as tarefas. Download 1. Conecte o seu celular à internet. 2. Acesse a página: Gmail 3. Clique no botão Instalar para baixar o aplicativo gratuitamente. 4. Faça o login com a sua conta Google. 5. Clique no botão Instalar para fazer o download. Tarefas Após instalar o aplicativo: 1. Escreva um novo com o assunto: Teste da usabilidade do gmail, anexe uma imagem e o envie para o seu endereço de . gmail. 2. Abre o da caixa de entrada com o assunto Teste da usabilidade do 3. Delete o com o assunto Teste da usabilidade do gmail. Você conseguiu completar as tarefas? Tarefa Qual é a Resposta?

61 61 as tarefas Se você já possui o aplicativo Qual é a Resposta instalado no seu celular, pule para Download 1. Conecte o seu celular à internet. 2. Acesse a página: Qual é a Resposta? 3. Clique no botão Instalar para baixar o aplicativo gratuitamente. 4. Faça o login com a sua conta Google. 5. Clique no botão Instalar para fazer o download. Tarefas Após instalar o aplicativo: 1.Inicie um jogo na categoria diversão. 2.Pule a primeira questão. 3.Continue respondendo as questões até a o final do jogo. Você conseguiu completar as tarefas? Tarefa Weather Channel Se você já possui o Weather Channel instalado no seu celular, pule para as tarefas. Download 1. Conecte o seu celular à internet. 2. Acesse a página: Weather Channel 3. Clique no botão Instalar para baixar o aplicativo gratuitamente. 4. Faça o login com a sua conta Google.

62 62 5. Clique no botão Instalar para fazer o download. Tarefas Após instalar o aplicativo: 1.Veja a previsão do tempo para amanhã para a cidade de São Paulo. 2.Compartilhe a previsão com gqsincod@gmail.com 3.Leia em voz alta a previsão para a temperatura máxima. Você conseguiu completar as tarefas? Tarefa GloboEsporte.com Se você já possui o aplicativo globoesporte.com instalado no seu celular, pule para as tarefas. Download 1. Conecte o seu celular à internet. 2. Para fazer o download gratuito do aplicativo acesse a página: globoesporte.com 3. Clique em "Ver no Itunes". 4. No itunes, clique em "Grátis". 5. Faça o login com o seu ID Apple. Tarefas Após instalar o aplicativo: 1.Veja notícias sobre o time Cruzeiro 2.Veja notícias sobre basquete. quinto colocado. 3.Veja a classificação do Campeonato Brasileiro 2013 e leia em voz alta o nome do

63 63 Você conseguiu completar as tarefas? Tarefa BuscaPé (iphone) Se você já possui o BuscaPe instalado no seu celular, pule para as tarefas. Download 1. Conecte o seu celular à internet. 2. Para fazer o download gratuito do aplicativo acesse a página: BuscaPé 3. Clique em "Ver no Itunes". 4. No itunes, clique em "Grátis". 5. Faça o login com o seu ID Apple. Tarefas Após instalar o aplicativo: 1.Faça uma busca pelo livro "Não me faça pensar". 2.Filtre os resultados pelo menor preço. 3.Calcule a oferta para o frete com menor preço. Você conseguiu completar as tarefas? Tarefa - Cruzi (Android) Se você já possui o Cruzi instalado no seu celular, pule para as tarefas. Download Conecte seu celular à internet.

64 64 Acesse a página: Clique no botão Instalar para baixar o aplicativo gratuitamente. Faça o login com a sua conta Google. Clique no botão Instalar para fazer o download. Tarefas Após abrir o aplicativo: Buscar informações sobre a doença Febre Amarela e ler o Médico Especialista Procurar pelo remédio "Paracetamol" e citar suas indicações. Ler as doenças que a Especialidade Médica "Cardiologista" trata. Você conseguiu completar as tarefas? Tarefa Cardiograph (Android) Se você já possui o Cardiograph instalado no seu celular, pule para as tarefas. Download 1. Conecte seu celular à internet. 2. Acesse a página: 3. Clique no botão Instalar para baixar o aplicativo gratuitamente. 4. Faça o login com a sua conta Google. 5. Clique no botão Instalar para fazer o download. Tarefas Após abrir o aplicativo: Medir os batimentos cardíacos por 30 segundos e dizer a média indicada. Olhar o histórico de medições e ler a ultima medição. Apagar a ultima medição feita. Você conseguiu completar as tarefas? Tarefa Runkeeper (Android) Se você já possui o Weather Channel instalado no seu celular, pule para as tarefas. Download

65 65 Conecte seu celular à internet. Acesse a página: 3. Clique no botão Instalar para baixar o aplicativo gratuitamente. 4. Faça o login com a sua conta Google. 5. Clique no botão Instalar para fazer o download. Tarefas Após abrir o aplicativo: 1. Selecionar uma atividade do tipo caminhada 2. Selecionar uma "rotina de exercícios" como "meta de ritmo" e para um tempo de 20 minutos. 3. Dar inicio à atividade por 10 segundos e selecionar "parar" e depois "salvar". Você conseguiu completar as tarefas? Tarefa Resultados (iphone) Se você já possui o Resultados instalado no seu celular, pule para as tarefas. Download 1. Disponível apenas na Telemedicina Tarefas Após abrir o aplicativo: 1. Acessar o exame através do protocolo fornecido 2. Acessar as imagens do exame realizado 3. Acessar através do histórico um exame do ano passado. Você conseguiu completar as tarefas?

66 66

67 67 APENDICE B - Termo de Consentimento Livre e Esclarecido Termo de Consentimento Livre e Esclarecido Eu... estou sendo convidado(a) a participar do teste de usabilidade de aplicativos para celulares touchscreen, desenvolvidos no p r o j e t o Avaliação de Questionários de Usabilidade de Aplicativos para Celulares Touchscreen, que está sendo desenvolvido no GQS/INCoD/UFSC, sendo coordenado pela Profª. Dra. rer. nat. Christiane A. Gresse von Wangenheim, PMP, cujo objetivo é avaliar e melhorar a usabilidade de aplicativos para celulares touchscreen. A minha participação no referido projeto será no sentido de auxiliar na identificação de pontos fortes e fracos no design de interface destes aplicativos. O benefício esperado do estudo é obter informações referente a corretude dos questionários de usabilidade sendo desenvolvidos e obter dados como base para criar escalas de medição do conceito de usabilidade visando a melhoria da usabilidade de aplicativos para celulares touchscreen. Para minimizar os possíveis riscos do estudo: - Os aplicativos escolhidos para esse teste são gratuitos (não há risco financeiro ao participante), comumente reconhecidos e seguros (não há riscos de danos ao celular do participante). Não é utilizado nenhum tipo de aplicativo com conteúdo antiético (não há risco ético em termos do conteúdo dos aplicativos). - Todos os dados dos participantes são coletados em um servidor próprio do grupo de pesquisa com os devidos mecanismos de segurança de acesso instalados (prevenindo o risco de acesso aos dados). A indicação de informações que permitem a identificação do participante (nome e ) também é opcional e não obrigatória para a participação. - Não existem riscos á saúde dos participantes, visto que se trata de um teste.de usabilidade de aplicativos para celulares touchscreen. Recebi esclarecimentos sobre a pesquisa e estou ciente de que minha privacidade será respeitada, ou seja, meu nome será mantido em sigilo. Eu autorizo a gravação de áudio e vídeo durante os testes de usabilidade e entendo que as gravações de áudio e vídeo serão utilizadas somente para os fins desta pesquisa e não serão divulgados fora do contexto desta pesquisa. Fui informado(a) de que posso me recusar a participar do estudo, ou retirar meu consentimento a qualquer momento, sem precisar justificar. É assegurada a assistência durante toda a pesquisa. Manifesto meu livre consentimento em participar.

68 68 Florianópolis, de de 2014 Assinatura do participante Nome e assinatura do pesquisador

69 69 ANEXO A CHECKLIST MATCH ível sempre... Descrição Heurística Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen phones quase sempre ou 13.É o usuário quem inicia e encerra tarefas e não o aplicativo? Controle e liberdade do usuário 81.A área clicável dos botões e links ocupa toda a dimensão dos mesmos? Interação física e ergonomia 60.Em textos o uso de abreviaturas é evitado? Estética e design minimalista 0 35.Os links são tratados de forma consistente entre as telas? 30.Todas as informações textuais do aplicativo utilizam o mesmo idioma? 32.Funções semelhantes são apresentadas de forma similar? 4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? Consistência e padrões Visibilidade do status do sistema 7. Fornece um update do status para operações mais lentas? 17. É possível retornar a tela anterior a qualquer momento? Controle e liberdade do usuário 26. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 31. Funções diferentes são apresentadas de maneira distinta ao usuário? Controles que realizam a mesma função ficam em posições semelhantes na tela? 34. A forma de navegação é consistente entre as telas no aplicativo? 36. As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor) 44. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário? 45. Os títulos das telas descrevem adequadamente seu conteúdo? lembrança Consistência e padrões Reconhecimento em vez de 54. As funções mais utilizadas são facilmente acessadas? Flexibilidade e eficiência de uso realizada? 58. São exibidas apenas informações relacionadas a tarefa que esta sendo Estética e design minimalista 59. São usados textos somente quando estes são realmente indispensáveis? 76. Possui botões com tamanho adequado ao clique? 80. Os botões e controles podem ser facilmente acessados com qualquer uma das mãos ou há opção para destro ou canhoto? Interação física e ergonomia fundo? 86. Os ícones possuem contraste suficiente em relação ao plano de 87. Os textos tem contraste suficiente em relação ao plano de fundo? 89. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena? Legibilidade e layout

70 70 1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 02. Os componentes interativos selecionados são claramente distintos dos demais? 11. O significado de símbolos e ícones são compreensíveis e intuitivos? Visibilidade do status do sistema As informações são dispostas em uma ordem lógica e natural? 25. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Controle e liberdade do usuário 27. Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis? Consistência e padrões 41. Os títulos e rótulos são curtos? 42. Os dados e mensagens mais importantes encontram-se na posição lembrança padrão dos aplicativos para esta plataforma? Reconhecimento em vez de 48. O aplicativo apresenta problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)? 50. As tarefas são relativamente simples de serem executadas? Flexibilidade e eficiência de uso 57. O aplicativo utiliza objetos (ícones) ao invés de botões? 61. O menu é esteticamente simples e claro? Estética e design minimalista 71. A navegação do aplicativo é intuitiva? Pouca interação homem/dispositivo 82. O espaçamento entrelinhas utilizado favorece a leitura? 83. As fontes utilizadas favorecem a leitura? 90. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados? Legibilidade e layout 91. O alinhamento utilizado favorece a leitura? aplicativo? 6. Todas as telas mantêm acessíveis menus e funções comuns do 14. É possível identificar o número de passos necessários para a realização de uma tarefa? Visibilidade e status do sistema No caso de aplicativos associados a cadastro de login ou contas de e- mail, permite o fácil acesso de mais de um usuário? 20. O usuário pode cancelar uma ação em progresso (ex.: download)? Controle e liberdade do usuário tela? 62. O aplicativo exibe quantidades pequenas de informações em cada 79. A navegação principal encontra-se na posição padrão dos aplicativos para esta plataforma? Estética e design minimalista Interação física e ergonomia

71 71

72 72 ANEXO B SURE Perguntas. Discordo totalmente 1. Discordo 2. Concordo 3. Concordo totalmente 4 ão se aplica 1. Eu achei fácil inserir dados nestes aplicativos. Por exemplo, utilizando código QR, listas de opções etc. 2. Quando eu cometo um erro é fácil de corrigi-lo. 3. Eu achei que a ajuda/dica dada pelo aplicativo foi útil. 4. As mensagens de erro ajudam a corrigir os problemas. 5. Eu achei fácil usar o aplicativo com apenas uma das mãos. Perguntas. Discordo totalmente 1. Discordo 2. Concordo 3. Concordo totalmente 4 6. Foi fácil encontrar as informações que precisei. 7. Eu me senti no comando usando este aplicativo. 8. Eu achei adequado o tempo que levei para completar as tarefas. 9. Foi fácil de aprender a usar este aplicativo. 10. A sequencia das ações no aplicativo corresponde a maneira como eu normalmente as executo. Por exemplo, a ordem de botões, campos de dados, etc. 11. É fácil fazer o que eu quero usando este aplicativo.

73 Foi fácil navegar nos menus e telas do aplicativo. 13. O aplicativo atende as minhas necessidades. 14. Eu recomendaria este aplicativo para outras pessoas. 15. Mesmo com pressa eu conseguiria executar as tarefas nesse aplicativo. 16. Eu achei o aplicativo consistente. Por exemplo, todas as funções podem ser realizadas de uma maneira semelhante. 17. É fácil lembrar como fazer as coisas neste aplicativo. 18. Eu achei fácil inserir dados neste aplicativo. Por exemplo, indicando locais via mapas, listas de opções etc. 19. Eu usaria este aplicativo com frequência. 20. A organização dos menus e comandos de ação (como botões e links) é lógica, permitindo encontrálos facilmente na tela. 21. O design de interface do aplicativo é atraente. Perguntas. Discordo totalmente 1. Discordo 2. Concordo 3. Concordo totalmente Eu consegui completar as tarefas com sucesso usando este aplicativo. 23. Eu gostei de usar este aplicativo. 24. O aplicativo fornece todas as informações necessárias para completar as tarefas de forma clara e compreensível. 25. Eu achei o aplicativo muito complicado de usar.

74 Eu precisei aprender muitas coisas para usar este aplicativo. 27. Os símbolos e ícones são claros e intuitivos. 28. A interface é semelhante dos demais aplicativos Android/iOS. 29. Eu achei os textos fáceis de ler. 30. Eu achei o aplicativo desnecessariamente complexo. Precisei lembrar, pesquisar ou pensar muito para completar as tarefas. 31. A terminologia utilizada nos textos, rótulos, títulos etc. é fácil de entender. 32. Eu precisaria de apoio de uma pessoa para usar este aplicativo. 33. Eu conseguiria realizar as tarefas com esse aplicativo em qualquer lugar. Por exemplo, em movimento andando pela rua. 34. Eu me senti confortável usando este aplicativo. 35. O aplicativo se comportou como eu esperava. 36. Eu achei frustrante usar este aplicativo. 37. Eu achei que as várias funções do aplicativo são bem integradas. 38. Eu me senti muito confiante usando este aplicativo

75 75 ANEXO C SURE resumido 1 É fácil fazer o que eu quero usando este aplicativo. 2 Eu me senti no comando usando este aplicativo. 3 Foi fácil encontrar as informações que precisei. 4 O aplicativo se comportou como eu esperava. 5 Eu achei o aplicativo muito complicado de usar. 6 Foi fácil de aprender a usar este aplicativo. 7 Eu achei adequado o tempo que levei para completar as tarefas. 8 Foi fácil navegar nos menus e telas do aplicativo. 9 A organização dos menus e comandos de ação (como botões e links) é lógica, permitindo encontrá-los facilmente na tela. 10 Eu achei o aplicativo desnecessariamente complexo. Precisei lembrar pesquisar ou pensar muito para completar as tarefas. 11 Eu consegui completar as tarefas com sucesso usando este aplicativo.

76 Validação De Heurísticas De Usabilidade Para Celulares Touchscreen Por Meio De Testes De Usabilidade Rafael Faccio¹ ¹Departamento de Informática e Estatística Universidade Federal de Santa Catarina (UFSC) Florianópolis, SC Brazil faccio.rafael@gmail.com Resumo. Atualmente temos aparelhos celulares cada vez mais modernos e capazes que estão se tornando ubíquos em nossas vidas e desse modo nos apresentam novas formas de interação. Neste segmento, destacam-se os touchscreen smartphones, aparelhos móveis com tela sensível ao toque e capacidade de processamento avançado. Na engenharia de usabilidade existem hoje vários conjuntos de heurísticas de usabilidade voltados, principalmente, para sistemas desktop, mas, devido às diferenças de uso apresentadas claramente por esses dispositivos móveis, faz-se necessária a análise de questões de design de interface e usabilidade focada nos smartphones. Ou seja, se alinhando às necessidades modernas para que estes dispositivos ofereçam a melhor experiência de uso de maneira eficiente e eficaz. Para tanto, foi desenvolvido no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para medir a usabilidade de sistemas em dispositivos móveis touchscreen chamado MATcH. Nesse sentido, o presente trabalho tem como objetivo validar esse conjunto de heurísticas de usabilidade para celulares touchscreen por meio de um estudo empírico comparativo entre resultados obtidos na aplicação do MATcH com resultados obtidos por meio de testes de usabilidade, tentando gerar assim uma maior confiabilidade no uso do MATcH. Foram realizadas duas iterações de testes, sendo que foram aplicados 305 testes de usabilidade na primeira e 48 testes de usabilidade na segunda. Um total de 9 aplicativos foram testados através de tarefas pré-definidas por meio de testes presenciais e à distância (online). Após a análise dos resultados obtidos foi possível perceber uma inconsistência em quase 60% dos resultados comparados, percebendo uma propensão do MATcH de avaliar mais firmemente questões de usabilidade fundamentais ligadas ao projeto e design da interface quando os testes de usabilidade têm uma propensão de avaliar melhor a satisfação geral da experiência de uso. Com base nesta análisefoi possível realizar a validação, necessitando um refinamento para aproximar os resultados das demais faixas com o resultado do teste de usabilidade de forma mais consistente e confiável, mas observando boa capacidade das heurísticas em avaliar aplicativos que possuam usabilidade alta.

77 1. Introdução Celulares são dispositivos que rapidamente se integraram ao mundo em que vivemos e já fazem parte do modo de vida das pessoas sendo considerados aparelhos imprescindíveis para grande parte delas. Sua rápida aceitação chegou a um ponto em que existem tantas linhas de celulares quanto pessoas no mundo [UN, 2013], isto significa quase 7 bilhões de linhas ativadas. As vendas mundiais de dispositivos móveis atingiram 1,75 bilhões de unidades em 2012, e o quarto período desse mesmo ano viu um acréscimo de 38,3% [Gartner, 2013] em relação ao mesmo período do ano passado. A previsão de aumento de unidades vendidas é de 50% até 2014 [Lee, 2011], comprovando a popularidade da tecnologia e justificando uma concentração de pesquisa nesta área, visando seu aprimoramento. No Brasil, a situação é promissora também, tendo registrado mais de 271,1 milhões linhas ativas e 9,92 milhões de novas linhas ativadas no ano de 2013, um crescimento de 3,35% em relação ao ano passado. Também é importante notar o crescimento de acessos à banda larga 3G (tecnologia introduzida por smartphones), um aumento de 75,85% de janeiro a dezembro de 2013 [ANATEL, 2014]. Smartphones, ou celulares inteligentes em tradução livre, diferenciam-se de outros celulares pela sua capacidade de processamento mais avançada e alta conectividade. Fisicamente, os smartphones diversificam entre si em relação ao número de botões, tamanho e formas de entrada de dados e comandos. Dentre essas variedades, a que mais se espera crescer, de acordo com uma pesquisa feita pela Strategy Analytics (2008), são os touchscreen smartphones, com um total de 425 milhões de aparelhos vendidos até o fim de Touchscreen phones são celulares que possuem a tela sensível ao toque, dispensando o uso de teclados para interação com os elementos na tela, sendo esta feita através de toques diretamente sobre a representação gráfica dos elementos. Um smartphone pode ser utilizado em qualquer ambiente que uma pessoa pode imaginar (por exemplo: em movimento, em um local com muito barulho, muita luz ou pouca luminosidade ou em casa calmamente). Estes perfis variados de usuário modificam muito a experiência que uma pessoa poderá ter com o aparelho, portanto, projetar aplicações com isto em mente pode vir a ser um fator de sucesso [Salazar, et al., 2012], já que segundo Preece (2005), é de grande importância que interfaces sejam eficientes e eficazes durante o uso oferecendo uma experiência agradável ao usuário, ou seja, interfaces devem possuir boa usabilidade. Como forma de mensurar e avaliar usabilidade, existem heurísticas de usabilidade que podem ser utilizadas na hora de projetar a interface ou após, para avaliála de forma padronizada. Segundo Nielsen (1994), heurísticas de usabilidade são definidas como um conjunto de regras gerais que descrevem propriedades comuns em interfaces usáveis derivado do conhecimento de aspectos psicológicos, computacionais e sociológicos dos domínios do problema. Apesar de criadas para interfaces desktop, estas heurísticas foram adaptadas a diferentes paradigmas (como tablets e TVs), existindo também conjuntos de heurísticas especificamente para celulares [Salazar et al., 2012] [Bertini et al., 2006]. Uma forma de colocar em prática estas heurísticas é a avaliação heurística, que é um método de inspeção de interfaces realizado por pesquisadores especialistas em

78 usabilidade e interação humano-computador, onde são diagnosticados problemas de forma sistematizada. Uma ferramenta para operacionalizar a avaliação heurística é o checklist, e sua elaboração é de grande importância para os resultados da avaliação. Segundo Tezza (2009), checklists bem elaborados devem produzir resultados mais uniformes e abrangentes, em termos de identificação de problemas de usabilidade. Foi desenvolvido no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones. Chamado de MATcH (Measuring Usability of Touchscreen Phone Applications), este é um conjunto de heurísticas organizadas com base em Nielsen e customizadas especificamente para os dispositivos móveis. Como instrumento de avaliação heurística, o checklist do MATcH é composto de uma série de itens que buscam identificar as características que representam efetivamente uma boa usabilidade em interfaces touchscreen para celulares. Em Witt (2013), foi dado um primeiro passo para a validação deste conjunto de heurísticas, realizando um estudo empírico composto de várias avaliações heurísticas utilizando o checklist desenvolvido para este propósito. O problema que surge é a necessidade destas heurísticas customizadas para smartphones em serem validadas quanto a sua confiabilidade e eficácia. A validação de heurísticas deve ocorrer para determinar seu potencial em detecção de erros. Se não validadas, os problemas por elas detectados podem não representar erros reais ou ignorar problemas existentes, não cumprindo o propósito das heurísticas de conduzir a um melhor desenvolvimento das interfaces. Dessa forma a pergunta de pesquisa a ser analisada no presente trabalho é: O conjunto de heurísticas e o checklist de usabilidade para dispositivos de celulares touchscreen (MATcH) é valido quando comparado com os resultados de testes de usabilidade? 2. Metodologia O objetivo geral deste trabalho é validar as heurísticas e checklist de usabilidade MATcH customizada para celulares touchscreen. Para este fim é realizando um estudo empírico comparativo, onde são realizadas avaliações heurísticas utilizando o checklist desenvolvido e uma série de testes de usabilidade referente aos mesmo aplicativos para celulares touchscreen. Durante os testes de usabilidade, os dados relativos a percepção dos usuários sobre a usabilidade do aplicativo serão coletadas sistematicamente, a partir de um questionário pós-teste. A metodologia definida para a realização deste trabalho é dividida em três etapas (como mostra a figura 1). Cada etapa é subdividida em atividades, que definem cada passo para atingir o objetivo.

79 Figura 1. Metodologia Etapa 1 - Revisão da Literatura: Será levantado, a partir da literatura, a definição sobre conceitos pertinentes a área de interação humano-computador em geral e posteriormente com ênfase na área de heurísticas de usabilidade para dispositivos celulares touchscreen. Atividade 1.1: Definir conceitos da área a área de Interação Humano- Computador/Engenharia de usabilidade/heurísticas de Usabilidade. Atividade 1.2: Analisar a área de testes de usabilidade com dispositivos moveis. Etapa 2 Revisão do estado da arte: Analisar o estado da arte em relação à avaliação de heurísticas de usabilidade existentes para o design de interface para celulares touchscreen. Para esta etapa será utilizada a técnica de revisão sistemática de literatura [Kitchenham, 2007]. Atividade 2.1: Definir a revisão sistemática da literatura Atividade 2.2: Executar a revisão sistemática da literatura Atividade 2.3: Analisar e interpretar as informações extraídas Atividade 2.4: Documentar e discutir os resultados Etapa 3 - Estudo de Caso: Nessa etapa será realizado o estudo empírico comparativo. Serão definidos o objetivo e o design do estudo. As avaliações dos aplicativos para

80 celulares touchscreen para plataformas ios ou Android serão realizadas em duas iterações utilizando de testes de usabilidade de forma remota e presencial. Atividade 3.1: Definir o estudo Atividade 3.2: Realizar as avalições heurísticas usando o MATcH Atividade 3.3: Executar a iteração 1 dos testes de usabilidade Atividade 3.3.1: Executar os testes de usabilidade remota não-moderada Atividade 3.3.2: Executar os testes de usabilidade no laboratório Atividade 3.4: Executar a iteração 2 dos testes de usabilidade Atividade 3.4.1: Executar os testes de usabilidade remota não-moderada Atividade 3.4.2: Executar os testes de usabilidade no laboratório Atividade 3.5: Analisar os resultados dos testes de usabilidade Atividade 3.6: Comparar resultados 3. Fundamentação Teórica 3.1 Heurísticas de Usabilidade para Celulares Touchscreen Ao iniciar o estudo de engenharia de usabilidade, podemos começar pela conceituação da interação humano-computador (IHC). A IHC foca num melhor desenvolvimento da interface utilizada para nos comunicarmos com as máquinas e computadores. Ou seja, visa-se interfaces com melhor usabilidade. Segundo a ISO , usabilidade é a medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso. Eficiência neste contexto está relacionada ao quão bem o produto faz o que é esperado dele; eficácia está relacionada ao modo como este produto melhora a realização das tarefas dos usuários e satisfação é uma medida de conforto e de atitude do usuário em relação ao uso deste produto [Preece, 2005] [ISO ]. O conceito de qualidade de usabilidade de um produto ou interface é determinado por um processo de avaliação e atividades validadas [Pádua, 2011]. Para se avaliar usabilidade, é possível a utilização de heurísticas de usabilidade. Heurísticas são, segundo Nielsen (1994), regras/diretrizes para encontrar uma melhor maneira de resolver um problema de forma eficiente com um bom custo-benefício e resultados confiáveis. Elas descrevem propriedades comuns em interfaces. Estas propriedades são derivadas de estudos de aspectos psicológicos, computacionais e sociológicos do problema. Estas regras são utilizadas tanto para direcionar o design de interface quanto na avaliação da usabilidade. Uma avaliação heurística, segundo Nielsen, é um método de avaliação sistemático a fim de encontrar problemas de usabilidade em designs de interface. A

81 avaliação é feita por especialistas em usabilidade, que revisam a interface comparando-a com os princípios pré-definidos (heurísticas). O resultado desta avaliação são os problemas de usabilidade, não é do objetivo da avaliação heurística propor soluções. Quando pensamos na época em que foram desenvolvidas as heurísticas de Nielsen, é fácil imaginar o contexto em que o usuário se encontrava, já que a variedade e capacidade dos aparelhos era menor. Hoje, smartphones possuem uma série de aplicações feitas por terceiros que ampliam suas funcionalidades iniciais (como redes sociais, , resultados esportivos, entre outros). Heurísticas específicas tendem a oferecer melhor suporte para a inspeção de interfaces touchscreen. Dentre os conjuntos de heurísticas, em Salazar et al. (2013) foi analisada esta questão para definir quais deles possuem este enfoque em dispositivos móveis e, mais especificamente celulares touchscreen. A revisão sistemática encontrou artigos considerados relevantes ao tópico e analisou-os em comparação com o conjunto de heurísticas clássicas de Nielsen. O resultado encontrado pela revisão foi que heurísticas como design minimalista e diálogo e linguagens naturais ao usuário continuaram presentes nestes conjuntos, enquanto prevenção de erros e ajuda e documentação praticamente não aparecem. Alguns trabalhos, como Salazar et al. (2013) e Bertini et al. (2006) ainda elaboram conjuntos com alguma adaptação e heurísticas de usabilidade novas, frisando a necessidade destes dispositivos em serem confortáveis e rápidos de usar (interação física e ergonomia) e de terem foco claro com apenas a informação que o usuário realmente procura ao utilizá-lo; a compatibilidade entre diferentes plataformas também é um ponto citado entre algumas destas pesquisas como uma nova heurística MATcH Measuring Usability of Touchscreen Phone Applications Foi desenvolvido no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones [Salazar, et al., 2012] [Nunes, et al., 2013]. O MATcH (Measuring Usability of Touchscreen Phone Applications) é um conjunto de heurísticas adaptadas de Nielsen para os dispositivos móveis e decompostas em uma série de itens de medida que representem efetivamente uma boa usabilidade. O conjunto completo está demonstrado na tabela 1. Ele foi operacionalizado através de um checklist baseado em problemas específicos para este ambiente de uso (Anexo A). Tradicionais [Nielsen, 1994] Tabela 1. Heurísticas MATcH Conjunto Unificado de Heurísticas para Celulares Visibilidade e Status do Sistema Compatibilidade entre o Sistema o Mundo Real Liberdade e Controle do Usuário Consistência e Padrões Prevenção de Erros Reconhecimento em vez de Lembrnaça

82 Flexibilidade e Eficiência de Uso Estética e Design Minimalista Ajudar os usuários a reconhecer, diagnosticar e recuperar de erros Novas Ajuda e documentação Compatibilidade entre Diferentes Plataformas Pouca interação homem/dispositivo Interação Física e Ergonomia Legibilidade e Layout O conjunto de heurísticas e o checklist foram analisados por meio de um estudo empírico usando a técnica de estatística de TRI Teoria de Resposta ao Item [Witt, 2013]. As respostas ao checklist destas aplicações foram então analisados utilizando a Teoria da Resposta ao Item, a fim de identificar itens problemáticos. O checklist inicial continha 92 itens que, após análises de consistência do traço latente, foi finalizado com 48 itens para avaliação. Como resultado, também foi definida uma escala padronizada de medição de usabilidade. Esta pesquisa pode ser acessada via o website Tabela 2. Escala de Graus de Usabilidade Faixa Descrição Até 20 pontos Usabilidade Muito Baixa 30 Usabilidade Baixa 40 Usabilidade Razoável 50 Usabilidade Alta 60 Usabilidade Muito Alta 4. Estado da Arte Com o objetivo de analisar o estado da arte sobre pesquisas relacionadas a validações de conjuntos de heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen. A questão principal a ser avaliada nesta seção é: Como são avaliados os conjuntos de heurísticas de usabilidade para dispositivos móveis? Para responder esta questão, é realizada uma revisão sistemática da literatura, seguindo o procedimento proposto por Kitchenham (1994). O objetivo é buscar artigos e publicações descrevendo pesquisas que validam conjuntos de heurísticas e checklists desenvolvidos para a avaliação heurística de dispositivos móveis, mais especificamente dispositivos touchscreen.

83 Critérios de Inclusão/Exclusão: O trabalho deve ser focado em analisar interfaces de dispositivos móveis touchscreen O trabalho deve apresentar o uso de algum conjunto de heurística O objetivo do trabalho deve ser avaliar a usabilidade da interface um dispositivo móvel O trabalho deve apresentar relação com métodos de avaliação heurísticas O trabalho deve apresentar a validação dos conjuntos de heurísticas nele propostos A pesquisa foi feita utilizando o mecanismo de pesquisa acadêmica online Google Scholar e nas bases da IEEE. Para padronizar a busca foi utilizado o seguinte termo de busca: interface usability heuristics evaluation mobile OR smartphone OR handheld OR cellphones touch screen. Foram levados em consideração artigos em inglês e português publicados no período de 2008 até Devido ao caráter de rápida evolução na tecnologia envolvida em celulares e a popularização recente dos que possuem tela sensível ao toque, artigos anteriores à 2008 foram considerados desatualizados e não agregariam informações relevantes hoje em dia. Nos termos de busca, por causa do fato de dispositivos móveis possuírem diversos sinônimos na língua inglesa, foram incluídos na pesquisa palavras intercambiáveis para "mobile" (smartphone, handheld, cellphone), a fim de ampliar o número de resultados. A busca foi realizada em setembro de 2013, e resultou em aproximadamente 3,780 resultados no Google Scholar, sendo que pesquisa na base de dados IEEExplore retornou 7 resultados aplicados os mesmos termos de inclusão e exclusão, porém aqui não refinando de acordo com o período por causa do número bastante reduzido de resultados. Foram excluídas publicações que: não tratassem de dispositivos móveis touchscreen; não possuíssem o foco da pesquisa em avalição heurística; não citassem a forma de pesquisa com foco em usabilidade. Após analisar os resultados do Google Scholar até a página 10 e os 7 resultados na IEEE, levando em consideração o título, resumo apresentado e aplicando-se os critérios de inclusão e exclusão, restaram 9 artigos considerados relevantes. Destes artigos, realizando uma leitura e análise aprofundada de cada um, restaram 4 artigos relevantes para discussão, com os dados mais relevantes extraídos e dispostos na tabela 3.

84 Referência Tipo objeto avaliado (Jeongyun, H.; Dong- Han, H.; Sanghyun, P.; Chiwon, S.; Wan Chul, Y.; 2009) (Ji, Y. G.; Park, J. H.; Lee, C.; Yun, M. H.; 2006) (Inostroza, R.; Rusu, C.; Roncagliolo, S.; Jimenez, C.; Rusu, V., 2012) Não informado (N. I.) de 3 Celulares tradicionais distintos (dispositivos presmartphones ) Blackberry Storm 2 (9550) Heurísticas Combinado das heurísticas de Nielsen (1994), ISO/IEC (1998), e Hix and Hartson s principles (1993). Número total não informado. 21 heurísticas extraídas de diversas fontes (Constantine, 1994; Nielsen, 1994; Treu, 1994; Dix, Finlay, Abowd and Beale, 1998; Lauessen e Younessi, 1998; Preece, Rogers e Sharp, 2002;) Definidas a partir de uma metodologia de 6 Passos (C. Rusu, et al, A methodology to establish usability heuristics ) em conjunto com uma adaptação das Heurísticas de Nielsen. Resultou em 11 heurísticas (10 baseadas em Nielsen e adaptadas ao paradigma mobile/touchscree n, 1 resultante de análises das características dos dispositivos e Tabela 3. Extração dos Dados Design de pesquisa (experimento/estud o de caso) Estudo de caso de um framework de avaliação heurística contemplando vários tipos de UI (interfaces de usuário) Estudo de caso comparando resultados de avaliação heurística com testes de usabilidade Estudo de caso utilizando heurísticas tradicionais (Nielsen) comparando com heurísticas focadas em dispositivos móveis touchscreen utilizando um checklist. Avaliação heurística 8 avaliadores 10 avaliadores (5 homens, 5 mulheres, usuarios com experiência no uso dos celulares) para relizar tarefas e graduar a experiência de uso 4 avaliadores, 2 avaliando sob o conjunto tradicional de Nielsen, 2 sob o conjunto de 11 heurísticas adaptadas Teste de usabilidade Utilizando um checklist com Likertscale de 5 pontos Checklist com Likertscale de 7 pontos Não realizado Sistema/ software/ap p Sistema Operacional de Celulares (não informado quais dispositivos) Sistema préinstalado nos dispositivos Blackberry N.I. Operating System (v ) Técnica estatística para fazer análise Não apresentada uma análise estatística ANOVA (análise de variância)

85 problemas de usabilidade encontrados) (Bertini, E.; Gabrielli, S.; Kimani, S.; 2006) N. I. 8 heurísticas definidas a partir de uma adaptação das heurísticas de Nielsen (1994) em comparação com problemas comuns de usabilidade em dispositivos móveis Estudo de caso comparando resultados de avaliação heurística com testes de usabilidade 8 avaliadores, 4 utilizando as heurísticas de Nielsen e 4 utilizando o conjunto adaptado de 8 heurísticas O teste ocorreu com o uso das aplicações e o avaliador descrevendo as tarefas que estava realizando e identificand o os problemas na escala SRS proposta por Nielsen Aplicativo de supermercad o de PDAs e um aplicativo de de PDAs N. I. Analisando estes artigos e com base nos resultados das pesquisas, fica evidente que o número de artigos que tratam e validam os conjuntos de heurísticas propostos para estes dispositivos é muito baixo e, muitas vezes, estão desatualizados com o padrão touchscreen dos dias atuais. De acordo com estes artigos, as interfaces são avaliadas por meio de avaliações heurísticas ou com base em testes de usabilidade. Normalmente envolvendo poucos participantes e em ambiente controlado (em laboratório). Pela quantidade baixa de artigos encontrados que descrevem algum tipo de avaliação heurística, elas não parecem estar sendo amplamente executadas, e quando feitos testes de usabilidade, a escala de participantes, aplicações e dispositivos é bastante reduzida. Por consequência, os resultados encontrados não demonstram números significativos de um ponto de vista estatístico, e portanto, podem não ser considerados conclusivos, de acordo com os próprios autores dos artigos analisados. A partir dos artigos encontrados pode ser visto que este tipo de avaliação e geralmente é feito a) comparando os resultados da avaliação heurística realizada com conjuntos tradicionais e da avaliação com um conjunto específico para a pesquisa ou b) realizando também testes de usabilidade, para posteriormente comparar os resultados destes testes com os resultados das avaliações heurísticas. As avaliações heurísticas foram aplicadas em sua grande maioria em apenas um dispositivo e focando em funcionalidades do sistema operacional destes (ao invés de aplicativos de terceiros). Ele foi conduzido por profissionais ligado à área de Usabilidade ou de Interação Humano-Computador, e que possuíam conhecimento

86 prévio de como realizar uma avaliação deste tipo. Também foi amplamente utilizada uma escala de satisfação do tipo Likert, variando entre 5 e 7 pontos, dependendo do estudo. A escala Likert é útil para indicar o nível de concordância ou discordância dos participantes de testes [Padilha, 2004]. Os testes de usabilidade foram aplicados definindo primeiramente uma série de tarefas a serem executadas nos sistemas/aplicativos em grupos de até 10 pessoas, que já possuíam alguma familiaridade com dispositivos móveis. Após a realização das tarefas, cada participante respondeu a um questionário para medir sua satisfação. Estes participantes foram compensados pelo tempo dedicado ao experimento. Os resultados dos testes coletados pelo checklist foram comparados com os resultados obtidos pelos profissionais avaliadores normalmente encaixando as perguntas dos questionários às heurísticas da avaliação e assim obtendo médias de satisfação para cada aspecto das interfaces. Das publicações selecionadas, apenas Inostroza et al. (2012) realizaram o teste em um dispositivo touchscreen (Blackberry Storm), e validaram comparando os resultados provenientes da análise através das heurísticas de Nielsen (1994) com um novo conjunto proposto com base no tipo de dispositivo em avaliação. Dois grupos distintos de avaliadores se utilizaram cada um de um dos conjuntos mas aplicados sob o mesmo dispositivo. Esta é uma abordagem que parece ser popular entre as observadas nos artigos, sendo que Bertini (2006) também se utilizou dela anos antes. O resultado destas publicações foi uma maior eficiência em identificar problemas de usabilidade através dos conjuntos adaptados do que com o conjunto tradicional. Nas outras duas publicações, apesar de não apresentarem a comparação com conjuntos tradicionais, a criação do conjunto voltado aos dispositivos móveis também se deu a partir destas heurísticas já pré-estabelecidas (englobando inclusive outras além das de Nielsen). Finalizada a pesquisa, observa-se que conjuntos de heurísticas voltadas para celulares touchscreen ainda é pouco explorado. Por isso, o presente trabalho procura expandir o estado atual desta área. 5. Validação do Conjunto de Heurísticas MATcH O objetivo da validação do conjunto de heurísticas MATcH é avaliar a confiabilidade e eficácia de uma avaliação heurística através do MATcH em comparação com o grau de usabilidade percebido por usuários através de testes de usabilidade de aplicativos móveis para celulares touchscreen. Esta validação é feita através de um estudo de caso comparativo entre os resultados de avaliações heurísticas usando MATcH e os resultados de duas iterações de testes de usabilidade. O questionário pós-teste de usabilidade utilizado nesta pesquisa foi elaborado e avaliado em Oliveira (2013) e chamado de SURE - Smartphone Usability Questionnaire, composto de 37 itens. Este questionário foi aplicado em alguns aplicativos pré-selecionados pelos pesquisadores. Isto ocorre para ser possível concentrar um maior número de usuários por aplicativo (obtendo quantidade de dados suficientes para análise), dada a enorme quantidade de aplicativos disponíveis no

87 mercado. Deste modo, tanto os usuários quanto os pesquisadores avaliarão os mesmos aplicativos, facilitando comparações. Em ambas iterações, o teste foi feito de maneira presencial e de maneira online. Foi definido um termo de consentimento livre e esclarecido (apêndice B) tanto para a aplicação no laboratório do Grupo de Qualidade de Software, da Universidade Federal de Santa Catarina e em salas de aula, bem como na aplicação à distância (por meio online em e apresentado aos participantes antes do início dos testes, que assinavam após a leitura completa do documento. Na figura 2, é possível visualizar o design do estudo, onde as flechas representam a comparação que será feita entre os resultados em ambas as iterações. A pesquisa foi aprovada pelo Comitê de Ética em Pesquisas com Seres Humanos, parecer nº Figura 2. Definição do Estudo Comparativo No teste de usabilidade presencial, o voluntario é convidado a participar do teste, onde são disponibilizados aparelhos no laboratório do GQS (podendo utilizar o próprio celular se assim preferir) e as folhas de teste. Os aplicativos são sorteados através de uma pilha de folhas de teste previamente embaralhadas, e que o próprio participante retirava. Antes de realizar as tarefas, o participante lê e assina o Termo de Consentimento Livre e Esclarecido. Então, o voluntário executava as tarefas específicas presentes na sua folha e respondiam as questões (folhas de teste compostas dos Apêndices A e B e do Anexo B). O teste de usabilidade online consiste no participante voluntariamente acessar o questionário disponibilizado pelo servidor do GQS. O questionário online (Figura 4) foi realizado utilizando a plataforma Limesurvey ( ferramenta open source para realização de formulários. A escolha desta plataforma se deu por permitir realizar um sorteio aleatório dos aplicativos a serem testados, bem como

88 randomização das questões dentro do próprio questionário, a fim de evitar respostas inválidas resultantes de fadiga por parte do voluntário. 5.1 Primeira Iteração A primeira atividade é definir os critérios de seleção de aplicativos para depois realizar a avaliação heurística de aplicativos. Os critérios estão descritos na tabela 4. Tabela 4. Critérios de Escolha de Aplicativos 1. Aplicativos gratuitos; 2. Aplicativos com diversas recomendações nas páginas que disponibilizam; 3. Aplicativos com número elevado de download 4. Aplicativos que não necessitam de informações bancárias do Usuário 5. Um aplicativo por cada faixa de usabilidade com base numa avaliação heurística através do MATcH (um aplicativo com usabilidade baixa, razoável, alta e muito alta). Para esta primeira iteração, foram aproveitados parte dos resultados das avaliações heurísticas realizadas em Witt (2013), limitando a seleção para apenas 5 aplicativos. Os selecionados encontram-se destacados nas caixas em cinza na figura 3. Figura 3. Aplicativos Selecionados e Definição para Iteração 1 Foram então definidas as tarefas específicas para cada aplicativo, com o objetivo de padronizar a experiência de uso e obter resultados passíveis de comparação entre os participantes (Apêndice A). Estas tarefas estão explicitadas na tabela 5.

89 Tabela 5. Tarefas para Aplicativos da Iteração 1 Aplicativo Buscapé Globoesporte.com Tarefas 1.Faça uma busca pelo livro "Não me faça pensar". 2.Filtre os resultados pelo menor preço. 3.Calcule a oferta para o frete com menor preço. 1.Veja notícias sobre o time Cruzeiro 2.Veja notícias sobre basquete. 3.Veja a classificação do Campeonato Brasileiro 2013 e leia em voz alta o nome do quinto colocado. Gmail Qual é a resposta? Weather Channel 1. Escreva um novo 2. Abra o da caixa de entrada 3. Delete o 1.Inicie um jogo 2. Pule a primeira questão. 3.Continue respondendo até o final do jogo. 1.Veja a previsão do tempo para amanhã para a cidade de São Paulo. 2.Compartilhe a previsão com gqsincod@gmail.com. 3.Leia em voz alta a previsão para a temperatura máxima. 5.2 Segunda Iteração Para a segunda iteração os critérios de escolha de aplicativos foram os mesmo da primeira (vide tabela 4), mas com base nas experiências e conhecimentos obtidos na primeira iteração, optou-se por selecionar apenas aplicativos dentro de um mesmo tema Saúde, para o caso desta iteração. Para a escolha dos aplicativos nesta iteração também é preciso seleciona-los com avaliações MATcH dentro de faixas de usabilidade diferentes. Foi feita então novamente uma busca por aplicativos que já possuíam avaliação em Witt (2013) dentro dos critérios definidos e encontrados sete pré-candidatos. Como os aplicativos não se encaixavam dentro de todos os critérios simultaneamente, a lista de candidatos foi completada incluindo aplicativos que se encaixassem em todos os critérios e em faixas de usabilidade não representadas pelos já pré-selecionados. Foi necessário o autor deste trabalho realizar novas avaliações nos que não possuíam, através do questionário de avaliação MATcH disponível em adicionando mais seis aplicativos à lista de pré-seleção. Para estas avaliações heurísticas adicionais, três alunos bolsistas de iniciação científica do laboratório do GQS e o autor deste trabalho discutiram, selecionaram e testaram os novos aplicativos. Aplicando os critérios de seleção, foram então eliminados aplicativos em que era obrigatório o cadastro de informações, que não eram gratuitos e

90 que se encaixavam em faixas de usabilidade diferentes. Resultando nos seguintes aplicativos selecionados para os testes conforme Figura 5. Figura 4. Aplicativos Selecionados para Iteração 2 Próximo passo foi a definição das tarefas para estes aplicativos, da mesma forma como foi realizado na primeira iteração. As tarefas estão representadas na tabela 9. Aplicativo Resultados Cruzi Cardiograph Runkeeper Tabela 6. Tarefas para os Aplicativos da Segunda Iteração Tarefas 1. Acessar o exame através do protocolo fornecido 2. Acessar as imagens do exame realizado 3. Acessar através do histórico um exame do ano passado. Buscar informações sobre a doença Febre Amarela e ler o Médico Especialista Procurar pelo remédio "Paracetamol" e citar suas indicações. Ler as doenças que a Especialidade Médica "Cardiologista" trata. Medir os batimentos cardíacos por 30 segundos e dizer a média indicada. Olhar o histórico de medições e ler a última medição. Apagar a última medição feita. 1. Selecionar uma atividade do tipo caminhada 2. Selecionar uma "rotina de exercícios" como "meta de ritmo" e para um tempo de 20 minutos. 3. Dar início à atividade por 10 segundos e selecionar "parar" e depois "salvar". 5.3 Execução A iteração 1 foi executada em setembro de 2013 aplicando-se o teste de usabilidade com o questionário SURE - Smartphone Usability Questionnaire [Oliveira, 2013] composto por 37 itens para avaliar a usabilidade dos aplicativos. Na primeira iteração, 305 pessoas participaram no total, 185 através do teste de usabilidade online e 120 no teste de usabilidade presencial, aplicado no laboratório e em salas de aula cedidas por alguns professores da universidade.

91 Em maio de 2014 foi realizada a segunda iteração dos testes. Ao fim do período de testes, um total de 48 pessoas participaram, sendo 36 através no questionário online e 12 através dos questionários e aparelhos disponibilizados no laboratório do GQS. Os participantes que realizaram seus testes no laboratório do GQS utilizaram os aparelhos pré-selecionados iphone 4S (Apple) e Galaxy Y TV (Samsung), especificados nas tabelas 10 e 11. Tabela 7. Especificações do iphone 4S Tamanho da Tela 3.5 polegadas Resolução da tela 640 x 960 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional ios 7 Peso 140 g Tabela 8. Especificações do Samsung Galaxy Y TV Tamanho da Tela 3.14 polegadas Resolução da tela 240 x 320pixels Método touchscreen TFT capacitive touchscreen Sistema operacional Android 2.3 Peso 98 g Para participar online, os voluntários acessavam o teste através de um link. Um dos aplicativos selecionados para a segunda iteração ( Resultados ) foi desenvolvido pela UFSC e não estava presente nas lojas de aplicativos da plataforma ios, portanto precisou ser removido do teste de usabilidade online e mantido apenas nos testes presenciais. Para guiar os participantes que poderiam possuir um celular com sistema ios (ou outro que não fosse Android), foi inserida uma função no Limesurvey que finalizava o questionário e o teste para estes usuários após a identificação do aparelho.