UNIVERSIDADE FEDERAL DE SANTA CATARINA DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA

UNIVERSIDADE FEDERAL DE SANTA CATARINA DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA HELOISA DE SOUZA GLORIA AVALIAÇÃO DE UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA APLICATIVOS DE SMARTPHONES NA ÁREA DA SAÚDE POR MEIO DE TESTES DE USABILIDADE 1

FLORIANÓPOLIS, 2015 Heloisa de Souza Gloria Avaliação de um Conjunto de Heurísticas de Usabilidade para Aplicativos de Smartphones na Área de Saúde por Meio de Testes de Usabilidade Trabalho de conclusão de curso apresentado como parte dos requisitos para obtenção do grau de Bacharel em Sistemas de Informação pela Universidade Federal de Santa Catarina. Orientação: Prof.Dr.rer.nat. Christiane Gresse von Wangenheim, PMP FLORIANÓPOLIS, 2015 2º Semestre 2015 2

Heloisa de Souza Gloria AVALIAÇÃO DE UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA APLICATIVOS DE SMARTPHONES NA ÁREA DA SAÚDE POR MEIO DE TESTES DE USABILIDADE Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação. Florianópolis, 19 de novembro de 2015 Profa. Christiane Gresse von Wangenheim, INE/UFSC Professora Orientadora Prof. Adriano Ferreti Borgatto, INE/UFSC Professor Coorientador Ma. Juliane Vargas Nunes Membro da Banca Examinadora 3

AGRADECIMENTOS À minha orientadora e professora Christiane Gresse von Wangenheim por compartilhar um pouco de seu conhecimento, por seu apoio, incentivo e grande contribuição neste trabalho. Ao professor coorientador Adriano Borgatto pela sua colaboração na análise e por toda ajuda. À Juliane Vargas Nunes pelas colaborações no trabalho e por aceitar fazer parte da banca examinadora. Aos membros do Grupo de Qualidade de Software, Thaísa Lacerda, Eduardo Borsarini Camargo e Caroline Krone pela ajuda em diversos momentos deste trabalho. Aos professores que contribuíram com seu conhecimento para a minha formação profissional. Agradeço aos meus pais que sempre batalharam para que suas filhas tivessem o melhor estudo. Pelo apoio, e contribuição neste período em que realizei este trabalho, vocês são meu maior exemplo. Essa conquista também é de vocês. Às minhas irmãs Mariana e Beatriz, que são minhas amigas e estão sempre presentes. Possuem papel fundamental em meu crescimento. Ao meu cunhado João, que considero como meu irmão, por me ajudar neste trabalho. Ao meu namorado Henrique, por seu amor e carinho. Pelo apoio, principalmente neste período, me incentivando e torcendo pelo meu sucesso. Às minhas amigas, que são fundamentais para mim, sem elas a vida não teria a mesma graça. Aos meus colegas de trabalho, que também são meus amigos, agradeço pelo incentivo e troca de conhecimento que foram fundamentais para meu crescimento profissional. A todos, que de alguma forma contribuíram com meu trabalho e com minha formação. 4

Resumo Atualmente os smartphones são os dispositivos móveis mais utilizados no mundo. Estes dispositivos oferecem as mais diversas funcionalidades nas mais variadas áreas. Dentro deste conjunto de aplicações móveis encontram-se as específicas na área da saúde, que possuem fatores importantes, como: influenciar o bem estar, auxiliar tratamento médicos, facilitar a vida de profissionais da área da saúde, etc. Eventuais erros em aplicativos desta área como dificuldades de uso, por exemplo, podem refletir negativamente em sua saúde. Os smartphones são utilizados por um amplo público nos mais diversos contextos, com isso a usabilidade tornou-se um fator ainda mais importante. Assim, a criação de aplicativos voltados para a saúde que possuam boa usabilidade se mostrou necessário. Com este objetivo está sendo customizado o MATcH-Med, um conjunto de heurísticas de usabilidade que são utilizadas para inferir potenciais problemas de usabilidade. O MATcH-Med é específico para apps de saúde em smartphones e utiliza um checklist para descobrir qual o grau de usabilidade do mesmo. Neste contexto o presente trabalho tem como objetivo avaliar o grau de confiabilidade do MATcH-Med. É realizado um estudo empírico comparando os resultados de avaliações heurísticas utilizando o MATcH-Med em aplicativos específicos para a área de saúde com os resultados dos mesmos aplicativos em testes de usabilidade. Um conjunto de heurísticas/checklitst com alto grau de confiabilidade seria uma boa ferramenta na avaliação de usabilidade destes apps. Também seria um bom guia para desenvolvimento de interfaces tendo uma boa usabilidade em foco e assim assegurar uma melhor usabilidade nos aplicativos da área da saúde. Assim, fazendo com que seja melhor aproveitado todos os recursos disponíveis destes aplicativos. 5

LISTA DE FIGURAS Figura 1 - Definição de usabilidade... 18 Figura 2 - Foco do MATcH-Med... 22 Figura 3 - Modelos de smartphones... 24 Figura 4 - Plataformas mais utilizadas... 24 Figura 5 - Gestos com múltiplos toques... 26 Figura 6 - Gestos de escala... 26 Figura 7 - Informações buscadas na internet... 27 Figura 8 - Usuários de smartphones com aplicativos mhealth... 29 Figura 9 - Apps da área de saúde... 30 Figura 10 - Usabilidade - mhealth... 31 Figura 11 - Esquema do estudo comparativo... 39 Figura 12 - Extrato do questionário pós-teste online... 41 Figura 13 - Planilha com respostas dos questionários... 46 Figura 14 - Notas dos aplicativos em escala de usabilidade... 50 6

LISTA DE TABELAS Tabela 1 - Resultados anuais das vendas no Brasil de celulares e smartphones... 23 Tabela 2 - Comparação de especificações técnicas entre smartphone e desktop... 25 Tabela 3 - Aspectos da interação móvel em relação aos da interação fixa... 27 Tabela 4 - Termos de busca... 33 Tabela 5 - Resultados das pesquisas realizadas... 33 Tabela 6 - Extração das informações dos artigos relevantes... 35 Tabela 7 - Aplicativos da área da saúde selecionados... 43 Tabela 8 - Quantidade de testes por aplicativo... 45 Tabela 9 - Perfil dos participantes dos testes online... 45 Tabela 10 - Dados obtidos dos testes... 47 Tabela 11 - Classificação dos graus de usabilidade... 47 Tabela 12 - Resultados obtidos e os graus de usabilidade... 48 Tabela 13 - Porcentagem por grau de usabilidade... 48 Tabela 14 - Grau de usabilidade por porcentagem... 49 Tabela 15 - Divergência na classificação de usabilidade por média do teste de usabilidade... 49 Tabela 16 - Divergência na classificação de usabilidade por porcentagem do teste de usabilidade... 50 7

LISTA DE ABREVIATURAS E SIGLAS GQS - Grupo de Qualidade de Software IHC - Interação Humano-Computador INCoD - Instituto Nacional de Convergência Digital MATcH-Med - Measuring Usability of Touchscreen Phone Applications - Medicine TRI - Teoria de Resposta ao Item UFSC - Universidade Federal de Santa Catarina 8

Sumário 1. Introdução... 11 1.1. Problema... 13 1.2 Objetivo... 14 Objetivo Geral... 14 Objetivos Específicos... 14 Limites... 15 1.4. Método de Pesquisa... 15 2. Fundamentação Teórica... 17 2.1. Interface/Interação Humano-Computador... 17 2.1.1. Engenharia de Usabilidade... 18 2.2. Avaliação Analítica... 19 2.2.1. Avaliação Heurística... 20 2.2.1.1. Heurísticas de usabilidade na área de saúde para dispositivos móveis... 21 2.3. Dispositivos Móveis - Smartphones... 23 2.4. Área de aplicativos para saúde... 28 3. Estado da Arte... 32 3.1. Definição da busca... 32 3.2. Execução da busca... 33 3.3. Extração da informação... 35 3.4. Discussão... 36 4. Avaliação MATcH-Med... 39 4.1. Definição do Estudo... 39 4.1.1. Avaliação heurística utilizando MATcH-Med... 39 4.1.2. Teste de usabilidade utilizando SURE e SUS... 40 4.2. Aplicativos selecionados... 42 4.3. Execução... 44 4.4. Análise dos dados... 46 4.4.1. Pergunta da pesquisa... 47 4.5. Discussão... 49 4.5.1. Ameaças à validade... 51 5. Conclusão... 52 REFERÊNCIAS... 53 APÊNDICE A - Termo de Consentimento Livre e Esclarecido... 63 APÊNDICE B - Questionário Teste de Usabilidade... 64 9

APÊNDICE C - Tarefas Teste de Usabilidade... 65 ANEXO A - Checklist MATcH-Med (v1.0)... 69 ANEXO B - Questionário SURE... 73 ANEXO C - Questionário SUS... 75 10

1. Introdução Os aparelhos celulares fazem parte do cotidiano das pessoas e para muitos é considerado como uma ferramenta de extrema importância. As vendas de smartphones passaram de um bilhão de unidades em 2014 (TECMUNDO, 2015). Grande parte dessa evolução ocorreu pela possibilidade de centralizar, em um único aparelho, funções como acesso à internet, trabalho, lazer, estudos, cuidados com a saúde, entre outras. Nos últimos anos, os modelos de celulares que mostraram maior destaque e ascensão foram os chamados smartphones. Os celulares inteligentes possuem o diferencial pela capacidade de processamento e maior conectividade. Estes dispositivos encontram-se em uma categoria entre os computadores e os chamados feature phones, que há alguns anos atrás era considerada a categoria mais popular (TECHTUDO, 2012). Os smartphones além de contemplarem todas as funções de um feature phone possuem um processador semelhante a de um computador. Seu dispositivo de entrada mudou também em relação aos feature phones, nos smartphones o dispositivo de entrada é o touchscreen. Em 2014 foram vendidas 1,2 bilhões de unidades de smartphones, representando um crescimento de 29,6% em relação ao ano anterior (TECMUNDO, 2015). Destes smartphones, as plataformas predominantes são Android e ios (FOLHA, 2014). Com este aumento significativo nas vendas reforça-se a popularidade da tecnologia e intensifica a necessidade de pesquisa nesta área, para que seja possível obter ainda mais benefícios de suas funcionalidades. É importante considerar o ambiente onde serão usados os dispositivos, pois são diferentes dos ambientes onde são utilizados os computadores pessoais. Uma das vantagem dos smartphones é que, por serem dispositivos portáteis, podem ser usados em movimento, em locais com muito barulho, com pouca ou muita luminosidade (SALAZAR et al, 2012). Os apps para smartphone abrangem as mais variadas áreas do interesse humano. Desde artes, jogos e entretenimento até funcionalidades mais complexas e robustas, dentre elas o cuidado com a saúde. É possível, por exemplo, utilizar estes apps para consultar remédios, relatar frequência de 11

doenças do paciente e olhar resultado de exames. Os aplicativos na área da saúde podem ter perfis de usuários variados: médicos, pacientes e técnicos da área. A telemedicina, é a oferta dos serviços ligados aos cuidados com a saúde à distância. Estes serviços são oferecidos por profissionais da área da saúde através da tecnologia da informação (LOPES et al, 2005). Para a telemedicina estes aplicativos podem ser uma maneira de encurtar a distância entre os profissionais e seus pacientes. Podem ser utilizados, por exemplo, para facilitar o acompanhamento de pacientes que necessitam de monitoramento de glicemia, pressão arterial, enxaquecas, etc. É muito importante que estes aplicativos em smartphones sejam eficientes e eficazes durante o uso e que ofereçam uma experiência agradável ao usuário, caso contrário, o atendimento de um profissional da saúde pode ser prejudicado. A eficiência, eficácia e satisfação no uso significam uma boa usabilidade para o usuário (INOSTROZA, 2013). Usabilidade é a "medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso", (ISO 9241). A relação que se estabelece entre o usuário, tarefa, interface, equipamento e demais aspectos do sistema refere-se à usabilidade. Uma forma para medir a usabilidade é utilizando heurísticas de usabilidade (PREECE, 2005), que são um conjunto de regras gerais que descrevem propriedades comuns em interfaces usáveis devido ao conhecimento de aspectos psicológicos computacionais e sociológicos dos domínios do problema. Exemplos típicos incluem liberdade e controle do usuário, prevenção de erros e consistência, etc. (NIELSEN, 1994). Estas regras são utilizadas para guiar o design de interface e também para avaliar a usabilidade. Para facilitar a sua aplicação em avaliações heurísticas, estas são decompostas na forma de checklists visando indicar o grau de usabilidade. As avaliações heurísticas são uma forma rápida e de baixo custo de validar a usabilidade, na qual um pequeno grupo de especialistas busca identificar problemas na interface de aplicação com heurísticas pré-definidas 12

que determinam o que uma interface deve possuir para ter uma boa usabilidade (NIELSEN, 1994). As heurísticas de usabilidade estão presentes em vários conjuntos distintos dentro da área da engenharia de usabilidade. Sua maioria visa sistemas desktop, como as 10 heurísticas de Nielsen (1994) ou as 8 regras de ouro do Shneiderman (2004). Levando em consideração as diferenças nas características de smartphones assume-se que estes conjuntos de heurísticas mais tradicionais precisam ser customizados para este dispositivo específico. Nesse sentido, foram propostos alguns conjuntos de heurísticas de usabilidade para dispositivos móveis (TARASEWICH, 2004), (BERTINI et al, 2006), (GRESSE et al, 2014). Além disso, considerando as especificidades dos aplicativos em relação ao tipo de informação que disponibilizam e ações que envolvem, assume-se que também é necessário customizar esses conjuntos de heurísticas de acordo com o domínio da aplicação. Dentre os conjuntos de heurísticas, voltados para domínios específicos destaca-se o MATcH-Med (LACERDA et al, 2015), um conjunto de heurísticas de Nielsen adaptadas para dispositivos móveis, além de algumas outras propostas especificamente para apps de saúde. Para facilitar a avaliação heurística estas foram decompostas em uma série de itens, operacionalizados através de um checklist. 1.1. Problema A validade em termos da confiabilidade destas heurísticas é importante, porque tanto as heurísticas quanto o checklist são uma forma indireta de medição de usabilidade. Se assume que quanto melhor a conformidade do design de interface com as heurísticas de usabilidade, melhor o seu grau de usabilidade. Consequentemente, o uso de heurísticas incorretas em avaliações acarreta a identificação de problemas inexistentes ou a omissão de detecção de erros existentes. Chegando a um resultado errado na avaliação heurística pode então levar a um esforço de correção do design de interface errada por consequência. Inferindo o grau de usabilidade a partir da conformidade com as 13

heurísticas e não medindo o grau de dados coletados em testes de usabilidade com usuários reais utilizando o sistema (ANDRADE, 2007). Sendo assim a validade das heurísticas/checklist representa uma grande importância na qualidade destas avaliações. Estes quando bem elaborados devem reproduzir resultados se aproximando do grau de precisão de um teste usabilidade em termos de correção e completude. O presente trabalho pretende analisar a seguinte pergunta de pesquisa: Os resultados de uma avaliação heurística usando o conjunto de heurísticas/checklist de usabilidade para smartphones MATcH-Med correspondem com resultados de testes de usabilidade obtidos com usuários reais? 1.2 Objetivo Objetivo Geral O objetivo geral deste trabalho e validar as heurísticas de usabilidade, o conjunto de heurísticas e checklist MATcH-Med, customizadas para apps de saúde em smartphones em relação à confiabilidade. Será realizado um estudo comparativo onde são realizadas avaliações heurísticas utilizando o MATcH-Med e uma série de testes de usabilidade referente aos mesmos aplicativos para smartphones em aplicativos voltados a área da saúde. Durante as avaliações são coletados dados sistematicamente em relação a usabilidade dos aplicativos que são comparados para analisar a validade das heurísticas/checklist. Assume-se que quando a avaliação o heurística indica boa usabilidade, o esperado é que deve-se encontrar um resultado semelhante nos testes de usabilidade. Objetivos Específicos. Os objetivos específicos são: 14

O1. Analisar a teoria da área de usabilidade em termos de heurísticas de usabilidade focando em smartphones na área da saúde; O2. Analisar o estado da arte em relação às avaliações/validação de heurísticas de usabilidade em geral e para smartphones; O3. Comparar os resultados obtidos através do MATcH-Med para usabilidade de smartphones por meio de um estudo de caso comparativo (avaliações heurísticas realizadas por especialistas com uma série de testes de usabilidade com usuários finais de aplicativos da área da saúde). Limites O presente trabalho possui as seguintes limitações: É focado na avaliação do MATcH-Med para medir a usabilidade apps de smartphones; A avaliação é realizada somente em smartphones que possuam sistema operacional Android ou ios; São utilizadas para realização destes testes aplicações com enfoque em saúde. 1.4. Método de Pesquisa A metodologia de desenvolvimento deste trabalho e dividida em quatro etapas: Etapa 1 - Fundamentação teórica: É realizada uma análise de literatura na área de IHC em geral e posteriormente enfatizando a área de heurísticas de usabilidade para smartphones. Atividade 1.1: Analisar a área de Interface/Interações Humano- Computador, Engenharia de Usabilidade, Heurísticas de Usabilidade; Atividade 1.2: Analisar a área de Smartphones; Atividade 1.3: Analisar a área de aplicativos para saúde. 15

Etapa 2 - Análise do estado da arte: O estado da arte é analisado em relação a avaliação de heurísticas de usabilidade existentes para o design de interface para smartphones na área de saúde. Para esta etapa é utilizada a técnica de revisão sistema tica de literatura (KITCHENHAM, 2007). Atividade 2.1: Analisar/revisar o estado da arte realizado pelo GQS; Atividade 2.1: Definir a revisão sistema tica da literatura; Atividade 2.2: Executar a revisão sistema tica da literatura; Atividade 2.3: Analisar e interpretar as informações extraídas; Atividade 2.4: Documentar e discutir dos resultados. Etapa 3 - Nessa etapa é realizado o estudo empírico. Definição do objetivo e design do estudo. São realizadas avaliações dos aplicativos para smartphones para plataformas ios ou Android, sendo testes de usabilidade de forma remota e também em laboratório em escala menor. Atividade 3.1: Definir o estudo; Atividade 3.2: Submeter o projeto ao CEPSH; Atividade 3.3: Realizar as avaliações heurísticas usando MATcH- Med (os dados coletados serão utilizados também para a seleção dos aplicativos); Atividade 3.4: Executar os testes de usabilidade; Atividade 3.4.1: Executar os testes de usabilidade remota; Atividade 3.4.2: Executar os testes de usabilidade presencialmente; Atividade 4.5: Analisar os resultados das avaliações heurísticas; Atividade 4.6: Comparar resultados. 16

2. Fundamentação Teórica Neste capítulo são abordados os conceitos e definições teóricas utilizados para o desenvolvimento deste trabalho, como interface/interação humano-computador, engenharia de usabilidade, heurísticas de usabilidade, smartphones e a área de aplicativos para saúde. 2.1. Interface/Interação Humano-Computador Interação Humano-Computador surgiu no início dos anos 80 como uma especialidade na área da computação científica que considerava fatores humanos no desenvolvimento de sistemas. Percebido sua importância, o estudo de IHC foi crescendo constantemente durante as últimas três décadas, atraindo profissionais de diversas especialidades e incorporando outras abordagens e novos conceitos. (CARROLL, 2013). Esta área se preocupa com o design, a avaliação e a implementação de sistemas computacionais interativos para uso humano e com o estudo de fenômenos importantes que o rodeiam (ACM SIGCHI, 1992). IHC se refere ao design de sistemas computacionais que auxiliam as pessoas a executarem suas tarefas de forma produtiva e segura, com grande importância no desenvolvimento de qualquer sistema. A interação é o processo da comunicação entre o usuário e o sistema, e a interface é o meio pelo qual o usuário se comunica com o sistema computacional, por onde entra em contato para ativar suas ações e esperar os resultados desejados, e para assim definir os próximos passos (PREECE, 2005). Um projeto de sistema interativo, deve ter como preocupação a qualidade de uso associada à interação do usuário com a interface. Relacionado a esta qualidade, a usabilidade foi a primeira propriedade definida que leva em consideração a facilidade e eficiência com a qual o usuário consegue usar um sistema computacional (PRATES et al, 2007). 17

2.1.1. Engenharia de Usabilidade Neste trabalho é utilizada a definição da ISO 9241, onde é explicada assim: Usabilidade é definida como uma medida em que um produto pode ser usado por usuários específicos com efetividade, eficiência e satisfação em um contexto específico. Eficácia é a integridade com a qual o usuário consegue atingir determinados objetivos; eficiência é a relação entre exatidão e integridade com o qual os usuários atingem o determinado objetivo e os recursos gastos para atingi-los; satisfação é o conforto dos usuários ao utilizar o sistema (FROKJAER et al, 2010). Possuindo como foco as necessidades e exigências do usuário para aplicação de usabilidade, o design centrado no ser humano é uma abordagem para o desenvolvimento de sistemas interativos que visa torná-los utilizáveis e úteis. Esta abordagem aumenta a eficácia e eficiência, melhora o bem-estar e a satisfação dos usuários, a acessibilidade e sustentabilidade e neutraliza possíveis efeitos adversos (ISO 9241). O objetivo da engenharia de usabilidade (Figura 1) é justamente garantir que as três qualidades essenciais (eficácia, eficiência e satisfação) estejam presentes no sistema (FAULKNER et al, 200). Figura 1 - Definição de usabilidade Fonte: ISSO 9241 18

Para assegurar as boas práticas da usabilidade tipicamente são realizadas avaliações de usabilidade. Existem diversas técnicas de avaliação variando de uma avaliação informal, avaliações analíticas com base em modelos até testes de usabilidade com representantes da classe de usuários (SHACKEL et al, 1991). Entre estas, as avaliações analíticas são as que podem ser feitas com baixo custo sendo o foco deste trabalho e são detalhados na próxima seção. 2.2. Avaliação Analítica Métodos analíticos são aqueles nos quais avaliadores aplicam técnicas para coletar dados e assim avaliar a usabilidade sem a necessidade de envolver usuários neste tipo de avaliação. Os principais objetivos com este método são a identificação de problemas de usabilidade e a seleção de problemas que devem ser corrigidos (NIELSEN, 1994), com isso é possível analisar os possíveis problemas e melhorar a usabilidade (PRATES et al, 2007). Existem diversos tipos de avaliações analíticas, uma delas é a avaliação heurística. A avaliação heurística é feita através de um conjunto de heurísticas (princípios/regras) que visa encontrar problemas de usabilidade (PRATES et al, 2007). Deve-se definir o grupo de 3 a 5 especialistas, que serão os avaliadores, considerando suas experiências. É recomendado que o avaliador percorra a aplicação ao menos duas vezes antes de iniciar a análise para se familiarizar com suas características. Cada avaliador deve fazer sua avaliação individualmente, evitando assim de ser influenciado por comentários de outros especialistas. Durante o percurso o avaliador deve identificar problemas de usabilidade, associando com uma determinada heurística (ANDRADE, 2007). Ao fazer o levantamento dos problemas, pode-se levantar muitos problemas de usabilidade, o que é uma característica do método. Porém devese considerar a importância do problema para a usabilidade da interface. As vezes alguns problemas levantados podem acontecer por motivos específicos. Assim, um problema pode ser detectado no sistema de formas diferentes: em 19

um único local da interface; em dois ou mais locais; como problema de estrutura geral da interface; como um item obrigatório que está ausente. Esse levantamento e mais outras considerações vão determinar a gravidade do problema (ANDRADE, 2007). 2.2.1. Avaliação Heurística A avaliação heurística é uma técnica da engenharia de usabilidade eficaz para encontrar diversos tipos de problemas em interfaces de sistemas, para que possa atender parte do processo de design interativo. As heurísticas de usabilidade são definidas como um conjunto de regras gerais que descrevem propriedades comuns em interfaces usáveis derivado do conhecimento de aspectos psicológicos, computacionais e sociológicos do domínio do problema (NIELSEN, 1994). Existem diversos conjuntos de heurísticas, sendo aquele proposto por Nielsen (1994) um dos mais populares, o qual é apresentado a seguir: 1. Visibilidade do status do sistema: O sistema deve sempre manter o usuário informado sobre o que está acontecendo; 2. Semelhança entre o sistema e o mundo real: O sistema deve seguir as convenções do mundo real, trazendo as informações aparecerem de uma forma lógica e natural; 3. Controle e liberdade: Deve existir a possibilidade do usuário sair do estado em que se encontra, ou retomar facilmente ao estado anterior; 4. Consistência e padrões: Seguir convenções, indicar ações iguais de maneira similar e utilizar o mesmo tipo de linguagem em toda a interface; 5. Prevenção de erros: Design que evite que problemas ocorram, além de boas mensagens de erro; 6. Reconhecimento ao invés de recordação: Utilizar símbolos com contexto e em lugares coerentes para que o usuário entenda facilmente; 7. Flexibilidade e eficiência de uso: Permitir configuração de ações frequentes; 20

8. Design minimalista: Mensagens de diálogos não devem conter informações irrelevantes. Informações a mais conflitam com a visibilidade; 9. Ajudar o reconhecimento, diagnóstico e recuperação de erros: Mensagens de erros devem ser claras e objetivas, devem indicar o problema com precisão e sugerir uma solução; 10. Ajuda e documentação: Qualquer informação deve ser fácil de pesquisar e deve ser focada na tarefa do usuário. Com o intuito de realizar a avaliação heurística, são definidos listas de verificação (ou checklists) que permitem o levantamento dos dados durante a avaliação. Os checklists tem como base as heurísticas e permitem uma boa análise da usabilidade (SALAZAR et al, 2013). Existem muitos conjuntos de heurísticas tradicionais que foram criados inicialmente para sistemas desktop. Outro conjunto de heurística reconhecido são as 8 regras de Ouro de Design de Interface de Shneiderman (1998). O autor desenvolveu este conjunto de heurísticas a partir de sua experiência na computação e é possível aplicar na maioria dos sistemas com interações humano-computador. Possui semelhança com as heurísticas de Nielsen, assim reforçando os conceitos para o desenvolvimento de interfaces. Estes conjuntos aparentemente precisam ser customizados para certos tipos de aplicações como learning systems (ARDITO et al, 2006), e-commerce (PETRE et al, 2011), e/ou para determinados dispositivos como TV digital (SOLANO et al, 2011), etc. Para aplicativos de celulares também não é diferente. Necessita-se da customização das heurísticas existentes para poder avaliar a usabilidade. Atualmente existem várias customizações deste tipo, conforme pode ser visto em Longoria et al (2004), Bertini et al (2006), Billi et al (2010), Lacerda et al (2015). 2.2.1.1. Heurísticas de usabilidade na área de saúde para dispositivos móveis 21

Com a falta de heurísticas de usabilidade para dispositivos móveis na área da saúde, o Grupo de Qualidade de Software (GQS) elaborou um conjunto de heurísticas, o MATcH-Med (Anexo A), para descobrir problemas de usabilidade para estes apps. A área contemplada é a mostrada na Figura 2. Figura 2 - Foco do MATcH-Med Fonte: YEN, 2010 (Adaptado) A primeira versão do MATcH-Med compreende os seguintes princípios: Visibilidade do status do aplicativo; Correspondência entre o aplicativo e o mundo real; Controle e liberdade do usuário; Consistência e padrões; Prevenção de erros; Reconhecimento em vez de lembrança; Eficiência de uso; Estética e design minimalista; Minimizar interação homem/dispositivo; Interação física e ergonomia; Leiturabilidade e visualização rápida; Workflow. O conjunto de heurísticas e checklist foi adaptado a partir das 10 heurísticas de Nielsen (1994), onde para cada heurística há um conjunto de perguntas que possuem uma escala de resposta com 3 opções: Sim (o app atende o objetivo), Não (o app não atende o objetivo) e Não se aplica (a questão avaliada não se aplica). 22

Neste trabalho será feita a avaliação do MATcH-Med através da aplicação do conjunto de heurísticas com a comparação de testes de usabilidades. 2.3. Dispositivos Móveis - Smartphones A tradução literal de smartphone e um telefone inteligente, celular e computador de mão que criou a maior revolução da tecnologia desde a internet. Um smartphone consegue fazer tudo que um computador pessoal faz e um pouco mais se for levar em conta sua mobilidade. Smartphone combina celular, acesso à internet, acesso a e-mail, música, vídeos, câmera e filmadora, GPS, busca por voz, entre outros recursos. Com essa grande variedade e praticidade os smartphones se tornaram mais pessoais do que os próprios computadores pessoais, pois está com o usuário a maioria do tempo, e onde estiver (PC MAG, 2014). A quantidade de usuários de smartphones vem aumentando gradativamente ao passar dos últimos anos. No Brasil o crescimento das vendas de smartphones está aumentando cada vez mais, enquanto que a de celulares tradicionais vem diminuindo neste mesmo período. No ano de 2014, foram vendidos 54.5 milhões de smartphones, uma alta de 55% em comparação com 2013 (IDC Brasil, 2015). Tabela 1 - Resultados anuais das vendas no Brasil de celulares e smartphones Fonte: IDC Brasil Tipo de dispositivo 2011 2012 2013 2014 Celulares tradicionais (em milhões) Smartphones (em milhões) Total de aparelhos (em milhões) 58,0 43,5 30,5 15,8 9,1 16,0 35,2 54,5 67,1 59,2 65,7 70,3 % Smartphones/Cel. 13,6% 26,8% 53,6% 77,5% 23

O tempo que o usuário passa utilizando o smartphone é considerável, a média mundial é de mais de uma hora por dia. Para 10,7% da população o smartphone é o principal meio de acesso a internet e para 53,9% é a segunda opção. Em relação as buscas feitas no dispositivo, 77% são realizadas em casa ou no trabalho, 23% acontece com o usua rio em movimento (PACO S, 2014). Os sistemas operacionais de smartphones mais utilizados são: o Android, do Google, e o ios, utilizado apenas por aparelhos da Apple. (TECHTUDO, 2012). Figura 3 - Modelos de smartphones Fonte: http://www.apple.com/,http://www.motorola.com/, E juntas estas duas plataformas possuem o maior número de usuários ativos e maios número de apps disponíveis (TECMUNDO, 2014). Figura 4 - Plataformas mais utilizadas Fonte: http://www.tecmundo.com.br/sistema-operacional/60596-ios-android-windows-phone-numeros-gigantescomparados-infografico.htm 24

Com a comparação realizada na Tabela 13, é possível observar que smartphones e computadores desktop possuem diversas características diferentes. Tabela 2 - Comparação de especificações técnicas entre smartphone e desktop Fonte: http://www.lge.com/, http://info.abril.com.br/reviews/smartphones/lg-nexus-4-1.shtml, http://www.americanas.com.br/ Especificações Técnicas Smartphone Nexus 4 Computador Desktop Típico Tamanho da Tela 4.7 19.5 Resolução 1280 x 768 1600 x 900 Principal dispositivo de entrada Própria tela (teclado virtual touchscreen) Mouse e Teclado Touchscreen Sim Não Dispositivo Portátil Sim Não Sensores Acelerômetro; Giroscópio; Barômetro; Sensor de luminosidade; Bússola. Não Os smartphones possuem diversas funcionalidades extras que podem servir como entradas de dados alternativas além da própria tela. O GPS (sistema de posicionamento global) pode relatar a posição no espaço em que o aparelho se encontra. A câmera reproduz diversas informações ao tirar uma foto como: data, local, qualidade. E outro mecanismo que pode gerar dados de entrada é o acelerômetro, que avalia a posição relativa do aparelho. Esse tipo de dispositivo utiliza o touchscreen, tecnologia diferente do que os antes populares feature phones. Nos aparelhos que utilizam o touchscreen, os botões diminuíram ou em alguns casos até desapareceram por total, e a tela aumentou em geral aumentou de tamanho. Porém para poder pinçar objetos e redimensiona-los, selecionar objetos ou selecionar um campo para digitar, é necessário a utilização correta ao movimentar os dedos sob a tela. Para cada uma dessas interações há movimentos específicos. Mesmo com a tela aumentando em relação aos aparelhos móveis que estávamos acostumados, a tela ainda é pequena em 25

alguns casos como para acessar sites que não estão adaptados as dimensões dos dispositivos móveis (RODRIGUES, 2014). Gestos com toques na tela como tocar levemente, tocar duas vezes, pressionar, permitem: abrir ou selecionar opções na tela, exibir funcionalidades, ajustar o zoom, etc. Figura 5 - Gestos com múltiplos toques Fonte: http://gestureworks.com Gestos para pinçar e alastrar são utilizados para: ampliar, diminuir ou ajustar a visualização da tela (RODRIGUES, 2014). Figura 6 - Gestos de escala Fonte: http://gestureworks.com O uso de dispositivos portáteis vem modificando a maneira como as pessoas interagem com informações e serviços, que antes eram acessados praticamente por computadores desktop. Oferecendo facilidades de acesso em qualquer lugar e a qualquer momento, colocando assim novos desafios à usabilidade (WANGENHEIM et al, 2014). Há de se entender que a dinâmica do contexto do usuário é diferente para a utilização de computadores de mesa e de smartphones. Enquanto o computador de mesa é utilizado para tarefas que exigem maior concentração, durante um maior período de tempo, os smartphones são utilizados para a utilização de aplicações mais rápidas, aonde se necessita do resultado em um curto período. E também, este usuário de 26

dispositivo móvel geralmente está inserido em um ambiente com diversas interações ocorrendo simultaneamente, dividindo o uso do equipamento com outras atividades. Tabela 3 - Aspectos da interação móvel em relação aos da interação fixa Fonte: Cybis (2007) Aspectos da Interação Interação Fixa Interação Móvel Ambiente Normalmente interno, pouca variação Interno e externo, variação frequente Tempo de duração da interação Médio a longo Médio a curto Mobilidade do usuário Baixa, normalmente sentado Alta, qualquer posição e movimentos do corpo Hierarquia das tarefas A interação é a tarefa primária A interação pode ser tarefa secundária Manipulação de outros objetos que não estão relacionados à interação Estilos de interação Rara Alta dependência da manipulação direta; outros estilos são complementares Frequente Seleção de menus, formulários, apoiados por manipulação direta e linguagem natural A diversidade é grande em relação ao tipo de conteúdo pesquisado pelos usuários. É possível notar na Figura 7 que não há uma preferência de pesquisa expressiva para somente uma área, e que a pesquisa é feita em diversos segmentos. O usuário utiliza seu dispositivo para tratar dos mais diversos assuntos. Figura 7 - Informações buscadas na internet Fonte: http://pt.slideshare.net/alprim/qual-o-perfil-dos-usuarios-de-dispositivos-moveis-no-brasil 27

Porém como para qualquer computador, o que dá a vida ao hardware é o software, e existem diversos aplicativos móveis para smartphones, podendo ser gratuitos ou pagos (PC MAG, 2014). Vale destacar a diferença entre sites mobile e aplicativos. Sites mobile rodam no browser do aparelho, é um site com formato adequado para dispositivos móveis, já aplicativos para celular são softwares que necessitam ser instalados no smartphone e rodam diretamente no sistema operacional (KOERBEL, 2014). Neste trabalho trataremos especificamente de aplicativos de smartphones. Aplicativos são o diferencial do celular, tornando uma peça multimídia útil para diversas funcionalidades e necessidades, ou não (TECHTUDO, 2011). Aplicativos são programas que rodam em smartphones ou em algum dispositivo móvel. Com eles os usuários podem realizar atividades direcionadas ao contexto que desejam. Hoje em dia os usuários buscam aplicativos para facilitar suas atividades do dia-a-dia e que satisfaçam suas necessidades (BUSINESS NEWS DAILY, 2014). 2.4. Área de aplicativos para saúde Com o aumento da população mundial e considerando o envelhecimento da população, a medicina possui cada vez mais uma maior responsabilidade. As preocupações são globais ao se pensar em lidar com doenças graves ou doenças crônicas, por exemplo. Grandes aliados para essas preocupações são a prevenção e o diagnóstico precoce com monitorização das rotinas médicas (KHORAKHUN, 2014). No entanto é um grande desafio acompanhar a população com recursos limitados. Utilizando a tecnologia é possível com o uso de dispositivos móveis se comunicar para monitorar e recolher dados, reduzindo assim custos com a saúde, melhorando o atendimento e consequentemente melhorando a qualidade de vida dos pacientes (KHORAKHUN, 2014). Neste contexto, com o rápido crescimento de smartphones, abriu-se uma gama de oportunidades para diversas áreas. Dentre estas o uso de 28

aplicativos de assistência médica. Tanto para uso pessoal, como ferramenta profissional para médicos (FRANKO, 2011). Os dispositivos móveis em conjunto com a internet e mídias sociais fizeram com que a utilização da tecnologia nesta área crescesse consideravelmente com diversos usos, desde prevenção de doenças como manutenção de tratamento (ESTRIN et al, 2010). Pela facilidade e praticidade que o uso desses aplicativos trás, a tendência é que o uso de aplicativos na área da saúde aumente cada vez mais (FRANKO, 2011). Para essa nova tecnologia na área de saúde foi definido um novo conceito: mhealth. Este é um termo que se aplica para hardware ou software em dispositivos móveis e que assim disponibiliza cuidados a saúde (SILBERMAN et al, 2012). Observamos que estas aplicações mhealth estão ficando cada vez mais populares. É estimado que no ano de 2015, 30% dos donos de smartphones no mundo, tenham aplicativos de saúde em seu dispositivo. Dos aplicativos disponíveis nessa área cerca de 57% são para uso próprio, enquanto que 43% são dedicados para profissionais da saúde (JAHNS, 2010). Figura 8 - Usuários de smartphones com aplicativos mhealth Fonte: http://research2guidance.com/500m-people-will-be-using-healthcare-mobile-applications-in-2015/ Houve uma mudança de paradigma com a inserção de mhealth em nosso cotidiano. Antes somente profissionais da área de saúde possuíam acesso aos sistemas, e o máximo de contato que os pacientes tinham era acesso a sites dos médicos, ou de hospitais. Hoje com esse novo modelo, o paciente fica mais livre para ter acesso aos seus próprios dados, podendo 29

controla-los, acompanha-los e compartilha-los se necessário (KHORAKHUN, 2014). Existe uma grande variedade de tipos de aplicativos na área da saúde. Com estes aplicativos é possível facilitar diversas atividades, como: acessar laudos médicos, monitoramento cardíaco, consulta a bula de remédios, controle de medicação que deve ser ingerida, consulta a características e diagnósticos de doenças, etc. O uso destes aplicativos não se restringem somente aos médicos e pacientes. Enfermeiras, técnicos, assistentes sociais, órgãos regulamentadores, entre outros, podem utilizar aplicações mhealth para facilitar seu trabalho (PWC, 2014). Para uso de médicos os aplicativos podem auxiliar em diversas tarefas como avaliação de sintomas, psicoeducação, localização de recursos, acompanhamento do progresso médico entre outros (LUXTON, 2011). Já para pacientes, os aplicativos da área de saúde facilitam o acesso a informação e ajudam no controle de sua saúde. Com esses apps os usuários podem realizar tarefas como: acompanhamento de sua rotina de exercícios, controle de dietas, acervo de receitas saudáveis, a consulta de medicamentos (HONGKIAT, 2012). Figura 9 - Apps da área de saúde Fonte: http://www.imedicalapps.com/, https://play.google.com/store/apps/ Essa variedade também é notada em relação as disciplinas de medicina que podem se beneficiar destas aplicações. Existem aplicativos na área de 30

cardiologia, geriatria, pediatria, neurologia, dermatologia, oncologia, oftalmologia, entre outras. Com esta grande relevância, os aplicativos na área da saúde devem possuir maior cuidado em sua usabilidade (Figura 10). A eficácia e eficiência são percepções objetivas da usabilidade, enquanto a satisfação é subjetiva. A partir da satisfação é possível perceber a facilidade de uso e a sua utilidade. As interfaces devem ser bem planejadas; as informações devem estar acessíveis aos usuários; deve-se tomar mais cuidado com a prevenção de erros na interface, etc. (YEN, 2010). Figura 10 - Usabilidade - mhealth Fonte: YEN, 2010 (Adaptado) 31

3. Estado da Arte Nesta seção é apresentado em qual estado se encontra os trabalhos acadêmicos e pesquisas relacionadas a avaliação e/ou validação de heurísticas de usabilidade para aplicativos de saúde em smartphones. O estado da arte é levantado por meio de uma revisão sistemática da literatura utilizando o procedimento proposto pela Kitchenham (2007). O objetivo desta pesquisa é levantar o estado da arte em relação de como atualmente heurísticas e checklists de usabilidade customizada para smartphone na área de saúde são validados (em relação à confiabilidade). 3.1. Definição da busca O objetivo é levantar informações sobre a avaliação e/ou validação de heurísticas de usabilidade para aplicativos de saúde em smartphones. Nesta pesquisa são considerados trabalhos publicados em bibliotecas digitais e em bases de dados no domínio Google Scholar, uma ferramenta de busca que fornece de uma maneira simples pesquisas de literatura acadêmica de uma forma abrangente. No Google Scholar é possível pesquisar por várias disciplinas e fontes em uma só ferramenta (Google, 2011). São utilizados somente artigos acessíveis via portal CAPES. Como o primeiro smartphone foi criado no ano de 2007, são considerados trabalhos a partir do ano de 2007 até o ano 2015. Inicialmente a pesquisa foi focada exclusivamente na área de mhealth. Porém como basicamente não foi encontrado nenhum trabalho com este foco especifico, a pesquisa foi ampliada para qualquer área de aplicação. Os termos de buscas pesquisados estão explicitados na Tabela 4, na qual os termos de busca são apresentados na primeira coluna e seus respectivos sinônimos na segunda. Levando em consideração que artigos relevantes geralmente são traduzidos para o inglês, os termos utilizados serão pesquisados somente em inglês, e são levados em conta também os respectivos sinônimos dos termos para que a busca possa ser ampliada. 32

Termo validation usability heuristics smartphone healthcare Tabela 4 - Termos de busca Sinônimos evaluation, acceptance usability principle, usability checklist mobile phone, cell phone, mobile, touchscreen mobile devices, touchscreen phone telemedicine, health, e-health, mhealth Critérios de inclusão/exclusão: Artigos que apresentam uma avaliação e/ou validação de heurísticas de usabilidade em smartphones na área de saúde (e ampliando em qualquer área de aplicação) serão considerados; Artigos que apresentam as avaliações e/ou validações também em outros dispositivos touchscreen, como tablet, também serão considerados; Artigos que apresentam modelos de validação de heurísticas de usabilidade também serão considerados; Artigos que descrevem repasses de heurísticas de usabilidade serão desconsiderados; Artigos que avaliam a usabilidade de apps serão desconsiderados; Artigos que descrevam somente a aplicação de uma avaliação heurística ou teste de usabilidade ou qualquer outro tipo de avaliação a um determinado sistema serão desconsiderados; Artigos não voltados para a avaliação de apps em smartphones serão desconsiderados. 3.2. Execução da busca A busca foi realizada em junho de 2015. Na Tabela 5 é mostrado o resultado das pesquisas realizadas no Google Scholar com os termos de busca definidos considerando somente artigos entre os anos de 2007 e 2015. Tabela 5 - Resultados das pesquisas realizadas Nº String de busca Google Scholar Potencialmente Relevantes 33

1 (validation AND usability heuristics AND smartphone AND healthcare) published between 2007 and 2015 2 ((validation OR evaluation) AND ("usability heuristics" OR usability principle OR usability checklist ) AND smartphone AND (healthcare OR telemedicine)) published between 2007 and 2015 3 (validation AND ("usability heuristics" OR usability principle OR usability checklist ) AND (smartphone OR mobile phone OR cell phone ) AND (healthcare OR telemedicine OR medicine)) published between 2007 and 2015 4 ((validation OR evaluation) AND ("usability heuristics" OR usability principle OR usability checklist ) AND (smartphone OR mobile phone OR cell phone ) AND (healthcare OR telemedicine OR medicine)) published between 2007 and 2015 5 ((validation OR evaluation) AND ("usability heuristics" OR usability principle OR usability checklist ) AND (smartphone OR mobile phone OR cell phone )) published between 2007 and 2015 6 (validation AND ("usability heuristics" OR usability principle OR usability checklist ) AND (smartphone OR mobile phone OR cell phone )) published between 2007 and 2015 7 ((acceptance OR validation OR evaluation) AND ("usability heuristics" OR usability principle OR usability checklist ) AND (smartphone OR mobile phone OR cell phone )) published between 2007 and 2015 8 (acceptance AND ("usability heuristics" OR usability principle OR usability checklist ) AND (smartphone OR mobile phone OR cell phone )) published between 2007 and 2015 14 resultados 3 analisados 16 resultados 4 analisados 13 resultados 3 analisados 17 resultados 5 analisados 38 resultados 8 analisados 26 resultados 7 analisados 38 resultados 4 analisados 31 resultados 3 analisados Em um primeiro passo, foi analisado brevemente os resultados das buscas a partir do resumo. Como resultado foram identificados 37 artigos potencialmente relevantes. Em um segundo passo, analisando estes em detalhe pelo artigo na integra, se identificou dois artigos relevantes: Tablet application GUI usability checklist (XU, 2012); Usability heuristics for touchscreen-based mobile devices (INOSTROZA et al, 2013). Levando em consideração também trabalhos anteriores realizados pelo GQS/INCoD/INE/UFSC em relação a avaliação de heurísticas de usabilidade, foram acrescentados mais dois trabalhos (WITT, 2013), (FACCIO, 2014). 34

3.3. Extração da informação Na tabela 6 foram inseridos os artigos relevantes encontrados na pesquisa. Foram extraídos somente as informações relevantes para esta pesquisa, como: heurísticas, qual tipo de dispositivo que foi estudado, a área de aplicação, comparação da avaliação heurística com teste de usabilidade, as perguntas de pesquisa utilizadas no estudo, quantas avaliações heurísticas foram realizadas e com quantos participantes, quantos aplicativos foram testes de usabilidade e quantos participantes, assim como resultado de cada um dos estudos. Tabela 6 - Extração das informações dos artigos relevantes Referência Heurísticas Como foi feito a XU, 2012 INOSTROZA et al, 2012 validação Nome Dispositivo Área de aplicação Comparação da Avaliação Heurística com Teste de Usabilidade GUI Usability Checklist Touchscreen- Based Mobile Devices Heuristics Tablet Smartphone Blackberry WITT, 2013 MATcH Celulares Touchscreen FACCIO, 2014 MATcH Celulares Touchscreen Geral (Aplicativos: TED, ebay e USA Today) Sistema Operacional Blackberry Geral 1ª iteração - Geral 2ª iteração - Saúde Comparação de testes de usabilidade com o de avaliações heurísticas com o GUI Usability Checklist Comparação de resultados com as heurísticas de Nielsen com os resultados do conjunto de heurísticas proposto no estudo Avaliações heurísticas utilizando o MATcH e análise do resultado utilizando o método estatístico de Teoria de Resposta ao Item Comparação de resultados de testes de usabilidade com o resultado de avalições heurísticas do MATcH Quais fatores foram validados Perguntas de pesquisa que foram utilizadas na análise Quais fatores de usabilidade são mais importantes quando se desenvolve uma aplicação para tablet? O conceito clássico de usabilidade ainda é válido? Quais são as dimensões da nova usabilidade? Como a usabilidade pode ser medida? Como desenvolver uma melhor usabilidade? Medir o grau real de usabilidade utilizando uma escala criada no trabalho Validade do conjunto comparando com resultados dos testes Avaliação Heurística Teste de Usabilidade Resultados Quantas avaliações Quantos avaliadores Quantos aplicativos Quantos Participantes 3 4 3 3 O checklist foi considerado eficiente e com alta precisão. 5 4 (2 avaliadores utilizaram conjunto de heurística proposto e os outros 2 avaliadores utilizaram conjunto das heurísticas de Nielsen) 247 avaliações (1 avaliador por aplicativo) 9 avaliações (1 avaliador por aplicativo) - - O conjunto de heurísticas proposto teve melhor resultado do que o conjunto de heurísticas de Nielsen. Foi considerado útil, porém deve ser considerado mais testes. 5 - - O MATcH foi considerado válido para medir o grau de usabilidade dos apps para touschreen phones. 5 9 353 (cada participante avaliava somente um aplicativo) O MATcH se mostrou válido, porém se notou necessário um refinamento dos itens para que o MATcH seja mais confiável e consistente. 35

3.4. Discussão É possível notar que atualmente existem poucos estudos que relatam a validação de heurísticas de usabilidade para aplicações de smartphones na área da saúde relatadas na literatura acadêmica para aplicações de smartphones na área da saúde. Mesmo encontrando alguns artigos que propõem conjuntos de heurísticas adaptados para o contexto de dispositivos móveis, não são necessariamente realizadas validações destes novos conjuntos. Um exemplo disso é o HLO Heuristics, que utiliza dispositivos móveis da plataforma ios, para área da saúde (MONKMAN et al, 2013). Nos trabalhos relevantes notamos que existem algumas formas típicas para realizar as validações de heurísticas de usabilidade, como: 1. Benchmarking com o conjunto de heurísticas de Nielsen; 2. Análise estatística com Teoria de Resposta ao Item; 3. Comparação com testes de usabilidade. No trabalho de validação da heurística GUI Usability Checklist (XU, 2012), e no trabalho do Faccio (2014), que valida o MATcH, são feitas comparações de testes de usabilidade com os novos conjuntos de heurísticas de usabilidade propostas. Já no artigo do Inostroza (2013), em que é feita a validação do conjunto de heurísticas Touchscreen-Based Mobile Devices Heuristics, a comparação é dos resultados de avaliações realizadas utilizando as heurísticas de Nielsen com os resultados das avaliações realizadas com o conjunto de heurísticas proposto. No trabalho da Witt (2013) a validação é feita através da comparação de avaliações heurísticas. Esta técnica foi utilizada pois permite a criação de um instrumento de medição que possui uma escala padronizada e assim permite a comparabilidade dos resultados. Quanto ao tipo de dispositivo móvel, é possível notar que em três dos quatro trabalhos selecionados as heurísticas propostas são para smartphones. Somente no artigo de Xu (2012) as heurísticas propostas são para outro dispositivo móvel, o tablet, que é semelhante a um smartphone em relação a 36

seus aspectos físicos, sendo o tamanho da tela a grande diferença física entre os dois tipos de aparelho. Os fatores de validade analisados também se diferenciam nos trabalhos selecionados. No artigo do Xu (2012) é questionado quais fatores são importantes ao desenvolver a aplicação. Já no trabalho do Inostroza (2013) são realizados outros questionamentos: se o conceito clássico de usabilidade ainda é válido, quais são as dimensões da nova usabilidade, como ela pode ser medida e como desenvolver uma melhor usabilidade. No trabalho de Witt (2013) é medido o grau real de usabilidade; já no trabalho de Faccio (2014) o questionamento é a validade do conjunto ao comparar com os resultados dos testes de usabilidade. Em geral, nestes trabalhos não foi abordada uma área específica para realizar a validação. Somente o trabalho de Faccio (2014) possui uma parte do trabalho voltada especificamente para aplicativos na área da saúde. Alguns fatores podem influenciar na validade do estudo e serem consideradas ameaças a validade deste. Geralmente as revisões sistemáticas podem ser induzidas com a preferência por publicações com resultados positivos em detrimento daquelas com resultados negativos, interferindo assim no desempenho da pesquisa. Para tentar amenizar este fator, foi realizada uma busca com diversas strings de busca, e também analisados todos os resumos dos artigos encontrados. Outro fator que pode se tornar uma ameaça à validade dos estudos é o risco de descartar materiais relevantes em meio à grande quantidade de trabalhos irrelevantes. Para mitigar este risco, as buscas foram realizadas duas vezes em dias diferentes, para que nenhum artigo relevante passasse despercebido. Uma terceira ameaça à validade são os próprios termos de inclusão e exclusão, pois podem restringir a pesquisa em algumas situações, de forma a excluir possíveis trabalhos com conteúdo relevante para o estudo. E, também, podem sofrer interferência da opinião pessoal do pesquisador, ao avaliar qual trabalho condiz com os critérios de inclusão e exclusão (PATERNOSTER, 2014). Considerando estas possíveis ameaças à validade, dentre os artigos encontrados, a maioria faz estudos comparativos entre o resultado da avalição 37

heurística e os testes de usabilidade. Na maioria destes trabalhos o estudo foi focado em apenas um tipo de aparelho e a avaliação heurística realizada por especialistas ligados à área de Usabilidade. Porém, nota-se que todos os artigos encontrados pela ferramenta Google Scholar, apesar de fazerem validações de heurísticas de usabilidade, possuem uma pequena quantidade de usuários. Como exemplo podem ser citados o trabalho Style Guide Structure of Mobile Phone U (JI et al, 2006), que fez testes de usabilidade com 10 usuários, e o trabalho Heuristic Walkthrough (BERTINI et al, 2006), que utilizou 8 usuários para os testes de usabilidade, dificultando assim aferir se o checklist proposto realmente é válido, como relatado no resultado dos mesmos. Observa-se ainda que, com exceção do trabalho do Faccio, que foca a segunda iteração de testes em aplicativos de saúde, não foram encontrados estudos de validação de heurísticas focados especificamente para aplicativos na área de saúde. Mesmo com a importância dos smartphones atualmente e o crescimento exponencial de usuários, houve uma dificuldade em encontrar trabalhos com avaliações e/ou validações de heurísticas de usabilidade especificamente para este tipo de dispositivo. Ao analisar essa pesquisa do estado da arte, é possível constatar que é necessária uma validação com mais precisão para poder afirmar a eficiência de um conjunto de heurísticas de usabilidade para aplicativos na área da saúde. Por essa razão, será feita neste trabalho, a avaliação do conjunto de heurísticas MATcH-Med utilizando a comparação com testes de usabilidade afim de evidenciar se este conjunto é realmente válido. 38

4. Avaliação MATcH-Med Neste capítulo é apresentado o processo de avaliação do conjunto de heurísticas através da comparação entre avaliações heurísticas e testes de usabilidade para aplicativos na área de saúde para smartphones. 4.1. Definição do Estudo O objetivo deste trabalho é validar a confiabilidade e eficácia do MATcH- Med utilizando a comparação com o grau de usabilidade. Para isto é realizado um estudo de caso comparando os resultados de avaliações heurísticas utilizando o MATcH-Med para aferir se o checklist é válido ou não considerando a confiabilidade para aplicativos móveis de smartphones em comparação com o grau de usabilidade medido por usuários através de testes de usabilidade. Na Figura 11 é mostrado um esquema do processo de comparação. Figura 11 - Esquema do estudo comparativo 4.1.1. Avaliação heurística utilizando MATcH-Med As avaliações heurísticas são realizadas com o objetivo de avaliar a usabilidade de apps de saúde e os classificar os com um nível de usabilidade a partir da pontuação do MATcH-Med. A avaliação foi realizada por três pesquisadores do GQS/INCoD/INE/UFSC na área de usabilidade. Seguindo os seguintes passos: 39

1. Avaliação heurística em conjunto para calibrar todos os pesquisadores envolvidos na avaliação para avaliar o conjunto de heurísticas e o checklist e identificar possíveis problemas; 2. Avaliação heurística individual por pesquisador de um app (o mesmo para todos avaliadores); 3. Comparação e confronto dos resultados das avaliações heurísticas de cada pesquisador, para chegar ao mesmo entendimento e interpretação do conjunto de heurísticas e do checklist; 4. Avaliação heurística individual por pesquisador dos apps selecionados; 5. Resultado final da avaliação dos apps a partir da avaliação dos pesquisadores. 4.1.2. Teste de usabilidade utilizando SURE e SUS Os testes de usabilidade são realizados com o objetivo de medir a usabilidade por meio de dados subjetivos através de um questionário pós-teste. Para medir os dados dos testes é utilizado uma combinação de dois questionários, o SURE - Smartphone Usability Questionnaire (OLIVEIRA, 2013), um questionário com 37 itens (Anexo B) e o SUS - System Usability Scale (BROOKE, 2010), um questionário com 10 itens. O trabalho de Faccio (2014) comprova que o SURE se mostrou uma boa opção para realizar os testes de usabilidade, pois obteve um resultado satisfatório se comparado ao SUS. Com o objetivo de alcançar o maior número de participantes, os testes foram realizados de forma online e de forma presencial. Para a realização dos testes online foi utilizada a plataforma LimeSurvey (https://www.limesurvey.org), ferramenta open source para realizar pesquisas através de formulários. Para os testes que precisaram ocorrer fora do laboratório (sem o auxílio de um computador) as instruções e questionários foram impressas e entregues para os usuários. 40

Os aplicativos a serem testados pelo participante foram selecionados de forma aleatória, levando somente em conta a plataforma de seu smartphone. Os testes online seguem os seguintes passos: 1. O usuário entra no endereço disponibilizado; 2. O usuário lê e aceita o Termo de Consentimento Livre e Esclarecido; 3. O usuário responde qual plataforma é o smartphone que será utilizado no teste; 4. O sistema sorteia um dos aplicativos da plataforma informada pelo usuário; 5. O usuário realiza o download do app; 6. O usuário realiza as tarefas propostas; 7. O usuário responde o questionário pós-teste (Figura 12). Figura 12 - Extrato do questionário pós-teste online Os testes presenciais seguem os seguintes passos: 1. O aplicador explica o objetivo da pesquisa e entrega o Termo de Consentimento Livre e Esclarecido; 41

2. O aplicador do teste pergunta para o usuário qual a plataforma de seu celular; 3. O aplicador aleatoriamente escolha um app desta plataforma e entrega ao usuário uma folha com instruções de download, e tarefas do app da plataforma informada e o questionário; 4. O usuário realiza o download do app; 5. O usuário realiza as tarefas propostas; 6. O usuário responde o questionário pós-teste. E devolve o questionário ao aplicador. 4.2. Aplicativos selecionados Os aplicativos selecionados para realizar a avaliação do MATcH-Med são das plataformas Android e/ou ios, já que estas plataformas são as mais utilizadas atualmente, como citado na seção 2.3. A seleção dos aplicativos foi decidida em conjunto com os mesmos pesquisadores do GQS/INCoD/INE/UFSC que realizaram as avaliações heurísticas dos aplicativos. A seleção dos aplicativos foi realizada seguindo os critérios: Aplicativos na área da saúde; Plataforma Android ou ios; Aplicativos gratuitos; Aplicativos com número significativo de downloads; Aplicativos que não necessitam de informações bancárias do usuário. Para um aplicativo em específico (Cefaléia) que necessitava cadastro, foi criado um usuário especialmente para a realização dos testes. O login e senha foi disponibilizado juntamente com as instruções das tarefas. Nesta pesquisa foram encontrados diversos aplicativos, estes foram instalados para verificar se sua instalação e acesso eram fáceis e intuitivas. Alguns aplicativos foram removidos da lista por não apresentarem tal facilidade mínima necessária para a realização dos testes. A Tabela 7 apresenta os aplicativos selecionados. 42

Tabela 7 - Aplicativos da área da saúde selecionados Nº Resumo Aplicativo Imagem 1 Cefaléia Proposta: Diário de dores de cabeça Plataforma disponíveis para download: Android, ios Plataforma em que foi realizada o teste: Android Idioma: PT Desenvolvido por: Applausemobile LLC Considerações: Necessita cadastro 2 Farmácia Popular Proposta: Consulta medicamentos Plataforma disponíveis para download: Android, ios Plataforma em que foi realizada o teste: Android Idioma: PT Desenvolvido por: Boaz Studios, Inc. 3 FotoSkin Proposta: Prevenção de câncer de pele Plataforma disponíveis para download: Android, ios Plataforma em que foi realizada o teste: Android Idioma: PT, EN Desenvolvido por: Wake App Health SL 43

4 Meus Exames Proposta: Consulta exames médicos Plataforma disponíveis para download: Android, ios Plataforma em que foi realizada o teste: ios Idioma: PT Desenvolvido por: Universidade Federal de Santa Catarina Considerações: Necessita de protocolos de exames 5 MedSUS Proposta: Consulta medicamentos Plataforma disponíveis para download: Android, ios Plataforma em que foi realizada o teste: ios Idioma: PT Desenvolvido por: Departamento de Informática do SUS - DATASUS O estudo foi aprovado pelo Comitê de Ética em Pesquisa com Seres Humanos (CEPSH-UFSC), com o número 47998815.6.0000.0121 do Certificado de Apresentação para Apreciação Ética. O Termo de Consentimento Livre e Esclarecido (Apêndice A) é apresentado para os usuários antes do início dos testes. 4.3. Execução Os testes foram executados entre setembro e outubro de 2015. Obtevese a participação de 156 pessoas, 74 responderam o questionário de forma online e 82 usuários realizaram presencialmente. Foram realizados em torno de 30 testes para cada aplicativo escolhido. 44

Tabela 8 - Quantidade de testes por aplicativo Aplicativo Plataforma Quantidade Cefaléia Android 35 Farmácia Popular Android 32 Foto Skin Android 29 Meus Exames ios 29 MedSUS ios 31 Total: 156 A maioria dos testes presenciais foram realizados com pessoas do meio acadêmico em salas de aula cedidas por professores da UFSC em cursos como Administração, Design, Economia e Sistemas de Informação. Os perfis dos participantes dos testes online são variados como podemos notar na Tabela 9. Tabela 9 - Perfil dos participantes dos testes online Faixa Etária Quantidade Abaixo de 18 anos 1 18 a 25 anos 23 26 a 45 anos 41 46 a 60 anos 9 Escolaridade Quantidade 2º Grau completo 1 Superior Incompleto 23 Superior Completo 14 Pós-Graduação Incompleta 11 Pós-Graduação Completa 25 Sexo Quantidade Feminino 31 Masculino 43 45

4.4. Análise dos dados As respostas obtidas foram inseridas em uma planilha Excel (Figura 13) contendo o Sistema Operacional do smartphone, o aplicativo sorteado e as respostas preenchidas. Os testes incompletos foram removidos desta planilha. Ou seja, testes em que o participante desistiu durante o andamento do teste, em que o participante não respondeu todas as questões. Foram também desconsideradas da planilha respostas que não aparentavam ser válidas, como por exemplo, todas as perguntas respondidas com a mesma resposta. Figura 13 - Planilha com respostas dos questionários Com o auxílio do Profº Dr. Adriano Borgatto as respostas foram avaliadas e foi aplicado o mesmo algoritmo de análise utilizado no trabalho de Faccio (2014). Foram atribuídas notas de acordo com o resultado do algoritmo aplicado para cada teste realizado. Esta definição foi realizada com base na análise estatística utilizando a Teoria de Resposta ao Item. Assim foi possível avaliar a qualidade dos itens e sua classificação em relação à usabilidade. Com as notas calculadas, busca-se descobrir na análise se os resultados obtidos dos testes de usabilidade possuem relação com os resultados encontrados na avaliação heurística. 46