UNIVERSIDADE FEDERAL DE SANTA CATARINA DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA ARIANE TALITA WITT

Transcrição

1 UNIVERSIDADE FEDERAL DE SANTA CATARINA DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA ARIANE TALITA WITT APLICAÇÃO DA TÉCNICA ESTATÍSTICA TEORIA DA RESPOSTA AO ITEM PARA AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA DISPOSITIVOS CELULARES TOUCHSCREEN. FLORIANÓPOLIS 2013

2 Ariane Talita Witt APLICAÇÃO DA TÉCNICA ESTATÍSTICA ITEM RESPONSE THEORY PARA AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA DISPOSITIVOS CELULARES TOUCHSCREEN. Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação. Orientadora:Prof.Dr.rer.nat. Christiane Gresse von Wangenheim, PMP Coorientador : Prof. Dr. Adriano Ferreti Borgatto FLORIANÓPOLIS 2013

3 Ariane Talita Witt APLICAÇÃO DA TÉCNICA ESTATÍSTICA ITEM RESPONSE THEORY PARA AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA DISPOSITIVOS CELULARES TOUCHSCREEN. Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação. Florianópolis, 10 de junho de 2013 Profa. Christiane Gresse von Wangenheim, INE/UFSC Professora Orientadora Prof. Adriano Ferreti Borgatto INE/UFSC Professor Coorientador Prof. Paulo José Ogliari INE/UFSC Membro da Banca Examinadora

4 AGRADECIMENTOS À professora e orientadora Christiane Gresse von Wangenheim por sua dedicação, por estar sempre presente e por seu apoio. Ao professor coorientador Adriano Ferreti Borgatto, pelo apoio e sua paciência em compartilhar seus conhecimentos sobre a Teoria da Resposta ao Item. Ao professor Paulo José Ogliari, por ser um exemplo como profissional, por sua contribuição para a melhoria desse trabalho e por ter aceitado participar da banca examinadora. Aos membros do Grupo de Qualidade de Software, Juliane, Thaisa, Caroline e Laís, por todo auxílio e ajuda que permitiram a realização desse trabalho. Aos professores do Curso de Sistemas de Informação pela formação profissional proporcionada. Aos meus colegas de curso Gabriel e Danilo pelo companheirismo e amizade durante toda a trajetória acadêmica. Aos meus amigos, por todo carinho. Aos meus pais, pelo apoio incondicional, amor, compreensão e seus esforços em garantir minha qualificação profissional.

5 RESUMO WITT, Ariane Talita. Aplicação da Técnica Estatística Teoria da Resposta ao Item para avaliar um conjunto de Heurísticas de Usabilidade para dispositivos celulares touchscreen.164f. Trabalho de Conclusão de Curso (Bacharel em Sistemas de Informação) Departamento de Informática e Estatística. Universidade Federal de Santa Catarina, Florianópolis, O cenário atual é caracterizado pela presença de modernos aparelhos de celulares e o acelerado crescimento do segmento de telefonia móvel no mundo. Essas mudanças apresentam novas formas de interação, destacam-se nesse cenário os touchscreen phones, celulares que possuem a tela sensível ao toque. Os touchscreen phones apresentam novas formas de interação como voz, gestos e sensores. Além das diferenças de interação o ambiente de uso desses dispositivos também é diferenciado, por esse motivo questões de design de interface e usabilidade desses dispositivos também precisam ser analisadas. Na engenharia de usabilidade existem hoje vários conjuntos de heurísticas de usabilidade voltados, principalmente, para sistemas desktop. Mas devido as diferenças apresentadas por esses dispositivos em relação a sistemas desktop faz-se necessário analisar questões de design de interface e usabilidade desses dispositivos. É importante que esses dispositivos e seus aplicativos sejam eficientes e eficazes durante o uso e que ofereçam uma experiência agradável ao usuário. Assim estão sendo desenvolvidos no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones. Nesse contexto o presente trabalho tem como objetivo avaliar esse conjunto de heurísticas de usabilidade para dispositivos de celulares touchscreen realizando um estudo empírico onde é concretizada uma série de avaliações heurísticas utilizando o checklist para avaliação de aplicativos para dispositivos celulares touchscreen. A análise dos dados coletados aplicando a Teoria da Resposta ao Item permite identificar a relevância de cada item que compõe o checklist. Como resultado as questões de usabilidade que até então eram teóricas são discutidas sob o ponto de vista matemático da TRI. A partir da análise realizada foi possível identificar estaticamente quais itens que compõem o checklist realmente medem o mesmo traço latente. Foram eliminados do checklist 44 itens que apresentaram problemas. Restando, assim, 48 itens para compor o checklist e para construir a escala de medida do grau de usabilidade. Com base na análise, pode-se concluir que o checklist é ideal para medir aplicativos com baixa usabilidade. Palavras chave: Usabilidade. Touchscreen phones. Heurísticas de Usabilidade. Teoria da resposta ao Item.

6 LISTA DE FIGURAS Figura 1 - Uso e Contexto da Interação Humano-Computador Figura 2 Estrutura de usabilidade Figura 3 Ciclo de vida do modelo ISO/IEC Figura 4 Freqüência de recorrência de heurísticas tradicionais da Nielsen (1994) nos artigos analisados...27 Figura 5 Lista de verificação aplicada a celulares touchscreen Figura 6 Modelos de touchscreen phones Figura 7 Funcionamento do sistema resistivo Figura 8 Funcionamento do sistema capacitivo Figura 9 Satisfação dos usuários em relação aos seus smartphones Figura 10 Exemplo de web site móvel Figura 11 Exemplo de aplicativo Figura 12 Etapas do processo de avaliação Figura 13 Posicionamento dos itens e distribuição dos valores de usabilidade dos 247 aplicativos Figura 14 Curva de Informação do Instrumento de avaliação heurística de aplicativos para touchscreen phones Figura 15 Checklist proposto para avaliação de usabilidade dos dispositivos touchscreen phones... 75

7 LISTA DE TABELAS Tabela 1 Descrição, vantagens e desvantagens das técnicas de avaliação de usabilidade Tabela 2 Conjunto de Heurísticas para dispositivos móveis Tabela 3 Principais sistemas operacionais Tabela 4 - Principais fabricantes de smartphones Tabela 5 Comparativo entre modelos touchscreen phones Tabela 6 Strings de buscas nas bases de dados Tabela 7 Dados extraídos sobre validação do conjunto de heurísticas/checklist Tabela 8 Aplicativos selecionados para a avaliação Tabela 9 Especificações do Samsung Galaxy Ace Tabela 10 Especificações do Samsung Galaxy YGT-S5360B Tabela 11 Especificações do Samsung GT-I5500B Tabela 12 Especificações do HTC Magic Tabela 13 Especificações do iphone 4S Tabela 14 Especificações do Samsung Galaxy Ace Duos Tabela 15 Especificações do Motorola XT Tabela 16 Itens modificados após avaliação empírica do checklist Tabela 17 Itens inclusos no checklist após avaliação empírica Tabela 18 Itens retirados após avaliação empírica do checklist Tabela 19 Escala de respostas do cheklist...53 Tabela 20 Itens eliminados referentes a heurística Visibilidade e Status do Sistema.60 Tabela 21 Itens eliminados referentes a heurística Controle e Liberdade do Usuário. 60 Tabela 22 Itens eliminados referentes a heurística Consistência e Padrões Tabela 23 Itens eliminados referentes a heurística Reconhecimento em vez de Lembrança Tabela 24 Itens eliminados referentes a heurística Flexibilidade e Eficiência de Uso 62 Tabela 25 Itens eliminados referentes a heurística Pouca interação homem/ dispositivo Tabela 26 Itens eliminados referentes a heurística Interação Física e Ergonomia Tabela 27 Itens eliminados referentes a heurística Legibilidade e Layout Tabela 28 Itens eliminados referentes as heurísticas Ajuda e Documentação, Prevenção de Erros e Ajuda, diagnóstico e recuperação de erros Tabela 29 Escala de Medida do Grau de Usabilidade... 70

8 LISTA DE ABREVIATURA E SIGLAS ANATEL Agência Nacional de Telecomunicações CPU - Central Processing Unit RAM - Random-Access Memory CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior GQS Grupo de Qualidade de Software INCoD - Instituto Nacional de Convergência Digital UFSC Universidade Federal de Santa Catarina TRI Teoria da Resposta ao Item IHC - Interação humano-computador

9 SUMÁRIO 1 INTRODUÇÃO Problema Objetivos Objetivo Geral Objetivos Específicos Limites Método de Pesquisa Metodologia Estrutura do Trabalho FUNDAMENTAÇÃO TEÓRICA Usabilidade Interação Humano-Computador Engenharia de Usabilidade Heurísticas de Usabilidade Heurísticas de Usabilidade para dispositivos móveis touchscreen phones Avaliação Heurística Checklist para avaliação heurística de aplicativos em touchscreen phones Caracterização do dispositivo touchscreen phone Métodos de touchscreen Plataformas/sistemas operacionais Caracterização dos dispositivos Tipos de Aplicações móveis ESTADO DA ARTE Definição da revisão da literatura Validação do conjunto de heurísticas/checklist AVALIAÇÃO DAS HEURÍSTICAS/CHECKLIST DE USABILIDADE PARA APLICATIVOS EM CELULARES TOUCHSCREEN Definição da Avaliação Execução da Avaliação Coleta de Dados Equipamentos Análise dos Dados Análise Empírica do checklist Análise Estatística do checklist utilizando a Teoria da Resposta ao Item...52

10 Resultados Itens eliminados Escala de Medida do Grau de Usabilidade Checklist proposto DISCUSSÃO Ameaças à validade CONCLUSÃO REFERÊNCIAS APÊNDICE A - Checklist versão APÊNDICE B - Checklist versão APÊNDICE C Aplicativos Avaliados APÊNDICE D Formulário utilizado para registrar as avaliações APÊNDICE E - Dados coletados na realização das avaliações APÊNDICE F Parâmetros dos itens remanescentes no modelo dicotômico APÊNDICE G Notas atribuídas aos aplicativos APÊNDICE H Tabelas de frequência de respostas APÊNDICE I Escala de Medida de Grau de Usabilidade APÊNDICE J Artigo

11 10 1 INTRODUÇÃO A evolução dos telefones celulares nas últimas décadas é expressiva. Os aparelhos deixaram de ser apenas um dispositivo de telefonia móvel e passaram a receber muitas outras funcionalidades, como jogos, câmeras fotográficas e acesso à internet (LANDIM, 2011). Na década de 80 utilizar um celular era uma experiência pouco prática, muitas vezes o celular demandava a utilização de uma pasta auxiliar ou, muitas vezes, necessitava de um carro para que pudesse ser utilizado. O cenário atual é caracterizado por modernos aparelhos celulares que são cada vez menores e com mais funções e recursos disponíveis. As vendas mundiais de telefones celulares totalizaram cerca de 426 milhões de unidades no primeiro trimestre de 2013, um ligeiro aumento de 0,7% em relação ao mesmo período do ano passado (GARTNER, 2013). As vendas de smartphones no mundo totalizaram 210 milhões de unidades no primeiro trimestre de 2013, até 42,9% de aumento em relação ao primeiro trimestre de 2012 (GARTNER, 2013). Segundo a ANATEL (2012) no final de 2012, o Brasil contava com 261,8 milhões de acessos do Serviço Móvel Pessoal (SMP), tendo registrado 19,5 milhões de novas habilitações. Com esse resultado, o país permaneceu em sexto lugar no ranking mundial de acessos da telefonia móvel, atrás, apenas, de China, Índia, Estados Unidos, Rússia e Indonésia. Essa evolução foi causada, em grande parte, pelo uso cada vez maior de novas funcionalidades, como, por exemplo, os terminais dedicados a conexões de dados. Nesse contexto destacam-se os celulares smartphones. Smartphones estão entre celulares e computadores, não possuem o hardware tão robusto quanto um computador e nem tão simples quanto um celular. Os smartphones possuem funcionalidades avançadas que podem ser ampliadas por meio de aplicativos executados no seu sistema operacional. Os sistemas operacionais utilizados nos smartphones permitem que novos aplicativos possam ser desenvolvidos por qualquer pessoa que tiver interesse.

12 11 As vendas mundiais de smartphones estão aumentando significativamente, no primeiro trimestre de 2013, os smartphones representaram 49,3% das vendas de telefones celulares em todo o mundo. Isso representa um aumento de 34,8% em relação ao primeiro trimestre de 2012, e 44% em relação ao quarto trimestre de 2012 (GARTNER, 2013). Destacam-se nesse cenário os touchscreen phones, celulares que possuem a tela sensível ao toque, por isso dispensam o uso de teclados, podese tocar a tela e ela responderá como se o toque fosse nos objetos mostrados nela. É uma tecnologia que integra não só sensores na tela, mas também programas e interfaces específicas (ASSIS, 2009). A venda desses modelos de dispositivos cresce com intensidade no mundo, a previsão de aumento de unidades vendidas, é de 50% até 2014 ( de unidades do total de 1,6 bilhões) (LEE, 2011). Os touchscreen phones apresentam novas formas de interação como voz, gestos, sensores e dados de localização (WASSERMAN, 2010). Além das diferenças de interação o ambiente de uso desses dispositivos também é diferenciado, os usuários deste tipo de dispositivo estão cercados por outros estímulos, pois muitas vezes estão em movimento, andando na rua ou na espera no ponto de ônibus buscando concluir rapidamente tarefas simples, obter informações ou para se divertir, assistindo a vídeos ou jogando (SALAZAR et al. 2012). Avaliando essas diferenças apresentadas pelos dispositivos touchscreen phones, questões de design de interface e usabilidade desses dispositivos também precisam ser analisadas (SALAZAR et al. 2012), pois é muito importante que as interfaces sejam eficientes e eficazes durante o uso e que ofereçam uma experiência agradável ao usuário (PREECE, 2005), essa característica deve estar presente também nos dispositivos touchscreen phones e seus aplicativos. Segundo Cybis et al. (2010) a usabilidade é a qualidade que caracteriza o uso de um sistema interativo. Ela se refere à relação que se estabelece entre usuário, tarefa, interface, equipamento e demais aspectos do ambiente no qual o usuário utiliza o sistema. Uma forma para conceituar usabilidade seria utilizando heurísticas de usabilidade (PREECE, 2005). Segundo Nielsen (1994)

13 12 heurísticas de usabilidade são definidas como um conjunto de regras gerais que descrevem propriedades comuns em interfaces usáveis derivado do conhecimento de aspectos psicológicos, computacionais e sociológicos dos domínios do problema. Estas regras são utilizadas tanto para direcionar o design de interface quanto na avaliação da usabilidade. Visibilidade do status, prevenção de erros e compatibilidade com o mundo real são alguns exemplos de heurísticas que podem ser utilizadas para o design de interfaces. Uma avaliação rápida e de baixo custo que pode ser criada a partir das heurísticas de usabilidade é o checklist. O checklist é criado com base num conjunto de heurísticas e tem como objetivo ser usado para avaliar o grau de usabilidade e localizar problemas de usabilidade presentes em interfaces. Na engenharia de usabilidade existem hoje vários conjuntos de heurísticas de usabilidade voltados, principalmente, para sistemas desktop, as heurísticas de Nielsen citadas acima são um exemplo de heurísticas desenvolvidas para sistemas desktop (NIELSEN, 1994). Devido a variedade de sistemas existentes hoje (celulares, tablets, TV Digital, entre outros) algumas customizações desse conjunto de heurísticas já foram criadas para sistemas específicos, como por exemplo, para celulares (SALAZAR, et al. 2013)(GONG; TARASEWICH, 2004)(BERTINI et al., 2006). A qualidade das heurísticas e do checklist resultante representa um grande impacto na qualidade da avaliação, pois indiretamente infere-se o grau de usabilidade a partir de uma avalição teórica assumindo que as heurísticas que foram transformadas em medidas na elaboração do checklist indicam o grau de usabilidade. Checklists bem elaborados devem produzir resultados mais uniformes e abrangentes, em termos de identificação de problemas de usabilidade (TEZZA, 2009). Dessa forma é importante avaliar a validade, confiabilidade dos itens do checklist, bem como verificar se os itens estão medindo o traço latente, ou seja, a usabilidade. 1.1 Problema Para que os resultados obtidos através da aplicação do checklist possam ser validados pode-se fazer uso de escalas de medidas alicerçadas em conceitos matemáticos e de usabilidade (TEZZA, 2009).

14 13 Elaborar um instrumento de avaliação envolve diferentes características como, por exemplo, o número de itens, o tipo de item (fechado ou aberto), o número de categorias de respostas dos itens fechados e o método de aplicação. Não existe um padrão mais adequado para essas características e, por esse motivo, diferentes tipos de instrumentos podem ser encontrados e formulados, dependendo da situação (CÚRI, 2006). Nesse contexto estão sendo desenvolvidos no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones (SALAZAR et al. 2012). Atualmente os resultados da pesquisa são analisados por meio de um estudo empírico inicial. São comparados resultados de testes de usabilidade com resultados de avaliações heurísticas adotando o checklist desenvolvido. As avaliações foram realizadas em um aplicativo para iphone para acessar laudos de exames médicos (SALAZAR et al., 2012). Nesse sentido, tendo como intuito avaliar a validade do checklist desenvolvido e também gerar um conjunto mínimo de itens que permitam inferir o grau da usabilidade de um aplicativo com o mínimo de esforço necessário, resume-se a hipótese de pesquisa a ser analisada no presente trabalho da seguinte maneira: O conjunto proposto de heurísticas/checklist de usabilidade para dispositivos celulares touchscreen mede o grau de usabilidade desses aplicativos. 1.2 Objetivos Objetivo Geral Avaliar a qualidade de um conjunto de heurísticas de usabilidade para dispositivos celulares touchscreen a partir da validação da qualidade dos itens presentes no checklist utilizando a Teoria da Resposta ao Item.

15 Objetivos Específicos Os objetivos específicos são: Analisar a teoria da área de usabilidade em termos de heurísticas de usabilidade focando dispositivos celulares touchscreen e utilizar a técnica estatística Teoria da Resposta ao Item. Analisar o estado da arte em relação a avaliações de heurísticas de usabilidade em geral e para dispositivos celulares touchscreen. Avaliar um conjunto de itens empregados para avaliar a usabilidade de dispositivos celulares touchscreen. 1.3 Limites O presente trabalho possui as seguintes limitações: 1. Será focado na avaliação de um conjunto de itens empregados para avaliar a usabilidade de dispositivos celulares touchscreen. 2. A avaliação só será realizada em dispositivos celulares touchscreen que possuam sistema operacional ios ou Android. 3. A realização da avaliação adotará somente a técnica estatística da Teoria da Resposta ao Item. 1.4 Método de Pesquisa Em relação a natureza a pesquisa é do tipo aplicada, pois visa aplicar e validar um checklist para avaliação de usabilidade em aplicativos para dispositivos touchscreen phones. Para Barros e Lehfeld (2000), a pesquisa aplicada tem como motivação a necessidade de produzir conhecimento para aplicação de seus resultados com o objetivo de contribuir para fins práticos, visando à solução mais ou menos imediata do problema encontrado na realidade. Quanto a abordagem a pesquisa é do tipo quantitativa, pois está relacionada à quantificação de dados obtidos por meio de pesquisa e baseada em técnica estatística para o tratamento dos dados.

16 15 Neste trabalho é realizado o estudo da literatura sobre heurísticas de usabilidade para dispositivos celulares touchscreen e o estudo da técnica estatística Teoria da Resposta ao Item. Através dessa técnica estatística é realizada uma avaliação sobre um conjunto de itens empregados para avaliar a usabilidade de aplicativos para dispositivos touchscreen. Segundo Andrade et al. (2000) a Teoria da Resposta ao Item é um conjunto de modelos matemáticos que procuram representar a probabilidade de um indivíduo dar certa resposta a um item como função dos parâmetros do item e da habilidade (ou habilidades) do respondente. Essa relação é sempre expressa de tal forma que quanto maior a habilidade, maior a probabilidade de acerto no item. A Teoria da Resposta ao Item procura medir habilidades, atitudes, interesses, desempenho, maturidade, conhecimentos ou proficiência de indivíduos ou sistemas por meio de um questionário e da construção de uma escala na qual, o traço latente do respondente e a dificuldade de um item podem ser comparados (TEZZA, 2009). A escolha do modelo de TRI mais adequado depende, sobretudo do que se deseja medir e da natureza dos dados disponíveis (TEZZA, 2009). Segundo Andrade et al. (2000) atualmente, em várias áreas do conhecimento, particularmente em avaliação educacional, vem crescendo o interesse na aplicação de técnicas derivadas da TRI, que propõe modelos para os traços latentes, ou seja, características do indivíduo que não podem ser observadas diretamente. Esse tipo de variável deve ser inferida a partir da observação de variáveis secundárias que estejam relacionadas a ela. O que esta metodologia sugere são formas de representar a relação entre a probabilidade de um indivíduo dar uma certa resposta a um item e seus traços latentes, proficiências ou habilidades na área de conhecimento avaliada. A Teria da Resposta ao Item é uma ferramenta apropriada, pois possibilita a criação de escalas a partir de um checklist que faz uso de conceitos de usabilidade (TEZZA, 2009). No presente trabalho para a aplicação da TRI é utlilizado o Software BILOG-MG 3 (MISLEVY & BOCK, 2003). Este assume que os respondentes representam uma amostra aleatória de uma população de proficiências que

17 16 pode ser assumida como tendo ou uma distribuição normal padrão, ou ainda uma distribuição discreta arbitrariamente especificada pelo usuário, ou ainda uma distribuição empírica, a ser estimada conjuntamente com os parâmetros dos itens (TEZZA, 2009) Metodologia A metodologia de desenvolvimento deste trabalho é dividida em quatro etapas: Etapa 1: É realizada uma análise de literatura na área de IHC em geral e posteriormente enfatizando a área de heurísticas de usabilidade para dispositivos celulares touchscreen. Também é estudada a técnica estatística da Teoria da Resposta ao Item. Atividade 1.1: Analisar a área de IHC/Engenharia de usabilidade/heurísticas de Usabilidade. Atividade 1.2: Analisar os dispositivos celulares touchscreen. Atividade 1.3: Estudar a técnica estatística da Teoria da Resposta ao Item. Etapa 2: Analisar o estado da arte em relação à avaliação de heurísticas de usabilidade existentes para o design de interface para celulares touchscreen. Para esta etapa é utilizada a técnica de revisão sistemática de literatura. Atividade 2.1: Definir a revisão sistemática da literatura. Atividade 2.2: Executar a revisão sistemática da literatura. Atividade 2.3: Analisar e interpretar as informações extraídas. Atividade 2.4: Documentar e discutir os resultados. Etapa 3: Nessa etapa é definida como a avaliação é realizada utilizando a teoria estatística de Resposta ao Item. É realizado, também, o levantamento de aplicativos para a realização da avaliação do conjunto de itens. As avaliações dos aplicativos para celulares touchscreen para plataformas ios ou Android são realizadas em duas iterações. Atividade 3.1: Definir a avaliação do primeiro conjunto.

18 17 Atividade 3.2: Levantamento de aplicativos para a realização da avalição. Atividade 3.3: Primeira iteração das avaliações. Atividade 3.3.1: Executar a avaliação do primeiro conjunto de aplicativos (cerca de 50 aplicativos). Atividade 3.3.2: Analisar os resultados das avaliações do primeiro conjunto. Atividade 3.3.3: Interpretar os resultados obtidos do primeiro conjunto. Atividade 3.4: Segunda iteração das avaliações. Atividade 3.4.1: Executar a avaliação do segundo conjunto de aplicativos (cerca de 200 aplicativos). Atividade 3.4.2: Analisar os resultados das avaliações do segundo conjunto. Atividade 3.4.3: Interpretar os resultados obtidos do segundo conjunto. Atividade 3.5: Discutir os resultados. 1.5 Estrutura do Trabalho Este trabalho está estruturo em seis capítulos. No capítulo dois a fundamentação teórica é apresentada. São abordados os temas que apoiam a pesquisa. No capítulo três é realizada uma análise do estado atual em que se encontram as pesquisas relacionadas ao tema do trabalho: validações de conjuntos heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen phones. No capítulo quatro os resultados obtidos são apresentados e avaliados. No capítulo cinco os resultados são discutidos. No capítulo seis são apresentadas as conclusões e recomendações para trabalhos futuros.

19 18 2 FUNDAMENTAÇÃO TEÓRICA No presente capítulo são abordados os conceitos teóricos relacionados ao trabalho. São contextualizados conceitos referentes às áreas de Engenharia de Usabilidade, heurísticas de usabilidade, Interação Humano-Computador (IHC) e dispositivos celulares touchscreen. 2.1 Usabilidade Interação Humano-Computador Quando surgiu o conceito de interface, ela era geralmente entendida como o hardware e o software com o qual homem e computador podiam se comunicar, porém a evolução do conceito levou à inclusão dos aspectos cognitivos e emocionais do usuário durante a experiência com algum tipo de interface (ROCHA; BARANAUSKAS, 2003). Tem sido cada vez mais presente no desenvolvimento de produtos a ideia de que uma melhora no aspecto físico da interface do usuário proporciona maiores chances de sucesso dos mesmos (ROCHA; BARANAUSKAS, 2003). Para Carvalho (2003) o desenvolvimento adequado das interfaces entre o ser humano e o computador é uma tarefa complexa devido aos aspectos humano das relações. Por esse motivo o campo de estudo que aborda a interação entre os seres humanos e as máquinas deve ser considerado quando novos produtos são desenvolvidos. Interação humanocomputador (IHC) surgiu no início de 1980, inicialmente como uma área especial da Ciência da Computação. IHC tem se expandido rapidamente e de forma constante durante as três últimas décadas, atraindo profissionais de muitas outras disciplinas e incorporando diversos conceitos e abordagens (CARROL, 2009). Interação humano-computador é uma disciplina relacionada ao projeto, avaliação e implementação de sistemas computacionais interativos para uso humano e ao estudo dos principais fenômenos que os cercam (ACM, 2009). Alguns temas que a área da interação humano-computador está preocupada são: desempenho das tarefas realizadas por seres humanos e máquinas conjuntamente, estrutura de comunicação entre máquina e humano;

20 19 capacidade de aprendizado de interfaces; algoritmos e programação da própria interface; preocupações de engenharia que possam surgir na concepção e construção de interfaces, o processo de especificação, projeto e implementação de interfaces (ACM, 2009). O contexto de uso e as circunstâncias específicas nas quais um dispositivo é usado são diretamente ligados ao nível de usabilidade alcançada pelo mesmo. O contexto de uso consiste de usuários, tarefas, equipamentos (hardware, software e materiais), e do ambiente físico e social, pois todos esses podem influenciar a usabilidade de um produto dentro de um sistema de trabalho (ISO ). A Figura 1 ilustra o contexto de uso de IHC, destacando ao lado esquerdo o lado humano e ao lado direto o lado computador. Figura 1: Uso e Contexto da Interação Humano-Computador Fonte: ISO Requisitos Ergonômicos para Trabalho de Escritórios com Computadores Parte 11 Orientações sobre Usabilidade. Para Nielsen (2003), a usabilidade é um atributo qualitativo que determina quão fácil é usar as interfaces do usuário. O termo usabilidade também se refere aos métodos para melhorar a facilidade do uso durante o processo de design.

21 20 É importante que se perceba que usabilidade não é uma propriedade única e unidimensional de uma interface (NIELSEN, 1994). A norma ISO define usabilidade como medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso. Eficácia se refere a quanto um produto é bom em fazer o que se espera dele. Eficiência se refere a maneira como o produto auxilia aos usuários na realização de suas tarefas (PREECE, 2005). Satisfação mede a extensão pela qual os usuários estão livres de desconforto e suas atitudes em relação ao uso do produto (ISO ). De modo a especificar ou medir usabilidade é necessário identificar os objetivos e decompor eficácia, eficiência e satisfação e os componentes do contexto de uso em subcomponentes com atributos mensuráveis e verificáveis (ISO ). Os componentes e o relacionamento entre eles estão ilustrados na Figura 2. Figura 2: Estrutura de usabilidade Fonte: ISO Requisitos Ergonômicos para Trabalho de Escritórios com Computadores Parte 11 Orientações sobre Usabilidade. (Associação Brasileira de Normas Técnicas) Segundo Tyldesley (1988) o processo através do qual a usabilidade é especificada quantitativamente permitindo que se demonstre se um produto final atinge ou não os níveis exigidos de usabilidade é chamado de Engenharia da Usabilidade.

22 Engenharia de Usabilidade A Engenharia de Usabilidade tem como objetivo apresentar técnicas e métodos que possam ser empregados sistematicamente para garantir qualidade em termos de usabilidade da interface de produtos (PÁDUA, 2011). Para que um produto possa ser considerado de qualidade em termos de usabilidade é necessário que o seu desenvolvimento realize uma série de atividades que podem ser organizadas como um processo (PÁDUA, 2011). Existem vários modelos de processo de Engenharia de Usabilidade, entre eles o processo Centrado no Usuário (User-Centered Design) definido pela Norma ISO/IEC (1999) é um dos modelos mais conhecidos. O design centrado no usuário é uma abordagem interativa que tem como objetivo o desenvolvimento de sistemas usáveis (ISO/IEC 13407, 1999). O projeto centrado no usuário tem como princípio o foco no usuário desde o inicio do desenvolvimento dos produtos, ele é composto por etapas de análise, síntese e avaliação. A estratégia desse processo consiste em refazer as etapas continuamente, identificando e refinando o conhecimento sobre o contexto de uso do produto desenvolvido. As etapas são refeitas até que seja alcançado um resultado aceitável. Pode-se afirmar que o emprego dessa estratégia no desenvolvimento reduz o risco de falhas e garante que, a cada ciclo, o sistema responda cada vez melhor às expectativas e necessidades dos usuários em suas tarefas (HOBOLD; COELHO, 2011). O processo centrado no usuário pode ser observado na Figura 3. Figura 3: Ciclo de vida do modelo ISO/IEC (Associação Brasileira de Normas Técnicas)

23 22 A primeira etapa, a etapa de análise, é quando é preciso especificar e analisar o contexto de uso, ainda nessa etapa são explicitadas as características dos usuários, das tarefas que serão executadas e o ambiente no qual o produto será utilizado. A partir da análise as próximas atividades serão executadas. A etapa de síntese vale-se das informações analisadas na etapa anterior e juntamente com conhecimentos de interface humano-computador são desenhadas soluções para o desenvolvimento do produto. Nessa etapa podem ser criados protótipos que permitem explorar várias possibilidades de soluções. Um protótipo é uma representação limitada de um design que permite que os usuários interajam com ele e explorem a sua conveniência. Todas as decisões de design são tomadas dentro do contexto dos usuários, seu trabalho e seu ambiente (PREECE, 2005). O feedback do usuário é muito importante, pois permite avaliar, modificar e melhorar os protótipos A próxima etapa é a avalição da solução escolhida. Nessa etapa devese avaliar se os requisitos e objetivos de usabilidade definidos foram alcançados dentro do contexto de uso do sistema. Para Preece (2005) até que um resultado satisfatório não seja encontrado o ciclo dessas atividades deve continuar, terminando somente quando a avaliação da solução escolhida esteja de acordo com os requisitos do usuário. As técnicas de avaliação de usabilidade podem ser classificadas em três categorias: avaliações analíticas, avaliações heurísticas e inspeções por listas de verificação (CYBIS, 2007). Segundo Cybis (2007) as avaliações analíticas enfocam a estrutura da tarefa com um dispositivo informatizado e se caracterizam por algum tipo de decomposição da tarefa para verificar a complexidade ou estimar os tempos de interações propostas. As avaliações heurísticas enfocam principalmente a interface do sistema e se baseiam nos conhecimentos ergonômicos e na experiência dos avaliadores que percorrem a interface ou seu projeto para identificar aspectos que possam atrapalhar os usuários durante as interações (CYBIS, 2007).

24 23 Os métodos de avaliação de usabilidade também podem ser divididos entre os que são realizados sem a participação do usuário e os que são realizados com a participação do usuário. Pode-se citar os seguintes métodos como os que não utilizam a participação do usuário: avaliação heurística, avaliações baseadas em modelos e inspeções cognitivas. Como método que necessita da presença do usuário para sua realização pode-se citar os testes de usabilidade (TEZZA, 2009, p 32). As descrições, vantagens e desvantagens das técnicas citadas acima podem ser observadas na Tabela 1. Tabela 1: Descrição, vantagens e desvantagens das técnicas de avaliação de usabilidade Método de Avaliação Técnica Descrição Vantagens Desvantagens Avaliação Heurística Analítico Empírico Avaliação baseada em modelos Inspeções Cognitivas (Cognitive Walkthrough) Teste de usabilidade Fonte: adaptado de TEZZA (2009) Análise de conformidade do sistema diante de padrões de qualidade ou heurísticas definidas por especialista usando ckecklist. Decomposição da tarefa para verificar a complexidade ou estimar os tempos das interações propostas Confronto entre as lógicas de operação do projetista e de um usuário novato. Modo formalizado de imaginar os pensamentos e as ações dos usuários leigos Simulação de situações de uso objetivando constatar problemas medir seus impactos e identificar suas causas. - Rapidez de aplicação, - Baixo custo, - Abrangência e -Facilidade de identificação dos problemas É bastante útil para comparar alternativas de interface - Pode ser aplicado já no início do ciclo de desenvolvimento. - Permite que analistas, designers e atuem como avaliadores. - Reconhece a forma com que o usuário executa tarefas e realiza a análise cuidadosa de tarefas. - Abrangência - Verificação de situações reais de uso - Requer conhecimento e experiências do avaliador. - São necessários de três a cinco avaliadores para um bom resultado. - Subjetiva e pouco sistemática. Não leva em consideração erros ou incidentes de interação - Não leva à identificação imediata do problema. - Requer muito tempo. - Alto custo - Requer tempo e pessoas - Pode não ser totalmente imparcial Heurísticas de Usabilidade Segundo Nielsen (1994) heurísticas de usabilidade são definidas como um conjunto de regras gerais que descrevem propriedades comuns em interfaces usáveis derivado do conhecimento de aspectos psicológicos, computacionais e sociológicos dos domínios do problema.

25 24 Existem vários conjuntos de heurísticas para projetos de interfaces. Esses conjuntos de heurísticas foram desenvolvidos inicialmente para sistemas desktop, entre eles pode-se destacar as dez heurísticas de usabilidade de Jakob Nielsen (NIELSEN, 1994), os critérios ergonômicos de Scapin e Bastien (1993) e as oito regras de ouro de Shneiderman (2004). A seguir estão apresentadas as dez heurísticas de Jakob Nielsen. Esses princípios podem ser usados para explicar muitos problemas encontrados em projetos de interface (NIELSEN, 1994). 1. Visibilidade do status do sistema: o sistema deve sempre manter o usuário informado. 2. Compatibilidade entre sistema e mundo real: o sistema deve falar a linguagem do usuário ao invés de usar termos orientados ao sistema. 3. Controle e liberdade para o usuário: usuários precisam ter a possibilidade de sair do estado não desejado e essa opção deve estar claramente marcada. 4. Consistência e padrões: usuários não devem ter que se perguntar se palavras, situações, ou ações diferentes significam a mesma coisa. 5. Prevenção de erros: melhor do que boas mensagens de erro é um design, que previne que problemas ocorram. 6. Reconhecimento no lugar da lembrança: Evite acionar a memória do usuário o tempo inteiro, fazendo com que cada ação precise ser revista mentalmente antes de ser executada. 7. Flexibilidade e eficiência de uso: permite que usuários possam customizar ações frequentes. 8. Projeto minimalista e estético: cada unidade de informação extra compete com informações relevantes e reduz a sua visibilidade relativa. 9. Auxiliar os usuários a reconhecer, diagnosticar e recuperar erros: fornecer mensagens de erro claras instruindo de forma construtiva a resolução dos erros no menor número de passos possíveis. 10. Ajuda e documentação: um bom conjunto de documentação e ajuda deve ser utilizado para orientar o usuário em caso de dúvida. Deve ser visível e de fácil acesso. Estas regras são utilizadas tanto para direcionar o design de interface quanto na avaliação da usabilidade.

26 25 Empregando estas regras pode ser realizada a avaliação heurística. A avaliação heurística é uma técnica de avaliação muito atrativa, porém o conjunto de heurísticas de Nielsen (1994) foi desenvolvido para desktops e quando é aplicado a outros tipos de dispositivos ou aplicações ele precisa ser customizado. Determinadas heurísticas de Nielsen são muito gerais e precisam ser moldadas aos novos produtos que chegam ao mercado (PREECE, 2005). Algumas customizações já foram realizadas, como por exemplo, heurísticas para comércio eletrônico (TEZZA, 2009), heurísticas para celulares (BERTINI et al. 2006) (GONG, TARASEWICH, 2004) Heurísticas para dispositivos móveis touchscreen phones O contexto de uso de um computador de mesa (desktop) para o qual foram desenvolvidas as heurísticas de Nielsen é muito diferente do contexto de uso de um dispositivo móvel. Dispositivos móveis geralmente são utilizados para aplicações rápidas em um ambiente com muitas distrações, muitas vezes os usuários estão em movimento, como por exemplo, andando na rua. Durante a utilização de dispositivos móveis, os usuários normalmente estão envolvidos em várias atividades que ocorrem simultaneamente, a atenção pode estar dividida entre o uso do equipamento, as outras atividades que ele está realizando e o ambiente que o cerca, dessa maneira, o foco principal pode não ser a interação com o equipamento, mas a busca da informação enquanto interage com o ambiente a sua volta (CYBIS, 2007) (SALAZAR, et al. 2012). Outro aspecto importante se refere ao fato de que o usuário móvel estar sujeito a diversas interrupções durante a interação (CYBIS, 2007). Os métodos tradicionais de avaliação de usabilidade não consideram essas particularidades dos dispositivos móveis, por isso, existe uma necessidade do desenvolvimento de novas técnicas de avalição de usabilidade para esses dispositivos (INOSTROZA, 2012) (SALAZAR et al. 2012). Faz-se então necessário customizar as heurísticas de Nielsen, adaptando-as ao paradigma dos dispositivos móveis.

27 26 Nesse sentido, alguns autores vêm realizando esforços com o objetivo de definir heurísticas de usabilidade para dispositivos móveis touchscreen. Uma visão geral do estado de arte referente às heurísticas de usabilidade para celulares touchscreen é apresentado por Salazar et al (SALAZAR, et al. 2012). A revisão do estado arte evidenciou que ainda não existem muitas pesquisas nessa área. A revisão do estado da arte de Salazar et al (2012) obteve como resultado 13 artigos relevantes no que diz respeito a heurísticas de usabilidade para celulares. Devido a essa carência de trabalhos relacionados às heurísticas de usabilidade para celulares, o foco da revisão do estado da arte foi ampliado a guias de estilo. Foram então selecionados os guias de estilo de design das cinco plataformas de smartphones mais vendidas no mundo em 2011 (SALAZAR et al. 2012). Guias de estilo expõem em detalhes como deve ser a interface dos aplicativos desenvolvidos para uma determinada plataforma e, na maioria das vezes, também descrevem heurísticas de usabilidade num nível mais abstrato (também chamados de principles) que se aplicam ao design dos seus aplicativos (SALAZAR et al. 2012). A partir das informações obtidas através da revisão do estado da arte, observou-se, de uma maneira geral, uma forte correspondência entre as heurísticas tradicionais e as heurísticas propostas para dispositivos móveis (SALAZAR et al. 2012). A Figura 4 quantifica as frequências de incidência das heurísticas tradicionais nos artigos encontrados na revisão sistemática de literatura (SALAZAR et al. 2012).

28 27 Figura 4: Frequência de recorrência de heurísticas tradicionais da Nielsen (1994) nos artigos analisados. Fonte: SALAZAR et al. (2012). Apesar de existir forte correlação entre as heurísticas propostas e as heurísticas tradicionais, muitas vezes as primeiras reinterpretam e ajustam suas definições para dispositivos móveis. Alguns autores ainda propuseram algumas heurísticas adicionais levando em consideração as características específicas dos dispositivos móveis. A Tabela 2 apresenta o conjunto unificado de heurísticas proposto por Salazar et al. (2012) a partir dos resultados obtidos após a revisão do estado da arte. Tabela 2 Conjunto de Heurísticas para dispositivos móveis Heurísticas Tradicionais Heurísticas Novas Visibilidade do status do sistema Compatibilidade entre diferentes plataformas Liberdade e controle do usuário Consistência e padrões Pouca interação homem/dispositivo Interação física e ergonômica Prevenção de erros Legibilidade e Layout Flexibilidade e eficiência de uso Estética e design minimalista Ajudar os usuários a reconhecer, diagnosticar e recuperar erros Fonte: (adaptado de SALAZAR et al. 2012)

29 28 A análise do estado da arte demonstrou que até o momento não existe uma visão/compreensão única sobre quais são as heurísticas de usabilidade relevantes para os dispositivos touchscreen phones. Nesse sentido, com a intenção de criar um conjunto unificado de heurísticas de usabilidade (Tabela 02) com base na literatura e experiências práticas, o GQS Grupo de Qualidade de Software - está atualmente definindo um conjunto de heurísticas de usabilidade para celulares touchscreen. O desenvolvimento de um conjunto de heurísticas customizadas específicas para touchscreen phones aprimorará o guia de design de interfaces e a avaliação heurística de aplicações para esse tipo de dispositivo, colaborando assim à melhora da usabilidade das mesmas (SALAZAR et al., 2012) Avaliação Heurística Segundo Preece (2005) em algumas ocasiões os usuários não estão facilmente acessíveis, nessas circunstâncias especialistas podem fornecer o feedback. Dentro desse contexto, no início dos anos 90, começaram a ser desenvolvidas algumas técnicas de inspeção como alternativa. Uma dessas técnicas é avaliação heurística. A avaliação heurística (NIELSEN, 1994) é um método de avaliação sistemático que possibilita encontrar problemas de usabilidade em um design de interface. Envolve um pequeno grupo de avaliadores que examinam a interface e a avaliam de acordo com os princípios de usabilidades (heurísticas de usabilidade). A avalição heurística é uma técnica relativamente barata e de fácil aprendizado, também é eficaz e pode ser utilizada em qualquer estágio de um projeto de design, a combinação desses fatores torna a avaliação heurística uma técnica de avaliação atrativa (PREECE, 2005). Segundo Cybis (2007) uma avaliação heurística representa um julgamento de valor sobre as qualidades de usabilidade das Interfaces Humano-Computador. Essa avaliação é realizada por especialistas em usabilidade, com base na sua experiência e competência no assunto.

30 29 Nielsen (1993) recomenda que sejam utilizados de três a cinco avaliadores. Cada avaliador deve realizar a sua inspeção individualmente evitando a comunicação entre eles durante a avaliação, assim são garantias avaliações independentes e sem influência. Durante a sessão de avaliação, o avaliador percorre a interface diversas vezes e inspeciona os seus elementos comparando-os com uma lista de princípios de usabilidade (as heurísticas). Para que a avaliação heurística seja realizada são definidas listas de verificação ou checklists que permitem o levantamento de dados durante a realização da avaliação. Os checklists permitem uma análise uniforme da usabilidade tendo como base as heurísticas (SALAZAR et al., 2012). Segundo Nielsen (2003), cada avaliador tem a liberdade de considerar heurísticas específicas que se aplicam a classes de produtos os sistemas específicos. São necessários conjuntos diferentes de heurísticas para avaliar diferentes dispositivos ou sistemas, portanto, os avaliadores devem desenvolver seus próprios, moldando as heurísticas de Nielsen, exatamente quais heurísticas são as melhores e quantas são necessárias é discutível e depende do produto (PREECE, 2005). A seleção de heurísticas apropriadas é decisiva para a realização da avaliação, pois as mesmas enfocam a atenção dos especialistas em questões particulares do design da interface (PREECE, 2005) Checklist para avaliação heurística de aplicativos em touchscreen phones Para facilitar a realização de avaliações heurísticas usando o conjunto de heurísticas unificadas, uma lista de verificação (checklist) foi desenvolvida pelo GQS Grupo de Qualidade de Software. Esta, por sua vez, objetiva auxiliar na avaliação de usabilidade dos dispositivos touchscreen phones de uma maneira rápida, fácil e eficiente (SALAZAR et al., 2012). Como escala de resposta aos itens do checklist é adotada uma escala ordinal com quatro opções: Sim (Se o aplicativo estiver de acordo com o item); Parcialmente (se o aplicativo atender parcialmente o item);

31 30 Não (se não estiver de acordo com o item) e Não se aplica (caso o item não possa ser avaliado ou não seja pertinente ao escopo da aplicação). Um extrato do checklist (v1.0) elaborado pode ser visualizado na Figura 5 e o checklist completo pode ser visualizado no Apêndice A. CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES Avaliadora: Figura 5: Lista de verificação aplicada a celulares touchscreen Fonte: SALAZAR et al., 2012 Legenda: N Não P - Parcial S Sim NA Não se aplica Data: Aplicativo/versão: Sistema: Dispositivo: Heurísticas Questões N P S NA Visibilidade do status do sistema Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 2. Os itens selecionados são claramente distintos dos demais? 3. Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede? 4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 5. Todas as telas possuem identificação? 6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 7. Fornece um update do status para operações mais lentas? 8. O aplicativo oferece informações sobre sua versão? Anotações: Caracterização do Dispositivo touchscreen phone Touchscreen phones são celulares que possuem a tela sensível ao toque, dispensando o uso de teclados físicos, pode-se tocar a tela e ela responderá como se o toque fosse nos objetos mostrados nela. Geralmente os

32 31 touchscreen phones são capazes de realizar muitas funções que um computador realiza, tipicamente possuem uma tela relativamente grande e um sistema operacional capaz de executar aplicações de uso geral, comumente possui um display de alta resolução, conectividade WiFi, capacidade de navegação na Web, a capacidade de aceitar aplicações sofisticadas, possui uma CPU mais poderosa, mais espaço de armazenamento e mais memória RAM (JANSSEN, 2012) Na Figura 6 estão apresentados alguns modelos de touchscreen phones. À esquerda o modelo Samsung S4 e a direita o iphone 4S. Figura 6: Exemplos de modelos de touchscreen phones Fonte: Métodos de touchscreen Os touchscreen phones podem usar diferentes métodos para detectar a presença do toque na tela, as tecnologias mais utilizadas são o sistema resistivo e o sistema capacitivo. O sistema resistivo é composto por um painel de vidro normal, recoberto por uma camada metálica condutora e uma resistiva. Estas duas camadas são mantidas afastadas por espaçadores e uma camada resistente a riscos é colocada por cima de todo o conjunto. Uma corrente elétrica passa através das duas camadas enquanto a tela está sendo usado. Quando uma pessoa toca na tela, as duas camadas fazem contato exatamente naquele ponto. A mudança no campo elétrico é percebida e as coordenadas do ponto de contato são calculadas pelo computador. Logo que as coordenadas são conhecidas, um driver especial traduz o toque em algo que o sistema operacional possa entender (HAMMERSCHMIDT, 2008). A Figura 7 apresenta o funcionamento do sistema resistivo.

33 32 Já no sistema capacitivo, uma camada que armazena a carga elétrica é colocada no painel de vidro do monitor. Quando alguém clica no monitor com seu dedo, parte da carga é transferida para essa pessoa, de modo que a carga na camada capacitiva diminui. Esta diminuição é medida nos circuitos localizados em cada canto do monitor. Considerando as diferenças relativas de carga em cada canto, o computador calcula exatamente onde ocorreu o toque e então envia esta informação para o software do driver da tela sensível. Uma vantagem que o sistema capacitivo apresenta sobre o resistivo é que ele transmite quase 90% da luz do monitor, enquanto o sistema resistivo transmite apenas 75%. Isso dá ao sistema capacitivo uma imagem muito mais clara do que o sistema resistivo (HAMMERSCHMIDT, 2008). A Figura 8 mostra o funcionamento das telas capacitivas. Figura 7: Funcionamento do sistema resistivo Fonte: Figura 8: Funcionamento do sistema capacitivo Fonte: touchscreen/ As tecnologias apresentadas acima permitem a utilização das telas multi-touch. Para uma tela ser considerada multi-touch ela deve ser capaz de responder a múltiplos toques dos dedos ao mesmo tempo. A utilização da tela multi-touch possui algumas limitações, dependendo do hardware e software utilizados no touchscreen phone Plataformas/sistemas operacionais No que diz respeito ao software de touchscreen phones, existem hoje vários sistemas operacionais instalados em diferentes modelos. Segundo a Gartner em uma pesquisa realizada no segundo trimestre de 2012 o sistema operacional Android ampliou sua liderança no mercado, seguido do sistema operacional ios e Symbian respectivamente. A Tabela 3 mostra as vendas de smartphones no que diz respeito ao sistema operacional.

34 33 Sistema Operacional Tabela 3: Principais sistemas operacionais Segundo trimestre de 2012 Unidades vendidas em milhões Segundo trimestre de Fatia de Mercado (%) Android 98, ios 28, Symbian 9, Research In Motion 7, Bada 4, Microsoft 4, Others Total 153, Fonte: adaptação de Pode-se observar na Tabela 3 que o sistema operacional Android ocupa a maior fatia de mercado. O Android é um sistema operacional para dispositivos móveis baseado no sistema operacional Linux e é desenvolvido pela Google. O sistema operacional ios, o qual aparece em segundo lugar em unidades vendidas, é um sistema operacional para dispositivos móveis desenvolvido e distribuído pela Apple Inc. Enquanto o sistema operacional Android é utilizado por vários fabricantes o ios é de uso exclusivo dos produtos desenvolvido pela Apple. Em relação aos fabricantes destaca-se a Samsung que aumentou sua vantagem sobre a Nokia e Apple (GARTNER, 2012). A Tabela 4 ilustra o crescimento da fabricante Samsung. Fabricante Tabela 4: Principais fabricantes de smartphones Segundo trimestre de 2012 Unidades vendidas em milhões Segundo trimestre de Fatia de Mercado (%) Samsung 90, Nokia 83, Apple 28, ZTE 17, LG Electronics 14, Huawei Device 10, TCL Communications 9, HTC 9, Motorola 9, Research In Motion 7, Others 137, Total 419, Fonte: adaptação de

35 34 Uma outra pesquisa realizada pela ChangeWave Research em junho de 2012 obteve um indicador sobre as satisfação dos clientes em relação aos seus smartphones, como pode ser observado na Figura 9. Figura 9: Satisfação dos usuários em relação aos seus smartphones Fonte: Como apresentado na Figura 9 a Apple destaca-se das demais fabricantes com 71% dos proprietários de iphones satisfeitos com seus aparelhos. A Samsung vem em segundo lugar seguida da Motorola Caracterização dos dispositivos Considerando os dados apresentados na seção anterior foram selecionados três modelos de touchscreen phones para elaborar uma Tabela comparativa do principal modelo dos principais fabricantes. Os dispositivos selecionados foram: Samsung Galaxy S4 com sistema operacional Android Jelly Bean, Nokia Lumia com sistema operacional o Windows Phone 7.5 e o iphone 4S com sistema operacional ios. A Tabela 5 mostra o comparativo entre os modelos.

36 35 Tabela 5: Comparativo entre modelos de touchscreen phones Samsung Galaxy S4 Nokia Lumia iphone 4S Tela Resolução 1080x x 800 pixels 640 x 960 pixels Armazenamento 64GB 16GB 16/32/64 Câmera Frontal 2 MP - VGA Câmera Traseira 13 MP 8.0 MP 8 MP Internet Wi-Fi/3G/4G Wi-Fi/3G Wi-Fi/3G Bluetooth Sim Sim Sim GPS Sim Sim Sim Peso (g) Medidas (mm) x 69.8 x x 61.2 x x 58.6 x 9.3 Sensores Acelerômetro Giroscópio Sensor de Proximidade Bússola Barômetro Fontes: Sensor de Proximidade Acelerômetro Bússola Giroscópio de três eixos Acelerômetro Sensor de proximidade Sensor de luz ambiente As características dos touchscreen phones devem ser levadas em consideração quando se trata da usabilidade dos mesmos, o uso desses dispositivos está associado ao fato de sua disponibilidade e portabilidade. A portabilidade dos touchscreen phones é uma questão muito importante que deve ser ponderada, pois o contexto de uso desses dispositivos pode ter grandes variações, por serem móveis são equipamentos que permitem o transporte com conteúdo e proporcionam recursos de comunicação a qualquer hora e em qualquer lugar Tipos de aplicações móveis As duas alternativas mais conhecidas de aplicações móveis são os web sites móveis e os aplicativos (FLING, 2009). Cada uma dessas ferramentas é apresentada a seguir.

37 36 Sites móveis Um site para dispositivos móveis é um site especificamente projetado para esse tipo específico de dispositivo, não deve-se confundir sites móveis com a simples visualização de um site desenvolvido para desktop em um browser móvel (FLING, 2009). Sites móveis são caracterizados por sua arquitetura simples de drilldown ou somente a apresentação de links de navegação que levam o usuário para as páginas de nível mais baixo. O design dos sites móveis são, na maioria das vezes, simples e informativos oferecendo alguns dos elementos interativos disponíveis nos sites para desktops. Embora sites móveis sejam relativamente fáceis de criar, eles não conseguem ser consistentes em diferentes navegadores móveis (FLING, 2009). A Figura 10 mostra um exemplo de um web site móvel. Figura 10: Exemplo de web site móvel Aplicativos Aplicativos são desenvolvidos para uma plataforma específica. Devido ao fato dos aplicativos estarem na camada acima da plataforma eles podem aproveitar a maioria dos recursos dos dispositivos, trabalhando on-line ou offline. Os aplicativos possibilitam a utilização dos recursos disponíveis nos dispositivos como, por exemplo, câmera, GPS e sistemas de arquivos (FLING, 2009).

38 37 Aplicativos são softwares utilizados para funções específicas em dispositivos móveis. Estes programas são instalados e embarcados nos aparelhos. A maior parte dos aplicativos são certificados, vendidos ou distribuídos através de uma loja de aplicativos on-line (FLING, 2009). A Figura 11 mostra um exemplo de um aplicativo. É importante destacar que o presente trabalho tem como objetivo a avaliação de aplicativos e não tem como objetivo a avaliação de sites móveis. Figura 11: Exemplo de aplicativo

39 38 3 ESTADO DA ARTE O presente capítulo apresenta o estado atual em que se encontram as pesquisas relacionadas a validações de conjuntos de heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen phones. A análise do estado da arte foi realizada seguindo o método de revisão sistemática de literatura definido por Kitchenham (2004). 3.1 Definição da revisão da literatura A revisão sistemática da literatura realizada teve como objetivo analisar e sintetizar a literatura existente sobre a avaliação/validação de conjuntos de heurísticas de usabilidade para aplicativos em dispositivos de touchscreen phones. O foco da revisão está na seguinte questão: Como os conjuntos de heurísticas de usabilidade para celulares touchscreen são validados? Embora o foco principal estivesse relacionado a touchscreen phones, o escopo da pesquisa foi ampliado para qualquer tipo de telefone celular, pois em uma busca inicial não foi encontrada qualquer literatura relevante específica sobre touchscreen phones. Em relação a validações dos conjuntos de heurísticas de usabilidade para celulares touchscreen também não foi encontrada qualquer literatura relevante, por esse motivo, o foco da pesquisa também foi ampliado para artigos que tivessem como foco a definição de heurísticas de usabilidade para telefones móveis. Foram pesquisados na Web artigos publicados na língua inglesa sobre heurísticas de usabilidade para telefones celulares. As pesquisas foram realizadas nas mais importantes bibliotecas digitais e bases de dados neste domínio (IEEEXplore, ACM Digital Library, Science Direct, Wiley e Springer) através do acesso gratuito ao Portal CAPES. Devido aos avanços tecnológicos apresentados pelos dispositivos estudados foram considerados artigos publicados entre janeiro de 2006 e julho de 2012 e para serem selecionados os artigos deveriam ter como foco a definição de heurísticas de usabilidade para telefones móveis. Foram excluídos artigos que não apresentavam os aspectos mencionados.

40 39 A realização da busca de artigos científicos foi realizada usando os termos de busca especificados na Tabela 6. Devido ao fato de vários termos possuírem sinônimos foi realizada uma pesquisa mais ampla, incluindo outros termos além de "smartphone", como por exemplo, os termos mobile, cell phone e handheld device. No que diz respeito às heurísticas o termo usability guidelines também foi utilizado além do termo usability heuristics. A definição das mesmas é o resultado de várias calibrações realizadas anteriormente. A pesquisa foi realizada em outubro de IEEE XPLORE Tabela 6: Strings de buscas nas bases de dados ((mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") AND ("usability heuristics" OR usability guidelines OR "design principles" OR "patterns interface"))inmetadata) AND (pyr >= 2006AND pyr <= 2012). ACM Digital Library ("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")and ("usability heuristics" OR usability guidelines OR "design principles" OR "patterns interface") for: (("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")and ("usability heuristics" OR usability guidelines OR "design principles" OR "patterns interface")) and (PublishedAs:journal) ScienceDirect (mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") and TITLE- ABSTR-KEY("usability heuristics" OR usability guidelines OR "design principles" OR "patterns interface") WILEY Interscience SpringerLink mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" <or> "mobile computing" in Abstract AND "usability heuristics" OR usability guidelines OR "design principles" OR "patterns interface" in Abstract between years 2006 and 2012 (mobile and ("usability heuristics" or usabilityand guidelines or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters (mobile and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("cell phones" and ("usability heuristics" or usability and guidelines or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("cell phones" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters (smartphones and ("usability heuristics" or usability and guidelines or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters (smartphones and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("handheld devices" and ("usability heuristics" or usability and guidelines or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("handheld devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("touchscreen devices" and ("usability heuristics"or usability and guidelines or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("touchscreen devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("touchscreen cell phones" and ("usability heuristics" or usability and guidelines ))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("touchscreen cell phones" and ("design principles" or "patterns interface"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters A busca inicial retornou 429 artigos (193 no IEEE Xplore, 152 no ACM Digital Library, 10 no ScienceDirect, 41 no Wiley e 33 no Springer). Após a realização de uma análise dos artigos encontrados através da leitura dos titulos, resumos e palavras-chave com o objetivo de verificar se os mesmos respeitavam os critérios de inclusão, restaram 32 artigos relevantes. Trabalhos

41 40 irrelevantes ou duplicados foram removidos. Realizou-se então um exame desses 32 artigos, avaliando a qualidade da informação apresentada. O resultado final foi a seleção de 15 artigos considerados realmente relevantes. Posteriormente foi realizada a leitura dos artigos e extraídos os dados referentes a validações de conjuntos de heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen phones. 3.2 Validação do conjunto de heurísticas/checklists A partir dos artigos resultantes da revisão sistemática de literatura a leitura dos mesmos foi realizada com o objetivo de analisar informações sobre a validação dos conjuntos de heurísitcas/checklist propostos nos artigos. O resultado dessa leitura pode ser verificado na Tabela 7. Tabela 7: Dados extraídos sobre validação do conjunto de heurísticas/checklist Artigo Realiza validação do conjunto de heurísticas/checklist (Hashim et al., 2010) -- 1 (Lo & Tan, 2012) -- (Fetaji & Fetaji, 2011) -- (Zaibon & Shiratuddin 2012) -- (Inostroza et al., 2012) Avaliação heurística comparativa (Wesselset al., 2011) -- (Rauch, 2011) -- (Ayob et al., 2009) -- (Billi et al., 2010) -- (Gu, Gu & Laffey, 2011) -- (Travis & Tay, 2011) -- (Alsos et al., 2012) -- (Nilsson, 2009) -- (J.Gong & P.Tarasewich, 2004) -- (E. Bertini et al., 2006) Avaliação heurística comparativa 2 1 Não cita avaliações sobre as heurísticas de usabilidade propostos.

42 41 Apesar da importância da usabilidade no contexto de dispositivos móveis o resultado escasso da revisão sistemática de literatura demonstra uma falta de investigação nesta área. Analisando a Tabela 7 fica evidente a falta da realização de uma validação do conjunto de heurísticas/checklists propostos na literatura encontrada. Somente dois artigos citam a realização de uma avalição do conjunto de heurísticas propostos (Inostroza et al., 2012) e (Bertini et al., 2006). Inostroza et al. (2012) realizaram a comparação de dois conjuntos de heurísticas, por um estudo comparativo em que realizaram uma avaliação utilizando as heurísticas propostas para dispositivos touchscreen e a outra realizada com as heurísticas tradicionais de Nielsen. Dois grupos de avaliadores, compostos por dois avaliadores cada, utilizaram um dispositivo touchscreen para a realização da avaliação heurística, um deles utilizou as heurísticas de Nielsen e o outro utilizou as heurísticas propostas para dispositivos móveis. O resultado foi a identificação de um número um pouco maior de problemas de usabilidade utilizando as heurísticas para dispositivos móveis touchscreen. Além de identificarem mais problemas o grupo ainda classificou os problemas em maiores graus de severidade. Posterior a essa avalição, os autores, utilizaram a média e a variância dos valores dos graus de severidade dos problemas encontrados com cada conjunto de heurística para avaliar a validade do conjunto proposto. Apesar dessa primeira tentativa de validar o conjunto de heurísticas proposto os autores destacaram o fato dessa avaliação ainda ser preliminar e a necessidade da realização de mais experimentos para ser possível uma melhor conclusão. Bertini et al. (2006) realizaram um estudo empírico com objetivo de comparar o apoio prestado pelo novo conjunto de heurísticas móveis contra as heurísticas de usabilidade padrão. O estudo envolveu oito especialistas em usabilidade e teve como resultado uma avaliação mais precisa em termos de problemas detectados (mais falhas detectadas) com a utilização das heurísticas para dispositivos móveis. Observando essa falta em geral de avaliações mais rigorosas dos

43 42 conjuntos de heurísticas pospostos para dispositivos móveis o presente trabalho objetiva avaliar um conjunto de heurísticas de usabilidade para dispositivos de celulares touchscreen utilizando a Teoria da Resposta ao Item, pois a mesma permite a criação de um instrumento de medição que possua uma escala padronizada e permita sistematização e precisão dos resultados e, logo, comparabilidade dos mesmos. Essa técnica já foi utilizada para avaliar outro conjunto de heurísticas como, por exemplo, na elaboração de um conjunto de heurísticas referente a usabilidade em sites de e-commerce (TEZZA, 2009). O trabalho citado anteriormente indica a adequação do uso da técnica de TRI para validar/avaliar checklists que dentro desse contexto podem ser compreendidos como questionário padronizado, assim é possível citar alguns trabalhos que fizeram uso da técnica de TRI para validar/avaliar questionários, como, por exemplo, questionários para medir inteligência ou autismo infantil (SATO, 2009) ou questionários para medição de fatores críticos da gestão pela qualidade (ALEXANDRE et al. 2001).

44 43 4. AVALIAÇÃO DAS HEURÍSTICAS/CHECKLIST DE USABILIDADE PARA APLICATIVOS EM CELULARES TOUCHSCREEN No presente capítulo é relatado o processo de avaliação/validação do conjunto de heurísticas/checklist para avaliação de usabilidade de aplicativos para dispositivos celulares touchscreen. O processo de avaliação é composto por cinco etapas: Definição, Planejamento, Operação, Análise e Interpretação e Documentação (WOHLIN, 2012) (Figura 12). Figura 12: Etapas do processo de avaliação Fonte: WOHLIN, Definição da Avaliação O objetivo da avaliação é validar os itens do checklist para avaliação de usabilidade de aplicativos dos dispositivos touchscreen phones. Com esse objetivo é efetivado um estudo empírico onde é realizada uma série de avaliações heurísticas utilizando o checklist para avaliação de aplicativos para dispositivos celulares touchscreen proposto por Salazar et al. (2012). A avaliação tem como foco aplicativos para dispositivos móveis e a principal funcionalidade dos mesmos, portanto, as avaliações não levaram em consideração o aplicativo como um todo e sim a sua principal função. O estudo de caso é dividido em duas iterações: Na primeira iteração são selecionados 50 aplicativos a serem avaliados. Os critérios para a seleção dos aplicativos estão apresentados a seguir: 1. Aplicativos gratuitos; 2. Número de downloads maior que 200 na página que o disponibiliza;

45 44 3. Aplicativos com diversificadas avaliações fornecidas pelos usuários que utilizaram os aplicativos após realizar o download dos mesmos nas páginas que os disponibilizam. Para a iteração 2 são selecionados 197 aplicativos. O critério de seleção dos aplicativos para a segunda iteração foi o seguinte: 1. Aplicativos gratuitos; 2. Aplicativos gratuitos para realização de testes. A Tabela 8 apresenta os 247 aplicativos selecionados ao total para a realização das avaliações nas duas iterações. Demais informações sobre os aplicativos, como versão e site de download estão disponíveis no Apêndice C. Tabela 8: Aplicativos selecionados para a avaliação Aplicativos Avaliados Dicionário da Língua Portuguesa Boa Lista - Lista de Compras 4Shared Weather Channel Google Tradutor Banco do Brasil Google Drive Gmail Consulta Visa Vale Google Goggles IMDb Saraiva ereader App2SD WhatsApp Consulta CEP DropBox Traffic Counter Extended YouTube Angry Birds PersonalFinance Viber FacebookMessenger Trip Advisor Tavindo Qual Operadora Cadê Meu Banco Wikipedia Wallpapers HD iphone Instagram Churrascometro Brasileirão CamScanner iphone Buscapé iphone Groupon iphone Wase Voos Online Apn Brasil TrackPack AVG Mobilation CardioTrainer Facebook Feriados 2013 iphone Catarinense 2013 iphone Internacional SporTV iphone Night Sky Lite iphone Sky Sports iphone GloboEsporte.com iphone Shazam iphone EyeEm iphone Dictionary.com iphone Quora iphone Converter Photaf Panorama Clean Master Sonar Simulado Detran Free Rádio Atlântida Spider Solitaire Pessoa física Rádio Pessoal AUPEO! Guia de aeroportos HD icall Baby holidays Radar G1 Eu atleta Shared MP3 Diário Catarinense Globo News Kekanto Vogue Brasil Mobile Marie Claire Brasil Mobile Crescer Mobile Expedia Hotels & Flights Dieta e Saúde Radar G1 Simple PAC Shared MP3 Baixar músicas Insta Collage Bíblia Sagrada NVI Esboço do lápis Letra de música e do YouTube Ringtone Maker Wales, UK Malaysia Cari ASTRO File Manager Any.Do IntaWeather Free Qello TaxiBeat Thrist Mokriya craigslist ArtFinder Wunderlist WBCBaseball TouristEye CineMark Brasil Climatempo Foursquare Ingresso.com Tela Transparente QRDroid Baixaki Buscapé Mobile Tic Tac Toe - Pro Hotmail Pedômetro - Accupedo Dictionary.com Air Horn Free Photo Grid Globo.com Caça Palavras Jogo da Forca Qual é a resposta? Medscape Remember The Milk MusiXmatch Split Pic

46 45 Passa Regua Partiu Balada Genéricos Brasi Vacinas Brasil Lite Pressão Arterial Guia Médico Nacional Unimed Diabetes Gripe Suína Apgar Diário de Pressão Sanguinea GAPS - Antibiótico na Urgência TV Show Favs KCRW SongTag Sky Drive O que é o que é ibeer FREE Google Play Books Lighter Free Galinha Pintadinha Change my Voice Maze game Guess The Movie Flashlight Toddler Animal Sounds MyBaby: My puzzle for kids Presidentes Pou Logo Quiz Livraria Cultura ebooks Procedimentos TUSS Alergias Amamentação Diabetes Diabetes Diary Lite Myway Diabetes Manager bpresso.com Medicamentos A a Z Procedimentos SUS CliniCalc Dengue Adulto e Criança Aleitamento Breastfeed GlicoCare Universo Médico Meu diário Mensal Rotinas Terapeuticas Appedatria Psisoríase Dblcam Guia TV BR Alarme AntiFurto Engraçado Tones SMS Jogos Mentais Fácil Voz Bloco de Notas Horóscopo HD Grátis Lembretes de Aniversários Battery Master WikipediaPlaces Free Baby Names Faces - Photo Fun CPF/CNPJ Nó em gravata Rastreio Correios Privalia Mobile Tempo de trabalho Presto! Remote Simples MP3 Downloader acalendar WiFi Manager Astrid Lista de Tarefas Diário feliz PLUS Fake Call & SMS Telefone celular Voip Wedding Planning Benji Bananas Sleep as Android Lupa (Magnifier HD) Emoji para Android Relax and Sleep EarthView Tv Show. Tracker Tumblr ShareFood SoundCloud Postos combustivel Brasil Taximetro Pro London Underground Tube I am Here Night Vision Camera Festas UFSC GlobeConvert MagicPlan NET Viddy Compras, moda e liquidações Bouncy Bill Easter Tales Xadrez Pet Shop Story: Easter Piano Virtual Brasil Mobile Florianópolis Reuters FloripaVIP Medida Certa Nike+ running Android Massager Saúde Vale Metas de Vida Receita Móvel Free Exercícios em casa Nivea Sun TeleListas Sabores do Brasil icaipirinha Evernote Hello ProEstetica Color Touch Palco MP3 Qranio Twitter Decolar.com Hotéis e Voos Aprenda a falar outras línguas 1001 Lugares no Brasil Bússola estabilizada Hotel Hoje minube Mochileiros Sushi BR EasyMeasure Photo Effects Dodol Phone Prague Shopping Guide O checklist utilizado na realização da primeira iteração de avaliações é apresentado no Apêndice A (versão 1.0). O checklist utilizado para as avaliações na segunda iteração e para a reavaliação dos aplicativos da iteração 1 é apresentado no Apêndice B (versão 2.0). O formulário utilizado para registrar as avaliações é apresentado no Apêndice D.

47 Execução da Avaliação Coleta de Dados As avaliações heurísticas foram realizadas entre outubro de 2012 e abril de Cinco pesquisadoras realizaram as avaliações, sendo quatro delas do GQS/INCoD/UFSC e a quinta a autora do presente trabalho. As avaliações envolveram pesquisadores júnior com background na área de computação, na área de usabilidade e uma pesquisadora formada em design. A primeira etapa para a realização das avaliações foi o encontro entre todas as pesquisadoras na sala GQS/INCoD/UFSC para a realização de uma avaliação heurística em conjunto, essa avaliação teve como principal objetivo a calibração das pesquisadoras. Nesse primeiro encontro o checklist também foi avaliado e o resultado foi a percepção de alguns problemas no mesmo. Após a reformulação dos problemas encontrados no checklist cada pesquisadora realizou duas avaliações individualmente. Foram selecionados dois aplicativos para a realização dessas avaliações individuais e posteriormente foi realizado um segundo encontro onde as avaliações de cada uma das pesquisadoras foram confrontadas com as demais. O resultado foi o nivelamento entre todas as pesquisadoras no que diz respeito ao entendimento e interpretação do checklist, bem como, o entendimento de como se dariam as avaliações. Foi estabelecido que, para a realização das avaliações, o primeiro passo seria executar o aplicativo e realizar uma breve análise do mesmo como um todo. Posterior a essa primeira análise a principal função deveria ser identificada e selecionada para dar continuidade a avaliação. Os dados resultantes das avaliações foram armazenados em uma planilha eletrônica do Excel Web App, aplicativo baseado em navegador que permite editar e exibir arquivos do Excel no navegador de forma colaborativa. Dessa forma os resultados das avaliações permaneceram unificados. Os dados coletados podem ser observados no Apêndice E.

48 Equipamentos Para a realização das avalições heurísticas foram utilizados 7 dispositivos móveis touchscreen. As Tabelas 9, 10, 11, 12, 13, 14 e 15 descrevem os equipamentos. Os dispositivos são de propriedade das avaliadoras e/ou fornecidos pelo GQS. Tamanho da Tela Resolução da tela Tabela 9: Especificações do Samsung Galaxy Ace 3.5 polegadas 320 x 480 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional Android Peso 113 g Fonte: Tabela 10: Especificações do Samsung Galaxy Y GT-S5360B Tamanho da Tela 3.0 polegadas Resolução da tela Método touchscreen 240 x 320 pixels TFT capacitive touchscreen Sistema operacional Android Peso 97.5 g Fonte: Tamanho da Tela Resolução da tela Tabela 11: Especificações do Samsung GT-I5500B 2.8 polegadas 240 x 320 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional Android 2.1 Peso 102 g Fonte:

49 48 Tamanho da Tela Resolução da tela Método touchscreen Tabela 12: Especificações do HTC Magic 3.2 polegadas 320 x 480 pixels TFT capacitive touchscreen Sistema operacional Android 1.6 Peso g Fonte: Tamanho da Tela Resolução da tela Método touchscreen Tabela 13: Especificações do iphone 4S 3.5 polegadas 640 x 960 pixels TFT capacitive touchscreen Sistema operacional ios 5 Peso 140 g Fonte: Tabela 14: Especificações do Samsung Galaxy Ace Duos Tamanho da Tela 3.5 polegadas Resolução da tela Método touchscreen Sistema operacional Peso 320X480 pixels TFT capacitive touchscreen Android 2.3 Gingerbread 113 g Fonte: Tamanho da Tela Resolução da tela Método touchscreen Tabela 15: Especificações do Motorola XT polegadas 480x320 pixels TFT capacitive touchscreen Sistema operacional Android 2.3 Peso 107g Fonte:

50 Análise dos dados Análise subjetiva do checklist A primeira etapa de análise dos dados e validação do checklist foi a realização de uma análise empírica, o início dessa análise se deu em um encontro entre todas as pesquisadoras após a primeira iteração de 50 avaliações. Previamente ao encontro criou-se um documento online onde cada pesquisadora registrou suas impressões a cerca do checklist após a primeira iteração das avaliações. Nesse mesmo documento foi possível que as pesquisadoras comentassem os registros das demais, assim, antes da realização do encontro, todas já tinham conhecimento sobre os pontos que seriam discutidos. Durante o encontro foram abordados os tópicos registrados e o resultado foi a reformulação, exclusão e/ou inclusão e agrupamento de alguns itens do checklist. O resultado dessa avaliação foi a criação da versão 2.0 do checklist, que pode ser obervada no Apêndice B. Os itens reformulados podem ser observados na Tabela 16. A modificação desses itens teve como finalidade deixá-los mais claros, objetivos e alinhados ao escopo. Na coluna da esquerda estão os itens antes da modificação e a coluna da direita apresenta os itens reformulados.

51 50 Tabela 16: Itens modificados após avaliação empírica do checklist Itens selecionados para modificações 2. Os itens selecionados são claramente distintos dos demais? Itens após modificações Os componentes interativos selecionados são claramente distintos dos demais? 5. Todas as telas possuem identificação? Todas as telas possuem título? 37. Utiliza o nome da tela anterior ao invés de voltar para nomes de botões e links? A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma? 39. Os títulos das telas são curtos? Os títulos e rótulos são curtos? 41. Há padronização de cores para identificação e sinalização das áreas do aplicativo? 44. Os rótulos dos links descrevem adequadamente seu conteúdo? 62. As mensagens apontam qual a causa do erro? 64. As mensagens de erro são claras e precisas? Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)? Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das telas que abrem? As mensagens de erro são claras apontando a causa do erro? 65. As mensagens de erro são agressivas com usuário? As mensagens de erro são amigáveis com usuário (não ofendem)? 82. Todo o texto fica visível na tela, independente da orientação? 85. Informações transmitidas na forma de gráficos também são descritas textualmente? Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes? As imagens (gráficos, ícones, etc) também são descritas textualmente? Nessa primeira análise foram incluídos dez novos itens. A necessidade desses novos itens foi percebida durante a realização das avaliações, pois, entendeu-se que alguns problemas de usabilidade encontrados durante a utilização dos aplicativos não eram abordados no checklist. Os novos itens podem ser observados na Tabela 17, na qual também estão apresentadas as respectivas heurísticas as quais os novos itens foram associados.

52 51 Tabela 17: Itens inclusos no checklist após avaliação empírica Heurística Novos Itens Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)? Visibilidade do status do sistema Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura? O aplicativo pode ser fechado e não apenas minimizado? Controle e Liberdade do Usuário Consistência e Padrões Flexibilidade e Eficiência de Uso Estética e Design Minimalista No caso de aplicativos associados a cadastro de login ou contas de , permite o fácil acesso de mais de um usuário? As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor) O aplicativo apresenta problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)? O aplicativo só apresenta funções que estão habilitadas? Pouca interação homem/dispositivo O cadastro de usuário exige somente informações necessárias? O alinhamento utilizado favorece a leitura? Legibilidade e Layout Quando utiliza o scroll é somente vertical ou somente horizontal? Ainda nessa primeira análise do checklist foi decidido pela retirada de quatro itens, pois se percebeu que eles não eram pertinentes ou sempre eram verdadeiros, como por exemplo, o item 17: É possível sair da tela atual a qualquer momento? Em dispositivos móveis sempre é possível sair da tela atual através dos botões de controle do próprio dispositivo. Os itens eliminados e a justificava para a eliminação podem ser observados na Tabela 18. Tabela 18: Itens retirados após avaliação empírica do checklist Itens Retirados Justificativa 9. As interações propostas no aplicativo são semelhantes a ações reais (como por exemplo, descartar um arquivo arrastando-o para a lixeira)? Percebeu-se que nem sempre usar a metáfora é necessário, pois considera-se mais importante as interações serem consistentes com o modelo proposto pela plataforma do que com ações reais. 14. O aplicativo oferece mensagens de fechamento para Esse item já é avaliado no item: Para cada ação do tarefas que envolvam um conjunto de etapas? usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 17. É possível sair da tela atual a qualquer momento? Esse item nunca teria resposta negativa, pois sempre é possível sair da tela atual utilizando o botão de controle do aparelho. 46. Os dados do usuário são salvos (login, itens buscados)? Esse item está contido no item O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de auto-completar, etc)?

53 52 Após essa primeira análise e reavaliação do checklist foi criada uma nova versão do mesmo contendo todas as modificações apresentadas. A nova versão do checklist (versão 2.0) pode ser observada no Apêndice B. Posteriormente a geração da nova versão do checklist os aplicativos que haviam sido avaliados na primeira iteração utilizando a versão 1.0 do checklist foram reavaliados para que seus dados refletissem a nova configuração do checklist versão 2.0. A reavaliação dos aplicativos foi realizada em Janeiro de 2013 por quatro pesquisadoras. Os dados coletados podem ser observados na íntegra no Apêndice E Análise estatística utilizando a Teoria da Resposta ao Item Nesta seção serão mostrados, analisados e discutidos os resultados gerados pela TRI referente aos 92 itens elaborados e a amostragem de 247 aplicativos para touchscreen phones. A TRI foi mais uma ferramenta utilizada para auxiliar na validação do checklist. O objetivo dessa análise foi realizar a avaliação dos dados obtidos através da realização das avaliações heurísticas para que seja possível inferir quais itens que compõe o checklist, contribuem mais para medir o traço latente, ou seja, a usabilidade. Usando a TRI é possível avaliar a qualidade dos itens e classificar os aplicativos em relação ao grau de usabilidade. Para realizar essa análise foram utilizados os dados levantados através da amostra composta por 247 avaliações. O tratamento dos dados foi realizado utilizando o software BILOG-MG3 (MISLEVY & BOCK, 2003). O software é específico para auxiliar no procedimento de estimação dos parâmetros e do traço latente. O checklist é composto por 92 itens que estão divididos em doze Heurísticas de Usabilidade. Cada item possui uma escala likert de resposta que varia de 0 a 2, como pode ser observado na Tabela 19. Ainda na Tabela 19 pode observar-se a interpretação e um exemplo de resposta para cada item da escala.

54 53 Tabela 19: Escala de respostas do cheklist Opção Valor Interpretação Exemplo Não atende 0 Associado ao perfil negativo de usabilidade do aplicativo Para o Item: As fontes utilizados favorecem a leitura? o aplicativo de exemplo não atende a esse requisito, pois as fontes são muito pequenas dificultando a leitura. Atende parcialmente 1 Associado ao perfil intermediário de usabilidade do aplicativo Aplicativo: Benji Bananas Para o item: Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis? o aplicativo de exemplo atende parcialmente, pois os componentes interativos superiores, em um primeiro momento parecem ser somente para visualização, mas após algumas interações com o aplicativo verificou-se que os componentes eram clicáveis, portanto, a interação com esses componentes não é evidente. Satisfaz 2 Associado ao perfil positivo de usabilidade do aplicativo Aplicativo: POU Para o item: O menu é esteticamente simples e claro? o aplicativo usado como exemplo satisfaz plenamente esse requisito, pois o menu é simples, claro e objetivo. Não apresentado 9 Requisito de usabilidade não pertence ao escopo do item Aplicativo: Google Books Para o item: É possível prever o tamanho da tela pelo tamanho do scroll? o aplicativo utilizado no exemplo não possui scrool em nenhuma das telas, portanto, o requisito indagado no item não é apresentado pelo aplicativo. Aplicativo: Bounce Bill Easter Tales O único item para o qual essa escala não se aplica é o item 48, onde a categoria 2 está associado ao perfil negativo e a categoria 0 está associado ao perfil positivo de usabilidade. Para realizar a análise o item 48 foi recodificado onde as respostas com valor 2 foram recodificadas para o valor

55 54 0 e as respostas com valor 0 foram recodificadas para o valor 2, dessa maneira, todos os 92 itens utilizam a categoria 2 para representar os aspectos positivos de usabilidade. Para a criação da escala usabilidade dos aplicativos para touchscreen phones é necessário atribuir valores comparáveis aos itens e aos aplicativos para que possam ser posicionados na mesma escala. Entretanto, devido a natureza arbitrária dos valores para posicioná-los na escala, criou-se um valor de referência onde a média é 50 e o desvio padrão é 10. A escala criada é uma escala (50,10) que não tem significado prático, ou seja, esta escala poderia ter qualquer valor, onde o valor 50 representa o desempenho médio de usabilidade dos 247 aplicativos. Para que esses valores arbitrários tenham significado quando os itens forem posicionados na escala, o conteúdo abordado em cada item faz com que esses valores tenham uma interpretação para o traço latente medido, nesse caso, o traço latente é a usabilidade. Para posicionar os aplicativos e os itens com respostas graduadas nessa escala é necessário utilizar um modelo estatístico. Em razão da natureza das respostas dos itens uma das opções é adotar o modelo de resposta gradual. Esse modelo assume que categorias de respostas de item podem estar ordenadas entre si. Pode-se então afirmar que a probabilidade de um aplicativo j estar selecionado a uma categoria k (k = 0, 1, 2) é dada por: P i,k ( ) 1 e a ( b i 1 j i,k ) 1 e a ( b i 1 j i,k 1 onde i é o índice do item e um item que possui 3 categorias assume a restrição em que b=0, apresentando dois valores do parâmetro de dificuldade (b 1, b 2 ) que deverão ser estimados, além do parâmetro de discriminação do item (a) e os valores do traço latente ( ) de cada aplicativo. Os parâmetros dos itens e o traço latente do aplicativo determinarão a probabilidade de ele estar em uma das categorias para um dado item. As Curvas Características do Item identificam essas probabilidades. Nesse modelo deve-se ter uma ordenação entre os parâmetros de dificuldade das categorias de um dado item, ou seja b b. i,1 i,2 )

56 55 O modelo descrito não será utilizado no presente trabalho, devido ao fato que algumas categorias obtiveram poucas respostas. Em razão disso, para análise dos dados é realizado um agrupamento de duas categorias. São consideradas as respostas 0 e 1 como a categoria não satisfaz e a resposta 2 como a categoria satisfaz o requisito de usabilidade perguntado no item. A interpretação dos resultados será a mesma, ou seja, estará sendo criada uma escala para avaliar a usabilidade dos aplicativos, mas considerando apenas duas categorias. Agora para itens com resposta dicotômica foi utilizado o modelo logístico dado por: 1 P(Xij 1, ai, bi ) ai( j bi) 1 e sendo: X ij a resposta ao item i (X i = 1 se a resposta satisfaz, X i = 0 se a resposta não satisfaz) do aplicativo j; j o parâmetro do aplicativo, representa a nota de usabilidade do aplicativo j; a i o parâmetro de discriminação do item i. b i o parâmetro de posição, também chamado de dificuldade, do item i. O parâmetro b determina se um item é difícil, ou seja, poucos aplicativos atendem determinada característica. O parâmetro a mede quanto o item consegue diferenciar os aplicativos que estão em um nível superior da escala atender suas características e os aplicativos que estão em um nível inferior da escala não atender suas características. Na estimação dos parâmetros dos itens e na nota de qualidade dos aplicativos, supõe-se que a distribuição das notas dos aplicativos é normal com média 0 (zero) e desvio padrão 1 (um), escala (0,1), essa suposição é feita nos softwares por questão de conveniência. Para divulgação dos dados é conveniente ter uma escala que evite números negativos. Assim, optou-se por uma distribuição das notas dos aplicativos com média 50 e desvio padrão 10, escala (50,10).

57 Resultados Nesta seção são mostrados, analisados e discutidos os resultados da análise estatística gerados pela TRI referente aos 92 itens que compõem o checklist e a amostragem de 247 aplicativos para celulares touchscreen. Primeiramente, antes de prosseguir com a análise, é importante ressaltar que um item pode ser eliminado por falta de informação suficiente para conseguir medir a característica de usabilidade indagada nele ou este item não está associado a usabilidade. O importante é que dos itens remanescentes na análise, todos medem o mesmo traço latente, ou seja, todos os itens estão medindo a usabilidade. Os critérios estabelecidos para eliminação dos itens são feitos quando os itens têm os parâmetros na escala (0,1). Os critérios foram: parâmetro de discriminação a<0,50; parâmetro de dificuldade b não convergiu (parâmetro com valore aquém do intervalo (-4;4)). Foram eliminados 44 itens segundo esses critérios, são eles: 3, 5, 8, 9, 10, 15, 16, 19, 21, 22, 23, 24, 28, 29, 37, 38, 39, 40, 43, 46, 49, 51, 52, 53, 55, 56, 63, 64, 65, 66, 67, 68, 69, 70, 72, 73, 74, 75, 77, 78, 84, 85, 88 e 92. Os parâmetros dos itens remanescentes no modelo dicotômico são apresentados no Apêndice F. Os itens 6, 18 e 79 tiveram os maiores valores do parâmetro b, isto significa que é muito provável que somente os melhores aplicativos analisados atendam as especificações descritas nesses itens. Em compensação, os itens 13, 60 e 81 foram os que tiveram o menor parâmetro b, logo, são itens que não discriminam aplicativos com boa usabilidade dos demais aplicativos. Para estes itens é muito provável que praticamente todos os aplicativos analisados atendam aos quesitos perguntados neles. Pode-se afirmar que eles devem estar relacionados com requisitos básicos de usabilidade de um aplicativo. Uma vez que todos os parâmetros dos itens e que todos os valores das notas dos aplicativos estão numa mesma métrica (escala), ou seja, quando todos os parâmetros são comparáveis, pode-se construir escalas interpretáveis.

58 57 As escalas são definidas por níveis âncoras, que são os pontos da escala que serão interpretados. Esses pontos são caracterizados por um conjunto de itens, de preferência itens âncoras, sendo que dificilmente um instrumento com poucos itens, terá informação suficiente para caracterizar todos os pontos da escala. O critério adotado para o posicionamento do item na escala é feito usando dois níveis âncora consecutivos Y e Z, com Y<Z. Um item é âncora para o nível Z, se e somente se, obedecer simultaneamente as condições abaixo: P(U=1 =Z) 0,65 P(U=1 =Y) < 0,50 P(U=1 =Z) - P(U=1 =Y) 0,30 Portanto, um item é âncora se em um determinado nível âncora da escala é marcado sim por pelo menos 65% dos aplicativos com o mesmo nível do traço latente e por uma proporção de no máximo 50% de aplicativos com o nível do traço latente imediatamente anterior. Além disso, a diferença entre a proporção de aplicativos nesses níveis de habilidade que marcaram sim nesse item deve ser de pelo menos 30%. Em outras palavras, para um item ser âncora ele deve ser um item típico daquele nível, ou seja, bastante marcado nas categorias sim por aplicativos com aquele nível de traço latente e pouco marcado com sim por aplicativos com um nível de traço latente imediatamente inferior (ANDRADE et al. 2000). Uma das desvantagens desta metodologia é que não há garantia que existirão no instrumento aplicado itens âncoras para todos os níveis âncoras determinados. Para tanto, é fundamental que os níveis âncoras sejam escolhidos não muito próximos uns dos outros e também que o número de itens aplicados seja bastante grande de modo a possibilitar a construção e a interpretação da escala de usabilidade. Adotamos aqui, os níveis âncora com distância de um desvio padrão. Os itens que permaneceram no checklist são posicionados em algum ponto da escala, mesmo que não satisfaçam o critério de item âncora. Para posicioná-los foi adotado apenas o primeiro critério, ou seja, P(U=1 =Z) 0,65.

59 Itens 58 A Figura 13 apresenta a distribuição dos valores de usabilidade dos 247 aplicativos e o posicionamento dos itens na escala. I81 I32 I44 I50 I14 I60 I47 I80 I41 I20 I13 I30 I54 I01 I62 I35 I86 I48 I79 I58 I91 I06 I76 I02 I18 I07 I12 I59 I90 I26 I83 I33 I57 I31 I82 I45 I25 I17 I42 I04 I27 I89 I61 I87 I11 I36 I71 I34 Figura 13: Posicionamento dos itens e distribuição dos valores de usabilidade dos 247 aplicativos Observa-se, na Figura 13, que a maior parte dos itens está posicionada abaixo do nível 50 (referência como valor médio) e a maior parte dos aplicativos (128) está posicionado acima do nível 50, evidenciando que a maior parte dos itens apresentados no questionário são básicos para a usabilidade

60 59 dos aplicativos. Ou seja, muitos aplicativos possuem as características de usabilidade perguntadas nos itens. Para cada aplicativo, foi medido o grau de usabilidade representado por meio de uma nota, sendo estas apresentadas no Apêndice G. A Figura 14 fornece informações sobre o checklist para avaliações de usabilidade de aplicativos para touchscreen phones, apresentando informação total do conjunto de itens. A partir da figura é possível identificar que a informação do teste é maior na região abaixo dos 50, o que já era esperado tendo em vista que a maior parte dos itens ficaram posicionados nessa região. Assim, pode-se concluir que o checklist proposto é mais indicado para medir aplicativos que apresentam baixa usabilidade, logo, o erro da nota para estes aplicativos é menor pois existem muitos aplicativos posicionados nessa área. Em contrapartida para os aplicativos que estão posicionados acima dessa região o erro padrão da nota é maior, pois existe pouca informação nessa área. Figura 14: Curva de Informação do Instrumento de avaliação heurística de aplicativos para touchscreen phones Itens eliminados A construção de uma escala de medida de usabilidade, ou qualquer outra escala prática, necessita de reflexões práticas referente ao assunto que

61 60 se está propondo medir (TEZZA, 2009). Dessa maneira nesta seção é discutido a eliminação dos itens sob o ponto de vista prático. A Tabela 20 apresenta os cinco itens eliminados referentes a heurística Visibilidade e Status do Sistema. Tabela 20: Itens eliminados referentes a heurística Visibilidade e Status do Sistema Item Descrição 3 Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede? 5 Todas as telas possuem título? 8 O aplicativo oferece informações sobre sua versão? 9 Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)? 10 Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura? A Heurística Visibilidade e status do sistema refere-se a informar ao usuário sobre sua localização dentro do sistema e quaisquer mudanças do estado do mesmo. O item 3, Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede?, por exemplo, elaborado com base em Billi et al. (2010) defende que o usuário deve ter acesso constante a informações como status da bateria e da rede, que interferem diretamente em sua interação. Contudo esse item não possui a capacidade de diferenciar os aplicativos em termos de usabilidade, bem como, os demais itens dessa heurística que foram eliminados. Tabela 21: Itens eliminados referentes a heurística Controle e Liberdade do Usuário Item Descrição 15 O aplicativo pode ser fechado e não apenas minimizado? 16 É possível prever o tamanho da tela pelo tamanho do scroll? 19 O usuário pode sair do aplicativo e retornar do ponto onde parou? 21 O usuário pode desfazer (undo) uma ação? 22 O usuário pode refazer (redo) uma ação? 23 Em aplicativos com sobreposição de janelas, estas possuem transparência para que seu contexto fique visível? 24 Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto? Os itens 15, 16, 19, 21, 22, 23 e 24 apresentados na Tabela 21, referemse a heurística Controle e liberdade do usuário. O item 15 O aplicativo pode ser fechado e não apenas minimizado? foi elaborado após a realização da análise subjetiva do checklist, de uma maneira geral, pode-se concluir que o

62 61 item está mais relacionado com a usabilidade do aparelho em si do que com a usabilidade do aplicativo, pois o aplicativo não ser encerrado após o uso prejudica o desempenho do dispositivo e não do aplicativo. Pode-se inferir que esta característica está relacionada com um contexto mais amplo de usabilidade e merece mais estudos posteriores. O item 19 O usuário pode sair do aplicativo e retornar do ponto onde parou? foi elaborado com base em Zaibon e Shiratuddin (2012) onde os autores afirmam que interrupções devem ser tratadas de forma natural pelo sistema, oferecendo ao usuário a possibilidade de reiniciar imediatamente suas ações. Esse item pode ser considerado importante para a usabilidade dos aplicativos, pois interrupções em celulares são constantes, como por exemplo, o recebimento de chamadas, mensagens e s. Por esse motivo, torna-se importante que o usário posso retomar, do ponto onde parou, as tarefas que estava realizando no dispositivo. Porém esse item não consegue discriminar os aplicativos em termos de usabilidade. Os itens 21 O usuário pode desfazer (undo) uma ação? e 22 O usuário pode refazer (redo) uma ação? foram itens que levantaram muitas dúvidas entre as pesquisadoras durante a realização da avaliação subjetiva do checklist, pois aplicativos geralmente possuem tarefas mais simples de serem realizadas e não oferecem, e muitas vezes nem precisam oferecer, opções para desfazer/refazer uma ação. Conclui-se que as dúvidas levantadas eram pertinentes e foram confirmadas através da eliminação dos itens. Tabela 22: Itens eliminados referentes a heurística Consistência e Padrões Item Descrição 28 Itens não clicáveis deixam evidente que não o são? 29 O nome do botão/ícone é consistente com o nome da tela que abre? Os itens 28, Itens não clicáveis deixam evidente que não o são? e 29 O nome do botão/ícone é consistente com o nome da tela que abre?, referemse a heurística Consistência e padrões e estão apresentados na Tabela 22. Essa heurística, proporcionalmente, foi a heurística que menos teve itens eliminados. Apesar desta heurística ter forte correlação com as heurísticas tradicionais suas definições foram reinterpretadas e ajustadas para dispositivos

63 62 móveis. Pode-se então presumir que o reajuste realizado foi pertinente e essa heurística pode ser considerada relacionada ao escopo do conjunto de heurísticas desenvolvidas para dispositivos móveis. Essa característica vem de encontro com os resultados encontrados por Salazar et al. (2012) através da revisão do estado da arte realizado, que teve como objetivo fornecer uma visão geral sobre o conjunto existente de heurísticas de usabilidade para touchscreen phones. Os autores afirmam que entre os artigos resultantes dessa revisão, a heurística Consistência e padrões foi uma das mais citadas, indicando um consenso comum sobre a relevância dessa heurística também para telefones móveis. Tabela 23: Itens eliminados referentes a heurística Reconhecimento em vez de Lembrança Item Descrição 39 A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma? 40 Em cada opção do menu, a primeira palavra é a mais importante? 43 Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)? 46 Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das telas que abrem? A Tabela 23 apresenta os itens 39, 40, 43 e 46 que se referem a heurística Reconhecimento em vez de lembrança. Esta heurística, segundo Nielsen (1994) deve evitar acionar a memória do usuário o tempo inteiro, fazendo com que cada ação precise ser revista mentalmente antes de ser executada. As características que essa heurística aborda estão intimamente relacionadas com os sistemas operacionais que os dispositivos possuem, pois espera-se que os aplicativos se comportem de acordo com a plataforma para qual eles foram desenvolvidos. Se assim for, os usuários não precisarão lembrar como são realizadas as tarefas do aplicativo e sim recordar-se como os mesmos comandos são executados em seu sistema operacional. Tabela 24: Itens eliminados referentes a heurística Flexibilidade e Eficiência de uso Item Descrição 49 O propósito/função do aplicativo é claro? 51 O aplicativo é carregado rapidamente? 52 Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code? 53 O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela para outra com apenas um click sem ter que ir para uma outra página antes? 55 Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas? 56 É possível personalizar a interface de acordo com a preferência de cada usuário?

64 63 Na Tabela 24 podem ser observados os itens 49, 51, 52, 55 e 56, estes referem-se a heurística Flexibilidade e eficiência de uso. O item 52 Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QRcode? é um item que pode ser considerado importante para dispositivos móveis, pois na interação com esses dipositivos os usuários geralmente estão envolvidos em mais distrações e buscam concluir rapidamente as tarefas e muitas vezes não estão com as mãos disponíveis, por esses motivos, entendese que esse item é importante para a usabilidade dos aplicativos. Porém esse item não se mostrou pertinente ao escopo do cheklist proposto. Através da análise prática percebe-se que é muito difícil um aplicativo cumprir a característica indagada no item 55 Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas?. Permitir que os usuários criem caminhos preferenciais demanda mais complexidade ao aplicativo e consequentemente faria que o mesmo ficasse maior, exigindo mais espaço de armazenamento. Entende-se que espaço, em dispositivos móveis, muitas vezes é restrito, pois estes possuem recursos limitados, portanto, criar funções além das necessárias nem sempre é viável. O item 56 É possível personalizar a interface de acordo com a preferência de cada usuário? foi elaborado com base em Billi et al. (2010) onde os autores sugerem que baseado nos dados do usuário e de contexto, o sistema deve, sempre que possível, apoiar e sugerir opções de personalização para ações frequentes. Esse item não conseguiu distinguir os aplicativos com boa e má usabilidade, por isso foi eliminado. Do mesmo modo, esse item, como o anterior, também exige mais complexidade do aplicativo e consequentemente mais espaço de armazenamento, portanto, nem sempre é viável disponiblizar tais opções para o usuário.

65 64 Tabela 25: Itens eliminados referentes a heurística Pouca interação homem/dispositivo Item Descrição 72 O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal? 73 O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de autocompletar, etc)? 74 Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações? 75 O cadastro de usuário exige somente informações necessárias? Os itens 72, 73, 74 e 75 referem se a heurística Pouca interação homem/dispositivo e são apresentados na Tabela 25. Esta foi uma das heurísticas adicionais propostas levando em consideração as características específicas dos dispositivos móveis. Destaca-se o fato dessa heurística ter quase todos os seus itens eliminados, somente um item permaneceu após a análise estatística. A eliminação desses itens pode ter sido ocasionada por falta de informação suficiente para conseguir medir a característica de usabilidade indagadas nos itens. O item 72 O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal? foi elaborado com base em Hashim et al. (2010) e Travis (2011) onde os autores afirmam que os os aplicativos devem evitar, o uso de scroll, especialmente para a visualização de links e quando o dispositivo for utilizado na posição horizontal (WESSELS et al., 2011). Contudo, é possível que pelo tipo de interação mais direta do usuário com um celular touchscreen, o incômodo gerado pelo uso do scroll seja relativizado. O item 73 O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de autocompletar, etc)? e 74 Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações? são indicações das guias de estilo do Android. As guias de estilo indicam que os aplicativos devem saber as preferências dos usuários conforme o mesmo vai utilizando os recursos disponíveis. O aplicativo não deve pedir que os usuários façam as mesmas escolhas repetidamente, portanto deve-se disponibilizar, através de um fácil acesso, as escolhas realizadas anteriormente. Ruach (2011) e Nilsson (2009) também chamam a atenção para essa questão e

66 65 afirmam que para reduzir a entrada de dados, pode-se fornecer recursos como auto-completar, caixas-texto com sugestões, botões, menus, listas com valores pré-definidos. Podem ser utilizados dados do histórico e de personalização, como a cache de respostas usadas frequentemente. Rauch (2011) e Lo e Tan (2012) ressaltam que devem ser tolerados erros de digitação e abreviações. Para Billi et al. (2010) pelo tamanho do dispositivo móvel e seu contexto de uso (em movimento, com uma das mãos, etc), é importante que seja reduzido o esforço de interação. Porém, devido ao fato da heurística Pouca interação homem/dispositivo ter apresentado muitos itens eliminados, indica-se que seja realizada uma nova avaliação da mesma. Sugere-se que os itens sejam repensandos, revisados e reformulados no sentido de determinar a importância ou não dessa heurística. Tabela 26: Itens eliminados referentes a heurística Interação física e ergonomia Item Descrição 77 Possui links com tamanho adequado ao clique? 78 Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento? A Tabela 26 apresenta os itens 77 e 78 que referem-se a heurística Interação física e ergonomia. Esta heurística também é uma das heurísticas adicionais propostas. Dos seis itens que a compunham, somente dois foram eliminados. Pode-se inferir que essa heurística é relevante para dispositivos móveis touchscreen. Os itens eliminados foram os itens 77 Possui links com tamanho adequado ao clique? e 78 Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento?, estes itens foram elaborados com base em Rauch (2011), Lo e Tan (2012) e Travis e Tay (2011) onde os autores afirmam que os controles de navegação mais comuns devem estar ao alcance do usuário, podendo ser pressionados facilmente com o polegar. Os autores ainda sugerem que os elementos de controle sensíveis ao toque devem ter tamanho e espaçamento adequados para que os usuários possam tocá-los facilmente com os dedos, e, no caso de links contidos em texto, devem utilizadas aproximadamente três palavras. Destaca-se que os itens eliminados referem-se a presença de links nas interfaces dos aplicativos, pode-se inferir então que os aspectos relacionados a presença de links não

67 66 interferem significativamente na usabilidade dos aplicativos, até mesmo por não serem recorrentes. Tabela 27: Itens eliminados referentes a heurística Legibilidade e Layout Item Descrição 84 A interface do aplicativo se adapta a rotação da tela? 85 Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes? 88 As imagens (gráficos, ícones, etc) também são descritas textualmente? 92 Quando utiliza o scroll é somente vertical ou somente horizontal? Os itens 84, 85, 88 e 92 (Tabela 27) referem-se a heurística Legibilidade e layout outra heurística criada levando em consideração as características específicas dos dispositivos móveis. O item 88 As imagens (gráficos, ícones, etc) também são descritas textualmente? foi elaborado com base em Travis e Tay (2011) onde os autores afirmam que o aplicativo deve fornecer descrição textual como alternativa às informações veiculadas com gráficos. O item 92 Quando utiliza o scroll é somente vertical ou somente horizontal? foi elaborado pelas pesquisadoras do GQS durante a avaliação subjetiva do checklist, pois foi percebido que alguns aplicativos utilzavam em suas telas scroll horizontal e vertical ao mesmo tempo, dificultando a exibição do conteúdo. A heurística Legibilidade e layout era composta por onze itens e somente quatro itens foram eliminados demonstrando assim a relevância da mesma. Pode-se afirmar que as características indagadas nos itens pertencentes a essa heurística conseguem medir a usabilidade dos aplicativos e diferenciar os aplicativos com boa e má usabilidade. Tabela 28: Itens eliminados referentes as heurísticas Ajuda e Documentação, Prevenção de Erros e Ajuda, diagnóstico e recuperação de erros Item Descrição 37 Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas? 38 Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slide-to-unlock control usada pelos sistemas Android e Apple)? 64 O aplicativo permite fácil recuperação de erros? 65 As mensagens de erro são claras apontando a causa do erro? 66 As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação? 67 As mensagens de erro são amigáveis com usuário (não ofendem)? 68 O aplicativo possui uma opção de ajuda? 69 É fácil localizar a ajuda? 70 A ajuda é de fácil compreensão?

68 67 As heurísticas Ajuda e Documentação, Prevenção de Erros e Ajuda, diagnóstico e recuperação de erros tiverem todos os seus itens eliminados, os mesmos estão apresentados na Tabela 28. Essas heurísticas não se mostraram capazes de diferenciar os aplicativos em termos de usabilidade. A eliminação desses itens vem de encontro com as afirmações de Salazar et al. (2012) onde os autores expoem o resultado da revisão do estado da arte realizado pelos mesmos. Os resultados indicaram que heurísticas, tais como Prevenção de Erros e Ajuda e Documentação basicamente não foram citadas nos artigos encontrados. Esses resultados indicam que, pela maioria dos autores, essas heurísticas são consideradas irrelevantes para dispositivos de celulares touchscreen. Durante a realização das avaliações percebeu-se que alguns desses itens muitas vezes eram discutíveis, por exemplo os itens 68 O aplicativo possui uma opção de ajuda?, 69 É fácil localizar a ajuda?, 70 A ajuda é de fácil compreensão? e o item 37 Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas?. Pode-se considerar de uma maneira geral que essas características são importantes para a usabilidade, mas isso nem sempre é verdadeiro, em muitas situações essas características não são importantes. Aplicativos muitos simples, geralmente, não precisam de ajuda e nem instruções básicas para a sua utilização. As guias de estilo do ios, que orientam o desenvolvimento dos aplicativos para essa plataforma, recomendam que os aplicativos sejam intuitivos e fáceis de usar para que os usuários não precisem de conteúdo de ajuda, pois os usuários de dispositivos móveis não tem tempo nem desejo de ler um grande conteúdo de ajuda, além disso, o conteúdo de ajuda ocupa espaço de armazenamento, que em dispositivos móveis é restrito. Em contrapartida o item 38 Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slide-to-unlock control usada pelos sistemas Android e Apple)? foi elaborado com base em Rauch (2011) onde o autor sugere que sejam fornecidas ações de confirmação para determinadas ações, como excluir. As guias de estilo do Android reforçam esse ideia quando indicam que em algumas situações é uma

69 68 boa ideia pedir ao usuário que ele confirme a ação que ele está executando antes de prosseguir. As guias de estilo do ios abordam essa questão e afirmam que os usuários esperam ter uma chance de confirmar a sua intenção de realizar uma ação potencialmente irreversível. O item 38 pode ser considerado importante em relação a usabilidade dos aplicativos. É importante lembrar que dispositivos móveis são usados em ambientes diversos e com muita distração, portanto pode ocorrer que o usuário execute uma ação irreversível por engano ou por um toque impreciso, justifica-se assim a importância do item para prevenir que o usuário cometa erros ou execute ações de forma inadvertida. A eliminação deste item, não significa que ele não represente uma característica importante de usabilidade, todavia, não se apresentou alinhado ao checklist desenvolvido. Os itens 64 O aplicativo permite fácil recuperação de erros?, 65 As mensagens de erro são claras apontando a causa do erro?, 66 As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação? e 67 As mensagens de erro são amigáveis com usuário (não ofendem)? referem-se e a heurística Ajuda, diagnóstico e recuperação de erros e foram todos eliminados após a análise estatística. Nielsen (1994) recomenda que as mensagens de erro devem ser expressas de forma clara (sem códigos), indicando precisamente o problema, e sugerindo construtivamente uma solução. Porém quando se trata de aplicativos para dispositivos móveis touchscreen essa heurística pode ser considerada irrelavante. Compreende-se que os 44 itens foram eliminados por apresentarem baixo poder de discriminação, ou seja, não possuem capacidade de diferenciar aplicativos com boa usabilidade dos aplicativos com usabilidade ruim. Essa capacidade é uma importante característica que reflete a qualidade de um item. Um bom item é aquele que discrimina os aplicativos com desempenho superior daqueles com desempenho inferior. Entende-se que o checklist proposto é cumulativo, isso equivale a dizer que os aplicativos que possuem as melhores avaliações, provavelmente, terão todas as caracteristicas indagadas nos itens mais fáceis e provavelmente também terão as características indagadas nos

70 69 itens mais difíceis. De forma geral, as questões que foram eliminadas eram atendidas por grande parte dos aplicativos ou eram atendidas de forma distribuída, tanto por aplicativos classificados com má quanto com boa usabilidade. Essa situação indica que tais questões não se mostraram eficientes para diferenciar aplicativos com boa usabilidade. Contudo, seria necessário um estudo mais detalhado para confirmar se tais questões realmente não se referem a questões de usabilidade, que poderiam ser úteis no processo de desenvolvimento de aplicativos, por exemplo Escala de Medida do Grau de Usabilidade Com o objetivo de realizar uma interpretação qualitativa dos valores obtidos com a aplicação do checklist, permitindo identificar em que nível de grau de usabilidade os aplicativos avaliados se encontram, bem como em quais aspectos atendem ou não questões de usabilidade, é construída uma escala de medida do grau de usabilidade. A escala de medida é uma escala arbitrária onde o importante são as relações de ordem existentes entre seus pontos e não necessariamente sua magnitude (ANDRADE et al. 2000). A construção da escala permite identificar quais requisitos correspondem ao maior ou menor grau de usabilidade. Na Tabela 29, estão as características referentes aos 4 níveis do grau de usabilidade. Os itens que compõem cada nível da escala, bem como a heurística as quais eles pertencem podem ser observados no Apêndice I. A definifição dos níveis da escala foi realizada pelas pesquisadoras do GQS. Os níveis apresentados na escala são provenientes da região da escala onde há informação disponível (a partir do nível 20 até o nível 60). Após a definição da escala foi realizada a interpretação de cada um dos níveis, onde foram analisados o conjunto de itens que os compõem e que caracterizam cada nível.

71 70 Nível Tabela 29: Escala de Medida do Grau de Usabilidade Descrição Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen phones quase sempre ou sempre... Evitam abreviaturas e utilizam o mesmo idioma em textos. Apresentam os links de forma consistente entre as telas. Possuem botões e links com a área clicável ocupando toda a dimensão dos mesmos. Nas tarefas realizadas são os usuários que as iniciam e não o aplicativo. As funções similares são apresentadas de forma semelhante. Em campos onde há a necessidade de inserção de dados isso é evidente. Possuem botões com tamanho adequado ao clique e os mesmos podem ser acessados com qualquer uma das mãos. Utilizam em seus textos e rótulos uma linguagem habitual e conhecida pelo usuário. Os textos só são utilizados quando são realmente indispensáveis, possuem contraste suficiente em relação ao plano de fundo e são apresentados de forma padronizada. Permitem que as funções mais utilizadas sejam facilmente acessadas. Os controles que realizam a mesma função ficam em posições semelhantes na tela e funções diferentes são apresentadas de maneira distinta ao usuário. Possibilitam o retorno a tela anterior a qualquer momento. Possuem navegação consistente entre as telas e os títulos das telas descrevem adequadamente o seu conteúdo e possuem o mesmo título quando o conteúdo é o mesmo. As informações exibidas somente estão relacionadas com a tarefa que está sendo executada. Possuem tarefas simples de serem executadas, e informações dispostas em uma ordem lógica e natural, deixando claro o próximo passo para realizar a tarefa. O menu é esteticamente simples e claro. A navegação é intuitiva e seguem os padrões de plataforma na disposição dos dados e mensagens mais importantes.. Possuem feedback imediato e adequado sobre seu status para cada ação do usuário. Apresentam título e rótulo curtos, o alinhamento favorece a leitura, em como as fontes e o espaçamento entrelinhas. Utilizam objetos (ícones) ao invés de botões e o signoficado de símbolos e ícones são compreensíveis e intuitivos. Não apresentam problemas durante a interação. Realçam conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados. Controles e botões deixam evidente que são clicáveis, assim como os componentes interativos selecionados se distinguem dos demais. Exibem pequenas quantidades de informação em cada tela e todas as telas mantêm acessíveis menus e funções comuns do aplicativo. Permitem identificar o número de passos necessários para a realização de uma tarefa e também permitem que o usuário cancele uma ação em progresso. Seguem os padrões da plataforma para a navegação principal. Permitem, no caso de aplicativos associados a cadastro de login ou contas de , o fácil acesso de mais de um usuário. Considera-se que o nível 30 possui, na escala proposta, um grau de exigência de usabilidade baixo, portanto, os itens que o compõem abordam requisitos básicos de usabilidade. A heurística de usabilidade predominante neste nível é a heurística Consistência e Padrões, ligada à organização das informações na interface de forma que o aplicativo ofereça uma navegação consistente entre as telas e permita que o usuário utilize conhecimentos adquiridos na interação com outros aplicativos. Essa heurística tem como objetivo estabelecer um padrão, ou seja, coerência na exibição das informações. A utilização de um padrão permite que o usuário consiga reconhecer os elementos, rótulos e ações. Em touchscreen phones,

72 71 caracterizados por possuírem um pequeno espaço de exibição, o usuário está mais suscetível a desistência ou perda de foco, portanto eles precisam assimilar as informações de uma maneira rápida diminuindo as chances de falharem ao tentar executar uma ação. Na escala proposta, considera-se o grau de usabilidade de nível 40 maior que o nível 30, sendo assim, os itens que representam o nível 40 possuem maior exigência que os itens que representam o nível 30. Entende-se que o checklist proposto é cumulativo, o que significa dizer que aplicativos que apresentam as características abordadas pelo nível 40 provavelmente apresentam também as características abordadas pelos itens do nível 30. Os itens pertencentes ao nível 40 estão distribuídos entre as 9 heurísticas que compõem o checklist, porém a heurística mais presente nesse nível novamente é a heurística Consistência e Padrões seguida da heurística Legibilidade e layout. A heurística Consistência e Padrões destaca-se nos dois níveis mais baixos da escala tendo 8 de seus 9 itens no nível 30 ou no nível 40. Assim, pode-se concluir que essa heurística consegue avaliar muito bem os aplicativos com baixa usabilidade. O próximo nível da escala é o nível 50, o que significada dizer que os aplicativos que apresentam as características abordadas pelo nível 50 provavelmente também apresentam as características abordadas pelos níveis 30 e 40. O nível 50 pode ser considerado como sendo um grau de usabilidade médio, portanto, os itens que compõem essa heurística abordam requisitos de usabilidade não tão fáceis quanto os níveis inferiores e também não tão difíceis como no nível superior. As heurísticas predominantes nesse nível são as heurísticas Visibilidade do status do sistema, Legibilidade e layout e Flexibilidade e eficiência de uso. A heurística Visibilidade do status do sistema aborda as características que permitem que o usuário tenha conhecimento de todas as informações importantes sobre o status do aplicativo e das tarefas que ele está executando (NIELSEN, 1994). O aplicativo deve manter o usuário informado sobre o que está acontecendo, fornecendo um feedback adequado dentro de um tempo razoável.

73 72 A heurística Legibilidade e layout é uma das heurísticas adicionais propostas e refere-se as características específicas de layout que os dispositivos touchscreen phones apresentam. Os aplicativos para esses dispositivos devem levar em consideração as diferentes condições de iluminação, o contraste entre texto e fundo ou ícones e fundo, também é importante limitar o número de cores utilizadas (SALAZAR et al. 2012). A heurística Flexibilidade e eficiência de uso diz respeito a adaptação da interface ao contexto e as necessidades do usuário, ou seja, a interface deve apresentar eficiência de uso (NIELSEN, 1994). O aplicativo deve ser de fácil interação para usuários inexperientes e ao mesmo tempo deve permitir que os usuários mais experientes consigam personalizar ações frequentes. Essa heurística é especialmente importante no contexto de aplicativos para celulares touchscreen que apresentam uma interação mais rápida e fragmentada. Essas três heurísticas que compõem, predominantemente, o nível 50 tem a capacidade de diferenciar aplicativos com usabilidade média. Pode-se então dizer que características relacionadas a essas heurísticas agregam maior grau de usabilidade aos aplicativos em comparação com a heurística Consistência e Padrões. Conclui-se que aspectos relacionados a consistência e padrões são mais fáceis de serem cumpridos pelos aplicativos. Após estas características serem cumpridas o que diferencia os aplicativos para um nível de usabilidade um pouco maior são os aspectos relacionados a Visibilidade do status do sistema, Legibilidade e layout e Flexibilidade e eficiência de uso. O nível mais alto da escala é o nível 60, portanto, aplicativos que apresentam as características abordadas pelos itens que compõem esse nível possivelmente apresentam também as características abordadas nos itens dos níveis anteriores. Somente quatro heurísticas compõem esse nível. Sendo a heurística Controle e liberdade do usuário a heurística dominante, essa referese ao controle do usuário sobre sua navegação, como quando optam por engano por uma funcionalidade que não pretendiam. Em situações assim, o usuário deseja sair da funcionalidade errada e retornar a tarefa a partir de algum ponto sem precisar percorrer um longo diálogo (NIELSEN, 1994). Dessa maneira o usuário deve sempre poder sair da tela atual, cancelar uma ação

74 73 executada ou uma ação em progresso. No nível 60, as características de controle e liberdade do usuário são o aspecto principal. Já no nível 30 os principais aspectos estão relacionados a consistências e padrões. Essa distinção permite concluir que os aspectos abordados no nível 60, quando comparados aos aspectos abordados no nível 30, exigem um grau maior de usabilidade. Pode-se afirmar que características relacionadas ao controle e liberdade do usuário agregam maior grau de usabilidade que características relacionadas a consistências e padrões. Embora a falta de padrões e consistência torne a interação com o aplicativo mais difícil, a presença dessas falhas provavelmente não impedirão que os usuários realizem determinada tarefa ou ação. Por exemplo, possuir botões com tamanho adequado ao clique (item 76) pode facilitar a interação do usário com o aplicativo, mas dificilmente impedirá que o usuário conclua suas ações. Já problemas ligados ao controle e liberdade do usuário podem impedir, ou dificultar expressivamente a realização de determinada ação. Por exemplo, impedir que o usuário cancele uma ação em progresso (ex.: download)(item 20), pode impedir que o usuário de continuidade a uma tarefa ou alterne para outra tarefa que ele deseja realizar. Vale ressaltar que aplicativos que estão abaixo do nível 30, o menor nível da escala, não apresentam nem as características básicas de usabilidade Checklist proposto Como resultado da análise estatística do checklist, uma nova versão do mesmo foi proposta. A nova versão pode ser observada na Figura 15. Como escala de resposta aos itens do checklist é adotada uma escala ordinal com três opções: Sim (Se o aplicativo estiver de acordo com o item); Não (se não estiver de acordo com o item) e Não se aplica (caso o item não possa ser avaliado ou não seja pertinente ao escopo da aplicação). É importante destacar que a opção parcial não está presente na nova configuração do checklist. Esta categoria foi agrupada a categoria não.

75 74 Avaliador: CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES Aplicativo/versão: Sistema: Dispositivo: Heurísticas Questões N 6 S 7 NA 8 Visibilidade do status do sistema Controle e Liberdade do Usuário Consistência e Padrões 1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 2. Os componentes interativos selecionados são claramente distintos dos demais? 3. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 4. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 5. Fornece um update do status para operações mais lentas? 6. O significado de símbolos e ícones são compreensíveis e intuitivos? 7. As informações são dispostas em uma ordem lógica e natural? Anotações: 8. É o usuário quem inicia e encerra tarefas e não o aplicativo? 9. É possível identificar o número de passos necessários para a realização de uma tarefa? 10. É possível retornar a tela anterior a qualquer momento? 11. No caso de aplicativos associados a cadastro de login ou contas de , permite o fácil acesso de mais de um usuário? 12. O usuário pode cancelar uma ação em progresso (ex.: download)? 13. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Anotações: 14. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 15. Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis? 16. Todas as informações textuais do aplicativo utilizam o mesmo idioma? 17. Funções diferentes são apresentadas de maneira distinta ao usuário? 18. Funções semelhantes são apresentadas de forma similar? 19. Controles que realizam a mesma função ficam em posições semelhantes na tela? 20. A forma de navegação é consistente entre as telas no aplicativo? 21. Os links são tratados de forma consistente entre as telas? 22. As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor) Anotações: 23. Os títulos e rótulos são curtos? 24. Os dados e mensagens mais importantes encontram-se na posição padrão dos aplicativos para esta plataforma? Data: Reconhecimento em vez de lembrança 25. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário? 26. Os títulos das telas descrevem adequadamente seu conteúdo? 27. Em campos onde há a necessidade de inserção de dados isso é evidente?

76 75 Anotações: Flexibilidade e Eficiência de Uso Estética e Design Minimalista Pouca interação homem/dispositivo Interação Física e Ergonomia Legibilidade e Layout 28. O aplicativo funciona corretamente, sem apresentar problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)? 29. As tarefas são relativamente simples de serem executadas? 30. As funções mais utilizadas são facilmente acessadas? 31. O aplicativo utiliza objetos (ícones) ao invés de botões? Anotações: 32. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada? 33. São usados textos somente quando estes são realmente indispensáveis? 34. Em textos o uso de abreviaturas é evitado? 35. O menu é esteticamente simples e claro? 36. O aplicativo exibe quantidades pequenas de informações em cada tela? Anotações: 37. A navegação do aplicativo é intuitiva? Anotações: 38. Possui botões com tamanho adequado ao clique? 39. A navegação principal encontra-se na posição padrão dos aplicativos para esta plataforma? 40. Os botões e controles podem ser facilmente acessados com qualquer uma das mãos ou há opção para destro ou canhoto? 41. A área clicável dos botões e links ocupa toda a dimensão dos mesmos? Anotações: 42. O espaçamento entrelinhas utilizado favorece a leitura? 43. As fontes utilizadas favorecem a leitura? 44. Os ícones possuem contraste suficiente em relação ao plano de fundo? 45. Os textos tem contraste suficiente em relação ao plano de fundo? 46. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena? 47. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados? 48. O alinhamento utilizado favorece a leitura? Anotações: Figura 15: Checklist v3.0 proposto para avaliação de usabilidade dos dispositivos touchscreen phones Legenda: N - Não S Sim NA Não se aplica

77 76 5 DISCUSSÃO A partir da análise realizada foi possível identificar estatiscamente quais itens que compõem o checklist realmente medem o mesmo traço latente, ou seja, os itens que contribuem mais para medir a usabilidade. Os 44 itens que apresentaram problemas, ou seja, não contribuíram para medir a usabilidade, foram eliminados do checklist. Restando, assim, 48 itens para compor o mesmo e para construir a escala de medida do grau de usabilidade. Com base na análise, conclui-se também que o checklist é ideal para medir aplicativos com baixa usabilidade. Os resultados alcançados indicam que, a princípio, o conjunto de heurísticas resultante após a análise estatística é válido e portanto, mede o grau de usabilidade dos aplicativos para dispositivos móveis touchscreen phones. Dentre as doze heurísticas propostas inicialmente, nove heurísticas podem ser consideradas pertinentes ao escopo dos aplicativos para touchscreen phones e foram mantidas no checklist. Destaca-se a importância da heurística Consistência e padrões na avaliação dos aplicativos. Essa heurística mostrou-se presente, predominantemente, nos dois níveis mais baixos da escala e, portanto, consegue avaliar muito bem os aplicativos com baixa usabilidade. A heurística Consistência e padrões aborda os aspectos mais básicos de usabilidade dos aplicativos. Já no nível mais alto da escala a heurística predominante é a heurística Controle e liberdade do usuário. Pode-se concluir que os aspectos ligadas a essa heurística agregam maior grau de usabilidade aos aplicativos. Em relação as novas heurísticas propostas, a heurística Pouca interação homem/dispositivo merece mais estudos, pois apresentou muitos itens eliminados, restando somente um item para compor a mesma. Sugere-se, então, que os itens eliminados sejam reformulados e reavaliados ou novos itens sejam criados no sentido de determinar a validade ou não dessa heurística. Em contrapartida as novas heurísticas Interação física e ergonomia e Legibilidade e layout apresentaram poucos itens eliminados, portanto pode-

78 77 se inferir que as mesmas são relevantes para dispositivos móveis touchscreen e os itens pertencentes a essas heurísticas conseguem medir a usabilidade dos aplicativos e diferenciar os aplicativos com boa e má usabilidade As heurísticas Ajuda e Documentação, Prevenção de Erros e Ajuda, diagnóstico e recuperação de erros tiverem todos os seus itens eliminados. Evidenciando, assim, que essas heurísticas podem ser consideradas irrelevantes para dispositivos celulares touchscreen. A eliminação dessas heurísticas vem de encontro com as análises teórica e prática sobre as mesmas. 5.1 Ameaças à validade No desenvolvimento de pesquisas científicas faz-se necessário observar ameaças que possam interferir na validade e confiabilidade dos resultados. No presente trabalho pode-se considerar como uma ameaça o fato das avaliações heurísticas requererem conhecimento e experiências dos pesquisadores. A ação de controle tomada frente a essa ameaça foi a realização da calibração das pesquisadoras. Outra ameaça que deve ser considerada são as diferentes características apresentadas pelos dispositivos celulares touchscreen. Essas diferenças podem influenciar os resultados das avaliações heurísticas. A ação de controle adotada para diminuir essa ameaça é a utilização de sete aparelhos distintos que contribuíram para diversificar as avaliações heurísticas. Em relação aos aplicativos escolhidos para realizar as avaliações a ameaça presente é a escolha correta dos aplicativos. A amostra deveria ser diversificada, tanto aplicativos ruins quantos bons para que os resultados fossem relevantes. A ação tomada foi a mudança do critério de seleção dos aplicativos, percebeu-se que os critérios adotados na primeira iteração fizeram com que a amostra não fosse bem distribuída, então, para a segunda iteração de avaliações os critérios foram revisados e modificados para que ao final os dados ficassem melhor distribuídos. Vale ressaltar uma outra ameaça que pode interferir na validade e confiabilidade dos resultados, é a fadiga das pesquisadoras por realizar um

79 78 grande número de avaliações, esta ameaça foi controlada através da divisão do número de avaliações entre as avaliadoras e a realização das avaliações dentro de um período de tempo adequado.

80 79 6 CONCLUSÃO No presente trabalho o objetivo principal foi avaliar a validade de um conjunto de heurísticas de usabilidade para dispositivos celulares touchscreen. A avaliação teve como objetivo verificar se o conjunto de heurística/checklist mede o grau de usabilidade dos aplicativos para touchscreen phones. Essa validação se deu a partir da validação da qualidade dos itens que compõem o checklist. O checklist foi aplicado a 247 aplicativos e os resultados obtidos foram analisados utilizando a Teoria da Resposta ao Item. O checklist inicial era composto por 92 itens, o resultado da análise eliminou 44 itens por falta de consistência ao conjunto, resultando assim em um checklist com 48 itens. A da hipótese definida incialmente é verdadeira e foi confirmada a partir dos resultados alcançados. O conjunto de heurísticas resultante após a análise estatística é válido e portanto, mede o grau de usabilidade dos aplicativos para dispositivos móveis touchscreen phones. Neste trabalho foi estudado, fundamentado e analisado os aspectos teóricos que envolvem questões de usabilidade dos dispositivos móveis touchscreen phones. Também foi estudado alguns aspectos da Teoria da Resposta ao Item. Foi realizada uma revisão sistemática do estado da arte em relação a pesquisas correlatas referente a avaliações/validações de heurísticas de usabilidade. A revisão sistemática apontou que existe um número muito pequeno de artigos que citam validações/avaliações de heurísticas. Apenas dois artigos mencionavam validações preliminares, portanto, necessitando a realização de mais estudos para que fosse possível obter melhores conclusões. Estes resultados evidenciam a carência de estudos nessa área, indicando a contribuição deste trabalho. A contribuição do presente trabalho está na criação de uma escala padronizada do grau de usabilidade permitindo assim, a comparabilidade entre aplicativos para dispositivos touchscreen phones. O presente trabalho também permite inferir a usabilidade de um aplicativo com um esforço mínimo necessário. Os resultados obtidos podem ser utilizados para avaliar o grau de usabilidade de aplicativos para dispositivos touchscreen phones visando a melhora a usabilidade dos mesmos.

81 80 Os resultados deste trabalho permitem que outras oportunidades de pesquisa na área de usabilidade e aplicativos possam ser desenvolvidas. Avaliações que envolvam usuários não foram utilizadas no presente trabalho, portanto recomenda-se a realização de testes de usabilidade com o objetivo de avaliar o checklist proposto. Testes de usabilidade simulam situações de uso e avaliam um produto através da observação sistemática dos usuários interagindo com o sistema. Outra importante oportunidade de pesquisa é a ampliação do checklist. Essa ampliação deve ser realizada explorando conceitos mais particulares das interfaces dos dispositivos touchscreen phones com o objetivo de permitir medir a usabilidade de aplicativos com maior grau de usabilidade. É importante destacar que existem várias categorias de aplicativos e algumas são bem específicas, como por exemplo, os jogos, esses aplicativos apresentam características particulares de uso e interação. Essas características representam uma possibilidade de desenvolvimento de um estudo para a criação de um conjunto de heurísticas e um checklist para inferir a usabilidade destes aplicativos.

82 81 REFERÊNCIAS ACM SIGCHI. ACM Special Interest Group on Computer-Human Interaction Disponível em: < Acesso em: 10 ago AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório de Acompanhamento Brasília, Disponível em < =273912&pub=principal&filtro=1&documentoPath= pdf> Acesso em: 13 mai AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório Anual Brasília, Disponível em < =260639&assuntoPublicacao=Relatorio%20Anual%202010&caminhoRel=Cidadao- Biblioteca-Acervo%20Documental&filtro=1&documentoPath= pdf> Acesso em: 13 mai AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório Brasília, Disponível em < =297390&pub=original&filtro=1&documentoPath= pdf> Acesso em: 22 mai ALEXANDRE, J. W. C.; ANDRADE, D.F.; VASCONCELOS, AP.; ARAUJO, A M S. Uma proposta de analise de um construto para a medição dos fatores críticos da gestão pela qualidade através da TRI. Gestão & Produção. v.9, n.2, p , 2001 ALSOS, O. A., DAS, A., & SVANÆS, D. Mobile health IT: The effect of user interface and form factor on doctor patient communication. International Journal of Medical Informatics, 81, ANDRADE, D. F.; TAVARES, H. R. e VALLE, R. C. Teoria de Resposta ao Item: conceitos e aplicações. ABE Associação Brasileira de Estatística, 4º SINAPE, ASSIS, P. de. Como funcionam as telas sensíveis ao toque (touch screen), 2009, Disponível em: < Acesso em: 13 mai AYOB, N., HUSSIN, A.R.C. & DAHLAN, H.M. Three Layers Design Guideline for Mobile Application. International Conference on Information Management and Engineering (ICIME), Malaysia BARROS, A. J. S. e LEHFELD, N. A. S. Fundamentos de Metodologia: Um Guia para a Iniciação Científica. 2 Ed. São Paulo: Makron Books, BASTIEN, J. M. C., SCAPIN, D. Ergonomic Criteria for the Evaluation of Human- Computer interfaces. Institut National de recherche en informatique et en automatique, France, 1993.

83 82 BERTINI, E.; Catarci,T.; GABRIELLI,S.; KIMANI, S. Appropriating Heuristic Evaluation Methods for Mobile Computing. 2006, Proceedings of the Working Conference on Advanced Visual interfaces, Venezia, Italy BILLI, M., BURZAGLI, L., CATARCI, T., SANTUCCI, G., BERTINI, E., GABBANINI, F. & PALCHETTI, E. A unified methodology for the evaluation of accessibility and usability of mobile applications. Universal Acess in the Information Society, (9), CARROLL, J. M. Human Computer Interaction (HCI). In: Soegaard, Mads and Dam, Rikke Friis (eds.). "Encyclopedia of Human-Computer Interaction". Aarhus, Denmark: The Interaction Design Foundation Disponível em: < Acesso em: 10 ago CARVAJAL, R. I. Usability Heuristics for Touchscreen-based Mobile Devices. Pontificia Universidad Católica de Valparaíso Facultad de Ingeniería. Valparaíso, CARVALHO, J. O. F. de. O papel da interação humanocomputador na inclusão digital. Revista Transinformação. Programa de Pós-Graduação em Ciência da Informação da Pontifícia Universidade Católica de Campinas. Campinas, SP. v. 15, n. 3, setembro/dezembro, p , CASTRO, S. M. J. Teoria da resposta ao item: Aplicação na avaliação da intensidade de sintomas depressivos Tese (Doutorado em Epidemiologia) Programa de Pós- Graduação em Epidemiologia, Faculdade de Medicina, Universidade Federal do Rio Grande do Sul, Porto Alegre, CHANGEWAVE RESEARCH. Disponível em: < Acesso em: 29 ago COELHO, L. S.; HOBOLD, G. C. Desenvolvimento de Protótipos de Interfaces Humano-Computador na Área de Saúde para Convergência Digital. Trabalho de Conclusão de Curso. (Graduação em Sistemas de Informação) Universidade Federal de Santa Catarina COSTA, F. M. da. O Modelo de Samejima no estudo da relação NSE x Desempenho. Dissertação (Mestrado em Matemática e Estatística) - Universidade Federal do Pará CÚRI, M. Análise de questionários com itens constrangedores. Tese (Doutorado em Estatística) Instituto de Matemática e Estatística, Universidade de São Paulo, São Paulo, Disponível em: < Acesso em: 20 abr CYBIS, Walter; BETIOL, Adriana Holtz; FAUST, Richard. Ergonomia e usabilidade: conhecimentos, métodos e aplicações. São Paulo: Novatec FETAJI, M. & FETAJI, B. Devising M-learning usability framework. In Proc. of the 33rd International Conference on Information Technology Interfaces (ITI),

84 83 FLING, B. Mobile design and development. Sebastopol: O Reilly Media, GARTNER. Gartner Says Sales of Mobile Devices Grew 5.6 Percent in Third Quarter of 2011a; Smartphone Sales Increased 42 Percent. Disponível em: < Acesso em: 14 mai GARTNER. Gartner Says Sales of Mobile Devices Grew 5.6 Percent in Third Quarter of 2011b; Gartner Says Worldwide Sales of Mobile Phones Declined 2.3 Percent in Second Quarter of Disponível em: < Acesso em: 29 ago GARTNER. Gartner Says Asia/Pacific Led Worldwide Mobile Phone Sales to Growth in First Quarter of Disponível em: < Acesso em: 22 mai GONG, J.; TARASEWICH, P. Guidelines for Handheld mobile device interface design.proc. of DSI Annual Meeting, Boston/ Massachusetts/ USA, GRESSE VON WANGENHEIM, C. Material da disciplina INE Engenharia de Usabilidade, INE/UFSC, GU, X., GU, F. & LAFFEY, J.M. Designing a mobile system for lifelong learning on the move Journal of Computer Assisted Learning, (27), HASHIM, A.S., AHMAD, W.F.W. & ROHIZA, A. A Study of Design Principles and Requirements for the M-Learning Application Development. International Conference on User Science Engineering (i-user), Malaysia INOSTROZA, R., RUSU, C., RONCAGLIOLO, S., JIMENEZ, C. & RUSU, V. Usability Heuristics for Touchscreen-based Mobile Devices. 9th International Conference on Information Technology: New Generations (ITNG), Las Vegas, Nevada INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO Requisitos Ergonômicos para Trabalho de Escritórios com Computadores Parte 11 Orientações sobre Usabilidade. INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO 13407: Humancentred design processes for interactive systems (1999). JANSSEN, C. Touch Screen Disponível em: < Acesso em: 13 mai HAMMERSCHMIDT, R. O que é Touch Screen? Disponível em : < Acesso em: 13 mai KITCHENHAM, B.A. Procedures for Performing Systematic Reviews. Tech. Report TR/SE-0401, Keele University. Inglaterra

85 84 LANDIM, W.. A evolução dos celulares Disponível em: < Acesso em: 13 mai LEE, D.The State of the Touch-Screen Panel Market. Disponível em: < pdf>. Acesso em: 14 mai LO, E. & TAN, Q. Design Principles For Facilitating Collaboration In Mobile Environments. 6th International Conference on Wireless Communications Networking and Mobile Computing (WiCOM), Disponível em: < Fieeexplore.ieee.org%2Fiel5%2F %2F %2F pdf%3Farnumb er%3d >. Acesso em: 09 set NIELSEN, J. Usability 101: Introduction to Usability Disponível em: < Acesso em: 13 ago NIELSEN, J., (1994) Heuristic evaluation. In J. Nielsen & R. L. Mack (Eds.), Usability Inspection Methods. New York: John Wiley & Sons, Inc. NIELSEN, J. Ten Usability Heuristics Disponível em: < Acesso em: 10 ago NILSSON, E. G. Design patterns for user interface for mobile applications. Advances in Engineering Software, (40), PÁDUA, C. I.P S. Engenharia de Usabilidade Material de Referência. UFMG, Belo Horizonte, MG. PREECE, J.; ROGERS, Y.; SHARP, H. Design de interação: além da interação homem-computador. Porto Alegre (RS): Bookman, p. RAUCH, M. Mobile documentation: Usability guidelines, and considerations for providing documentation on Kindle, tablets, and smartphones. IEEE International Professional Communication Conference (IPCC) OH, USA. ROCHA, H. V. da; BARANAUSKAS, Maria Cecília Calani. Design e avaliação de interfaces humano-computador. Campina: NIED/ UNICAMP, SALAZAR, L A.; LACERDA, T. C.; WANGENHEIM, C. G. von; BARBALHO, R. A. Customizando Heurísticas de Usabilidade para Celulares. Florianópolis. Proc. of Simpósio Brasileiro de Fatores Humanos em Sistemas Computacionais, Cuiabá/Brazil, SALAZAR, L. H. A.; LACERDA, T. C.; NUNES, J. V.; WANGENHEIM, C. G. von. Systematic Literature Review on Usability Heuristics for Mobile Phones. International Journal of Mobile Human Computer Interaction, 5(2), SATO, F. P. Validação da versão em português de um questionário área avaliação de autismo infantil. Dissertação (Mestrado em Ciências, área de concentração Psiquiatria) USP, 2008.

86 85 SHNEIDERMAN, B.; PLAISANT, C. Designing the User Interface: Strategies for Effective Human-Computer Interaction. Addison Wesley Publ. Boston, TECMUNDO. Disponível em: < Acesso em 24 mai TECHOPEDIA. Disponível em: < Acesso em: 29 set TEZZA, R. Proposta de um construto para medir usabilidade em sites de e- commerce utilizando a Teoria da Resposta ao Item. Florianópolis, SC, f. Dissertação (Mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção. TEZZA, R.; BORNIA, A. C. Teoria da Resposta ao Item: vantagens e oportunidades para a engenharia de produção. In: XXIX Encontro Nacional de Engenharia de Produção ENEGEP, 2009, Salvador BA. Anais do XXIX ENEGEP e XV ICIEOM. Rio de Janeiro RJ: ABEPRO, v 1. TRAVIS, T. & TAY, A. Designing low-cost mobile websites for libraries. Bulletin of the American Society for Information Science and Technology, 38 (1), TYLDESLEY, D. A. Employing Usability Engineering in the Development of Office Products. The Computer Journal, Vol. 31, No. 5, 1988 WASSERMAN, A. I. Software Engineering Issues for Mobile Application Development In Proc. of Workshop on Mobile Software Engineering/MobiCASE, Santa Clara/USA. WESSELS A., PURVIS, M. & RAHMAN, S. Usability of Web Interfaces on Mobile Devices. 8th International Conference oninformation Technology: New Generations (ITNG), Las Vegas, Nevada, USA. WOHLIN, C. et al. Experimentation in Software Engineering. Norwell, MA: Kluwer, ZAIBON, S.B. & SHIRATUDDIN, N. Heuristics Evaluation Strategy for Mobile Game-Based Learning. 6th IEEE International Conference on Wireless, Mobile and Ubiquitous Technologies in Education (WMUTE), Kaohsiung, Taiwan. ZIMOWSKI, M. F., MURAKI, E., MISLEVY, R. J., & BOCK, R.D. (2003). BILOG-MG 3 for Windows: Multiple-group IRT analysis and test maintenance for binary items [Computer software]. Skokie, IL: Scientific Software International, Inc.

87 86 APÊNDICE A - Checklist versão 1.0 Avaliadora: CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES Aplicativo/versão: Sistema: Dispositivo: Heurísticas Questões N P S NA Visibilidade do status do sistema Correspondência entre sistema e mundo real Controle e Liberdade do Usuário Consistência e Padrões 1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 2. Os itens selecionados são claramente distintos dos demais? 3. Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede? 4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 5. Todas as telas possuem identificação? 6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 7. Fornece um update do status para operações mais lentas? 8. O aplicativo oferece informações sobre sua versão? Anotações: 9. As interações propostas no aplicativo são semelhantes a ações reais (como por exemplo, descartar um arquivo arrastando-o para a lixeira)? 10. O significado de símbolos e ícones são compreensíveis e intuitivos? 11. As informações são dispostas em uma ordem lógica e natural? Anotações: 12. É o usuário quem inicia e encerra tarefas e não o aplicativo? 13. É possível identificar o número de passos necessários para a realização de uma tarefa? 14. O aplicativo oferece mensagens de fechamento para tarefas que envolvam um conjunto de etapas? 15. É possível prever o tamanho da tela pelo tamanho do scroll? 16. É possível retornar a tela anterior a qualquer momento? 17. É possível sair da tela atual a qualquer momento? 18. O usuário pode sair do aplicativo e retornar do ponto onde parou? 19. O usuário pode cancelar uma ação em progresso (ex.: download)? 20. O usuário pode desfazer (undo) uma ação? 21. O usuário pode refazer (redo) uma ação? 22. Em aplicativos com sobreposição de janelas, estas possuem transparência para que seu contexto fique visível? 23. Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto? 24. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Anotações: 25. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 26. Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis? 27. Itens não clicáveis deixam evidente que não o são? Data:

88 O nome do botão/ícone é consistente com o nome da tela que abre? 29. Todas as informações textuais do aplicativo utilizam o mesmo idioma? 30. Funções diferentes são apresentadas de maneira distinta ao usuário? 31. Funções semelhantes são apresentadas de forma similar? 32. Controles que realizam a mesma função ficam em posições semelhantes na tela? 33. A forma de navegação é consistente entre as telas no aplicativo? 34. Os links são tratados de forma consistente entre as telas? Anotações: Prevenção de erros Reconhecimento em vez de lembrança 35. Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas? 36. Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slideto-unlock control usada pelos sistemas Android e Apple)? Anotações: 37. Utiliza o nome da tela anterior ao invés de voltar para nomes de botões e links? 38. Em cada opção do menu, a primeira palavra é a mais importante? 39. Os títulos das telas são curtos? 40. Os dados e mensagens mais importantes encontram-se na posição padrão dos aplicativos para esta plataforma? 41. Há padronização de cores para identificação e sinalização das áreas do aplicativo? 42. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário? 43. Os títulos das telas descrevem adequadamente seu conteúdo? 44. Os rótulos dos links descrevem adequadamente seu conteúdo? 45. Em campos onde há a necessidade de inserção de dados isso é evidente? Anotações: Flexibilidade e Eficiência de Uso 46. Os dados do usuário são salvos (login, itens buscados)? 47. O propósito/função do aplicativo é claro? 48. As tarefas são relativamente simples de serem executadas? 49. O aplicativo é carregado rapidamente? 50. Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code? 51. O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela para outra com apenas um click sem ter que ir para uma outra página antes? 52. As funções mais utilizadas são facilmente acessadas? 53. Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas? 54. É possível personalizar a interface de acordo com a preferência de cada usuário?

89 O aplicativo utiliza objetos (ícones) ao invés de botões? Anotações: Estética e Design Minimalista Ajude o usuário a reconhecer, diagnosticar e recuperar de erros Ajuda e Documentação Pouca interação homem/dispositivo Interação Física e Ergonomia Legibilidade e Layout 56. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada? 57. São usados textos somente quando estes são realmente indispensáveis? 58. Em textos o uso de abreviaturas é evitado? 59. O menu é esteticamente simples e claro? 60. O aplicativo exibe quantidades pequenas de informações em cada tela? Anotações: 61. O aplicativo permite fácil recuperação de erros? 62. As mensagens de erro são claras e precisas? 63. As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação? 64. As mensagens apontam qual a causa do erro? 65. As mensagens de erro são agressivas com usuário? Anotações: 66. O aplicativo possui uma opção de ajuda? 67. É fácil localizar a ajuda? 68. A ajuda é de fácil compreensão? Anotações: 69. A navegação do aplicativo é intuitiva? 70. O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal? 71. O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de auto-completar, etc)? 72. Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações? Anotações: 73. Possui botões com tamanho adequado ao clique? 74. Possui links com tamanho adequado ao clique? 75. Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento? 76. A navegação principal encontra-se na posição padrão dos aplicativos para esta plataforma? 77. Os botões e controles podem ser facilmente acessados com qualquer uma das mãos ou há opção para destro ou canhoto? 78. A área clicável dos botões e links ocupa toda a dimensão dos mesmos? Anotações: 79. O espaçamento entrelinhas utilizado favorece a leitura? 80. As fontes utilizadas favorecem a leitura? 81. A interface do aplicativo se adapta a rotação da tela? 82. Todo o texto fica visível na tela, independente da orientação?

90 Os ícones possuem contraste suficiente em relação ao plano de fundo? 84. Os textos tem contraste suficiente em relação ao plano de fundo? 85. Informações transmitidas na forma de gráficos também são descritas textualmente? 86. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena? 87. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados? Legenda: N Não P - Parcial S Sim NA Não se aplica

91 90 APÊNDICE B - Checklist versão 2.0 Avaliadora: CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES Aplicativo/versão: Sistema: Dispositivo: Heurísticas Questões N P S NA Visibilidade do status do sistema Controle e Liberdade do Usuário Consistência e Padrões 1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 2. Os componentes interativos selecionados são claramente distintos dos demais? 3. Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede? 4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 5. Todas as telas possuem título? 6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 7. Fornece um update do status para operações mais lentas? 8. O aplicativo oferece informações sobre sua versão? 9. Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)? 10. Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura? 11. O significado de símbolos e ícones são compreensíveis e intuitivos? 12. As informações são dispostas em uma ordem lógica e natural? Anotações: 13. É o usuário quem inicia e encerra tarefas e não o aplicativo? 14. É possível identificar o número de passos necessários para a realização de uma tarefa? 15. O aplicativo pode ser fechado e não apenas minimizado? 16. É possível prever o tamanho da tela pelo tamanho do scroll? 17. É possível retornar a tela anterior a qualquer momento? 18. No caso de aplicativos associados a cadastro de login ou contas de , permite o fácil acesso de mais de um usuário? 19. O usuário pode sair do aplicativo e retornar do ponto onde parou? 20. O usuário pode cancelar uma ação em progresso (ex.: download)? 21. O usuário pode desfazer (undo) uma ação? 22. O usuário pode refazer (redo) uma ação? 23. Em aplicativos com sobreposição de janelas, estas possuem transparência para que seu contexto fique visível? 24. Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto? 25. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Anotações: 26. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 27. Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis? Data:

92 Itens não clicáveis deixam evidente que não o são? 29. O nome do botão/ícone é consistente com o nome da tela que abre? 30. Todas as informações textuais do aplicativo utilizam o mesmo idioma? 31. Funções diferentes são apresentadas de maneira distinta ao usuário? 32. Funções semelhantes são apresentadas de forma similar? 33. Controles que realizam a mesma função ficam em posições semelhantes na tela? 34. A forma de navegação é consistente entre as telas no aplicativo? 35. Os links são tratados de forma consistente entre as telas? 36. As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor) Anotações: Prevenção de erros Reconhecimento em vez de lembrança 37. Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas? 38. Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slideto-unlock control usada pelos sistemas Android e Apple)? Anotações: 39. A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma? 40. Em cada opção do menu, a primeira palavra é a mais importante? 41. Os títulos e rótulos são curtos? 42. Os dados e mensagens mais importantes encontram-se na posição padrão dos aplicativos para esta plataforma? 43. Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)? 44. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário? 45. Os títulos das telas descrevem adequadamente seu conteúdo? 46. Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das telas que abrem? 47. Em campos onde há a necessidade de inserção de dados isso é evidente? Anotações: Flexibilidade e Eficiência de Uso 48. O aplicativo apresenta problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)? 49. O propósito/função do aplicativo é claro? 50. As tarefas são relativamente simples de serem executadas? 51. O aplicativo é carregado rapidamente? 52. Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code? 53. O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela para outra com apenas um click sem ter que ir para uma outra página antes? 54. As funções mais utilizadas são facilmente acessadas?

93 Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas? 56. É possível personalizar a interface de acordo com a preferência de cada usuário? 57. O aplicativo utiliza objetos (ícones) ao invés de botões? Anotações: Estética e Design Minimalista Ajude o usuário a reconhecer, diagnosticar e recuperar de erros Ajuda e Documentação Pouca interação homem/dispositivo Interação Física e Ergonomia 58. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada? 59. São usados textos somente quando estes são realmente indispensáveis? 60. Em textos o uso de abreviaturas é evitado? 61. O menu é esteticamente simples e claro? 62. O aplicativo exibe quantidades pequenas de informações em cada tela? 63. O aplicativo só apresenta funções que estão habilitadas? Anotações: 64. O aplicativo permite fácil recuperação de erros? 65. As mensagens de erro são claras apontando a causa do erro? 66. As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação? 67. As mensagens de erro são amigáveis com usuário (não ofendem)? Anotações: 68. O aplicativo possui uma opção de ajuda? 69. É fácil localizar a ajuda? 70. A ajuda é de fácil compreensão? Anotações: 71. A navegação do aplicativo é intuitiva? 72. O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal? 73. O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de auto-completar, etc)? 74. Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações? 75. O cadastro de usuário exige somente informações necessárias? Anotações: 76. Possui botões com tamanho adequado ao clique? 77. Possui links com tamanho adequado ao clique? 78. Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento? 79. A navegação principal encontra-se na posição padrão dos aplicativos para esta plataforma? 80. Os botões e controles podem ser facilmente acessados com qualquer uma das mãos ou há opção para destro ou canhoto? 81. A área clicável dos botões e links ocupa toda a dimensão dos mesmos?

94 93 Anotações: Legibilidade e Layout 82. O espaçamento entrelinhas utilizado favorece a leitura? 83. As fontes utilizadas favorecem a leitura? 84. A interface do aplicativo se adapta a rotação da tela? 85. Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes? 86. Os ícones possuem contraste suficiente em relação ao plano de fundo? 87. Os textos tem contraste suficiente em relação ao plano de fundo? 88. As imagens (gráficos, ícones, etc) também são descritas textualmente? 89. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena? 90. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados? 91. O alinhamento utilizado favorece a leitura? 92. Quando utiliza o scroll é somente vertical ou somente horizontal? Anotações: Legenda: N Não P - Parcial S Sim NA Não se aplica

95 94 APÊNDICE C Aplicativos Avaliados Aplicativo Versão Endereço de download Captura de Tela Dicionário da Língua Portuguesa dicionario.lingua_portuguesa&feature=apps_topselling_free Porto Editora Boa Lista - Lista de Compras eature=related_apps#?t=w251bgwsmswxldewoswibmv0lmrvdg xlz2vuzc5ib2fsaxn0ysjd 4Shared WhatsApp search_result#?t=w251bgwsmswxldesimnvbs53agf0c2fwccjd App2SD sd&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5hMH NvZnQuZ3Bob25lLmFwcDJzZCJd Weather Channel eature=search_result#?t=w251bgwwxldesimnvbs53zwf0agvylld lyxrozxiixqsms Google Tradutor s.translate&feature=search_result#?t=w251bgwsmswxldesimnvbs 5nb29nbGUuYW5kcm9pZC5hcHBzLnRyYW5zbGF0ZSJd Banco do Brasil ure=search_result#?t=w251bgwsmswxldesimjylmnvbs5iyi5hbm Ryb2lkIl0 DropBox Traffic Counter Extended 1.7.1b eature=search_result#?t=w251bgwsmswxldesimnvbs5jyxjslnry YWZmaWNjb3VudGVyIl0 Google Drive s.docs&feature=search_result#?t=w251bgwsmswxldesimnvbs5nb 29nbGUuYW5kcm9pZC5hcHBzLmRvY3MiXQ Gmail eature=search_result#?t=w251bgwsmswxldesimnvbs5jyxjslnry YWZmaWNjb3VudGVyIl0 Consulta Visa Vale e=search_result#?t=w251bgwsmswxldesimnvbs5uem4uymfpeg FraSJd Angry Birds ature=search_result#?t=w251bgwsmswxldesimnvbs5yb3zpby5hb mdyewjpcmrzil0 Google Goggles s.unveil&feature=search_result#?t=w251bgwsmswxldesimnvbs5n b29nbguuyw5kcm9pzc5hchbzlnvudmvpbcjd

96 95 IMDb e=apps_topselling_free Saraiva ereader eader.andr&feature=search_result#?t=w251bgwsmswyldesimjylm NvbS5saXZyYXJpYXNhcmFpdmEuZXJlYWRlci5hbmRyIl0. Trip Advisor eader.andr&feature=search_result#?t=w251bgwsmswyldesimjylm NvbS5saXZyYXJpYXNhcmFpdmEuZXJlYWRlci5hbmRyIl0. PersonalFinance ctivity&feature=top-fre FacebookMessenge r Consulta CEP e YouTube tube Viber search_result#?t=w251bgwsmswyldesimnvbs52awjlci52b2lwil0 Tavindo Qual Operadora Cadê Meu Banco Wikipedia Wallpapers HD iphone Instagram feature=apps_topselling_free Churrascometro metro

97 96 Brasileirão o2012&feature=apps_topselling_free CamScanner iphone Buscapé iphone Groupon iphone Voos Online Wase Apn Brasil as TrackPack c AVG Mobilation earch_result#?t=w251bgwsmswxldesimnvbs5hbnrpdmlydxmixq CardioTrainer Facebook Feriados 2013 iphone Catarinense 2013 iphone /id ?mt=8 Internacional SporTV iphone Night Sky Lite iphone ps://itunes.apple.com/br/app/the-night-sky-lite/id ?mt=8

98 97 Sky Sports iphone Shazam iphone GloboEsporte.com iphone EyeEm iphone Dictionary.com iphone Quora iphone Converter verter&feature=search_result#?t=w251bgwsmswyldesimnvbs5ibg 9nc3BvdC5hc2lmcmMuQ29udmVydGVyIl0 Photaf Panorama arch_result#?t=w251bgwsmswxldesim9izzeuughvdgfmil0 Clean Master d&feature=search_result#?t=w251bgwsmswxldesimnvbs5jbgvhb m1hc3rlci5tz3vhcmqixq Sonar re=apps_topselling_fr Simulado Detran Free 2 Rádio Atlântida ature=search_resu Spider Solitaire e.spidersolitaire&feature=apps_topselling_free Pessoa física essoafisica&feature=search_result#?t=w251bgwsmswyldesimjyl mdvdi5myxplbmrhlnjly2vpdgeucgvzc29hzmlzawnhil0 Rádio Pessoal AUPEO! musica/id ?mt=8 Guia de aeroportos HD

99 98 icall Baby holidays Radar G Eu atleta Diário Catarinense - personalizedrecommendations#?t=w251bgwsmswxldixmywiy29tlmnsawnyyn MuZGMiXQ Globo News lobonews&feature=related_apps Kekanto - Bares e Restaurantes ature=nav_result#?t=w251bgwsmswyldnd Vogue Brasil Mobile eature=search_result#?t=w251bgwsmswxldesimjylmnvbs5lzgds b2jvlnzvz3vlil0 Marie Claire Brasil Mobile ieclaire.sitemobile&feature=search_result#?t=w251bgwsmswxldesi mjylmnvbs5lzgl0b3jhz2xvym8ubwfyawvjbgfpcmuuc2l0zw1vy mlszsjd Crescer Mobile scer.sitemobile&feature=search_result#?t=w251bgwsmswxldesimj ylmnvbs5lzgl0b3jhz2xvym8uy3jlc2nlci5zaxrlbw9iawxlil0 Expedia Hotels & Flights feature=search_result#?t=w251bgwsmswxldesimnvbs5lehblzglh LmJvb2tpbmdzIl0 Dieta e Saúde roid&feature=search_result#?t=w251bgwsmswxldesimnvbs5idxnj YWFsaW1lbnRvLmFuZHJvaWQiXQ Radar G Simple PAC eature=nav_result#?t=w251bgwsmswxldmsim9yzy5ndw5ubs5za W1wbGVwYWMiXQ Shared MP3 Baixar músicas edmp3&feature=apps_topselling_new_free#?t=w251bgwsmswylg5 1bGwsImJyLmNvbS5zaGFyZWRtcDMuc2hhcmVkbXAzIl0

100 99 Insta Collage d&feature=apps_topselling_new_free#?t=w251bgwsmswylg51bgw simnvbs5pbnn0ywnvbgxhz2uuyw5kcm9pzcjd Bíblia Sagrada NVI bliasagradanvi&feature=apps_topselling_new_free#?t=w251bgwsms wylg51bgwsimjylmnvbs50zwxtb2fuzhjhzguuymlibglhc2fncm FkYW52aSJd Minimalistic Text eature=featured-apps Myway Diabetes Manager also_installed#?t=w251bgwsmswxldewncwibxl3yxkuchjvbxb0il 0. Ringtone Maker feature=apps_topselling_new_free#?t=w251bgwsmswylg51bgwsi mnvbs5wcm9yaw5ndg9uzw1ha2vyil0 Wales, UK avelwalesappfree&feature=search_result#?t=w251bgwsmswyldes ImNvbS5tb2JpbGVyZWZlcmVuY2UuVHJhdmVsV2FsZXNBcHBGcm VlIl0 Livraria Cultura ebooks droid&feature=search_result#?t=w251bgwsmswyldesimjylmn1bh R1cmEubG9qYS5lYm9va3MuYW5kcm9pZCJd ASTRO File Manager ure=search_result#?t=w251bgwsmswxldesimnvbs5tzxrhz28uyx N0cm8iXQ Any.Do IntaWeather Free Qello TaxiBeat Thrist Mokriya craigslist ArtFinder Wunderlist

101 100 WBCBaseball TouristEye Foursquare CineMark Brasil Ingresso.com Climatempo mp Tela Transparente ransparentscreen.free QRDroid ch_result#?t=w251bgwsmswxldesimxhlmryb2lklnfyil0 Baixaki e=search_result#?t=w251bgwsmswxldesimnvbs5uem4uymfpeg FraSJd Buscapé Mobile ck&feature=search_result#?t=w251bgwsmswxldesimjylmnvbs5id XNjYXBlLk1haW5QYWNrIl0 Tic Tac Toe - Pro eature=apps_topselling_fr Hotmail =apps_topselling_free Pedômetro - Accupedo te&feature=apps_topselling_free Dictionary.com Air Horn Free ee&feature=search_result

102 101 Photo Grid feature=search_result#?t=w251bgwsmswxldesimnvbs5yb2lkyxb wlnbob3rvz3jpzcjd Globo.com rch_result#?t=w251bgwsmswyldesimnvbs5nbg9ibyjd Caça Palavras ure=search_result#?t=w251bgwsmswxldesimnvbs5izxjuawlpawl pawkuynjheijd Jogo da Forca a&feature=more_from_developer#?t=w251bgwsmswxldewmiwiyni uy29tlmd0bhnpc3rlbwfzlmzvcmnhil0 Qual é a resposta? deperguntas&feature=nav_result#?t=w251bgwsmswxldmsimjylm NvbS5ndGxzaXN0ZW1hcy5qb2dvZGVwZXJndW50YXMiXQ Medscape tps://play.google.com/store/apps/details?id=com.medscape.android&f eature=top-free Remember The Milk MusiXmatch Split Pic Passa Regua Partiu Balada Genéricos Brasi &feature=top-free Vacinas Brasil Lite &feature=top-free Pressão Arterial ure=top-free Guia Médico Nacional Unimed &feature=top-free

103 102 Diário de Pressão Sanguinea GAPS - Antibiótico na Urgência ure=related_apps#?t=w251bgwsmswxldewoswiy29tlnb0yxnoz WsuYnBsb2ciXQ feccao&feature=also_installed TV Show Favs e=search_result#?t=w251bgwsmswyldesimnvbs50dnnob3dmyxz zil0. Diabetes dapalamara.diabetes&feature=more_from_developer#?t=w251bgws MSwyLDEwMiwiYXBwaW52ZW50b3IuYWlfcnNlcHVsdmVkYXBhbGF tyxjhlkrpywjldgvzil0. Gripe Suína Apgar _ivan.apgar_portugues&feature=apps_topselling_free KCRW SongTag eature=also_installed#?t=w251bgwsmswyldewncwiy29tlm5vcnz hbi5tb25nvgfnil0. Sky Drive feature=nav_result#?t=w251bgwsmswyldnd O que é o que é =search_result#?t=w251bgwsmswxldesimjylmnvbs5hcm5hcglvil 0. ibeer FREE ature=search_result#?t=w251bgwsmswxldesimnvbs5ob3r0cml4l mlizwvyznjlzsjd Google Play Books s.books&feature=search_result#?t=w251bgwsmswxldesimnvbs5n b29nbguuyw5kcm9pzc5hchbzlmjvb2tzil0. Lighter Free e&feature=search_result#?t=w251bgwsmswxldesimnvbs5wcm9na W1heC5saWdodGVyLmZyZWUiXQ.. Maze game &feature=search_result#?t=w251bgwsmswxldesimnvbs5ndxj1yx MubWF6ZWdhbWVqIl0. Change my Voice yvoice&feature=search_result#?t=w251bgwsmswxldesimnvbs5jb2 9sYXBwcy5jaGFuZ2VteXZvaWNlIl0. Galinha Pintadinha m.galinha&feature=search_result#?t=w251bgwsmswxldesimjylm NvbS53YXJwem9uZS56ZXJvdW0uZ2FsaW5oYSJd Guess The Movie e&feature=search_result#?t=w251bgwsmswxldesimnvbs5qdw5ll md1zxnzdghlbw92awuixq..

104 103 Flashlight dflashlight.washer&feature=search_result#?t=w251bgwsmswxldesi mnvbs5pbnrlbgxly3r1ywxmbgftzs5szwrmbgfzagxpz2h0lndh c2hlcijd Toddler Animal Sounds malsounds&feature=apps_topselling_free MyBaby: My puzzle for kids &feature=apps_topselling_free Presidentes &feature=apps_topselling_free Pou v_result#?t=w251bgwsmswyldnd Logo Quiz ame&feature=search_result#?t=w251bgwsmswxldesimxvz29zlnf 1aXouY29tcGFuaWVzLmdhbWUiXQ.. Procedimentos TUSS e=apps_topselling_free Alergias e=apps_topselling_free Breast-feeding eastfeeding&feature=apps_topselling_free Diabetes Diary Lite ature=search_result Jogos Mentais games.espanol&feature=search_result#?t=w251bgwsmswxldesim NvbS50aGVwYXBlcnNoaXAuYnJhaW5nYW1lcy5lc3Bhbm9sIl0. bpresso.com &feature=more_from_developer Medicamentos A a Z: Pediatria Free Procedimentos SUS CliniCalc: Medical Calculator GestaTools 1.0

105 104 Dengue Adulto e Criança Aleitamento Breastfeed GlicoCare Universo Médico Meu diário Mensal Rotinas Terapeuticas Appedatria Psisoríase Guia TV BR =featured-apps Dblcam Alarme AntiFurto ature=top-free Engraçado Tones SMS unnysmssb&feature=apps_topselling_free Diabetes ure=search_result#?t=w251bgwsmswxldesimnvbs5zenlrlmrpyw JldGVzIl0. Fácil voz Bloco de Notas asyvoicenotepad&feature=search_result#?t=w251bgwsmswxldesi mpwlnnvbwv0agluz2dvb2rzb2z0lmvhc3l2b2ljzw5vdgvwywqix Q..

106 105 Horóscopo HD Grátis Português Lembrete de Aniversários free&feature=search_result#?t=w251bgwsmswxldesimnolnntywx sdgvjac5ob3jvc2nvcguuznjlzsjd hdaybook&feature=search_result#?t=w251bgwsmswxldesimlulmf uzhjvym9sdc5hbmryb2lklmjpcnrozgf5ym9vayjd Battery Master atterymasterf&feature=search_result#?t=w251bgwsmswxldesimpw LnNvbWV0aGluZ2dvb2Rzb2Z0LmJhdHRlcnltYXN0ZXJmIl0. WikipediaPlaces Free &feature=search_result#?t=w251bgwsmswxldesim9yzy5tc3euv2lr avbsywnlcy5mcmvlil0 Baby Names ature=more_from_developer Faces - Photo Fun more_from_developer#?t=w251bgwsmswxldewmiwib3jnlm1zcs5 GYWNlIl0. CPF/CNPJ consulta&feature=top-free Tempo de trabalho e&feature=apps_topselling_free Rastreio Correios streiocorreios&feature=apps_topselling_free Nó em gravata ature=apps_topselling_free Privalia Mobile Simples MP3 Downloader impledl&feature=search_result#?t=w251bgwsmswxldesim9yzy5nb 2xkZW5udWdnZXRhcHBzLnNpbXBsZWRsIl0 Presto! Remote ontroller&feature=search_result ColorNote Bloco de Notas Lista pps.notepad.color.note&feature=apps_topselling_free acalendar - Android Calendar r&feature=apps_topselling_free

107 106 WiFi Manager feature=apps_topselling_free Astrid Lista de Tarefas e=apps_topselling_free Diário feliz PLUS ure=apps_topselling_free Fake Call & SMS l&feature=apps_topselling_free Telefone celular Voip 47 e=apps_topselling_free Wedding Planning re=apps_topselling_free Benji Bananas anas&feature=top-new-free Sleep as Android Não infomada eature=apps_topselling_free Lupa (Magnifier HD) ture=apps_topselling_free Emoji para Android ure=apps_topselling_free Relax and Sleep eep&feature=apps_topselling_free EarthView w&feature=apps_topselling_free Postos combustível Brasil ature=apps_topselling_free Tv Show. Tracker Tumblr ShareFood 1.0

108 107 SoundCloud Taximetro Pro pps_topselling_free London Underground Tube Map City&feature=apps_topselling_free I am Here here&feature=apps_topselling_free Night Vision Camera Festas UFSC ioncamera&feature=more_from_developer GlobeConvert MagicPlan NET Viddy Bouncy Bill Easter Tales Não informada roid.bouncy_bill_easter_tales&feature=apps_topselling_new_free Xadrez ess&feature=apps_topselling_new_free Pet Shop Story: Easter p20&feature=apps_topselling_new_free Piano Virtual piano&feature=apps_topselling_new_free Exercícios em casa iciosemcasa&feature=apps_topselling_new_free Reuters 1.1

109 108 Floripa VIP Compras, moda e liquidações =apps_promotion_30000ca_fashi Brasil Mobile Florianópolis Medida Certa a&feature=top-free Nike+ Running re=top-free Android Massager Metas de Vida devida&feature=apps_topselling_free Receita Móvel Free re=apps_topselling_free Saúde Vale =apps_topselling_free Nivea Sun ar.niveasun&feature=apps_topselling_free#?t=w251bgwsmswxlg51 bgwsimjylmnvbs5hz2vuy2lhy2xpy2tpc29iyxiubml2zwfzdw4ixq.. TeleListas ature=apps_topselling_free Sabores do Brasil &feature=apps_topselling_free icaipirinha nha&feature=apps_topselling_free Evernote Hello ure=apps_topselling_free ProEstetica ps_topselling_free

110 109 Qranio Twitter Decolar.com Hotéis e Voos e=top-free Aprenda a falar outras línguas slate&feature=top-free 1001 Lugares no Brasil res&feature=apps_topselling_free Bússola estabilizada eredcompass&feature=apps_topselling_free Hotel Hoje eature=apps_topselling_free minube e=apps_topselling_free Mochileiros chi.activity&feature=apps_topselling_free Sushi BR EasyMeasure Photo Effects monkeys.effectsfree&feature=search_result#?t=w251bgwsmswxld EsImNvbS5hcHBzcG90LnN3aXNzY29kZW1vbmtleXMuZWZmZWN0 c2zyzwuixq Flash Card Demo flash eature=search_result#?t=w251bgwsmswyldesimnvbs5mbgfzag NhcmRzLmRlbW8iXQ Dodol Phone ge&feature=search_result#?t=w251bgwsmswxldesimrlbw8uz2fs bw9vcmkuzgf0yxvzywdlil0 Prague Shopping Guide Guide&feature=search_result#?t=W2

111 APÊNDICE D Formulário utilizado para registrar as avaliações 110