Diariamente mais e mais sites web são adicionados à world wide web de forma

Transcrição

1 Titulo: Avaliação de sites web centrada no usuário: um estudo de caso. Autor: Tatiana de Almeida Furquim Orientador: Sueli Angélica do Amaral (extrato da dissertação de mestrado em Ciência da Informação) Introdução Diariamente mais e mais sites web são adicionados à world wide web de forma acelerada e irrestrita. Os contínuos imperativos informacionais característicos da sociedade da informação levaram à corrida para o estabelecimento de uma presença na Internet como condição sine qua non. A presença na Internet chegou a ser comparada à condição de sobrevivência de empresas na sociedade globalizada. Como conseqüência desse senso de urgência deu-se o desenvolvimento não ordenado e não planejado de sites web, e embora existam sites web bem planejados e que fornecem informações de qualidade, também encontra-se na web grande quantidade de lixo informacional, disfarçados ou não através de peripécias multimídia. O tema da avaliação de sites web conta com esforços de pesquisadores com formação em Ciência da Informação, preocupados com a qualidade da informação na web, bem como pesquisadores da Ciência da Computação, especificamente estudos desenvolvidos na linha da Engenharia de Software. Como resultado, tem-se uma base de quais critérios deveriam ser considerados para qualificar o site web. Todavia, poucos esforços foram conduzidos no sentido de conhecer a opinião do usuário da web.

2 O que o usuário considera ao avaliar um site web? Quais serão os seus critérios de avaliação? O que o leva a optar pelo uso de um site web ao invés de outras fontes de informação? Ao se considerar o tema, uma multiplicidade de questões emergem. Esta pesquisa explorou uma parte do tema, buscando conhecer os critérios de avaliação dos usuários ao optarem pelo uso de um site web. Referencial teórico De acordo com Berners-Lee (1999, p. 124), em 1996 a maioria do que acontecia na web era levado a cabo por pura excitação, porém a partir de 1998 a web passou a ser vista como um campo de batalha de grandes negócios e grandes interesses governamentais. Shneiderman (1997) complementa ao asseverar que refinar a web é mais do que um desafio técnico ou um objetivo comercial, pois cada vez mais o governo passa a oferecer informações e serviços on-line e as instituições educacionais aumentam sua dependência da web. Segundo Berghel et al. (1999) a uma base de 100 milhões de sites web, são adicionados por mês. Trochim (1996) assevera que, enquanto muitos esforços são despendidos para criar, aumentar e potencializar o uso da Internet, poucos esforços são conduzidos no sentido de avaliá-la.

3 Bevan (1998) sugere o uso de listas de verificação como um dos métodos de avaliação de sites web. Todavia, os critérios de avaliação discutidos nas listas de verificação encontradas na literatura cientifica estão longe de atingirem um consenso: Não apenas existe pouca concordância entre as fontes sobre quais são os critérios mais importantes ou mais apropriados para avaliar um site web, como também poucos desses critérios aparecem em revisões, sugerindo uma falta de consenso continuada (SWEETLAND, 2001). Outra alternativa para a avaliação de sites web é aquela fornecida dentro da própria web, por sites web especializados em avaliação, como Argus Clearinghouse, Infofilter, Webcrawler, entre outros. Um exemplo brasileiro é a avaliação realizada anualmente pelo site web Ibest. De acordo com Nascimento (2000), os critérios utilizados pelo Ibest, no ano de 2000 foram: Fig. 3: Critérios de avaliação do prêmio IBest 2000 Design Conteúdo Navegabilidade 1. Estética visual 1. Profundidade, 1. Recursos utilizados na Variedade árvore de navegação (tecnologia e elementos) 2. Estilo 2. Volume 2. Disposição espacial de links 3. Originalidade 3. Relevância 3. Peso das páginas web 4. Integração dos 4. Segmentação 4. Navegação intuitiva (lógica elementos e fluidez da navegação) 5. Arquitetura da informação 5. Interatividade 5. Otimização / racionalização dos elementos (informação, assuntos) Fonte: Adaptado de Nascimento (2000)

4 Smith (1997) desenvolveu um trabalho de consolidação dos critérios utilizados por sites web especializados em avaliação. O autor avaliou os critérios utilizados por sites web de avaliação e os consolidou em uma tabela de freqüências, apresentando o número de sites web em que esse critério é considerado, conforme mostra a tabela 1. Tabela 1: Freqüência de consideração de critérios em sites web de avaliação Critérios Número de sites web Gráficos e projeto multimídia 10 Navegabilidade e organização 8 Atualidade 8 Conteúdo (em geral) 7 Autoridade 5 Unicidade 4 Audiência 4 Funcionalidade (em geral) 4 Conectividade 4 Fonte: Adaptado de Smith (1997) Os sites web avaliados pelo autor foram: 1. The Argus Clearinghouse ( 2. Best of 1996 Social Sciences, Humanities & Asian-Pacific Studies WWW Resources ( Method96.html) 3. CyberHound ( 4. CyberStacks ( 5. Infofilter ( 6. The Internet Public Library ( 7. Magellan Internet Guide ( 8.SiteGrade (URL:

5 9. Stevie's Web Site Ratings ( 10. World Wide Web Virtual Library Maintainers: Criteria Used to Select Links for Resources' Catalogues ( Todavia, permanece a questão: o que pensam os usuários da web? Segundo Rosenfield & Morvile (1998, p. 8), o usuário da web têm um período de atenção tão curto que chega a ser mítico. Para os autores, o exercício de ir à campo conhecer as expectativas dos usuários deve fazer o projetista de sites web, no mínimo, desconfortável. Os autores ressaltam o quão difícil é para um projetista de sites web, geralmente acostumado ao ambiente web, pensar da mesma forma que o usuário iniciante pensa ao abrir uma página web pela primeira vez. Para os autores, os usuários da web detestam quando não conseguem encontrar no site web a informação que eles sabem que está lá, projeto gráfico pobre, uso gratuito da tecnologia (figuras animadas, sons, filmes que somente tornam o tempo de resposta da página web mais longo sem agregar valor ao conteúdo), tom inapropriado (uso de jargões ou de uma linguagem não adequada ao usuário), construção da página web centrada nos critérios do produtor, páginas web em construção, e falta de atenção aos detalhes, (links que não funcionam, conteúdo desatualizado, falta de datas, programas que executam com erro). Por outro lado, consideram que os usuários são motivados por estética: ou seja, os usuários podem usar um site web somente porque o site web é esteticamente agradável; boas idéias: sites web que mudam a forma como o usuário enxerga as coisas; utilidade: para os autores, os usuários visitam e retornam a um site web

6 que de alguma forma julgam úteis; possibilidade que a web oferece de se poder encontrar praticamente tudo e, finalmente, a possibilidade de se poder obter no site web informações customizadas e personalizadas. Assim, outra forma de se conhecer critérios de avaliação de sites web é perguntando diretamente ao usuário o que ele/ela espera de um site web e como ele/ela o avalia. As listas de verificação mais encontradas na literatura dizem respeito à avaliação do site web sob a ótica do provedor da informação, porém no trabalho desenvolvido por Abels, White, Hahn (1997 e 1998) foram encontrados subsídios para uma pesquisa centrada no usuário. As autoras, com o intuito de construir um site web baseado nos critérios do próprio usuário, identificaram junto ao público alvo do site web a ser desenvolvido quais seriam os critérios que eles/elas considerariam como os mais importantes, a partir dos quais avaliariam o site web como bom ou ruim. Estes critérios são apresentados a seguir, pela ordem de importância indicada pelos usuários, conforme identificada no estudo de Abels, White, Hahn (1998). De uma forma geral, critérios relativos ao conteúdo e aos aspectos visuais do site web foram preocupações unânimes entre os autores pesquisados. Outros critérios, embora não tenham apresentado unanimidade de opinião, se destacam na literatura como: a arquitetura da informação, também referenciada sob o termo estrutura, a navegabilidade e a facilidade de uso (ABELS, WHITE, HAHN, 1998; RODRIGUES, 2000; TROCHIM, 1996; STROKER & COKE, 1994; ROSENFIELD & MORVILE, 1998). A preocupação de se evitar o emprego gratuito dos recursos de multimídia

7 também é ressaltada em Nielsen (1997), Rosenfield & Morvile (1998). Verifica-se que a preocupação com a correção dos códigos de programação e do tempo de resposta das páginas web também é citada com freqüência (TROCHIM, 1996; CIOLEK, 1996; NIELSEN, 1999; ROSENFIELD & MORVILE, 1998). Objetivo da pesquisa O princípio que norteou esta pesquisa foi a busca de quais seriam os critérios relativos a um site web que levam um indivíduo a se tornar usuário deste site web. Buscou-se conhecer o que é relevante para o usuário no momento da sua tomada de decisão sobre o uso do referido site web, no momento em que define sua opção pelo uso deste site web para resolver o seu problema, ou atender seus interesses ou necessidades informacionais. Após a revisão da literatura sobre o assunto, chegou-se a um conjunto de critérios de avaliação de sites web centrados no usuário. Todavia, a escassez de pesquisas sob esta ótica (FURQUIM, 1999/2000) levou ao questionamento: os critérios apontados na literatura que foram considerados em outro estudo funcionariam em contexto diferente, para definir critérios determinantes da tomada de decisão de outros usuários sobre o uso de outro site web? Devido à impossibilidade de se contatar todos os usuários de sites da web, foi proposta a avaliação do site web Comprasnet ( por ser um site

8 web com média de acessos mensais (dados coletados em 29/10/2001), reconhecido por prêmios como o Prêmio CONIP Cidadania na Internet, Prêmio Hélio Beltrão, entre outros. Assim, buscou-se com esta pesquisa responder à seguinte questão: Quais são os critérios considerados pelos usuários do Comprasnet como determinantes na tomada de decisão pelo uso do site web? Método A estratégia de pesquisa adotada foi o estudo de caso exploratório (YIN, 1994), e a coleta de dados foi realizada em âmbito nacional, através de entrevistas por telefone durante o período de 21 a 28 de agosto de O universo desta pesquisa foi composto pelos usuários cadastrados no sistema de atendimento corporativo ao cliente do Serviço Federal de Processamento de Dados (SERPRO), que é contratado pelo Ministério do Planejamento, Orçamento e Gestão para desenvolver e manter o site web Comprasnet. O SERPRO mantém uma central de atendimento ao usuário (CAS) que pode ser acessada a partir de ligação telefônica gratuita pelos usuários do Comprasnet. Cada chamada à central de atendimento SERPRO é registrada, contendo dados do usuário que fez a chamada, o serviço a que se referia e o histórico da solução, compondo uma base de dados de usuários do Comprasnet que buscaram apoio na central de atendimento. Esta base de dados foi utilizada para delimitar o universo desta pesquisa.

9 Em levantamento realizado em 14 de agosto de 2002, o número de usuários distintos registrados na base era A pesquisa se valeu de amostra aleatória, e seu tamanho foi calculado a partir da fórmula apresentada por Richardson (1999, p. 171). Trabalhou-se com nível de confiança de 99% e a margem de erro admitida de 4%. Para tanto o índice de resposta satisfatório calculado foi de 928 respostas dos usuários. Resultados Perfil dos usuários Fig. 2: Freqüência de uso do Comprasnet Fig. 3: Tempo de uso do Comprasnet

10 Fig. 4: Critérios da tomada de decisão da opção pelo uso do Comprasnet por freqüência de ocorrência

11 Uma das preocupações motivadoras desta pesquisa foi a busca de um conjunto de valores de julgamento da importância dos critérios analisados para o usuário do Comprasnet, uma vez que a freqüência de ocorrência com que o critério é mencionado como determinante da opção pelo uso do Comprasnet pode ser considerado como indicativo desta importância para o usuário. Para tanto, calculou-se a média da freqüência de ocorrência dos critérios determinantes de opção pelo uso do Comprasnet, com a intenção de estabelecer, entre estes critérios, uma linha divisória que pudesse categorizá-los em dois tipos: critérios considerados como determinantes da opção pelo uso do site web que obtiveram ocorrência acima ou igual à média e os critérios determinantes de opção pelo uso do site web que obtiveram ocorrência abaixo da média. Isto pode embasar a afirmação de que os critérios que obtiveram freqüência de ocorrência superior ou igual ao valor do centro de gravidade da amostra (61, 21%), podem ser considerados como critérios de maior visibilidade ou apelo para o usuário do Comprasnet, enquanto os demais podem ser enquadrados como desejáveis, conforme ilustrado na tabela 2, a seguir.

12 Tabela 2: Visibilidade dos critérios determinantes na tomada de decisão do usuário pelo uso do Comprasnet Categoria Critério Freq. Posição Conteúdo Utilidade da informação 89% 1 Conteúdo Confiabilidade da informação 88% 2 Estrutura Facilidade de entendimento da estrutura do site web 84% 3 Aparência Efeito visual agradável 84% 3 Conteúdo Atualidade da informação 83% 4 Aparência Impressão satisfatória das telas 82% 5 Links Coerência dos links 77% 6 Links Inexistência de links quebrados 74% 7 Uso Facilidade de uso 67% 8 Estrutura Facilidade de localização da informação desejada 63% 9 Conteúdo Comodidade para encontrar a informação 62% 10 Linha divisória: acima, critérios mais visíveis, abaixo critérios menos visíveis Uso Tempo de resposta 56% 11 Pesquisa Existência de mecanismo de busca no site 48% 12 Uso Existência de mapa do site 45% 13 Uso Facilidade de navegação 42% 14 Pesquisa Efetividade do mecanismo de busca 40% 15 Aparência Inibição de figuras sem perda da funcionalidade 29% 16 Estrutura Ausência de textos longos 27% 17 Aparência Utilização não excessiva de ilustração e efeitos visuais 23% 18 Considerações finais Este estudo de caso foi motivado pela busca do conhecimento de quais seriam os critérios relativos a um site web que levariam um indivíduo a se tornar seu usuário. Desta maneira, buscavam-se subsídios para o planejamento e desenvolvimento de sites web centrados no usuário final, partindo-se do pressuposto que a perspectiva do site web sob a ótica do usuário seria fundamental para sua melhor estruturação. A partir da identificação, na literatura, de uma lista consolidada de critérios de avaliação de sites web centrados no usuário, esta pesquisa tornou possível conhecer o

13 perfil do usuário do Comprasnet em termos de freqüência e tempo de uso do site web e, com base na autoridade da opinião do usuário demonstrada por seu perfil, foi identificada a importância relativa de cada critério para o usuário do Comprasnet, através da avaliação da freqüência de ocorrência de cada critério na amostra pesquisada. Foi identificada a necessidade de outros dados detalhados do perfil do usuário para o desenvolvimento de estudos que pretendam explorar em profundidade questões sobre como a percepção de cada critério pode ser afetada pelo conhecimento prévio do usuário das tecnologias da informação, por exemplo. Uma sugestão seria a inclusão, no instrumento de coleta de dados, de questões que mensurassem o conhecimento do respondente sobre operação de computadores, bem como tempo, freqüência e tipo de uso da Internet em geral e da web, especificamente. Também é possível estabelecer subsídios para o planejamento e desenvolvimento de quaisquer funcionalidades para o Comprasnet que pretendam ser consideradas como centradas no usuário final, a partir dos resultados obtidos pela pesquisa. Pode-se sugerir, para aqueles que forem implementar novas funcionalidades ou alterar as funcionalidades existentes no Comprasnet, que considerem, ao planejarem ou desenvolverem tais funcionalidades, os critérios identificados nesta pesquisa, caso desejem construir uma funcionalidade centrada no usuário. Todavia, enquanto limitadas à comprovação através de um estudo de caso, as ponderações e observações quanto aos resultados desta pesquisa não podem ser

14 consideradas válidas para todos os sites web existentes. Porém, os resultados desta pesquisa podem ser utilizados para comparações em estudos similares. Dentre os estudos que podem vir a utilizar os resultados desta pesquisa para confrontá-los ou complementá-los, incluem-se estudos sobre planejamento e gestão de sistemas web, qualidade de sites web, tipologia de sites web, avaliação de sites web, estudos de uso e usabilidade de sites web, bem como estudos de usuários da web e estudos sobre sistemas centrados no usuário (user-centered systems). Comparações entre o uso de funcionalidades desenvolvidas sob a ótica dos critérios identificados nesta pesquisa e de funcionalidades desenvolvidas sem que estes critérios tenham sido levados em consideração, também podem auxiliar no esclarecimento de diversas questões, ainda não respondidas, sobre a validade destes critérios no contexto de outros sites web. Finalmente, esta pesquisa possibilitou a identificação da percepção do usuário do Comprasnet em relação aos produtos e serviços de informação na web. Através da adaptação de critérios de avaliação de sites web sob diversas óticas, foi possível estabelecer um conjunto balanceado de critérios que refletem a maneira como o usuário do Comprasnet visualiza o site web, o que permite afirmar que o conjunto de critérios estabelecido possibilita a avaliação de outros sites. Assim, pode-se considerar que o conjunto de critérios estabelecidos por esta pesquisa pode identificar a percepção do usuário do Comprasnet das características desejadas de um produto/serviço de

15 informação na web, e por tanto a metodologia de pesquisa pode ser adaptada a outros contextos. Referências bibliográficas ABELS, E. G.; WHITE, M. D.; HAHN, K. Identifying user-based criteria for web pages. Internet Research : Electronic Applications and Policy, v. 7, n. 4, p , ABELS, E. G.; WHITE, M. D.; HAHN, K. A user-based design process for Web sites. Internet Research : Electronic Applications and Policy, v. 8, n. 1, p , ALEXANDER, J.; TATE, A. T. Checklist for a Informational Web Page, Disponível em: < Acessado em: 19 jul ALEXANDER, J.; TATE, A. T. Web wisdom: how to evaluate and create information quality on the web. New Jersey : LEA, p. BERNERS-LEE, T. Weaving the web: the original design and ultimate destiny of the world wide web. San Francisco: HarperCollins, p. BEVAN, N. Usability issues in web site design Disponível em: < Acessado em: 25 nov CIOLEK, T. M. The six quests for the electronic grail: current approaches to information quality in WWW resources. Review Informatique el Statistique dans les Sciences Humaines, v. 1-4, p , Disponível em: < Acessado em: 17 ago FURQUIM, T. de A. Perspectivas para o estudo do consumidor de informação na Web. Revista de Biblioteconomia de Brasília, v. 23/24, n. 1, p , especial 1999/2000. ISAAC, S.; MICHAEL, W. Handbook in research and evaluation: for education and the behavioral sciences. San Diego: Edits, p. LINDROOS, K. Use quality and the World Wide Web. Information and Software Tecnology, v.39, n.12, p , dec NASCIMENTO, N. J. Avaliação de sites sobre gestão do conhecimento na world wide web: um estudo exploratório. Belo Horizonte, f. Dissertação (Mestrado em

16 Ciência da Informação) Escola de Biblioteconomia, Universidade Federal de Minas Gerais. NIELSEN, J. Top ten mistakes revisited three years later, Disponível em: < Acessado em: 11 set NIELSEN, J. Top ten mistakes of web management, Disponível em: < Acessado em: 10 set RICHARDSON, R. J. Pesquisa social: métodos e técnicas. São Paulo : Atlas, 1999, 3. ed., 334 p. ROSENFIELD, L.; MORVILE P. Information architecture for the world wide web: designing large-scale web sites. Cambridge: O Reilly, p. SHNEIDERMAN, B. Designing information abundant Web sites: issues and recommendations. International Journal of Human-Computer Studies, v. 47, n. 1, p. 5-29, SMITH, A. G. Testing the surf: criteria for evaluating internet information sources. Public-Access Computer Systems Review, v.8, n. 3, Disponível em: < Acessado em 21 set STOKER, D.; COOKE, A. Evaluation of networked information sources, Disponível em:< Acessado em 17 ago SWEETLAND, J. H. Reviewing the World Wide Web: theory versus reality. Library Trends, v. 48, n. 4, p , Spring TROCHIM, W. M. K. Evaluating websites, Disponível em: < Acessado em: 08 jan YIN, R. K. Case study research: design and methods. Thousand Oaks: Sage Publications, p.