AVALIAÇÃO DA INTERFACE GRÁFICA COM O USUÁRIO DE UM SISTEMA OPERACIONAL DE 32 BITS SEGUNDO A FACILIDADE DE APRENDIZADO Inês Maria Silva Maciel UFRJ / COPPE - Coordenação dos Programas de Pós-graduação em Engenharia Av. Brigadeiro Trompowsky s/n o Ilha do Fundão - CT - Bloco G - sala G-207 The objective of this study is demonstrate what dimension of impact of new system in a certain user group, stimulated by changes in dialogue structure of a GUI- Graphical User Interface, that occured between different versions of a operation system. This observation was done in a real situation of learning, during the professional capacitation course in a educational foundation of government of state of Rio de Janeiro. These observations was done in the period of April / August 96 with nine (9) groups of students. The students groups was stratificated in thre categories: expert, intermittent and novice users. And the performance of each categorie was evaluated based in time of execution of certain task. The results of this observation showed that the Windows 95 GUI increased the cognitive and affective costs of all categories of users during the course. And was noted a greated effect of this costs in intermittent users, which had the worse performance in all categories of users. These conclusions intended understand which influences of knowledge transfer in learning process and what dimension of levels of user experience in learning process. Keywords: Human - Computer interaction, Cognitive Ergonomics, Human Factors in Computing Systems 1 - Apresentação Este estudo efetua uma avaliação da interface gráfica com o usuário de um sistema operacional de 32 bits, segundo o aspecto da facilidade de aprendizado. O objetivo da pesquisa é demonstrar a dimensão do impacto de um novo sistema junto à uma população de usuários, provocado pelas mudanças na estrutura de diálogo de uma GUI - Graphical User Interface, ocorrida entre as versões de um sistema operacional. Com este intuito, foi efetuada uma mensuração do tempo de execução de uma tarefa, em três categorias de usuários, buscando comprovar as seguintes hipóteses: O usuário com pouco ou nenhum conhecimento dos conceitos computacionais terá muito mais dificuldade de aprender um sistema operacional do que um usuário com um bom conhecimento dos conceitos computacionais. O usuário com um pequeno conhecimento dos conceitos computacionais terá mais dificuldade de aprender um sistema que utilize novos conceitos, do que um usuário sem experiência e que desconheça os conceitos computacionais.
Desta forma, o estudo busca a verificação da existência de uma correlação entre a experiência anterior do usuário e a facilidade de aprendizado, através do tempo gasto na realização de uma tarefa. 2 - Metodologia O sistema operacional escolhido como objeto de estudo foi o Windows 95, considerado um produto de destaque no mercado e que pertence a uma nova geração de sistemas operacionais com características multitarefa, interface orientada a objeto etc.. (Linthicum, 1995) A pesquisa foi realizada em uma situação real de aprendizado, durante um curso de capacitação profissional oferecido por uma fundação educacional do governo do estado do Rio de Janeiro, no período de Abril/Agosto de 1996, em oito turmas de Windows 95. As turmas observadas, perfizeram um total de 50 alunos, que possuíam apenas uma característica em comum: não tinham nenhuma experiência anterior com sistemas operacionais de 32 bits. O presente estudo baseou sua mensuração no tempo de execução de uma tarefa, avaliando o desempenho de três categorias de usuários, durante a execução de uma tarefa padronizada. Apesar de grande parte dos estudos visando a avaliação de interfaces adotarem uma abordagem reducionista (Kieras, 1988; Card, Moran e Newell,1980; Shneiderman,1992; Preece, 1993), a metodologia escolhida privilegiou uma estratégia holística, baseando-se na estratégia adotada por Whiteside et al. (1989), devido à evidente complexidade das variáveis envolvidas no processo de interação homem-máquina. Desta forma, o processo foi avaliado como um todo, levando em consideração tanto as variáveis inerentes ao processo quanto as inferências envolvidas nas etapas do aprendizado. 2.1 Procedimentos da Observação A estratégia adotada teve como ponto de partida a aplicação de questionários, seguidos da observação da turma durante os três dias de aula, e só então no último dia é aplicado o exercício. Vale ressaltar, que durante o curso os alunos são instruídos sobre todas as ferramentas, conceitos e princípios contidos no sistema operacional em questão, de forma que possam ser esclarecidas todas as dúvidas, inclusive através da aplicação de alguns exercícios acompanhados pelo instrutor. Contudo, durante a aplicação do exercício final os alunos são instruídos a executarem a tarefa sózinhos e só procurarem a ajuda do instrutor se forem absolutamente incapazes de executar a tarefa sem ajuda. As sessões do exercício final têm aproximadamente 45 minutos de duração e durante todo o período os alunos são cronometrados. O questionário foi construído com perguntas abertas e fechadas, que determinavam a estratificação da amostra por idade, instrução e qual a categoria do usuário de acordo com sua experiência anterior. Os resultados relacionados com a experiência do usuário foram interpretados segundo a categorização de Shneiderman (1992), como descrevemos a seguir:
Usuários Novatos Fazem parte de uma categoria que utiliza o computador pela primeira vez ou possui uma experiência mínima (menos de 6 meses). A estes usuários não é atribuído nenhum conhecimento sintático sobre o uso do sistema e nenhum ou pouquíssimo conhecimento semântico dos conceitos computacionais. Usuários Intermitentes Pertencem a uma classe de usuários que já possuem alguma experiência com computador, podem conhecer de forma superficial muitos sistemas, ou programas, ou até utilizam o sistema há pouco tempo e com uma freqüência pequena. Esses usuários podem dominar o conhecimento semântico da tarefa e dos conceitos computacionais, mas têm dificuldade de absorver o conhecimento sintático. Usuário Experiente Faz parte de um grupo de usuários bastante familiarizados com os conceitos sintáticos e semânticos do programa. Não sentem medo de investigar e experientar um novo programa e/ou sistema. Tais usuários apresentam menos dificuldades com o conhecimento sintático, mas como este é dependente da máquina, pode gerar problemas como confusão entre os conceitos sintáticos dos diversos sistemas e/ou programas. Procedimentos de Avaliação Com o intuito de avaliar a dimensão do aprendizado na execução da tarefa e o desempenho dos usuários foram adotadas duas estratégias para a medição do tempo. A primeira estratégia buscou a dimensão do tempo de execução da tarefa, e a dimensão do tempo na avaliação do desempenho. O desempenho, por sua vez, foi classificado em Muito Bom, Bom, Regular, Fraco e Deficiente, e é considerado regular quando determinado pelo intervalo de tempo que se enquadra na média de tempo de execução da tarefa para cada categoria. Portanto, os valores arbitrados para cada categorização de desempenho mudam de acordo com as categorias, devido às mudanças apresentadas pelas médias de tempo. Por exemplo, se a média apresentada pelos usuários experientes for de 16 minutos, esse será o desempenho regular. 2.2 Dimensão do Tempo da Tarefa Para se determinar o tempo de execução da tarefa, sem a influência dos fatores aprendizado e experiência, foram cronometrados 15 usuários experientes, que possuíam habilidade no uso do Windows 95, para se ter idéia do tempo da tarefa e com isto definiu-se quanto tempo é necessário para se executar a tarefa para um usuário experiente que já conhecia o sistema operacional.
O tempo médio dos usuários experientes e especialistas em Windows 95, na execução da tarefa, é igual a 5,19 minutos, com um desvio padrão igual a 1,68. Portanto, o tempo adotado como tempo de execução da tarefa é 5,19 minutos. 3 - Resultados 3.1 Resultados Quantitativos Cada categoria de usuário possui um perfil que deve ser cuidadosamente observado para efetuar uma avaliação. Nesse sentido foi realizada uma estratificação empírica da amostra, baseada no questionário aplicado no início do curso, para categorizar os usuários em novatos, intermitentes e experientes. Cada uma dessas categorias possui a sua própria dimensão de tempo devido à grande influência da experiência no desempenho dos usuários. Portanto, foi utilizado o tempo médio de execução da tarefa em cada categoria para se ter um parâmetro de avaliação do desempenho. Esse método foi adotado devido à evidente diversidade entre as categorias, que se fossem comparadas entre si só determinariam o reflexo óbvio dos níveis de experiência na velocidade de desempenho. Os tempos médios encontrados para cada categoria foram: - Tempo Médio dos Usuários Novatos: 34,3 minutos; - Tempo Médio dos Usuários Intermitentes: 27,6 minutos; - Tempo Médio dos Usuários Experientes: 16,6 minutos. A partir dos tempos médios de execução da tarefa para cada categoria, foram encontrados os seguintes resultados: Usuários Novatos - 13% tiveram um desempenho muito bom e realizaram a tarefa entre 15 e 25 min; - 50% tiveram um desempenho bom e completaram a tarefa entre 25 e 35 min; - 25% tiveram um desempenho regular e efetuaram a tarefa entre 35 e 45 min; - 6% tiveram um desempenho fraco e completaram a tarefa entre 45 e 55 min; - 6% tiveram um desempenho deficiente e realizaram a tarefa entre 55 e 65 min; Usuários Intermitentes - -14% tiveram um desempenho muito bom e efetuaram a tarefa entre 5 e 15 min; -27% tiveram um desempenho bom e realizaram a tarefa entre 15 e 25 min; -27% tiveram um desempenho regular e completaram a tarefa entre 25 e 35 min; -23% tiveram um desempenho fraco e efetuaram a tarefa entre 35 e 45 min; -9% tiveram um desempenho deficiente e completaram a tarefa entre 45 e 55 min; - Usuários Experientes - - 47% tiveram um desempenho bom e executaram a tarefa entre 5 e 15 min; - 37% tiveram um desempenho regular e completaram a tarefa entre 15 e 25 min.; - 16% tiveram um desempenho fraco e realizaram a tarefa entre 25 e 35 min.
3.2 Resultados Qualitativos O comportamento dos usuários foi observado durante todo o curso, com o intuito de identificar as principais dificuldades enfrentadas pelos usuários no processo de interação. Essas dificuldades foram identificadas e classificadas em 5 categorias, baseadas na definição de alguns conceitos, princípios e guidelines descritos por Wolf (1989), Apple Computer (1992) e Grudin (1989): - Inconsistência Através do Tempo - Apesar de o Windows 95 ser considerado, pelo seu próprio fabricante, um upgrade do sistema operacional Dos/Windows, foram identificados alguns problemas denominados, segundo Wolf (1989), de problemas na consistência através dos aplicativos. Esses conflitos de interpretação foram provocados por diferenças sutis na função de alguns comandos e na execução de tarefas básicas entre os dois sistemas e envolveram exclusivamente usuários experientes e intermitentes. - Inconsistência Interna do Projeto da GUI - A interface do Windows 95 embute um novo conceito de lixeira reciclável dentro de sua interface que aciona uma função delicada do sistema. Esse novo conceito possui comportamentos distintos quando trabalha com arquivos de disco rígido e arquivos de diskete. Isto é, quando o arquivo está no disco rígido ele, mesmo depois de deletado, permanece na lixeira reciclável até que o usuário limpe a lixeira, porém, no caso de arquivo de diskete, o arquivo é realmente deletado. Contudo, o usuário, devido a ausência de feedback do sistema, só percebe que aconteceu alguma coisa errada quando não há mais nada a fazer. Esse problema atingiu todas as turmas e todas as categorias de usuários. - Ausência de Feedback do Sistema - Algumas funções oferecidas pelo Windows 95 provocam resultados imprevisíveis e perigosos devido a ausência de feedback do sistema sobre os riscos envolvidos na operação. Esses problemas foram percebidos em todas as categorias de usuários e foram identificados em várias funções do sistema. - Mensagens Obscuras - As mensagens de ajuda do sistema, quando acionadas pelo mouse, são mal interpretadas pelos usuários, porque ela se divide em duas etapas, uma inicial, que faz uma pergunta, e a seguinte, que responde a essa pergunta. Os usuários, na sua maioria novatos com pouca habilidade com o mouse, acionavam o comando pelo mouse acidentalmente e interpretavam a pergunta na tela como um questionamento vago do sistema. - Inconsistência Procedural - O Windows 95 adota um método de interação através do botão direito do mouse, que é pouco desenvolvido pelos usuários de forma geral. Os usuários experientes e intermitentes apresentaram problemas no acionamento dos comandos, por confundirem qual botão deveria ser acionado. No caso dos usuários novatos, o problema apresentou uma amplitude maior porque o aprendizado procedural, ao qual eles deviam se submeter, era mais complexo do que o anterior.
- Inconsistência Proposicional - A modificação no formato de execução de alguns procedimentos e a inclusão de novos formatos com o mesmo objetivo confundem o usuário e o induz ao erro, porque o usuário normalmente faz inferências baseadas em sua experiência anterior para executar uma determinada ação no sistema. 4 -Conclusões A partir das hipóteses formuladas e dos dados coletados podemos concluir que a primeira hipótese foi comprovada segundo os dados de desempenho dos usuários novatos e experientes. A segunda hipótese, no entanto, não pôde ser comprovada através dos dados coletados, apesar do desempenho dos usuários intermitentes ter demonstrado indícios da existência de algum problema que prejudica a interação com o sistema. Esse fato identifica que o estudo do comportamento dos usuários intermitentes merece um trabalho mais profundo, envolvendo ferramentas de gravação por software na coleta de dados. Contudo podemos conjecturar que o desempenho fraco dos usuários intermitentes está relacionado a dificuldade na busca pelos comandos e funções oferecidas pelo sistema, supostamente ocasionada pela mudança na forma sintática e semântica dos comandos do Windows 3.11 e Windows 95. Tomando como base os custos cognitivos e afetivos envolvidos, podemos dizer que a interface do Windows 95 possui algumas qualidades e alguns problemas. As qualidades refletem-se na adoção da manipulação direta como processo de interação, o uso de ícones com suporte textual, o uso de efeitos de animação durante o feedback de comandos, provocando uma reação positiva nos usuários. No entanto, os custos cognitivos tiveram um aumento significativo com o uso do botão direito do mouse, criação de duas funções para a visualização do sistema, modificação completa do desenho de interface promovida entre as versões do Windows 3.11 e Windows 95, dificultando o processo de execução da tarefa e inibindo os usuários a utilizarem os métodos de aprendizado prediletos, a exploração do sistema e o método de tentativa e erro. Desta forma, concluímos que talvez a adoção de uma solução mais adequada, que levasse em consideração a experiência anterior dos usuários, transformando a interface gradativamente entre as versões, talvez pudesse evitar o forte impacto sentido pelos usuários intermitentes e experientes. E permitiria que o produto fosse aceito de forma mais rápida pelo mercado. Este trabalho é um resumo da tese de mestrado Avaliação da Interface Gráfica com o Usuário de um Sistema Operacional de 32 bits Segundo a Facilidade de Aprendizado, defendida na COOPE / UFRJ, na Área de Engenharia de Produção, em Setembro de 1996.
REFERÊNCIAS BIBLIOGRÁFICAS APPLE COMPUTER. Macintosh Human Interface Guidelines, Apple Computer Inc. Massachusets, Addison Wesley, Waltham, 1992. 384p. CARD, S. K., MORAN, T. P., NEWELL, A.The Keystroke Level Model for User Performance Time with Interactive Systems. Communications of the ACM, New York, 23 (7): 396-410, Julho, 1980. GRUDIN, J.,1989, The Case Against User Interface Consistency. Communications of the ACM, New York, 32 (10) : 1164-1173, Outubro.1989. INTERNATIONAL BUSINESS MACHINES, System Application Architecture. Common User Access, Basic Interface Design Guide, SC26-4583, IBM, 1989.375p. KIERAS, D. E. Towards a Practical GOMS Model Methodology for User Interface Design. In: Handbook of Human Computer Interaction, M. Hellander ( ed.) Elsevier Science B.V. (North-Holland) 1988. p. 135-157. LINTHICUM,D.S. How Best to Migrate to Windows 95. Byte Magazine, New Jersey, (7): 51-54, Julho, 1995. PREECE, J. A Guide to Usability: Human Factors in Computing. Massachusetts, Addison - Wesley Publishing Company, 1993.144p. SHNEIDERMAN, B. Designing the User Interface: Strategies for Effective Human Computer Interaction. Massachusets, Addison -Wesley Publishing Company, 1992. 573 p. WHITESIDE, J., JONES, S., LEVY, P. S., WIXON, D. User Performance with Command, Menu and Iconic Interfaces; In: CHI'85 Human Factors in Computing Systems, San Francisco, 1985.Proceedings. New York, ACM, 1989. p. 185-191. WOLF, R. Consistency as Process. Coordinating User Interfaces for Consistency, Academic Press, New York, 1989. p. 89-92.