UNIVERSIDADE ESTADUAL DO CEARÁ - UECE CENTRO DE CIÊNCIA E TECNOLOGIA LICENCIATURA EM INFORMÁTICA

Transcrição

1 UNIVERSIDADE ESTADUAL DO CEARÁ - UECE CENTRO DE CIÊNCIA E TECNOLOGIA LICENCIATURA EM INFORMÁTICA MARIA RAMONE LEMOS ANTONINO AVALIAÇÃO DA USABILIDADE DO AMBIENTE VIRTUAL DE APRENDIZAGEM MOODLE MAURITI/CE 2015

2 MARIA RAMONE LEMOS ANTONINO AVALIAÇÃO DA USABILIDADE DO AMBIENTE VIRTUAL DE APRENDIZAGEM MOODLE Trabalho de Conclusão de Curso apresentado ao Curso de Licenciatura em Informática da Universidade Aberta do Brasil/Universidade Estadual do Ceará, como requisito parcial para obtenção do título de Graduado. Orientador: Prof. MSc. Emmanuel Sávio Silva Freire MAURITI/CE 2015

3

4

5 AGRADECIMENTOS A Deus, pela vida, saúde, família, por tudo... A ele, pois eu não conseguiria sozinha. A concretização desse sonho só foi possível graças à coragem e a força que todos os dias renovavas em mim, senhor. Quando as dificuldades me enfraqueceram, pensei que não conseguiria, mas, o Deus do impossível me dizia: não temas, porque eu sou contigo; não te assombres, porque eu sou o teu Deus; eu te fortaleço, e te ajudo, e te sustento com a minha destra fiel. (Isaias 41:10). Vós me fortalecestes senhor, por isso hoje estou aqui. A minha família, pelo apoio, compreensão, amor. A eles, por serem meu alicerce, meu incentivo na busca por dias melhores. A toda a universidade, seu corpo docente, em especial, ao meu orientador MSc. Sávio Freire, pela paciência, confiança, e apoio na elaboração deste trabalho. A nossa tutora Luana e aos meus colegas de turma que trilharam comigo um árduo caminho até chegar até aqui. A eles, meu carinho e gratidão por todos os momentos de incentivo e ajuda. Enfim, a todos que contribuíram de alguma maneira, direta ou indiretamente, na minha formação, a todos o meu muito obrigado!

6 Porque sou eu que conheço os planos que tenho para vocês', diz o Senhor, 'planos de fazê-los prosperar e não de causar dano, planos de dar a vocês esperança e um futuro. (Jeremias 29:11)

7 RESUMO Este trabalho apresenta um estudo sobre a usabilidade do ambiente virtual de aprendizagem AVA MOODLE. Os ambientes virtuais de aprendizagem são a tecnologia mais utilizada atualmente como suporte ao processo de ensino aprendizagem na modalidade à distância, e seu uso tem crescido no apoio pedagógico ao ensino presencial. O MOODLE é um dos ambientes virtuais mais utilizados atualmente, tendo uma das maiores bases de usuários do mundo. Portanto, avaliar a qualidade da interação do AVA MOODLE com os seus usuários contribui com a evolução do sistema. A qualidade da interação é um aspecto que está estritamente relacionado ao conceito de usabilidade, atributo contemplado nessa avaliação. Esta avaliação de usabilidade utilizou como ferramenta de análise, um questionário para medir a satisfação dos usuários reais em relação à qualidade de uso do sistema (MOODLE), com o propósito de identificar problemas e propor melhorias para o sistema. O questionário utilizado foi o ISONORM, o mesmo é baseado na Norma ISO 9241, e objetiva avaliar a conformidade dos produtos de software com os princípios do dialogo, da parte 10 da norma. Palavras-chaves: Ambiente virtual de aprendizagem, MOODLE, Usabilidade, Avaliação.

8 ABSTRACT This work presets a study about usability in AVA MOODLE virtual learning environment. The virtual learning environments are the most technology used today to support the teachinglearning process in distance mode and its use have been grown in the pedagogical support in the classroom. MOODLE is one the used virtual learning environment today and it has one of the largest bases of the users in the world. Then, its evaluation of interaction quality with its users helps with the evolution system. The interaction quality is an aspect is strictly related with the usability concept, that is aspect presents in this evaluation. This usability evaluation used with analysis tool, a questionnaire to measure the satisfaction of the real users with the quality of system use (MOODLE), it aimed to identify the problems and propose improvement to the system. The used questionnaire was ISONORM, the same based on ISO 9241 norm. Its goal is to assess the conformity of software products with the dialog principles present in the 10 part of the norm. Keywords: Virtual Learning Environment, MOODLE, Usability, Evaluation.

9 LISTA DE FIGURAS FIGURA 1- Página inicial do AVA Moodle FIGURA 2 - Exemplo de questão do ISONORM 9241/ FIGURA 3- Exemplo de mensagem de erro do Moodle... 48

10 LISTA DE GRÁFICOS GRÁFICO 1 - Médias das questões sobre adequação à tarefa GRÁFICO 2 - Médias das questões sobre auto-descrição GRÁFICO 3 - Médias das questões sobre controlabilidade GRÁFICO 4 - Médias das questões sobre conformidade com às expectativas dos usuários GRÁFICO 5 - Médias das questões sobre tolerância a erros... Erro! Indicador não definido. GRÁFICO 6 - Médias das questões sobre suporte à individualização GRÁFICO 7 - Médias das questões sobre adequação ao aprendizado GRÁFICO 8 - Média por princípio do ISONORM 9241/

11 LISTA DE QUADROS QUADRO 1 - Heurísticas de Jacob Nielsen... 31

12 LISTA DE TABELAS TABELA 1 - Distribuição da amostra quanto à experiência com computadores e no uso do software avaliado TABELA 2 - Conceitos do ISORNORM e notas equivalentes

13 LISTA DE ABREVIATURAS E SIGLAS AVA CCT EAD IBM IHC ISO MOODLE PHP QUIS SUMI TI UAB UECE UFC UNICAMP WAMMI WEB Ambiente virtual de aprendizagem Centro de ciência e tecnologia Educação à distância Eletronic mail International business machines Interação humano-computador International Organization for Standardization Modular object-oriented dynamic learning environment Php: hypertext preprocessor Questionnaire for User Interaction Satisfaction Software usability measurement inventory Tecnologia da informação Universidade aberta do Brasil Universidade estadual do Ceará Universidade Federal do Ceará Universidade Estadual de Campinas Web Analysis and measurement Inventory Rede

14 SUMÀRIO 1 INTRODUÇÃO OBJETIVOS Objetivo Geral Objetivos Específicos PROBLEMA E HIPÓTESE Problema Hipótese JUSTIFICATIVA FUNDAMENTAÇÃO TEÓRICA AMBIENTE VIRTUAL DE APRENDIZAGEM Moodle USABILIDADE Avaliação de Usabilidade Metodologias de Avaliação da Usabilidade de Interfaces Inspeção de Usabilidade Testes de Usabilidade A USABILIDADE EM AVAs METODOLOGIA O QUESTIONÁRIO RESULTADOS E DISCUSSÕES MÉDIA POR PRINCÍPIO DA NORMA PROPOSTA DE MELHORIA CONSIDERAÇÕES FINAIS E TRABALHOS FUTUROS TRABALHOS FUTUROS REFERÊNCIAS BIBLIOGRÁFICAS ANEXOS... 60

15 14 1 INTRODUÇÃO No início, a relevância do processo de desenvolvimento de software era colocada apenas nas funcionalidades do produto. Isso é fácil de perceber analisando a história dos computadores, e as interfaces dos mesmos há algumas décadas atrás. Isso era compreensível, afinal, o software seria utilizado por seus próprios desenvolvedores ou especialistas da área. Com o passar dos anos e com a evolução tecnológica, os computadores e a internet se tornaram acessíveis por um público cada vez mais amplo, que não era treinado, nem tão pouco se interessava por aspectos referentes à programação do sistema (CYBIS, 2003). Neste contexto, surgiu a necessidade de desenvolver softwares que se adequassem as características dos diversos tipos de usuários, experientes e novatos, especialistas e leigos, oferecendo um nível maior de interatividade, facilidade e simplicidade de uso, afinal, o uso dos computadores deixava de ser exclusivo aos especialistas e se estendia ao público leigo, surge então o conceito de usabilidade. Com a popularização das tecnologias da informação e comunicação diversas áreas, como por exemplo, comércio, saúde, transporte, entre outras, buscaram se beneficiar das ferramentas disponíveis. Essa afirmação se justifica pela informatização que tem acontecido nas ferramentas de trabalho dessas áreas. Dentre os beneficiados, a educação tem grande destaque. Várias ferramentas surgiram no intuito de apoiar o processo de ensino aprendizagem, principalmente quando ele ocorre à distância. Dentre elas têm-se Ambientes Virtuais de Aprendizagens (AVA s), poderosas ferramentas que permitem que a aprendizagem ocorra com certo grau de independência do fator humano (VALENTINI; SOARES, 2010) A usabilidade é um atributo desejável em qualquer sistema com interação com o usuário, principalmente, nos que apresentam fins educacionais. Um AVA deve atender às características de usabilidade, pois muitas vezes a dificuldade ao utilizar o sistema, pode fazer com que o aluno se sinta desmotivado, desistindo de utilizar o sistema (WINCKLER, 2001). Analisar a usabilidade do ambiente virtual de aprendizagem Moodle, sob a perspectiva dos alunos do curso de Licenciatura em informática da UAB/UECE do polo de Mauriti, é o principal objetivo deste estudo. Para isso, inicialmente, foram realizadas pesquisas bibliográficas com o intuito de escolher o método de avaliação que melhor se adequasse ao propósito desta pesquisa. A literatura selecionada serviu ainda de base para o referencial

16 15 teórico deste trabalho, no qual serão discutidos conceitos importantes para a compreensão do trabalho como um todo, como usabilidade e ambiente virtual de aprendizagem. A maior parte do referencial teórico desse trabalho se baseia nos estudos de Rocha e Baranauskas (2003) e Cybis (2003), pois ao analisar as discussões propostas por estes autores em seus trabalhos, verificou-se a coerência e a adequação perfeita do objetivo deste estudo ao ponto de vista dos autores em questão, sobre o tema usabilidade. No processo de avaliação do Moodle, foi aplicado um questionário a uma amostra de alunos do curso de Informática da UAB/UECE do polo de Mauriti, medindo o nível de satisfação dos usuários em relação a aspectos de usabilidade do sistema. Após a análise dos dados obtidos, a partir das dificuldades encontradas, melhorias foram sugeridas.

17 OBJETIVOS Este capítulo apresenta o objetivo geral e os específicos deste trabalho Objetivo geral Analisar a usabilidade do Ambiente Virtual de Aprendizagem Moodle, a fim de detectar deficiências e propor melhorias para o sistema Objetivos específicos Avaliar a qualidade da interface do MOODLE em termos de usabilidade; Verificar a qualidade da interação dos usuários reais com o Ambiente Virtual de Aprendizagem MOODLE na execução das suas tarefas; Conhecer a opinião do usuário (aluno) em relação ao sistema; Detectar recursos no AVA MOODLE que apresentem problemas de usabilidade Identificar problemas visando melhorias no sistema.

18 PROBLEMA E HIPÓTESE Este capítulo apresenta o problema a ser abordado nesse capítulo juntamente com as hipóteses para resolução do mesmo Problema Considerando aspectos de usabilidade, este trabalho propõe-se a resolver a seguinte problemática: O Ambiente Virtual de Aprendizagem Moodle possui uma interface adequada aos seus usuários, proporcionando uma interação eficiente do ponto de vista do usuário real do sistema? Hipótese Os alunos de educação à distância (EAD) convivem constantemente com um Ambiente Virtual de Aprendizagem, principal ferramenta utilizada no apoio ao ensino à distância. Muitos usuários apresentam dificuldades de interação com o AVA, acham complicado realizar determinadas tarefas no sistema, e muitas vezes se sentem desmotivados para executar algumas atividades. H1 A usabilidade é um fator determinante da qualidade da interação do aluno com o AVA; H2 O AVA deve permitir a realização de tarefas de forma rápida e simples, com o menor índice de erros possível, eficiência, com uma interface intuitiva e agradável, para que o aluno se sinta motivado a usar o sistema.

19 JUSTIFICATIVA A usabilidade é um atributo que vem se firmando, como um dos aspectos mais relevantes para determinar a qualidade de um software. Esse argumento justifica-se pelas inúmeras pesquisas que vem sendo desenvolvidas por vários estudiosos (NIELSEN, 1993); (MEDEIROS, 1999); (CYBIS, 2003); (ROCHA E BARANAUSKAS, 2003); em torno desse tema, nos quais um dos principais objetivos é encontrar métodos cada vez mais eficientes de se avaliar a usabilidade de um software. Quando o software é usado como apoio ao processo de ensino aprendizagem, a usabilidade, e sua avaliação, assumem um papel ainda maior, a falta desse atributo pode fazer muitos alunos se sentirem frustrados ao usarem um sistema, por conta da usabilidade inadequada (WINCKLER, 2001). Um AVA deve proporcionar ao usuário uma experiência agradável de interação, oferecendo a ele um ambiente coerente com as suas necessidades. Quando esse sistema se trata de um dos Ambientes Virtuais de Aprendizagem mais importantes, com uma das maiores bases de usuários no mundo, utilizado em várias instituições (MOODLE, 2014), inclusive pelos cursos da UAB/UECE, como é o caso do Moodle, a usabilidade é essencial. Considerando a usabilidade da interface, saber identificar se o AVA apoia adequadamente o usuário, se atende suas necessidades, é fundamental para determinar o sucesso do sistema, pois todo contato que o usuário mantém com o sistema, é por meio da interface. Neste contexto, pelo fato do Moodle ser o AVA escolhido pela UAB/UECE para apoiar o ensino, a aplicação de um teste de usabilidade, permite conhecer a opinião dos usuários reais desse sistema e, com isso, estimar o sucesso desse ambiente quanto à sua utilização. Com isso, o teste de usabilidade é uma etapa importante no processo de aperfeiçoamento de um sistema. Essa pesquisa poderá contribuir na melhoria do AVA Moodle, pois determinar as reais necessidades do usuário não é tarefa fácil. Com essa pesquisa, busca-se contribuir com o planejamento de futuras versões ou atualizações do sistema, a fim de atender as necessidades dos usuários, a partir dos problemas por eles identificados.

20 19 2 FUNDAMENTAÇÃO TEÓRICA Este capítulo apresenta o referencial teórico que embasa esse trabalho. Foram detalhados os seguintes pontos: (i) Ambiente Virtual de Aprendizagem, (ii) Moodle, (iii) usabilidade, (iv), avaliação de usabilidade, (v) metodologias de avaliação da usabilidade de interfaces e, (vi) a usabilidade em AVAs. 2.1 AMBIENTE VIRTUAL DE APRENDIZAGEM (AVA) As novas tecnologias introduzidas no contexto educacional dos últimos anos tem mudado a forma de fazer e pensar a educação. Isso tem ocorrido principalmente na modalidade de ensino denominada educação à distância, que representa uma modalidade de ensino alternativa à modalidade presencial. Conceitualmente, podemos definir EAD como uma modalidade de educação, onde o aprendizado é constituído a distância física e temporal, mediada por alguma forma de tecnologia, responsável por permitir a comunicação e a interação entre os participantes (RIBEIRO; MENDONÇA G.; MENDONÇA A., 2007, P. 4). O importante papel da tecnologia nesse contexto fica claro, visto que todo o processo de ensino aprendizagem ocorre por meio desta. Portanto, a tecnologia utilizada deve ter características que favoreçam a aprendizagem significativa do aluno (ALMEIDA, 2003) promovendo a eficiência da aprendizagem, nessa modalidade que tem uma proposta de ensino tão diferenciada e inovadora. A educação à distância em seu percurso, desde sua origem até os dias atuais, utilizou de diversas tecnologias para disseminar o conhecimento, desde os materiais impressos, rádio, televisão, até chegar ao recurso tecnológico que norteia essa modalidade de ensino nos dias atuais, os ambientes virtuais de aprendizagem. Ambientes digitais de aprendizagem são sistemas computacionais disponíveis na internet, destinados ao suporte de atividades mediadas pelas tecnologias de informação e comunicação. Permitem integrar múltiplas mídias, linguagens e recursos, apresentar informações de maneira organizada, desenvolver interações entre pessoas e objetos de conhecimento, elaborar e socializar produções tendo em vista atingir determinados objetivos. (ALMEIDA, 2003, P. 331).

21 20 A inserção desta nova tecnologia na EAD permitiu que a aprendizagem acontecesse de forma interativa através da rede mundial de computadores, rompendo com as distâncias que antes eram entraves para uma educação de qualidade. Através da rede o aluno pode ter acesso a uma educação similar à educação presencial, mas que dispensa a presença física no mesmo espaço físico e horário, em EAD, através dos Ambientes Virtuais de Aprendizagem, o aluno pode escolher o lugar e horários de estudos que melhor se adequem as suas necessidades. Portanto, os Ambientes Virtuais de Aprendizagem têm sido usados como solução para amenizar o problema relacionado à distância física entre alunos/alunos, alunos/professores. Essa proposta educacional visa oferecer ao aluno um ambiente semelhante a uma sala de aula, onde exista interação e convivência entre os usuários (ALMEIDA, 2003). É importante esclarecer que apesar do enfoque dado ao uso dos ambientes virtuais de aprendizagem no ensino à distância, estes não são exclusivos desta modalidade de ensino. Eles também são utilizados no ensino presencial como apoio ao processo de ensino aprendizagem. Para Moraes (2002, p.203) Em qualquer situação de aprendizagem, a interação entre os participantes é de extrema importância. É por meio das interações que se torna possível a troca de experiências, o estabelecimento de parcerias e a cooperação. Os AVAs tornam possíveis essas interações e, uma vez que no ensino presencial essa interação é possível pela presença física dos alunos no mesmo espaço e tempo, no ensino á distância é necessário apenas que o aluno tenha um dispositivo conectado à internet para ter acesso às ferramentas de interação. Isso mostra que com o emprego dos AVAs em quaisquer das modalidades de ensino, mas principalmente em EAD, o papel do professor e aluno se modificam, uma vez que estão inseridos neste novo contexto. O aluno se torna responsável por sua aprendizagem, tem autonomia, controla seu ritmo de aprendizagem, planeja seus horários de estudo, tomando as iniciativas no que diz respeito a sua aprendizagem. O professor passa a ser um orientador, acompanha o processo de aprendizagem, tira as dúvidas do aluno e o motiva ao cumprimento de suas tarefas (SOUZA; RIBEIRO, 2014). Essa modificação de relações é necessária, visto as exigências da sociedade na qual vivemos, e uma vez que a sociedade muda, o sistema de ensino também deve se adequar a essas mudanças, propondo métodos adequados de disseminar a informação.

22 21 Atualmente é possível encontrar diversos Ambientes Virtuais de Aprendizagem disponíveis na internet com características semelhantes e outras que os diferenciam. Alguns são softwares livres, outros proprietários, cada um possui sua forma de organização e de disponibilizar conteúdo. Dentre eles destacam-se: Solar (SOLAR, 2005): é um Ambiente Virtual de Aprendizagem que foi desenvolvido pelo instituto UFC-virtual, da universidade federal do Ceará em Ele é orientado ao professor e ao aluno e possibilita a publicação de cursos; Aulanet (AULANET, 2014): foi desenvolvido para administração, criação, manutenção e participação em cursos à distância, pelo laboratório de engenharia de software do departamento de Informática da Pontifica Universidade Católica (PUC_RJ); Teleduc (TELEDUC, 2014): é mais um ambiente de EAD que permite a ocorrência de cursos pela internet. Foi desenvolvido pela UNICAMP. Esses são alguns exemplos de Ambientes Virtuais de Aprendizagem, mas existem ainda vários AVAs que são utilizados como ferramentas de apoio, seja no ensino presencial ou à distância. O AVA Moodle é um software livre que é utilizado por diversas instituições, conheceremos suas origem, características e funcionalidades na próxima subseção.

23 Moodle O MOODLE (Modular Object-Oriented Dynamic Learning Environment) (MOODLE, 2014) é um Ambiente Virtual de Aprendizagem que foi desenvolvido em 1999 pelo Australiano Martin Dougianas, e tem sido amplamente utilizado por diversas instituições, tanto de ensino superior, como nas escolas de ensino regular (SABBATINI, 2007). Foi desenvolvido para distribuição livre, possui código fonte aberto, o que permite seu uso, cópia, modificação, e distribuição de forma totalmente gratuita. Atualmente, já foi traduzido para mais de 70 idiomas, por isso, seu uso tem se disseminado pelo mundo (MOODLE, 2014). Sobre sua obra, o autor explica: As minhas fortes convicções nas inexploradas possibilidades da educação baseada na Internet levaram-me a que completasse um Mestrado e depois um Doutoramento em Educação, combinando a minha anterior carreira em Ciências dos Computadores com novos conhecimentos sobre a natureza da aprendizagem e colaboração. Em particular, tenho sido influenciado pela epistemologia do construcionismo social que não só trata a aprendizagem como uma atividade social, mas atenta também na aprendizagem que ocorre quando da construção ativa de artefatos (como textos) para outros verem ou usarem. (DOUGIAMAS, 2000 apud. FERRAZ, 2009, P. 145) Esse ambiente virtual possui uma grande aceitação, pois foi desenvolvido para ser compatível e funcionar em qualquer sistema que suporte a linguagem PHP 1. Ele utiliza tecnologias simples, que permitem que um usuário que não tem conhecimento sobre programação, possa usufruir dos seus benefícios, montando e organizando seu ambiente e produzindo cursos com qualidade. O MOODLE possui diversas vantagens, para o professor, uma delas é o controle sobre todas as configurações do curso que desejar realizar. Ele pode configurar e organizar o ambiente da maneira que for mais conveniente para o propósito do seu curso, além de incluir somente as ferramentas desejadas, deixando de fora aquelas que não lhe interessam. Dessa forma, podemos dizer que são inúmeras as potencialidades pedagógicas oferecidas pelo MOODLE. As ferramentas disponíveis nesse ambiente podem ser síncronas, ou assíncronas. As ferramentas síncronas são aquelas que permitem a comunicação em tempo real, como por exemplo, os chats e web conferências. Em contrapartida, as assíncronas são as 1 PHP: é uma linguagem que permite criar sites WEB dinâmicos, possibilitando uma interação com o usuário através de formulários, parâmetros da URL e links (BARRETO, 2000, P. 06)

24 23 ferramentas de comunicação em tempos diferentes, são exemplos dessas ferramentas os fóruns, tarefa, WIKI, glossários, entre outras (ALVES; BARROS; ODAKA, 2009). Quanto às ferramentas síncronas, o chat é um espaço online onde pessoas podem conversar normalmente sobre um tema especifico. È uma ferramenta bastante utilizada, pois permite a interação e socialização entre os usuários em tempo real. A web conferência é uma ferramenta que permite aos participantes reunir-se virtualmente, através da internet. Mesmo com a distância física, a impressão é que os participantes estão no mesmo recinto (LAWINSCKY; HAGUENAUER, 2011) Nas ferramentas assíncronas temos: (i) o fórum de discussão, que é um local onde os usuários discutem sobre um tema especifico; (ii) a ferramenta tarefa, na qual o professor pode postar as atividades que os alunos deverão fazer no decorrer do curso ou disciplina; (iii) WIKI, que permite a construção de um texto de forma colaborativa. Nessa ferramenta, os alunos terão um tema sobre o qual deverão escrever, e o resultado final será um texto com vários autores; (iv) o glossário é constituído de um banco de dados onde os alunos deixam registrados termos específicos e seus significados (LAWINSCKY; HAGUENAUER, 2011). O MOODLE é constantemente estudado e atualizado por uma comunidade internacional de colaboradores que busca melhorar a plataforma a cada nova versão, diminuindo a quantidade de erros, desenvolvendo novas ferramentas, enfim, melhorando de forma geral. Atualmente o MOODLE tem sido muito utilizado pelas instituições de ensino superior no Brasil e no mundo, possui uma das maiores bases de usuários do mundo, e esta só aumenta gradativamente a cada dia, ele tem se tornado o ambiente de aprendizagem mais utilizado no ensino à distância no país (SABBATINI; 2007).

25 USABILIDADE Segundo Nielsen (1993), a usabilidade está relacionada com facilidade de aprendizado, eficiência, facilidade de memorização, quantidade de erros e satisfação do usuário. Segundo o modelo de qualidade da norma ISO 9126 (2003) que foca na qualidade do produto de software, a usabilidade é um dos atributos de qualidade no contexto do software. O conceito de qualidade é bastante amplo e subjetivo. Juran (JURAN, 1974) famoso estudioso da qualidade, a define apenas como adequação ao uso, que deve ser, avaliada pelo cliente. Em três palavras o autor consegue definir de forma simples e ao mesmo tempo completa, o real sentido da qualidade, pois associa a qualidade à expectativa do cliente. Quando se trata de sistemas, a qualidade é um atributo que não depende apenas das funcionalidades a ele elencadas, a facilidade de uso e aprendizado são características que podem determinar a aceitabilidade ou não de um sistema junto ao seu usuário (NIELSEN, 1993). Portanto, é preciso atender as necessidades dos usuários em ambos os sentidos, funcionalidade e designe da interface, para que o usuário tenha uma experiência de uso agradável. Implementar somente as funcionalidades necessárias não é suficiente, é preciso pensar também em interação humano computador (IHC). Para que o usuário possa considerar agradável o uso de um determinado software, ele precisa se sentir apoiado pelo mesmo, precisa ainda se sentir no controle do software, e não o inverso. È preciso oferecer ao usuário poder, para que domine a tecnologia, explorando suas funcionalidades de acordo com as suas necessidades (ROCHA; BARANAUSKAS, 2003). Para o cientista-chefe da Apple, Larry Tesler, A interface é o sistema (TESLER; 1991 apud OLIVEIRA, Francisco; OLIVEIRA, Fernando, 2008, P.09), quando visto do ponto de vista do usuário, pois é através da interface que o usuário mantém contato com o sistema e é também a única forma que ele tem de avaliá-lo. Isso ocorre, pois não é interesse da maioria dos usuários entender como o computador funciona, importa apenas a experiência que teve com o mesmo, e isso ocorre através da interface. Certamente, usuários em geral não devem ser obrigados a pensar sobre como o computador funciona, da mesma forma que o funcionamento mecânico de um carro não é preocupação da maioria das pessoas. Entretanto, a posição dos pedais, direção e câmbio têm muito impacto sobre o motorista, como também o design de sistemas computacionais tem efeito sobre seus usuários. (ROCHA; BARANAUSKAS, 2003, p. 13).

26 25 Como a interface é o lugar onde ocorre o contato do usuário com o sistema, a qualidade dessa interação reflete na satisfação dele sobre o produto utilizado. Por isso, projetar softwares adequados ao uso, agradáveis de utilizar, melhorará a performance do usuário junto ao sistema e certamente agregará mais qualidade ao produto final. Para oferecer uma melhor qualidade de uso no contexto de softwares, tem ocorrido uma cooperação entre cientistas da computação e psicólogos a fim de avançar nos estudos na área de interação humano-computador, enquanto os profissionais da área de TI entendem do comportamento do computador, os da psicologia entendem sobre o ser humano. Essa parceria acarreta avanços na área de IHC, contribuindo no desenvolvimento de sistemas cada vez mais usáveis. Mas apesar do crescente interesse no projeto de interfaces que considerem os aspectos de usabilidade e de este ser um conceito muito explorado nos últimos anos, muitos projetistas continuam implementando interfaces que acabam se tornando barreiras entre o usuário e o sistema, visto as suas características nada amigáveis. Mesmo nos dias atuais, é muito significativa a quantidade de projetistas que concentram muito mais esforços na tentativa de desenvolver um produto de excelente qualidade técnica, do que na elaboração de uma interface que cause satisfação ao seu usuário, esquecendo-se, muitas vezes, de que para o usuário, que não conhece o conteúdo da caixa preta sistema, a interface é sua única interação com o produto em questão (CARVALHO; DALTRINI, 1993, P.3). A experiência com interfaces que dificultam a execução de tarefas pode ser frustrante para o usuário e fazer com que ele busque outras opções de softwares que sejam menos confusos, mais simples e fáceis de usar, e até mesmo fazer com que o usuário crie uma rejeição ao software, ou pode sentir-se diminuído perante os outros e se culpará por não conseguir interagir ou não entender o que todo mundo usa (CYBIS, 2003, p.2). Existem vários softwares que fazem parte do cotidiano das pessoas, como por exemplo, sistemas de controle de estoque. As pessoas que trabalham com esse tipo de sistema tem que utiliza-lo com frequência. O que acontece é que muitas vezes esses sistemas que fazem parte da vida de vários usuários muitas vezes por obrigação, não são desenvolvidos sob os princípios de IHC, e acabam dificultando suas vidas, pois os usuários não sabem como utilizá-lo, e se frustram a cada interação, diminuindo a produtividade no trabalho.

27 26 Na verdade o que a maioria dos usuários busca, são sistemas que facilitem a execução de suas tarefas cotidianas, que sejam simples e fáceis de usar e aprender. Quando o sistema é capaz de oferecer essas características, isso aumentará a produtividade e satisfação do usuário (TELESINTESE, 2007). Os sistemas simples com poucas funcionalidades costumam ser fáceis de usar, pois exigem menos botões, menos caminhos a percorrer, mas novas necessidades têm surgido quanto ao projeto de softwares e estes incluem cada vez mais funções. Portanto, os desafios da IHC são evidentes: não deixar que o número de funcionalidades implementadas torne o uso do sistema complexo. Isso não é uma tarefa fácil, visto que, quanto mais funcionalidades, mais complicado se torna o uso do sistema. O relógio é um bom exemplo disso. Ninguém tinha problemas com os clássicos relógios cuja única função era marcar as horas e com um único botão conseguíamos fazer todos os ajustes necessários. Os relógios digitais atuais ampliaram em muito as funcionalidades básicas: eles marcam data, dão alarme, são cronômetros, mostram hora no mundo todo e os mais modernos mostram inclusive o horário mundial da WEB. Mas adicionar todas essas funções causa problemas. Como fazer o design de um relógio com tantas funções e ao mesmo tempo limitar seu tamanho, custo e complexidade de uso? Quantos botões deveriam ter os relógios para torná-los fáceis de aprender e operar? Não existem respostas simples. (ROCHA; BARANAUSKAS, 2003 p.27). O design da interface será sempre melhor se for pensado sob o ponto de vista do usuário. Para construir interfaces que resolvam efetivamente os problemas do usuário, os designers devem primeiro considerar os diversos aspectos que envolvem o seu cliente, saber para quem se está desenvolvendo o sistema é muito importante. Este aspecto tem bastante relevância, visto a que experiência computacional dos usuários (entre outros aspectos), determinará a definição da interface do sistema. Isso ocorre por que, usuários novatos tem mais dificuldade de uso, consequentemente, se este for o publico alvo, o sistema deve ser o mais simples e intuitivo possível. Entretanto, se o usuário tiver muita experiência no uso de sistemas, um sistema simples demais não irá satisfazê-lo. Logo, é preciso implementar atalhos, opção de customização, enfim, um sistema flexível que possa atender as necessidades de ambos os usuários seria o ideal. A flexibilidade é ideal, pois a experiência computacional é algo variável, que não vai ser sempre a mesma. Por exemplo, um usuário novato hoje, pode se tornar um expert amanhã. Mas ao saber o publico alvo de um sistema, este deve ser considerado, pois em alguns sistemas, apesar de usuários experientes puderem vir a utilizá-lo, deve-se pensar de uma forma geral, considerado a experiência da maioria. Segundo Rocha e Baranauskas (2003):

28 27 Algumas interfaces são e devem ser projetadas com ênfase apenas em novatos - sistemas de informação sobre museus ou quiosques em parques e exposições, sistemas que necessariamente são alterados anualmente, etc. - que são categorias de sistemas onde a facilidade de aprendizagem é o requisito mestre. Mas a maioria das interfaces é projetada tendo em vista tanto os expertos como os novatos e, portanto precisa acomodar ambos os estilos. (ROCHA; BARANAUSKAS, 2003, p. 31): Cybis (2003, p.5) afirma que a experiência da interação humano-computador é individual e única, no sentido de que cada pessoa é única em sua bagagem de conhecimento e experiência. Assim, apesar dos usuários de um sistema terem um perfil semelhante, cada usuário dará um significado diferente a sua experiência com o sistema. A preocupação com a usabilidade é crescente. Nos sites WEB esse conceito assumiu grande importância. Atualmente o número de pessoas que usam a internet para fazer compras é muito grande. Essas pessoas muitas vezes são usuários novatos, que ao se sentirem com dificuldade para comprar em determinada página WEB, desistem e procuram outro site, já que existem muitas opções disponíveis. O cliente não irá perder tempo em sites que dificultam sua tarefa, portanto, tornar os sites fáceis de entender e usar é importante. Oferecer clareza na informação, desenvolver comandos intuitivos, facilidade de navegação, são aspectos que determinaram a conquista ou não do cliente. Um exemplo muito citado é o da IBM dos Estados Unidos. A empresa constatou que o recurso mais popular em seu site era a função de busca, porque as pessoas não conseguiam descobrir como navegar, e o segundo mais popular era o botão de ajuda. A solução foi um amplo processo de redesign, envolvendo centenas de pessoas e milhões de dólares. Resultado: na primeira semana depois do redesign, em fevereiro de 1999, o uso do botão de ajuda caiu 84% enquanto as vendas aumentaram 400% (ROCHA, BARANAUSKAS, 2003, p.35).

29 Avaliação de Usabilidade A qualidade da interface de um sistema é verificada através da avaliação de usabilidade. Essa avaliação se baseia na utilização de métodos, técnicas e ferramentas, para checar a conformidade de um produto de software com os critérios de usabilidade, com o intuito de encontrar problemas e interação e corrigi-los. Nielsen (1993) divide os critérios básicos de usabilidade em cinco: Facilidade de aprendizado: O sistema precisa ser fácil de aprender para que o usuário possa explorar de forma agradável as funcionalidades do sistema; Eficiência: O sistema deve ser o mais produtivo possível, possibilitando a execução de tarefas de forma ágil, e sem muito esforço. Memorização: Mesmo depois de um longo período sem utilizar o sistema, ao retornar, o usuário deve sentir facilidade de uso, sem precisar reaprender a usá-lo novamente. Erros: O sistema precisa ter a menor taxa de erros possível, e caso ocorram é preciso apresentar maneiras simples e rápidas de recuperá-los; Satisfação: A satisfação do usuário determinará o sucesso ou não do sistema. Por isso, quanto mais agradável e prazerosa for à experiência dele com o sistema, melhor será o êxito do produto de software. Os problemas em relação aos critérios básicos de usabilidade definidos por Nielsen (1993), podem dificultar a interação do usuário com o sistema, causando problemas de usabilidade e diminuindo a qualidade de uso do sistema. É importante ressaltar que mesmo que o designer chegue o mais próximo do gosto do usuário, tendo pautado todo o processo de desenvolvimento nos requisitos definidos pelo mesmo, ele só conseguirá aferir o sucesso ou insucesso do seu produto, através de uma avaliação concreta. È importante que essa avaliação seja pautada na opinião daqueles que realmente sabem os problemas do produto, uma vez que o utilizam com frequência, ou seja, o usuário final, pois, para Lima (2006, p.78) (...) o projetista não deve presumir que os usuários são como ele próprio, e, portanto bastaria sua avaliação individual para atestar a qualidade.

30 29 Apesar de avaliação, os erros certamente persistirão, mas, Rocha e Baranauskas (2003) afirmam que de forma geral, se faz avaliação para conhecer o que os usuários querem e os problemas que eles experimentam, pois quanto melhor informados sobre seus usuários os designers estiverem, melhor será o design de seus produtos. Portanto, são objetivos da avaliação de usabilidade: conhecer a opinião dos usuários; saber se eles se sentem realmente apoiados pelo software e; identificar quais problemas de interação eles enfrentam ao utilizalo, a fim de melhorar o produto de software. Para Lima (2006) a avaliação de usabilidade de um sistema interativo tem como objetivos gerais: Validar a eficácia da interação humano-computador face a efetiva realização das tarefas por parte dos usuários, Verificar a eficiência desta interação, face os recursos empregados (tempo, quantidade de incidentes, passos desnecessários, busca de ajuda, etc.) e; Obter indícios da satisfação ou insatisfação (efeito subjetivo) que ela possa trazer ao usuário. Avaliar a usabilidade significa avaliar a aceitabilidade do design junto ao usuário do sistema, pois, as ideias dos projetistas nem sempre representam o que os usuários finais realmente querem. Quando, durante a interação com o software, o usuário encontra dificuldade de realizar uma tarefa, o mesmo pode se frustrar e rejeitar o software, recorrendo a outro que apresente as mesmas funcionalidades, mas seja fácil de usar. Portanto, avaliar a usabilidade a fim de detectar esses problemas de usabilidade é uma importante estratégia competitiva. Apesar de não ter nem um método de avaliação que não produza certo grau de incerteza, não avaliar é uma atitude irresponsável, pois apesar da perfeição não ser algo possível, a avaliação é um procedimento que deve ocorrer durante todo o ciclo de vida de um software (ROCHA, BARANAUSKAS, 2003).

31 Metodologias de Avaliação da Usabilidade de Interfaces Para Rocha e Baranauskas (2003), é importante conhecer cada método de avaliação de usabilidade para escolher o mais apropriado. Cybis (2003, p.127) concorda com a afirmação e ratifica: Para a escolha de uma técnica de avaliação é importante examinar as suas qualidades no confronto com os recursos disponíveis e as expectativas de resultados da avaliação de usabilidade. Existem diferentes abordagens quanto aos métodos e técnicas de avaliação de usabilidade. Para Cybis (2003) existem três tipos de técnicas de avaliação de usabilidade: As Técnicas Prospectivas: buscam a opinião do usuário sobre a interação com o sistema, isso ocorre através de questionários e entrevistas, com o objetivo de colher as opiniões dos usuários e avaliar sua satisfação em relação ao sistema. As Técnicas Preditivas ou diagnósticas: buscam prever os erros de projeto de interfaces sem a participação direta de usuários. Essa técnica se baseia na opinião dos próprios avaliadores, que são especialistas da área, e emitem seus julgamentos sobre o sistema. Um exemplo dessa técnica é a avaliação heurística, a qual será tratada mais adiante. As Técnicas Objetivas ou empíricas: buscam constatar os problemas a partir da observação do usuário interagindo com o sistema. Simula-se o uso do software, e durante a interação os usuários são monitorados. Por outro lado, na abordagem de avaliação de interfaces proposta por Rocha e Baranauskas (2003), pode-se classificar os métodos de usabilidade dividindo-os em duas categorias, que levam em consideração os seguintes aspectos: se os usuários estão ou não envolvidos, e se a interface está ou não implementada. As autoras dão ênfase a dois grupos de métodos: Inspeção de usabilidade: Essa método se caracteriza por não envolver os usuários e por poder ser utilizado o sistema estando implementado ou não.

32 31 Testes de usabilidade: Nesse método os usuários participam da avaliação, além disso, para utilizar esse método é necessário que o sistema esteja implementado Inspeção de usabilidade Como definida acima, a inspeção de usabilidade consiste de um grupo de métodos nos quais os usuários não participam da avaliação. Nesse método, avaliadores especialistas em usabilidade (ou profissionais que entendam do assunto), inspecionam a usabilidade da interface do sistema, ocorrendo todo o processo de avaliação pautado no julgamento dos próprios avaliadores. quatro: Dentre os métodos de inspeção de usabilidade, Rocha e Baranauskas (2003) destacam a) Avaliação Heurística: Segundo Nielsen (1993), esse é o principal método de inspeção de usabilidade. Esse método se baseia na inspeção da interface feita por um reduzido grupo de avaliadores que examinam a interface baseados em heurísticas, ou seja, princípios de usabilidade. O quadro 01 apresenta um exemplo de heurísticas, as de Jacob Nielsen (1993): Quadro 1 - Heurísticas de Jacob Nielsen Heurísticas de Jacob Nielsen 1. Visibilidade do Status do sistema 2. Compatibilidade entre o sistema e o mundo real 3. Liberdade e controle do usuário 4. Consistência e padrões 5. Prevenção contra erros 6. Reconhecimento em lugar de lembrança 7. Flexibilidade e eficiência de uso 8. Projeto minimalista e estético 9. Auxiliar os usuários a reconhecer, diagnosticar, e recuperar-se de erros 10. Ajuda e documentação. Fonte: Elaborado pelo autor

33 32 Conforme apresentado, a avaliação heurística é um método realizado por especialistas que se baseiam em diretrizes (heurísticas), apresentadas por profissionais da área. O avaliador irá verificar a conformidade da interface com as heurísticas propostas. As heurísticas de Nielsen, apresentadas no quadro 1, são apenas um exemplo desses princípios, mas existem diversos profissionais de usabilidade que definem melhores práticas, no contexto de interfaces de sistema e nos apresentam ferramentas para a avaliação da usabilidade de forma heurística. A avaliação heurística é um método muito utilizado, pois tem se mostrado um eficiente método para determinar problemas de usabilidade, além de ser fácil e rápido de ser usado e não requerer muitos recursos financeiros. b) Revisão de Guidelines (ROCHA; BARANAUSKAS, 2000): Analisa-se a interface tomando como base uma lista de guidelines de usabilidade definidas previamente. Inspeciona-se a conformidade da interface com as mesmas. c) Inspeção de Consistência (ROCHA; BARANAUSKAS, 2000): o avaliador verifica a consistência dentro de uma família de interfaces, quanto à terminologia, cores, layout, formatos de entrada e saída, e tudo o mais dentro da interface. Também é avaliado o material online de treinamento e de ajuda. d) Percurso Cognitivo (ROCHA; BARANAUSKAS, 2000): o avaliador simula o usuário "caminhando" na interface para executar tarefas típicas. Tarefas mais frequentes são o ponto inicial de análise, mas tarefas críticas, tais como recuperação de erro, também são percorridas. Percurso cognitivo foi desenvolvido para interfaces que podem ser aprendidas de forma exploratória, mas também são úteis em interfaces que exigem muito treinamento Testes de usabilidade O teste de usabilidade é um método de avaliação que é realizado com a participação dos usuários. Seu objetivo é identificar quais aspectos da interface não estão adequados ao usuário, através do julgamento destes, que são quem realmente conhece o sistema. Para isso, detectar é o primeiro passo para agir corretivamente melhorando o design.

34 33 Segundo Rocha e Baranauskas (2003), o teste de usabilidade é o método mais eficaz para detectar erros, e a inspeção de usabilidade não substitui os testes de usabilidade, pois a inspeção não detecta o mesmo percentual que o teste de usabilidade consegue detectar. As ferramentas mais utilizadas para realizar testes de usabilidade são as entrevistas e questionários. Os questionários são importantes ferramentas para detectar a satisfação subjetiva dos usuários. Eles são muito úteis, pois tem foco na opinião dos usuários reais do sistema e possibilitam conhecer a qualidade das interações, como também o quanto as expectativas dos usuários estão sendo supridas. É um eficiente instrumento para coleta de informações quanto ao desempenho do sistema, desempenho esse, que não existe outra forma melhor de medir do que questionando os próprios usuários do sistema. Em contrapartida, a entrevista é uma técnica onde o investigador busca coletar dados através de perguntas dirigidas ao entrevistado. 2.3 A USABILIDADE EM AVAs Educar é uma tarefa complexa, educar à distância então, é um desafio maior ainda (ROMANI; ROCHA, 2001). Neste contexto, promover o acesso de todos e com qualidade ao ambiente virtual que irá mediar a construção do seu conhecimento, é importante. O desenvolvimento de Ambientes Virtuais de Aprendizagem deve ter uma abordagem voltada para o usuário, onde o design da interface influencie de forma positiva, a satisfação do mesmo em relação ao sistema, através da facilidade de uso e aprendizado, eficiência, e experiência agradável de uso. Quando o AVA consegue atingir o seu objetivo, de garantir a facilidade de uso, possibilitando a interação eficiente do aluno, será mais fácil para o discente aprender com qualidade. A plataforma tecnológica não pode ser tornar um obstáculo ao ensino, e o aluno não deve se sentir limitado pela plataforma. Para que isso não ocorra, não deve haver obstáculos que impeçam ou dificultem a execução de suas tarefas, deve ser possível realizá-las de forma simples e fácil. Os AVAs que apresentam lacunas de usabilidade comprometem a eficácia do processo de aprendizagem, dificultando a conquista dos objetivos. O AVA é uma das principais ferramentas usadas por alunos e professores de EAD por isso a interface desse sistema deve ser o mais amigável possível, para que o usuário tenha uma

35 34 boa experiência de uso. Com ênfase no processo de ensino aprendizagem, é importante destacar a influência dessa ferramenta na mediação entre aluno/professor e aluno/aluno. Essa influência pode ocorrer de forma positiva ou negativa, incentivando ou desmotivando o aluno. Quando o usuário se depara com uma plataforma amigável, que facilita o acesso aos conteúdos e demais recursos, que possui um design que estimula a execução das tarefas, que é intuitiva e atrativa, a aprendizagem tende a ocorrer de forma eficaz. Entretanto, pode ocorrer também do ambiente de aprendizagem ter um design que não favoreça a aprendizagem, apresentando uma interação fraca, dificultando o acesso aos conteúdos e recursos, comprometendo a aprendizagem. Existem diversas plataformas disponíveis atualmente. Uma questão a ser considerada é se o AVA realmente está apto a oferecer o suporte necessário ao processo de ensino aprendizagem, tornando-o mais fácil e produtivo. Para oferecer tais características, o AVA deve ser construído dentro dos princípios da usabilidade. Os Ambientes Virtuais de Aprendizagem foram criados com o objetivo de democratizar o acesso à educação permitindo que cada vez mais pessoas tivessem acesso a este bem. Portanto, eles têm um grande desafio pela frente: o de manter a qualidade da educação, que agora ocorre a distancia. De acordo com Nielsen (1993), a usabilidade deve possibilitar o desenvolvimento de interfaces transparentes que não atrapalhem o processo de interação. No AVA, eliminar essa dificuldade de interação é importante, visto que a aprendizagem ocorre através dessa interação homem-computador. Visto o crescimento dos cursos na modalidade à distância nos últimos anos, avaliar a principal ferramenta (AVA) utilizada como suporte ao processo de ensino aprendizagem é importante, pois cada vez mais as trocas de informações estão ocorrendo nessa ferramenta (VALENTINI; SOARES, 2010).

36 35 3 METODOLOGIA Essa pesquisa investiga a usabilidade da interface do Ambiente Virtual de Aprendizagem Moodle, utilizado pelos alunos do curso de Licenciatura em Informática na modalidade à distância da UAB/UECE, que também é o ambiente virtual utilizado por todos os alunos dos demais cursos de EAD desta instituição. A figura 1 apresenta a página inicial do AVA Moodle, que permite o acesso a todos os cursos da instituição, respeitando as permissões dos usuários. FIGURA 1- Página inicial do AVA Moodle Fonte: Inicialmente, realizou-se uma revisão de literatura sobre os temas: (i) usabilidade, (ii) avaliação de usabilidade, (iii) Ambientes Virtuais de Aprendizagem, e (iv) Moodle. Por meio destas pesquisas, foi possível selecionar o método de pesquisa que melhor se adequasse aos objetivos do estudo, que é avaliar a usabilidade do AVA MOODLE, sob a perspectiva dos usuários reais do sistema. Para Prates e Barbosa (2005) é preciso entender as diferentes características de cada método, para se definir qual deles é o mais apropriado para se avaliar a interface de um software em um determinado contexto.

37 36 O método escolhido foi o teste de usabilidade, por utilizar a técnica prospectiva de avaliação, que se caracteriza por buscar a opinião do usuário sobre sua interação com o sistema. Essa técnica se baseia na aplicação de questionário/entrevista para medir o nível de satisfação dos usuários sobre o software. Cybis (2003) destaca que essa técnica é muito pertinente visto que o usuário do sistema é quem melhor o conhece. Para Rocha e Baranauskas (2003) o teste de usabilidade destaca-se entre os métodos de avaliação, pois: É um método de avaliação centrado nos usuários; Em uma avaliação de usabilidade o ideal é envolver usuários reais do sistema; Testes de usabilidade são mais eficazes em detectar erros; Para realização do teste, foram enviados, através de correio eletrônico, questionários de satisfação para vinte alunos (amostra), acadêmicos do curso de Licenciatura em informática da UAB/UECE do polo de Mauriti. A amostra definida consiste de usuários veteranos do AVA MOODLE, que já se encontram em fase de conclusão do curso. Optou-se por usuários veteranos para garantir que os problemas de interação encontrados, não sejam oriundos de falta de experiência com o sistema. A amostra selecionada encontra-se apta a realizar a avaliação por diversos motivos: São usuários diretos do software; Tem uma experiência razoável no uso deste (Aproximadamente 48 meses); Por serem acadêmicos do curso de informática, e já terem cursado uma disciplina específica de IHC, conhecem os conceitos relacionados à usabilidade, fato que facilita o entendimento dos termos encontrados no instrumento de avaliação. Buscou-se na bibliografia disponível, os questionários que estivessem entre os mais utilizados ou ao menos referenciados nos estudos sobre o tema. Dentre eles, destacam-se: QUIS (Questionnaire for User Interaction Satisfaction) (QUIS, 2014); WAMMI (Web Analysis and MeasureMent Inventory) (WAMMI, 2014); SUMI (Software Usability Measurement Inventory) (SUMI, 2014) e ISONORM 9241/10 (PRUMPER, 1993 apud

38 37 MEDEIROS, 1999). Optou-se pelo ISONORM 9241/10 proposto por Prumper (1993 apud MEDEIROS, 1999), opção que será justificada em seguida. 3.1 O questionário Proposto por Prumper (1993) e traduzido por Medeiros (1999), o ISONORM é um modelo de questionário baseado na Norma ISO 9241 (MEDEIROS, 1999). O objetivo do mesmo é avaliar a conformidade do software com a parte 10 desta norma, denominada princípios do diálogo, onde contém recomendações sobre usabilidade. Dentre as justificativas para escolha do questionário ISONORM, estão; È de domínio público, por isso pode ser usado gratuitamente por qualquer pessoa; Encontra-se disponível traduzido para a língua portuguesa; È sucinto e de fácil entendimento, permitindo rapidez nas respostas; Tem aceitação, sendo bastante utilizado ou referenciado nos estudos sobre usabilidade. Como por exemplo: Prumper (1993); Medeiros (1999); Cybis (2003); Oliveira (2006); Longaray e Silveira (2012). Quanto à estrutura do questionário, de acordo com Medeiros (1999) as questões são divididas em sete seções, de acordo com os princípios de diálogo da parte 10 da norma ISO 9241, que são: Adequação à Tarefa; Auto-descrição; Controlabilidade; Conformidade com as Expectativas do Usuário; Tolerância a Erros; Adequação à Individualização; e Adequação ao Aprendizado.

39 38 No questionário, cada seção possui uma quantidade diferente de questões, mas foi definido um limite máximo de cinco questões por cada, totalizando 34 questões. Esse limite foi estabelecido de modo a reduzir o tempo de preenchimento para no máximo 10 minutos (PRUMPER, 1999 apud MEDEIROS 1999). Essa medida foi tomada de modo a ter uma taxa de retorno maior, pois, para Cybis (2003, p. 110): os questionários de satisfação têm uma taxa de devolução reduzida (máximo 30% retornam), o que indica a necessidade de elaboração de um pequeno número de questões sucintas. Um espaço para opiniões e sugestões livres deve sempre ser proposto ao usuário. No ISONORM falta apenas um espaço para opiniões ou comentários, espaço esse que para realização dessa pesquisa foi adicionado, visto a importância deste espaço para manifestação livre de críticas, sugestões, etc. Na primeira página do questionário constam algumas perguntas a respeito do usuário e sua experiência com computadores em geral e com o software avaliado. Essas informações são importantes para conhecer o perfil do usuário. Quanto ao formato das questões, as possíveis respostas são separadas em dois polos, o esquerdo descreve o extremo negativo, e o direito descreve o extremo positivo. Os valores possíveis para as respostas variam entre --- e +++ (codificados em um intervalo entre 1 e 7), cabendo ao avaliador marcar com um X a sua opção (MEDEIROS, 1999, p.77). A figura 2 apresenta um exemplo de questão utilizada no questionário. FIGURA 2 - Exemplo de questão do ISONORM 9241/10 O software... é complicado de usar. não oferece todas as funções necessárias para realizar eficientemente as tarefas / X é fácil de usar oferece todas as funções necessárias para realizar eficientemente as tarefas. Fonte: Elaborada pelo autor

40 39 Medeiros (1999) em suas conclusões acerca da aplicabilidade e confiabilidade, do questionário ISONORM, ao final dos seus estudos destaca: O questionário baseado na norma ISO possui grau de aplicabilidade bastante satisfatório, permitindo identificar adequadamente, nos produtos de software, as qualidades e pontos onde as melhorias são necessárias; As avaliações baseadas no questionário são bastante estáveis; O questionário mostra-se uma alternativa que, embora seja equivalente em resultados, é mais concisa que o QUIS, um importante modelo de questionário orientado para o usuário; Modelo do ISONORM permite que usuários possam chegar a resultados muito próximos aos dos especialistas, porém em prazos menores e custos reduzidos.

41 40 4 RESULTADOS E DISCUSSÕES Este capítulo discorre sobre o perfil dos participantes da pesquisa e a satisfação dos usuários em relação ao software avaliado, respectivamente. Para obter esses dados, foram enviados questionários para vinte (20) usuários. Dos quais, quinze (15) questionários retornaram respondidos, representando aproximadamente 75% do total enviado. O retorno foi satisfatório, pois segundo Cybis (2003), geralmente, no máximo, apenas 30% dos questionários de satisfação retornam. A primeira parte do questionário busca levantar dados sobre o perfil dos usuários, as respostas apontaram que os respondentes estão na faixa etária de 23 a 47 anos, sendo que 53,3% são do sexo masculino e 46,7% do sexo feminino. Quanto à profissão 46,7 % são professores, e 53,3 se encaixam em diversas ocupações, desde secretária, padeiro, estudante, entre outras. As informações sobre a experiência do usuário serão detalhadas na tabela 1: Tabela 1 - Distribuição da amostra quanto à experiência com computadores e no uso do software avaliado. Experiência com computadores Experiência com o software avaliado Até 12 meses 0 0 De 12 a 48 meses 0 0 Mais de 48 meses 100% 100% Fonte: Elaborada pelo autor É importante ressaltar que aproximadamente 25% da amostra tem experiência de mais de 10 com computadores. Sobre a frequência de uso semanal do software, 40% dos participantes declarou usar mais de 10 horas por semana, enquanto 60% usam menos de 10 horas. Já caracterizado o perfil dos usuários, o questionário traz em seu escopo perguntas referente à satisfação dos usuários em relação ao software (AVA MOODLE). Para Medeiros (1999) as médias de satisfação obtidas em cada princípio, são a base para estabelecer as prioridades das falhas de usabilidade do sistema. Para análise dos dados, os conceitos atribuídos pelos usuários avaliadores foram transformados em notas de acordo com a seguinte equivalência apresentada na tabela 2:

42 41 Tabela 2 - Conceitos do ISORNORM e notas equivalentes. CONCEITO NOTA EQUIVALENTE / Fonte: Elaborada pelo autor A seguir os resultados serão apresentados de acordo com os princípios de diálogo da parte 10 da norma ISO 9241 citados no capítulo 6.1. I. ADEQUAÇÃO À TAREFA Segundo a Norma ISO (2000, p.04) um diálogo é adequado para a tarefa quando ele apoia o usuário em uma conclusão efetiva e eficiente da tarefa. O gráfico 1 apresenta a média relacionada com a adequação à tarefa. GRÁFICO 1 - Médias das questões sobre adequação à tarefa ,09 Adequação à tarefa 5,64 5,27 6,64 Média Geral= 5, Questão 01 Questão 02 Questão 03 Questão 04 Fonte: Elaborado pelo autor.

43 42 De acordo com a média geral (gráfico 01) é possível perceber que os usuários estão satisfeitos em relação a este aspecto. Ao analisar cada questão de forma detalhada, percebe-se que o princípio melhor avaliado corresponde à adequação do software as necessidades do trabalho (questão 04), pois obteve a maior média. Na questão 01, princípio que refere-se à facilidade de uso do sistema, os resultados mostram que os usuários estão satisfeitos em relação a este aspecto, mas que ainda poderia ser melhorado. Percebe-se ainda que as menores médias se concentram nas questões 02 e 03 que referem-se, respectivamente, aos recursos disponibilizados para tarefas repetitivas, e requerer entrada de dados desnecessários. Pelas médias obtidas, nota-se que os usuários acham que o sistema poderia melhorar nesses aspectos. Mas no geral, os resultados indicam que os usuários estão satisfeitos quanto ao princípio adequação à tarefa. II. AUTO-DESCRIÇÃO Um diálogo é auto-descrito quando cada passo do diálogo é imediatamente compreensível por meio de resposta do sistema ou é explicado, sob demanda, ao usuário (ISO 9241, 2000, p.4). O gráfico 2 apresenta a média relacionada com a auto descrição. GRÁFICO 2 - Médias das questões sobre auto-descrição Auto-descrição 6,2 5,8 5,6 4,0 4,2 Média Geral= 5,16 Questão 01 Questão 02 Questão 03 Questão 04 Questão 05 Fonte: Elaborado pelo autor.

44 43 Pela média geral do principio auto-descrição percebe-se que os usuários mostram-se satisfeitos quanto a este princípio. A questão que trata sobre a noção do alcance das funções, foi muito bem avaliada, apresentando a melhor nota dos critérios avaliados. A terminologia, abreviações ou símbolos, usados nas máscaras ou menus foram considerados fáceis de entender pela média obtida (questão 02). Quanto a esse aspecto, os usuários sugerem formas de melhorar ainda mais, através do uso do uso de termos mais adequados a realidade dos usuários, em especial os principiantes, como por exemplo, na página de login, o termo acesso, pode ser substituído por entrar. Sobre a questão 03, que questiona o usuário quanto à maneira com a qual o sistema indica qual entrada é permitida ou necessária, a média obtida mostra-se favorável, porém, melhorias podem ser implementadas. A prioridade desse princípio revela-se nos aspectos: explicações fornecidas pelo sistema quando solicitadas e automaticamente (questões 04 e 05). As explicações fornecidas pelo sistema Moodle, pelos dados apresentados, deixam a desejar. Melhorias são recomentados. Os usuários sugerem adequar os seguintes aspectos: Acredito que seria interessante se o sistema desse um feedback mais específico quando o usuário errar seu usuário ou senha, ao tentar entrar no sistema. Assim, encontrar o erro será fácil. (USUÀRIO A). Quando o usuário tenta fazer login no sistema, mas erra algum dado do seu usuário ou senha, aparece a seguinte mensagem informando o erro Usuário ou senha errados. Por favor, tente outra vez. Para os participantes da pesquisa o sistema poderia informar de forma mais clara o erro, detalhando se os dados incorretos estão especificamente no usuário ou na senha, isso ajudaria o usuário a encontrar o erro de forma mais rápida e fácil. Entretanto, deve-se considerar aspectos relacionados à segurança para verificar a viabilidade de implantar essa alteração. Acho que alguns feedbacks do Moodle poderiam ser mais claros, na edição do fórum, por exemplo, uma mensagem explicando qual a entrada necessária nos campos obrigatórios iria ajudar o usuário, principalmente os que não conhecem a ferramenta. (USUÁRIO B). Ao tentar postar no fórum, o campo assunto é obrigatório. Muitos usuários principiantes não sabem como deve preencher este campo, e tentam deixar em branco, mas o

45 44 sistema exibe a mensagem necessários de forma intermitente, deixando o usuário ainda mais confuso. O sistema deveria explicar de forma mais simples e clara o que é esperado do usuário com uma linguagem mais contextualizada à realidade deste. III. CONTROLABILIDADE Um diálogo é controlável quando o usuário pode iniciar e controlar a direção e o ritmo da interação até que o objetivo tenha sido atingido (ISO 9241, 2000, p.5). O gráfico 3 apresenta a média relacionada com a controlabilidade. GRÁFICO 3 - Médias das questões sobre controlabilidade 7 Controlabilidade ,5 4,5 4,0 4,2 4,5 Média Geral= 4, Questão 01 Questão 02 Questão 03 Questão 04 Questão 05 Fonte: Elaborado pelo autor. Pelos dados apresentados no gráfico 3, em relação aos principios da Norma ISO , esse é o principio que requer maior atenção, visto à média obtida. Pela média, percebe-se que os usuários acreditam que às caracteristicas de controlabilidade não estão adequadas e melhorias poderiam ser implementadas. A questão 01, aspecto que apresentou a menor média, requer maior atenção. Ao avaliar este aspecto, os usuários expuseram seu descontentamento, pois acreditam que o sistema poderia oferecer a possibilidade de pausa sem perdas, e com continuidade em outro

46 45 momento em algumas tarefas, como por exemplo, a auto avaliação (ferramenta onde o aluno avalia seu proprio desempenho durante a disciplina). Outras ferramentas do Moodle, como o quis e prova on-line também não estão sobre o controle do usuário (aluno). Caso ocorra interrupções inesperadas na tarefa, o usuário não pode mais reiniciá-la, a menos que seja permitido e liberado pela administração do curso. Ao realizar essa tipo de tarefa, onde não é possivel salvar e continuar depois, o aluno sente desconforto, angustia, preocupação, pois tem a obrigação de cumprí-la sem pausa. Adicionalmente, essas sensações são agravadas quando ocorrem interrupções inesperadas. O usuário aluno não tem acesso às configurações de menus ou outros detalhes, e também não tem pode influenciar no tipo de informação que é aprensentada na tela. Os usuários experientes tem poucas opções para acelerar seu trabalho através de teclas de atalho ou outras ferramentas que possibilitem acelerar seu trabalho. A interface não é personalizável pelo usuário aluno, o mesmo não tem acesso a este tipo de configuração, ou seja, diferentes niveis de conhecimento usuarios novatos e experientes - tem acesso a uma mesma interface e mesmas possibilidades. Isso explica a média obtida nas questões 03 e 04. Os demais aspectos obtiveram as melhores médias, e referen-se a sequência rígida proposta por algumas tarefas do sistema. Os usuários sugerem que formas mais rápidas de executar as tarefas sejam implementadas para que os usuários, que sentem liberdade em realizar tarefas através de atalhos, possam encontrá-los disponíveis. Por exemplo, para responder a um fórum uma sequência rígida de ações são requeridas ao usuário, e mais de três cliques são necessários. Portanto, implementar uma solução para otimizar essa tarefa através de um atalho que levasse o usuário diretamente a edição do fórum, caso esse o quisesse. IV. CONFORMIDADE COM AS EXPECTATIVAS DO USUÁRIO Um diálogo está em conformidade com as expectativas do usuário quando é consistente e corresponde por um lado, às características do usuário, tais como conhecimento da tarefa, educação e experiência, e por outro lado, às convenções usualmente aceitas (ISO 9241, 2000, p.6). O gráfico 4 apresenta a média relacionada com a conformidade com as expectativas dos usuários.

47 46 Segundo os avaliadores o sistema está de acordo com às suas expectativas (média=5,88), e atende os seus anseios de forma satisfatória, precisando apenas melhorar em alguns aspectos. Os avaliadores justificam a menor média do princípio, que corresponde ao aspecto de que o software complica um pouco a orientação do usuário devido ao projeto da interface (questão 01). Para eles a interface da página inicial e de outras páginas, poderia ser mais compreensível, se fosse mais objetiva. Por isso, é preciso diminuir a quantidade excessiva de informações disponíveis na página inicial (Figura 1), pois excesso de informações confunde o usuário, principalmente, o principiante. Devido aos participantes da pesquisa serem usuários experientes, demonstram já ter se acostumado com o sistema, e consideram o ambiente Moodle em conformidade com as suas expectativas, mas sugerem que para evitar dificuldades de interação, sejam retiradas informações desnecessarias das páginas, melhorando a legibilidade. GRÁFICO 4 - Médias das questões sobre conformidade com as expectativas dos usuários Conformidade com as expectativas dos usuários 7 6 5,5 5,7 5,8 6,0 6,4 5 4 Média Geral= 5, Questão 01 Questão 02 Questão 03 Questão 04 Questão 05 Fonte: Elaborado pelo autor. Pela média obtida e comentários, os usuários consideram os demais aspectos do princípio avaliado satisfatório. O feedback em relação às entradas é suficiente, pois os usuários são informados em relação ao andamento e conclusão de suas tarefas. Quando algo é postado existe um retorno informando o envio. Nas tarefas esse feedback é enviado também para o . O sistema tem retorno suficiente sobre o processamento em curso (questão 03),

48 47 e tem um tempo de resposta previsível (questão 04). As páginas também apresentaram padronização e consistência. V. TOLERÂNCIA A ERROS Um diálogo é tolerante ao erro se, apesar de erros de entrada evidentes, o resultado esperado pode ser obtido com pouca ou nenhuma ação corretiva do usuário (ISO 9241, 2000, p.7). O gráfico 5 apresenta a média relacionada com a tolerância a erros. GRÁFICO 5 - Médias das questões ssobre tolerância a erros Tolerância a erros 7 6 6,2 6,0 5 4,0 4,2 Média Geral= 4,78 4 3, Questão 01 Questão 02 Questão 03 Questão 04 Questão 05 Fonte: Elaborado pelo autor. Em relação a erros, a média geral demonstra que os usuários acham que esse princípio poderia ser melhorado. O resultado dessa média ocorre devido a três aspectos (três últimas questões), pois os dois primeiros que tratam, respectivamente, das consequências de pequenos erros, e sobre o tempo de resposta a erros de entrada, foram muito bem avaliados, mostrando a necessidade de priorizar os aspectos com menor média para agir corretivamente. Para os avaliadores, pequenos erros não têm consequências tão severas no Moodle, e o feedback é imediato. Apenas é necessário estar atento ao tempo de corrigir esses erros. Por exemplo, o fórum tem um tempo limite para modificar o texto, caso o usuário erre e queira

49 48 corrigir, ele tem apenas trinta minutos para isso. Após esse tempo, o usuário não poderá mais modificar nem excluir a postagem. Com a tarefa ocorre da mesma forma, tem uma data limite para corrigir os erros, pois toda tarefa tem um prazo. Caso o usuário poste uma tarefa errada no lugar da correta, se passar o prazo o mesmo não poderá mais excluí-la. Os usuários reclamam de algumas mensagens de erro no Moodle, pois consideram pouco amigáveis. Por exemplo, quando o tamanho do arquivo excede o limite aceitável, a mensagem da figura 3 é apresentada. FIGURA 3- Exemplo de mensagem de erro do Moodle Fonte: O arquivo enviado excedeu a diretiva max_post_size no arquivo de configuração php.ini. Para um usuário leigo em informática e até mesmo para experientes, a linguagem usada nessa e em outras mensagens de erro no sistema é bastante técnica, e por isso de difícil entendimento. È necessário explicar ao usuário como corrigir o erro, com uma linguagem simples e clara. Caso contrário, o usuário terá muito trabalho para corrigir o erro, terá que recorrer a ajuda através de outros meios que não seja a do sistema. Justamente pela dificuldade de compreender o conteúdo das mensagens de erro do Moodle, é que os usuários também consideram que requer muito esforço para corrigir um erro (questão 04). A questão 05 que obteve a pior média, pois os usuários consideram que o sistema não dá ajuda concreta para a correção de erros. Para os usuários o sistema não apresenta sugestões