Avaliação heurística da rede social educacional TecCiencia Jean Rosa, Anna Friedericka Schwarzelmüller, Ecivaldo Matos Departamento de Ciência da Computação Universidade Federal da Bahia (UFBA) Salvador BA Brasil {jean.rosa, frieda, ecivaldo}@ufba.br Abstract. Virtual social networking has taken space in Brazil and left the country at the top of the indices of research using these technologies. TecCiencia's proposal is to be an educational environment based on virtual social networks where students and teachers build knowledge through collaboration. This paper aims to present the evaluation of the quality of TecCiencia in regards to human-computer interaction through heuristic technical evaluation proposed by Nielsen. This method was chosen because it has synergy with the teaching-learning heuristics. Usability issues have been identified that can influence teaching and learning interactions. This review also provides subsidies for the redesign of the environment. Keywords: Usability; Heuristic Evaluation; TecCiencia; Educational Virtual Social Networks; Human-Computer Interaction. Resumo. As redes sociais virtuais tem tomado espaço no Brasil, deixando o país no topo dos índices de pesquisas de utilização dessas tecnologias. O TecCiencia tem como proposta ser um ambiente educacional baseado em redes sociais virtuais onde os alunos e professores constroem o conhecimento através da colaboração. Este artigo tem como objetivo apresentar a avaliação da qualidade da interação humano-computador do TecCiencia por meio da técnica de avaliação heurística proposta por Nielsen. Esse método foi escolhido por possuir sinergia com as heurísticas de ensino-aprendizagem. Dentre os resultados, foram identificados problemas de usabilidade que podem influenciar as interações pedagógicas e, consequentemente, a aprendizagem. Essa avaliação apresentou subsídios para o redesign de interação do ambiente. Palavras-chave: Usabilidade; Avaliação Heurística; TecCiencia; Rede Social Virtual Educacional; Interação Humano-Computador 1. Introdução O Brasil tem se tornado um dos países com os maiores índices do uso de internet, ocupando o 5º lugar em um dos rankings de avaliação de uso da internet, segundo a ComScore(2014). Pelo estudo, as redes sociais virtuais tem colaborado para o crescimento do uso da internet por parte dos brasileiros. Os brasileiros estão navegando na internet cerca de 29,7 horas/mês, deixando o país em primeiro lugar no índice de utilização da internet na América Latina. No ranking mundial de consumo das redes sociais virtuais o Brasil ocupa a 2º posição. Segundo Abreu et al. (2011) redes sociais virtuais são ambientes favoráveis para o aprendizado colaborativo, devido a possibilidade da formação de grupos de comum
interesse para o compartilhamento do conhecimento, uma vez que existe interação e colaboração entre os alunos e professores para o desenvolvimento do conhecimento social. Ainda conforme esses autores, os ambientes colaborativos de aprendizagem, além de proporcionar a aprendizagem a distância, servem como extensão da aula presencial, complementando as atividades de sala de aula. Dentro desse contexto de uso das redes sociais com objetivos pedagógicos, foi desenvolvido o TecCiencia (ABDALLA et al. 2012) conforme a Figura 1. Neste texto apresentamos uma avaliação da interação desse ambiente, com o objetivo de identificar falhas prejudiciais ao uso efetivo, eficiente e satisfatório do ambiente para os seus fins. Figura 1. TecCiencia. Este trabalho faz parte de um projeto de pesquisa e extensão para uso de tecnologias interativas e sociais na educação. Tendo em vista a necessidade constante de adequação técnico-pedagógica desses tipos de ambiente, este trabalho apresenta resultados importantes para o processo de redesign dialético-participativo do ambiente TecCiencia. Para isso fez-se necessário analisar, em um primeiro momento, alguns aspectos de Interação Humano-Computador (IHC). Utilizou-se a usabilidade como categoria de avaliação, por meio da Avaliação Heurística (AH), proposta por Nielsen (1994).
O texto está organizado em seis seções: a seção 2 é dedicada à breve apresentação do TecCiencia; os trabalhos relacionados são objeto da seção 3; na seção 4 será discutida a metodologia aplicada; os resultados serão apresentados na seção 5. Por fim, na seção 6 tem-se as considerações finais e os encaminhamentos para trabalhos futuros. 2. O TecCiencia Figura 2. Espaço do blog do TecCiencia O TecCiencia é um Ambiente Virtual de Aprendizagem (AVA). Baseado na Web 2.0, é similar às redes sociais virtuais convencionais, mas com foco bem definido: a aprendizagem colaborativa. A sua concepção considerou que o conhecimento construído pelos estudantes não é entregue pelo professor, mas construído coletivamente com os demais estudantes e professores. Todos trabalham colaborativamente, contribuindo com questionamentos e respostas, tornando o estudante um pesquisador e retirando o papel do professor como o único detentor do saber. O TecCiencia 1 é uma rede social educacional utilizada no Projeto Educandow da Universidade Federal da Bahia uma parceria do Programa Onda Digital 2 com a Empresa Dow Brasil S.A. O ambiente foi desenvolvido com o software Noosfero 3, um software baseado em tecnologia livre para a construção de rede sociais. (ABDALLA et al. 2012) Segundo Abdalla, Schwarzelmüller e Lima (2012) o TecCiencia é uma grande inovação tecnologica (idem, p. 1) para fins educacionais visto que, é um AVA onde alunos e professores podem criar blogs, como na Figura 2, e comunidades para a construção coletiva de conhecimento, como indicado na Figura 3. O AVA foi utilizado em algumas escolas baianas de ensino fundamental. Conforme os autores supra, o TecCiencia obteve bons resultados uma vez que colaborou com a integração professor/aluno, aluno/aluno e aluno/ufba. O foco da rede 1 www.tecciencia.ufba.br 2 www.ondadigital.ufba.br 3 www.noosfero.org.br
social está na aprendizagem através da colaboração e cooperação para a construção do conhecimento 4. Figura 3. Espaço das comunidades do TecCiencia 3. Avaliação da usabilidade em ambientes virtuais de educação A avaliação da Interação Humano-Computador (IHC) visa avaliar a qualidade do uso de artefatos computacionais interativos. Para isso, a IHC utiliza métodos, técnicas e diretrizes para que os projetistas de interface desenvolvam projetos de alta qualidade. Deve-se avaliar a interação para que não exista (ou exista o mínimo possível) de problemas com a qualidade de uso da interface. Quanto mais cedo for efetuada a avaliação, menor será o custo do seu redesign (BARBOSA E SILVA, 2010). Para Junior e Paola (2014) a adoção de um software educacional deve contemplar a avaliação segundo critérios de qualidade de uso, uma vez que se o software estiver inadequado pode comprometer os processos de ensinos e de aprendizagem. Já para Santos e Schneider (2010) ao usuário usar o sistema ele não aprende como usá-lo de uma única vez, por isso é necessário que o sistema seja fácil de aprender a usar, dado que o aprendizado acontece no/com o uso do sistema e por isso softwares educacionais devem passar pela avaliação de interação. Para esses autores, a usabilidade, enquanto categoria de qualidade da interação, é uma característica indispensável ao software educacional. Isso porque ele vai ser o mediatizador nos processos de ensino e de aprendizagem e, por isso, deve passar pelo processo de avaliação de usabilidade, visto que a ela não colabora somente com a educação mas também com a saúde, bem estar, inclusão social, entre outras. A usabilidade segundo Nielsen (1994) está ligada diretamente aos seguintes atributos: satisfação do usuário, facilidade e memorização da utilização do software, tratamento de erros e a eficiência no uso software. Conforme a norma ISO/NBR 9241-11 (2002, p. 1) usabilidade é a medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em 4 ibidem
um contexto específico de uso. Já para Catapan et al. (1999, p. 2) a usabilidade é uma propriedade da interface homem-computador que confere qualidade a um software, referindo-se à qualidade de uso do produto. Junqueira, Darin e Oliveira (2013) utilizam o método avaliação heurística, proposta por Nielsen, para avaliar a usabilidade da rede social educativa Aprender em Rede. O ambiente foi criado utilizando o software livre Elgg e, é utilizado na Universidade Federal do Ceará (UFC). Os autores também realizaram avaliação da sociabilidade do ambiente. Com essas avaliações foram detectadas falhas de usabilidade e navegabilidade que foram corrigidas pelos desenvolvedores do sistema. As avaliações foram realizadas durante o desenvolvimento da Aprender em Rede. Franciscato et al. (2008) elaboraram um questionário com base em três modelos de avaliação da usabilidade para avaliar os AVA Moodle, TelEduc e Tidia Ae. Com base nesse questionário avaliativo os autores concluíram que o Moodle e o TelEduc produzem mais satisfação nos usuários em relação aos demais, contudo todos os ambientes são de fácil utilização e são adequados ao ensino-aprendizagem. Melo Filho et al.(2014) faz uma comparação entre os AVA Moodle e Amadeus com base na usabilidade. Os autores aplicam o Questionário de avaliação sobre a execução das tarefas onde são avaliados os atributos eficiência, eficácia e satisfação de ambos os AVA. Segundo os autores, os ambientes foram avaliados por treze usuários com pouca experiência com computadores. Como resultado, não foi possível identificar qual dos ambientes possui o maior grau de usabilidade devido as análises demostrarem uma mínima diferença mas, os autores afirmam que os usuários preferem o Amadeus devido a sua simplicidade. Percebe-se a preocupação com a usabilidade nas tecnologias desenvolvidas para uso educacional. Segundo Coelho e Santoro (2002) a usabilidade é um dos fatores determinantes para o sucesso do processo de ensino-aprendizagem. Junior e Paola (2014) enfatizam que a avaliação de ambientes educacionais não devem se ater apenas a fatores pedagógicos, mas também técnicos, como a usabilidade. Matos (2013) defende em sua pesquisa que a avaliação dialética, tecnicopedagógica e participativa é fundamental. 4. Metodologia Devido ao TecCiencia possuir em torno de 1061 usuários e 191 comunidades 5, segundo Lima, Schwarzelmuller e Abdalla (2012) o ambiente já atingiu mais de 20.000 visitas, torna-se indispensável a avaliação da usabilidade do TecCiencia, visto que de acordo com Junior e Paola (2014), Catapan et all (1999) e, Coelho e Santoro (2002) a usabilidade é uma das características determinantes para o sucesso do processo de ensino-aprendizagem de um software educativo. A Avaliação Heurística (AH) é um método de inspeção da Engenharia de Usabilidade, criada por Jacob Nielsen (1994). A AH possui 10 heurísticas, conforme o Quadro 1, juntas elas formam um conjunto de diretrizes empíricas criadas a partir de análises de 240 problemas de usabilidade por especialistas em IHC. Segundo Nilsen (idem), a avaliação deve envolver de três a cinco avaliadores com conhecimento em 5 Fonte: www.tecciencia.ufba.br Acesso: 04 de novembro de 2014
IHC. O método é de baixo custo, rápido, fácil e que visa avaliar a usabilidade do sistema suprindo os requisitos do objetivo da pesquisa (Barbosa e Silva 2010). Quadro 1. Heurísticas de Nielsen, adaptado de (Santa Rosa e Moraes, 2012) e (Nielsen, 1994). Número da Heurística H1 H2 H3 H4 H5 H6 H7 H8 H9 H10 Heurística Visibilidade do estado do sistema Equivalência entre o sistema e o mundo real Controle e liberdade do usuário Consistência e Padronização Prevenção de erros Reconhecimento em vez de memorização Flexibilidade e eficiência de uso Estética e design minimalista Ajudar os usuários a reconhecer, diagnosticar e recuperar ações erradas Ajuda e Documentação Descrição Os usuários devem ser informados constantemente e rapidamente sobre o estado do sistema Os conceitos, termos e elementos de interface devem estar mais próximas do domínio do usuário. O usuário deve controlar o sistema, tendo a possibilidade, inclusive, de desfazer ações que julgar erradas. Palavras, signos, interações semelhantes ou relacionadas devem ter comuns significados semelhantes ou relacionados (e vice versa). Caso a plataforma em que o sistema está rodando tenha padrões estabelecidos, a interface deve adotá-los. A interface do sistema deve informar/sinalizar claramente ao usuário os efeitos e consequências de suas ações, para evitar enganos. A interface não deve exigir que o usuário decore a forma de acionar o sistema. Deve fornecer elementos para rápida identificação das funcionalidades. As ações de interface devem ter diferentes formas de serem acionadas, dispor de dispositivos de acesso rápido associados a elas e também deve ser possível customizar as interfaces customizar as interfaces para acionar ações frequentes. A interface deve ter a quantidade de informação necessária só o relevante. O layout da interface deve ser agradável e leve. A interface não deve exigir que o usuário decore a forma de acionar o sistema. Deve fornecer elementos para rápida identificação das funcionalidades. O sistema deve oferecer ajuda para o usuário em todas as ações e atividades. O acesso deve ser claro e rápido, o conteúdo informativo e contextualizado. Também faz parte da AH, a atribuição dos graus de severidade para a violação das heurísticas, conforme indicados no Quadro 2. Na execução da avaliação os analistas devem atribuir os graus de severidade nas respectivas violações conforme as prioridades.
Na AH busca-se violações na heurística, ou seja, se algo na interface não esteja em conformidade com as 10 heurísticas, então ocorre violação que, deve ser analisada e atribuída a um grau que corresponda a sua severidade. Quadro 2. Graus de severidade da Avaliação Heurística, adaptado de (Santa Rosa e Moraes, 2012). Grau Severidade Prioridade 1 Problema somente cosmético Se sobrar tempo 2 Problema menor de usabilidade Baixa prioridade 3 Problema grave de usabilidade Alta prioridade 4 Catástrofe de usabilidade Sua correção é imperativa Segundo Coelho e Santoro (2002) existe sinergia entre a AH e as heurísticas de ensino-aprendizagem principalmente em ambientes colaborativos de aprendizagem ou groupware (o caso do TecCiencia). Sendo assim, ao avaliar a interação de um AVA com as heurísticas propostas por Nielsen também estariam sendo envolvidas questões educacionais na qualidade do uso do sistema, todavia há entendimentos diferentes, conforme sinaliza Matos (2013). Todavia, a AH possui uma abrangência de critérios de avaliação que permitem seu uso, desde que não seja a única técnica/método de avaliação utilizado em um projeto de software educacional. Para este estudo foram convidados três analistas com conhecimento prévio de IHC e de AH onde separadamente efetuaram num primeiro momento o reconhecimento do TecCiencia, na segunda etapa foi realizada a busca por eventuais violações de heurísticas e, no terceiro estágio, os analistas atribuíram o grau de severidade nas falhas encontradas. Os três analistas que participaram da avaliação são graduados na área de computação e mestrandos em Ciência da Computação. Todos eles participaram da disciplina Tópicos em Sistemas de Informação e Web IV do Programa de Pós- Graduação em Ciência da Computação da Universidade Federal da Bahia que no período 2014.2 teve a ementa concernente a Interação Humano-Computador. Na sintetização dos dados gerados pelos analistas foram realizadas as seguintes atividades: caso mais de um analista detectou a mesma violação foi considerado somente uma ocorrência; na atribuição dos graus de severidade os graus foram somados e realizado a média geral, se a média não gerou um valor inteiro aplica-se o arredondamento. Na próxima seção teremos os resultados da avaliação. 5. Resultados encontrados Na avaliação heurística do TecCiencia foram detectadas as seguintes violações e os seus respectivos níveis de gravidade: H1) Visibilidade do status do sistema: ao editar o cabeçalho e o rodapé do blog o usuário não tem um retorno se houve sucesso ou insucesso na edição; além disso, também não existe uma mensagem quando é alterado o endereço do blog, deixando assim o usuário sem o feedback das suas modificações. Grau de severidade: 3.
H4) Consistência e padrões: em algumas páginas o link página inicial redireciona para o blog e em outras redireciona para a real página inicial; Em painel de controle, o menu com o número de artigos publicados é apresentado como 3, porem ao clicar no link, existe apenas um artigo e uma pasta vazia. Grau de severidade: 2. H6) Reconhecimento em vez de memorização: o usuário lida com tantos elementos e informações na interface que quando ele desejar acessar algo será difícil usar o reconhecimento sendo a sua alternativa tentar memorizar elementos específicos. Grau de severidade: 3. H7) Flexibilidade e eficiência no uso: quando os usuários saem da página inicial não existe um link ou botão para o seu retorno assim a volta a página inicial torna-se lenta. Grau de severidade: 4. H8) Estética e design minimalista: o ambiente apresenta algumas páginas sobrecarregadas com muita informação; O TecCiencia possui a interface com uma enorme quantidade de cores e blocos de informação sem significado aparente. Grau de severidade: 3. Figura 4. Violação da heurística H9 H9) Ajuda os usuários a reconhecer, diagnosticar e recuperar ações erradas: nem todas as mensagens de erros deixam o problema claro para o usuário, além disso, em alguns dos erros apresentados o usuário não tem liberdade para solucionar, por exemplo, vários links de conteúdos; a disciplina de informática, por exemplo, aparece a seguinte mensagem Nossa equipe técnica está trabalhando nele, por favor tente mais tarde. Perdoe o inconveniente. Isso é um problema que usuário não poderá solucionar; Outro problema quando usuário cria uma conta no TecCiencia há um termo que ele tem que aceitar, no entanto, ao clicar no termo aparece que a página não foi encontrada, o usuário não pode solucionar o problema ele apenas deverá aceitar o termo, sem poder ler; em algumas mensagens de erro os textos estão em inglês e em algumas páginas a mensagem passa rápido na tela inviabilizando a leitura; alguns textos de erros são de difícil compreensão; ao tentar criar uma comunidade e não preencher o nome da
comunidade, foi apresentado uma mensagem de erro. Não foi possível gravar community: 2 erros ; Na interface foi mostrado apenas um erro no campo de formulário, e o outro erro foi mostrado como Identificador não pode ficar em branco. O usuário não tem como saber qual o segundo erro, pois isso não é informado. Grau de severidade: 4. A violação dessa heurística pode ser observada na Figura 4. H10) Ajuda e documentação: a opção ajuda não contém informações suficientes para resolver possíveis problemas que usuários venham a ter ao navegar no ambiente. As pessoas que publicam suas dificuldades e outros usuários tentam auxiliar de modo colaborativo; não tem um documento de ajuda pronto; o menu de ajuda, como usar, possui apenas uma opção de ajuda, que é a de enviar vídeo. Grau de severidade: 3. A síntese dos resultados das avaliações é apresentada na Tabela 1 com o número das heurísticas de Nielsen, o nível de severidade e quantidade de problemas respectivamente. De acordo com o próprio método, apesar de existir algumas heurísticas que não foram detectadas violações, não podemos atestar que elas não existem. Tabela 1. Resultado da Avaliação Heurística Número da Nível de Quantidade Heurística Heurística Severidade de Problemas H1 Visibilidade do estado do sistema 3 2 H2 Equivalência entre o sistema e o mundo real -- -- H3 Controle e liberdade do usuário -- -- H4 Consistência e Padronização 2 2 H5 Prevenção de erros -- -- H6 Reconhecimento em vez de memorização 3 1 H7 Flexibilidade e eficiência de uso 4 1 H8 Estética e design minimalista 3 2 Ajudar os usuários a reconhecer, H9 diagnosticar e recuperar ações erradas 4 6 H10 Ajuda e Documentação 3 3 Total: 17 6. Considerações finais Este trabalho apresentou a avaliação da interação de uma rede virtual sociopedagógica. Avaliações de interação são relevantes no contexto de projeto e uso de software, uma vez que a qualidade da interação influencia os processos de ensino e de aprendizagem mediatizados por tecnologias. Buscando identificar problemas de usabilidade, utilizouse o método Avaliação Heurística (AH) proposto por Nielsen. Nesse método as heurísticas possuem sinergia com as heurísticas de ensino e aprendizagem. Foi possível concluir que o TecCiencia apresenta problemas de usabilidade. Encontrou-se 17 violações de heurísticas, sendo a heurística Ajudar os usuários a reconhecer, diagnosticar e recuperar ações erradas (H9) a mais recorrente. A avaliação por meio da AH permitiu identificar problemas de usabilidade que podem afetar o ensino e/ou a aprendizagem mediatizada pelo TecCiencia.
Ficou claro a necessidade do redesign da interação do TecCiencia. Visando a continuidade da pesquisa, em trabalhos futuros pretende-se avaliar a interação do TecCiencia sob a categoria comunicabilidade. A comunicabilidade é uma metodologia de IHC, definida no âmbito da Engenharia Semiótica, que tem por natureza analisar o processo de significação (semiose) no contexto de uso social e cultural (BARBOSA e SILVA, 2010), elementos importantes em um software educacional. Referências Abdalla, D., Schwarzelmüller, A. e Lima, A. (2012). Projeto Educandow: experimentando uso de rede social como apoio ao ensino fundamental. In Simpósio Brasileiro de Informática na Educação. Abreu, J., Claudeivan, L., Veloso, F. e Gomes, A. S. (2011). Análise das Práticas de Colaboração e Comunicação: Estudo de Caso utilizando a Rede Social Educativa Redu. In XXII SBIE - XVII WIE. Barbosa, S. D. J. e Silva, B. S. (2010). Interaçao Humano-Computador. Rio de Janeiro: Elsevier. ComScore (2014). Brasil digital future in focus 2014. Acesso em: 12/nov/2014. Disponível em: www.comscore.com/por/insights/presentations-and- Whitepapers/2014/2014-Brazil-Digital-Future-in-Focus-Webinar. Coelho, O. e Santoro, D. (2002). A Sinergia entre as Heurísticas de Usabilidade de Software e as Heurísticas de Ensino-Aprendizagem do ponto de vista da Educação à Distância Mediada pela Web. In Simpósio Brasileiro de Informática na Educação. Franciscato, F. T., Ribeiro, P. da S., Mozzaquatro, P. M. e Medina, R. D. (2008). Avaliação dos Ambientes Virtuais de Aprendizagem Moodle, TelEduc e Tidia - Ae: um estudo comparativo. Novas Tecnologias na Educação, v. 6. Junior, O. D. O. B. e Paola, Y. (2014). Análise de Abordagens Objetivas para Avaliação de Softwares Educativos. In Simpósio Brasileiro sobre Fatores Humanos em Sistemas Computacionais. Junqueira, E., Darin, T. e Oliveira, S. De (2013). Rede Social Virtual para Aprimorar a Aprendizagem: Processo de Desenvolvimento do site Aprender em Rede. In Nuevas Ideas en Informática Educativa TISE. Lima, A., Schwarzelmuller, A. F. e Abdalla, D. (2012). Uma Persperctiva Didatico- Pedagógica Através da Rede Social para Educaçao TecCiência. In II Congresso Internacional TIC e Educação ticeduca2012. Matos, E. S. (2013). Dialética da Interação Humano-Computador: tratamento didático do diálogo midiatizado. Tese (Doutorado)- Faculdade de Educação, Universidade de São Paulo (USP), São Paulo. Melo Filho, I. J., Carvalho, R. S., Gomes, A. S., et al. (2014). Análise comparativa da Usabilidade dos Ambientes de Gestão da Aprendizagem Amadeus e Moodle. Revista Brasileira de Informática na Educação, v. 22, n. 01, p. 107 120. Nielsen, J. (1994). Usability engineering. Boston, MA: Academic Fress. Santa Rosa, José G. e Moraes, Anamaria de (2012). Avaliação e projeto de design de interfaces. Teresópolis, RJ: 2AB. Santos, G. A. dos. e Schneider, H. N. (2010). Avaliação de Usabilidade de Ambientes Virtuais de Aprendizagem. In 3 o Simpósio Hipertexto e Tecnologias na Educaçao.