Avaliação de comunicabilidade do Moodle para usuários surdos e ouvintes

Avaliação de comunicabilidade do Moodle para usuários surdos e ouvintes Letícia Capelão 1 Flávio Coutinho 2 Koji Pereira 3 Raquel Prates 2 leticiacapelao@gmail.com flavioro@dcc.ufmg.br kojieumesmo@gmail.com rprates@dcc.ufmg.br 1 Faculdade de Letras, 2 Departamento de Ciência da Computação, 3 Escola de Belas Artes Universidade Federal de Minas Gerais, Av. Antônio Carlos, 6627, Pampulha, Belo Horizonte MG, Brasil RESUMO Como os sistemas de apoio ao ensino que atendem a uma diversidade de usuários, a comunicabilidade é uma qualidade de uso essencial para garantir os objetivos educacionais que fundamentam o seu uso. Neste artigo, avaliamos a comunicabilidade do sistema Moodle a partir da visão de alunos ouvintes e surdos, para isso recorrendo ao Método de Inspeção Semiótica (MIS) e ao Método de Avaliação da Comunicabilidade (MAC). Os resultados apresentam rupturas de comunicação que comprometeram o uso de funcionalidades do Moodle, tanto por usuários surdos, quanto por ouvintes. Palavras-chave IHC, Avaliação, Comunicabilidade, Surdez, MAC, MIS. INTRODUÇÃO O crescimento da Internet e das ferramentas de comunicação por ela oferecidas tem um importante impacto nos modos pelos quais as pessoas interagem, assim como nas maneiras pelas quais definem e redefinem sua noção de comunidade [9]. Os impactos avançam também pela área da educação e provocam redefinições no sistema com o surgimento de ferramentas de apoio ao ensino, chamadas de ambientes virtuais de aprendizagem (AVAs). Estes ambientes oferecem suporte às atividades de ensino, integrando recursos de tecnologias de informação e comunicação através de mídias variadas (vídeos, imagens, textos, animações) e ferramentas para comunicação e interação como: chat ou bate-papo, fórum de discussão, webconferência, teleconferência, transferência de arquivos, reuniões através do computador, e-mail, páginas web, hiperlinks, envio de tarefas, diários virtuais, wikis, perguntas frequentes, dentre outros [5]. Em termos conceituais, os AVAs consistem em mídias que utilizam o ciberespaço para veicular conteúdo e permitir interação entre os atores do processo educativo [6]. O objetivo deste artigo foi avaliar a qualidade da comunicabilidade do sistema Moodle, um AVA utilizado por instituições de ensino em vários países, a partir da visão de alunos surdos e ouvintes. Na avaliação, utilizamos dois métodos baseados na Teoria da Engenharia Semiótica: o Método de Inspeção Semiótica (MIS) e o Método de Avaliação de Comunicabilidade (MAC). Apesar de distintos, os critérios de qualidade de uso estão fortemente interligados e se influenciam. Desta forma, se um usuário não consegue compreender como o sistema funciona por falta de clareza no significado dos elementos da interface (baixa comunicabilidade) [1], ele pode interromper o seu uso diante das barreiras (rupturas de comunicação). Ou seja, o sistema ou alguma de suas funcionalidades se tornam inacessíveis por problemas de comunicabilidade do projetista para o usuário. A escolha em incluir na avaliação de comunicabilidade também a perspectiva de usuários surdos deveu-se ao nosso interesse em contribuir para a acessibilidade digital de pessoas surdas. Como a maioria dos surdos é filho de pais ouvintes, eles não aprendem Libras nos primeiros anos de vida, logo, o aprendizado da 2ª língua é comprometido. Comparando-se a palavra em língua portuguesa com o sinal em Libras, percebe-se que escrita alfabética portuguesa não contém o mesmo significado das palavras em língua de sinais. Como o pensamento do surdo organiza-se em função da língua de sinais, mesmo os surdos alfabetizados apresentam dificuldades com a língua portuguesa [2,3]. Torna-se então necessária uma atenção especial de forma a possibilitar o acesso aos surdos ao ensino também através de sistemas de educação à distância. As tecnologias, a educação à distância, juntamente com os estudos de usabilidade, acessibilidade e, especialmente, neste artigo, comunicabilidade permitem que interfaces de ambientes virtuais ganhem conotações especiais para atender as necessidades dos diferentes tipos de usuários. [6]. Na próxima seção, apresentamos a justificativa para utilização dos métodos MIS e MAC, para escolha do perfil dos avaliadores no MIS e participantes no MAC. A seguir, descrevemos as fases do processo de avaliação realizadas para cada um dos métodos: preparação, execução e análise. A partir da análise do MIS e MAC apresentamos, então, os principais resultados da avaliação, enumerando os

problemas encontrados, sua localização e algumas sugestões de melhorias que podem ser implementadas na interface. Na seção de fechamento, apresentamos a análise realizada com cada método. Por fim, o artigo apresenta as conclusões da avaliação do Moodle de acordo com aplicação do MIS e do MAC e nossa conclusão acerca do processo e dos resultados obtidos. Acrescentamos ainda os trechos mais importantes da reconstrução da metamensagem realizada no MIS e no MAC. JUSTIFICATIVA Métodos Utilizados Os métodos adotados neste trabalho baseiam-se na teoria da Engenharia Semiótica (EngSem) uma teoria que nos permite entender os fenômenos envolvidos no design, uso e avaliação de uma sistema interativo" [10]. Para a EngSem, as interfaces transmitem uma mensagem dos projetistas para usuários. O conteúdo dessas mensagens comunica aos usuários [12], uma concepção de quem são os usuários, quais são suas necessidades e expectativas, e, mais importante, como o projetista escolheu atender esses requisitos através de um artefato interativo (tradução nossa). Esse conteúdo transmitido pela interface dos projetistas para os usuários é chamado de metamensagem. O processo de comunicação entre usuários e projetistas pode ser mais ou menos eficiente. Esta qualidade de experiência do usuário é denominada comunicabilidade, i.e., a qualidade de interação baseada em sistemas computacionais que se comunicam eficientemente e efetivamente a intenção subjacente do designer e os seus princípios interativos [1,10,11,12]. Para a EngSem, o conceito de comunicabilidade é considerado fundamental para o uso produtivo e eficiente de sistemas interativos. A EngSem [1] propõe dois métodos para avaliação de comunicabilidade que foram utilizadas neste estudo: o Método de Inspeção Semiótica (MIS) e o Método de Avaliação da Comunicabilidade (MAC). Escolhemos estes dois métodos por serem métodos qualitativos e interpretativos que avaliam a mesma propriedade de qualidade de uso comunicabilidade a partir de diferentes abordagens que se complementam: o MIS avalia a emissão da metamensagem enviada pelo designer ao usuário, enquanto o MAC avalia a recepção e entendimento desta metamensagem pelo usuário. Além disso, são métodos que podem ser aplicados para avaliação de sistemas utilizados tantos por usuários ouvintes quanto surdos, sem a necessidade de quaisquer adaptações, exceto, pela necessidade um intérprete de Libras, conforme testes já realizados por de Oliveira et al. [8] O MIS é um método de inspeção e, por isso, antecipativo que não envolve diretamente os usuários. O avaliador inspeciona a interface avaliando a qualidade da metamensagem enviada pelo designer ao usuário, a partir da perspectiva do perfil do usuário que utilizará o sistema. Durante a inspeção, o avaliador identifica ambiguidades e inconsistências que se caracterizam como potenciais rupturas de comunicação que podem dificultar ou, até mesmo, impossibilitar o usuário de utilizar o sistema. A preparação do MIS requer definição do objetivo e escopo da inspeção, inspeção informal do sistema e criação dos cenários utilizados na inspeção. Na inspeção, o avaliador examina, separadamente, cada tipo de signo da EngSem (i.e., metalingüístico, estático e dinâmico) e a metamensagem do projetista é segmentada considerando-se apenas os signos inspecionados. Em seguida, os resultados obtidos nas inspeções segmentadas são comparados e é realizada então, uma apreciação final do conteúdo identificado na metacomunicação do projetista para o usuário e a reconstrução da metamensagem. O MAC, por sua vez, é um método que envolve observação de usuários em ambiente controlado. Desta forma, torna-se possível identificar os problemas de comunicabilidade a partir da recepção e entendimento da metamensagem do designer diretamente pelo usuário. Estes usuários, a partir de um perfil pré-definido, são convidados a executar tarefas contextualizadas em cenários e pré-determinadas pelo avaliador, utilizando o sistema a ser avaliado. A partir da identificação e análise das rupturas de comunicação encontradas, pode-se sugerir melhorias que aumentem a qualidade da comunicação. A preparação do MAC envolve determinação dos objetivos do teste, seleção das tarefas para teste, seleção dos participantes, considerações sobre aspectos éticos, geração do material impresso para uso durante a avaliação, execução do teste piloto. A coleta de dados contempla execução e gravação das tarefas pelos participantes, anotações durante o teste e entrevista pós-teste. Após a realização dos testes, segue-se a análise, que é composta de três etapas: etiquetagem, interpretação e geração do perfil semiótico. Na etiquetagem, as gravações das interações são analisadas, identificando-se rupturas de comunicação às quais são associadas às respectivas "expressões naturais" ou etiquetas. As etiquetas são formas de expressar a reação dos usuários às rupturas de comunicação durante o uso do sistema. Na etiquetagem são colocadas palavras na boca dos usuários [1,11,12]: Cadê?, O que é isto?, Epa!, Assim não dá, E agora?, Onde estou?, Por que não funciona?, Vai de outro jeito, Ué, o que houve?, Não, obrigado, Socorro!, Para mim está bom, Desisto. Na etapa de interpretação, a partir da etiquetagem, as classes de problemas de comunicação são identificadas e analisadas. Segue-se para a geração do perfil semiótico, em que é feita a reconstrução da metamensagem do projetista ao usuário, apontando os problemas encontrados, mensagens que podem estar em contradição, ou até mesmo mensagens não intencionais. O MIS foi então aplicado inicialmente e orientou a definição dos cenários das tarefas e elaboração do material de apoio para o MAC.

Perfil dos Avaliadores/Participantes Tanto o MIS quanto o MAC foram utilizados para avaliar a comunicabilidade do Moodle a partir da perspectiva de alunos surdos e ouvintes. A escolha pelo perfil de alunos surdos se deve pelo nosso foco em contribuir para a acessibilidade digital de pessoas surdas, no contexto educacional da EAD. E neste sentido, optamos por realizar uma comparação entre o perfil de alunos surdos e ouvintes. MIS A inspeção foi realizada por um avaliador (usuários ouvintes) e uma avaliadora (usuários surdos). O avaliador tem experiência na área de Design de Interação e já realizou testes de usabilidade de software em ambiente controlado. Já havia utilizado o sistema Moodle tanto no papel de aluno, quanto no de professor, mas o contato com o sistema foi breve e superficial. A avaliadora não tinha experiência de testes com usuários em ambientes controlados, mas já havia aplicado o MIS em outro contexto; tem experiência na plataforma Moodle para a criação de cursos (como designer instrucional e professora) e, também, como uma ferramenta de apoio ao ensino na modalidade semipresencial (como professora e aluna), além de ter conhecimento sobre a cultura surda. MAC Foram realizadas 6 avaliações com usuários (3 surdos e 3 ouvintes). Neste contato inicial, uma pré-entrevista foi feita de forma a garantir um perfil homogêneo de usuários. No caso tanto dos ouvintes quanto surdos, optou-se por alunos que tivessem concluído o ensino médio ou estivessem em fase inicial do ensino superior, o que possibilitaria maior chance de não terem contato com o Moodle. Selecionamos, então, alunos que não conheciam ou que tiveram pouca experiência com o Moodle. Apenas um participante (ouvinte) conhecia o Moodle, porém seu contato com o sistema havia sido muito breve. Em relação ao perfil dos surdos, a seleção envolveu outros critérios relacionados à compreensão da língua portuguesa (leitura/escrita) que perpassam por aspectos relacionados a surdez e a linguagem. Os critérios tiveram como foco o perfil mais comum e mais próximo da realidade da maioria dos surdos [2]. Como a grande maioria dos surdos apresenta dificuldades de leitura e escrita com a língua portuguesa optou-se por selecionar usuários surdos que se enquadraram no seguinte perfil: 1) surdos oralizados ou não, que apresentassem surdez profunda ou severa: ou seja, surdos que não adquiriram o português de forma natural e não se comunicam bem oralmente (através da língua portuguesa); 2) fizessem uso de Libras para comunicação: são surdos que fazem parte da comunidade surda. Ou seja, reconhecem a importância da língua de sinais para se comunicarem, fazem uso dela, estão em contato com outros surdos em diversos locais; 3) fizessem uso da língua portuguesa para leitura e escrita: é imprescindível que o surdo seja alfabetizado e faça uso da língua portuguesa como forma de comunicação tanto para leitura e escrita, pois a plataforma Moodle está em língua portuguesa. O objetivo é testar a comunicabilidade da interface através da comunicação em língua portuguesa. 4) ficaram surdos antes de completar 2 anos de idade, o que caracteriza a surdez pré-lingual. A surdez se dá em função de uma alteração, enfermidade ou acidente que afete a audição, antes da aquisição da fala. Neste caso, são surdos que não tiveram experiência auditiva e não tiveram contato com a língua portuguesa nos primeiros anos de vida, com comunicação inteiramente visual. As pessoas que ficam surdas depois de um contato inicial com a língua portuguesa têm um desenvolvimento diferenciado e mais avançado em comparação aos surdos pré-linguais. 5) iniciaram o aprendizado de Libras após os 7 anos de idade: o contato inicial e aprendizado de Libras, antes dos 7 anos de idade, possibilita ao surdo o contato com sua 1ª língua na idade de desenvolvimento adequada, desenvolvendo as habilidades cognitivas essenciais e que colaboram para o aprendizado da 2ª língua de forma mais efetiva. Contudo, esta não é uma realidade entre os surdos, pois maioria deles é filho de pais ouvintes, logo não tem contato com Libras. DESCRIÇÃO DO PROCESSO DE AVALIAÇÃO O processo de avaliação dos dois métodos foi realizado em três fases (preparação, execução/coleta de dados e análise) descritas nos itens a seguir. A fase inicial de criação e estruturação de uma turma no ambiente Moodle foi comum para os dois métodos. Tanto para a inspeção (MIS) e realização dos testes (MAC), utilizamos uma versão institucional do Moodle da UFMG, versão 2.02, com um tema desenvolvido pela equipe do Laboratório de Computação Científica da instituição para ser utilizado no portal Minha UFMG. Criamos uma turma fictícia com informações de um curso real de "Programação de Computadores" proposto por um perfil de professor que explora diversos recursos, ferramentas e design da interface do Moodle. A opção por esta disciplina se deve à experiência de um dos avaliadores como professora nesta área, explorando, a plataforma Moodle, como ambiente de apoio ao ensino presencial. A página do curso foi estruturada em menus laterais e tópicos. Optou-se por deixar os menus laterais disponíveis na tela por se tratar de um design padrão do Moodle, apesar de ser possível explorar o menu dock (minimizado na lateral). No menu da esquerda, permaneceu o bloco de Navegação e Configuração. No menu da direita, havia os seguintes blocos: "Usuários on-line", "Calendário", "Últimas notícias", "Menu do blog", "Participantes" e "Mensagens". A parte central da tela foi organizada em quatro tópicos com conteúdos do curso: Sobre a disciplina, É conversando que a gente se entende, Material de apoio geral e Semana 1. No menu da esquerda, bloco de Navegação e Configuração. A Figura 1 mostra a tela inicial da turma utilizada para a inspeção do MIS e para a execução das tarefas pelos usuários no papel de alunos no MAC.

sistema. A metamensagem do projetista foi então elaborada considerando-se apenas os signos inspecionados. Consolidação e Apreciação Nesta fase do MIS, os resultados das inspeções realizadas pelos dois avaliadores foram consolidados e a apreciação final do conteúdo foi elaborada. Nesta apreciação, as potenciais rupturas de comunicação encontradas para usuários surdos e ouvintes foram agrupadas em classes: 1 - Ausência de padronização na interface (em janelas, botões, ações do sistema); 2 - Falta de acessibilidade da documentação (indisponível em língua portuguesa ou Libras), 3 Signos estáticos sem relação com nomenclatura padrão (ícones e nomes de rótulos não representativos); 4 - Ausência de instruções claras ou consistentes; e 5 - Vocabulário inacessível para usuários surdos. Foi reconstruída a metamensagem do projetista para o usuário identificando os pontos comuns aos dois perfis de usuários e os pontos que se aplicavam, especificamente, a cada um deles. Aplicação do MAC Figura 1 - Página inicial do curso criado no Moodle para a avaliação. A seguir sãs descritas as aplicações dos métodos. Aplicação do MIS Preparação O objetivo do MIS foi avaliar a metacomunicação do designer do Moodle para alunos surdos e ouvintes. Realizamos uma inspeção informal do sistema e elaboramos três cenários similares para os usuários ouvintes e surdos, contendo apenas diferenças em relação ao contexto (surdos e ouvintes). A inspeção foi feita a partir das seguintes funcionalidades do sistema: no cenário 1, inspecionamos o uso do fórum (criar tópico, comentar mensagem do colega), no cenário 2 o uso do blog (consulta e comentário a uma postagem no blog e incluir um nova postagem) e, no cenário 3, a entrega de uma tarefa. Inspeção dos signos Nesta fase, realizamos inspeções para cada tipo de signo metalingüístico, estático e dinâmico. A inspeção a partir dos cenários propostos foi realizada por dois avaliadores. Um dos avaliadores fez a inspeção com a perspectiva de interação usuário ouvinte-sistema, enquanto o outro que tinha conhecimento prévio sobre a cultura surda inspecionou sob a perspectiva de interação usuário surdo- Preparação Como nossa inspeção do MIS apontou um grande número de potenciais rupturas de comunicação em todas as tarefas, utilizamos tarefas similares para o MAC. O objetivo do MAC foi então avaliar a recepção e entendimento da metacomunicação do designer do Moodle por alunos surdos e ouvintes. Elaboramos um cenário de contexto e três tarefas que também exploraram o uso do fórum, uso do blog e envio de tarefas. Como a "avaliação da comunicabilidade é um método qualitativo que privilegia a análise em profundidade", o número de participantes é normalmente pequeno, variando entre cinco e dez participantes [1]. Desta forma, optamos por realizar testes com seis participantes (3 usuários surdos e 3 usuários ouvintes). Além dos seis testes, também realizamos um teste piloto com um participante surdo, o que foi essencial para que validássemos nossa proposta de avaliação. Para o MAC, utilizamos o mesmo cenário e mesmas tarefas para os usuários surdos e ouvintes. O cenário foi: Você é um (a) aluno (a) universitário (a) do primeiro período do curso de Computação e está aprendendo a criar programas de computador. Essa aula acontece tanto na sala de aula (presencial), quanto na Internet (à distância), ou seja, algumas atividades são feitas durante as aulas e outras pelo computador, através de um sistema chamado Moodle.. A primeira tarefa consistiu na participação em um fórum de discussão (a ser localizado na página da turma) e na postagem de um novo tópico de discussão. A segunda tarefa envolveu a participação do aluno no blog do próprio Moodle onde o aluno deveria localizá-lo na página do curso e postar uma mensagem usando texto e imagem. A terceira tarefa consistiu na submissão de dois arquivos para avaliação do professor através da funcionalidade de envio de tarefa (do Moodle).

Coleta de Dados Todos os testes foram realizados em ambiente controlado, no laboratório de usabilidade do DCC da UFMG, durante três dias consecutivos. Os testes foram realizados em um computador com Windows XP em inglês, utilizando o navegador Firefox versão 3.x. Esta fase do MAC contemplou: execução e gravação das tarefas pelos participantes, anotações durante o teste e entrevista pós-teste [11]. Durante a realização dos testes com participantes surdos, tanto a comunicação oral quanto o material impresso foi traduzido para Libras por um intérprete. Ele foi orientado para que fosse o mais fiel possível em sua tradução, de forma a possibilitar uma comunicação real e clara de todo o processo. Para corroborar com esta clareza e evitar problemas na metodologia do teste, solicitamos que ele expressasse também em língua portuguesa, o que estivesse traduzindo para Libras. Ele foi orientado para não responder às dúvidas dos participantes surdos, mesmo que soubesse as respostas, pois as respostas deveriam ser apresentadas pelos avaliadores. Durante a execução das tarefas propostas, gravamos a interação dos usuários através de captura da tela e, no caso dos usuários surdos, seus rostos foram filmados e incorporados a esses vídeos. Este recurso foi importante, pois as reações dos usuários surdos são bem evidentes através das expressões faciais, uma vez que eles têm como língua natural uma língua de características espaço-visual. Vale ressaltar que os aspectos éticos previstos em lei [4] foram considerados e devidamente explicados aos participantes, que registraram o consentimento por escrito em documento. Nos testes com usuários surdos, o termo de consentimento foi primeiramente lido por eles e, em seguida, traduzido pelo intérprete. Análise Após a realização dos testes, seguimos à fase da análise que contemplou etiquetagem, interpretação e geração do perfil semiótico. Os vídeos foram então analisados e etiquetados de acordo com as rupturas de comunicação encontradas. Nossa interpretação foi realizada por usuário e por tarefa. Na interpretação por usuário, foram considerados a ordem com que ele executou as tarefas e seu perfil de experiência com a Internet e sistemas de ensino à distância. Para cada um dos problemas encontrados, foram apresentadas sugestões de melhoria. A interpretação por usuários foi então consolidada para uma interpretação final por tarefas quando as rupturas de comunicação por tarefa foram identificadas e analisadas, assim como as possíveis melhorias. Seguimos então para a etapa final que consistiu na geração do perfil semiótico onde fizemos a reconstrução da metamensagem do projetista ao usuário, apontando os problemas encontrados. RESULTADOS As rupturas encontradas em cada um dos métodos foram reunidas e contrastadas. A seguir apresentamos os principais problemas identificados na avaliação. A maioria dos problemas afeta tanto usuários ouvintes, quanto usuários surdos. Para cada um deles, descrevemos o problema e sua relação com usuários surdos e/ou ouvintes, localização na interface, o método pelo qual foi identificado e sugestões para solução do problema. Para os problemas identificados através do MIS é também descrita a classe a que o problema foi relacionado. Problemas Encontrados: Tarefa 1 Uso do fórum A1 - Linguagem inacessível para surdos Local na interface: Tela principal do fórum Descrição/Justificativa: Na tela principal do fórum, através do MIS, encontramos potenciais rupturas comprovadas pelo MAC. Alunos poderiam ter dificuldade compreender o que era para ser feito no fórum, pois são utilizados termos pouco conhecidos pelos surdos, como acrescentar, tópico e discussão. Através do MAC, comprovou-se a dificuldade de compreensão. Assim, ao usar o sistema, os alunos surdos tiveram dificuldade em compreender como deveriam proceder para criar um novo tópico e postar uma mensagem no fórum. Além disso, a interface não apresenta acesso a um sistema de ajuda que permita ao usuário se recuperar do problema vivenciado., MIS (Classe 5: Vocabulário inacessível para usuários surdos) Sugestões de melhoria: - Criar um sistema de ajuda para alunos explorando o uso de imagens e/ou vídeos de forma a promover mais acessibilidade e comunicabilidade tanto para surdos, quanto para ouvintes; Disponibilizar um link para um dicionário Português-Libras; - Alterar os termos para que fiquem mais acessíveis ao usuário surdo. A2 Feedback temporizado no uso do fórum Local na interface: Comportamento do sistema ao clicar em Criar novo tópico de discussão no fórum Descrição/Justificativa: Ao criar o tópico, uma mensagem de feedback é exibida durante um curto período de tempo e pode não ser percebida pelos usuários neste tempo, especialmente, por usuários surdos. Sugestões de melhoria: - Solicitar que o usuário clique em botão para prosseguir, em vez de prosseguir automaticamente depois de curto período de tempo; - Ou criar um feedback persistente em uma região da tela (como por exemplo é feito no Gmail). Problemas Encontrados: Tarefa 2 Uso do blog B1 Uso de linguagem complexa Local na interface: Links de nova postagem no blog na página inicial do curso. Descrição/Justificativa: Tanto a inspeção quanto o teste com usuários revelaram o uso de textos (rótulos e

mensagens) que não representavam bem sua função. Por exemplo, para postar no blog, o usuário deve acessar um dos dois links: Acrescentar novo texto ou Blog sobre este Turma, mas nenhum deles representa bem a função da ação associada. Isso acarretou em falhas parciais ou até completas na interação, uma vez que esta funcionalidade não foi acessada pelos surdos e por um ouvinte. e MIS (Classe 5: Vocabulário inacessível para usuários surdos) Sugestões de melhoria: Substituição das expressões utilizadas por outras que informem sobre a criação de uma nova postagem no blog. B2 Signo de inserção de imagem de difícil identificação Local na interface: Página de postagem do blog (ver Figura 2). Problemas Encontrados: Tarefa 3 Envio de tarefas C1 Dificuldade em encontrar o botão enviar arquivos Local na interface: Página de envio de tarefas. Figura 2 - Barra de ferramentas do editor de texto. Descrição/Justificativa: Usuário ouvinte não conseguiu localizar a funcionalidade de incorporação de imagem em postagem no blog. A barra de ferramentas para edição de texto reúne diversas funcionalidades, que são representadas apenas por imagens. O excesso de elementos na barra e a escolha de ícones pouco representativos para essas funcionalidades não permitiram que o usuário localizasse o acesso à função de incorporação de imagem. Sugestão de melhoria: Simplificar o menu de edição de texto rico WYSIWYG (What You See Is What You Get) a fim de priorizar funções mais importantes, como a inserção de imagem. Também poderiam ser utilizados rótulos para os botões, além das imagens. B3 - Perda de contexto de navegação Local na interface: na página principal do curso. Figura 3 - Navegação estrutural (breadcrumb) na página da turma (cima) e após acessar o blog (baixo). Descrição/Justificativa: Ao entrar no blog, o Moodle sai do contexto do curso em que o usuário estava interagindo (ver Figura 3 acima). Isso dificultou que usuários (surdos e ouvintes) pudessem retornar à página inicial do curso após o acesso ao blog.. Sugestão de melhoria: Manter na navegação estrutural (breadcrumb) o caminho que o usuário utilizou para chegar ao blog, possibilitando-o voltar ao seu contexto de origem. Oferecer ao usuário a opção de voltar ao contexto do curso onde ele estava quando acessou o blog ou fazê-lo automaticamente. Figura 4 - Página de envio de tarefa. (a) mostra a área visível da página no navegador (resolução 1440x900) e (b) mostra o botão de envio de arquivos. Descrição/Justificativa: Na página da tarefa usuários tiveram dificuldades em encontrar o botão Enviar arquivos. Na região superior da página o professor pode cadastrar o enunciado. Dependendo de seu tamanho, a região inferior pode ficar visível apenas quando o usuário rolar a página. Desta forma, o botão Enviar Arquivos, que representa a funcionalidade principal da página, não está devidamente priorizado na interface inclusive, está dividindo espaço e importância com outros signos estáticos e dinâmicos: datas, "Esboço do Documento" e "Notas" etc. A funcionalidade secundária Notas (para anotações) foi indevidamente explorada pelos usuários diante da dificuldade encontrada para o envio de arquivos (Figura 4). Sugestões de melhoria: - Rever a hierarquia visual desta tela de envio de arquivos, priorizando o botão de envio de arquivos e associando notas com peso secundário ou unindo esta ação ao envio de tarefa; - Utilizar rótulos para os signos estáticos e dinâmicos que expressem melhor as funcionalidades e sejam de conhecimento do usuário ( Esboço do documento se refere a quê? Notas = espaço para anotações); - Incluir sistema de ajuda para uso do envio de tarefas na tela principal de envio da tarefa. C2 Nomenclatura de signos sem contexto Local na interface: Página de envio de tarefas.

Problemas Encontrados: Geral Figura 5 - Região inferior da página de envio de tarefa. Descrição/Justificativa: A nomenclatura do signo Esboço do documento está sem contexto dentro da tela de entrega de uma tarefa. (Ver figura acima). Ele está localizado acima do botão de envio de arquivos. Não é possível compreender a que esse signo se refere, o que provocou rupturas de comunicação., MIS (Classe 3: Rótulos dos signos estáticos sem relação com nomenclatura padrão) Sugestão de melhoria: Utilizar rótulos para os signos de forma que expressem melhor as funcionalidades e sejam de conhecimento do usuário. No caso específico, um nome mais apropriado seria: lista de arquivos enviados. C3 - Termos fora de contexto Local na interface: 2º passo da página de envio de tarefas. Descrição/Justificativa: Ao clicar em Enviar arquivos, o usuário é levado para uma nova página que mostra dois botões Adicionar e Criar diretório (sem contexto com a ação Enviar arquivos ) que levaram a rupturas de comunicação, pois alguns usuários tiveram dificuldades em compreender, nesta tela, o próximo passo a ser executado.. Sugestão de melhoria: Utilizar termos de mais comumente utilizados e conhecidos pelo usuário (e.g: buscar arquivos, criar pastas). C4 Botão de seleção de arquivo com texto variando de acordo com a língua do navegador (e.g. inglês) Local na interface: Segundo passo da página de envio de tarefas. Justificativa: Ao clicar em Enviar arquivos, a seguir em Adicionar, é exibida uma nova tela para seleção de arquivos, cujo rótulo do botão para envio de arquivos varia em função da língua do navegador. Ou seja, se o navegador estiver em inglês, o botão será exibido como "choose file" ou "browse". Como é um botão de ação principal, a não compreensão deste signo (como ocorreu com um usuário surdo) pode comprometer a comunicação sistema-usuário e impossibilitar o envio do arquivo.. Sugestão de melhoria: Representar o controle de envio de arquivo a partir da língua definida para o Moodle, de forma a possibilitar uma configuração associada ao Moodle e não ao navegador (que pode resultar em falhas na comunicação). D1 - Excesso de signos na interface Local na interface: Página inicial do curso com menus laterais. Descrição/Justificativa: Dificuldades para localizar o link do fórum, o menu do blog e o link do envio de tarefa descritos no cenário. Os links do fórum e envio de tarefa estavam presentes na parte central da página principal do curso e o menu do blog, na parte lateral direita. A presença de muitos signos na interface confundiu os usuários dificultando que eles encontrassem os links corretos. O usuário então ficou interagindo com outros signos fora do contexto (link de outro fórum, link para outro blog externo) Sugestões de melhoria: - Redesenhar a arquitetura da informação explorando uma interface mais minimalista para a página inicial do curso; - Criar um menu de acesso ubíquo com links para os principais recursos e atividades do curso (blog, fórum, tarefas, páginas, arquivos etc.); - Reorganizar a estrutura do menu lateral de forma hierárquica priorizando o conteúdo do curso em que o aluno está navegando; - Incluir sistema de ajuda para uso do fórum na tela principal do fórum; - Agrupar fóruns e permitir a navegação entre eles; - Identificar as tarefas por status (pendentes, concluídas, em revisão). D2 - Dificuldades para encontrar o botão de ação principal (fórum e tarefa) Local na interface: Página principal do fórum e de envio de tarefas. Descrição/Justificativa: Na página de fórum e na página de envio de tarefas, alguns usuários tiveram dificuldade para localizar o botão de ação principal (criar novo tópico, enviar arquivos), pois eles estão localizados na parte inferior da tela. Além disso, este problema é agravado se o professor cadastra um enunciado para o fórum ou tarefa que ocupe toda a área visível da página. Neste caso, os botões das ações principais ou outras funcionalidades ficam visíveis somente quando o usuário faz a rolagem da tela para baixo (ver Figura 4). Sugestões de melhoria: - Alterar o formato da disposição do enunciado do fórum/tarefa para que o conteúdo específico de cada página e os botões ou links de ação estejam sempre visíveis (sem que seja necessário rolar a página para baixo); - Exibir as ações principais (criar novo tópico, enviar arquivos) em local mais visível (prioridade na tela) para o usuário e em destaque. D3 - Ausência de sistema de ajuda Local na interface: tela principal do fórum, menu do blog e tela do envio de tarefas. Descrição/Justificativa: Ausência de sistema de ajuda para auxiliar no uso do fórum, blog e tarefa (envio de arquivos). A necessidade de um sistema de ajuda foi percebida, especialmente, nos testes, quando os usuários, diante de dificuldades para realização da tarefa, recorreram ao tutorial para uso do fórum (disponibilizado pelo professor)

e instruções para realização das tarefas (também disponibilizadas pelo professor)., MIS (Classe 2: Falta de acessibilidade da documentação; Classe 4: Ausência de instruções claras ou consistentes) Sugestão de melhoria: Criar um sistema de ajuda para uso por alunos, com link de acesso nas próprias telas, explorando o uso de imagens e/ou vídeos de forma a promover mais acessibilidade e comunicabilidade tanto para surdos, quanto para ouvintes. D4 - Ausência de documentação em língua portuguesa. Local na interface: Páginas de ajuda e documentação no site Moodle.org. Descrição/Justificativa: Boa parte da documentação explicativa do Moodle não está disponível em português. Além disso, há um vídeo que explica sobre o Blog do Moodle. Apesar de o vídeo possuir legenda, ela está em língua inglesa. O que caracteriza uma possível ruptura de comunicação para usuários não proficientes nessa língua. No caso do aluno surdo, que tem como primeira língua Libras e segunda língua a língua portuguesa, ele poderá ter grandes dificuldades em fazer uso do vídeo como sistema de ajuda para uso do blog no Moodle. Método de descoberta: MIS (Classe 2: Falta de acessibilidade da documentação) Sugestão de melhoria: - Traduzir os textos de ajuda e documentação para língua portuguesa; Oferecer uma versão em Libras. D5 - Excesso de janelas no envio de arquivos Local na interface: Páginas de postagem no blog e novo tópico no fórum. de imagem já enviada, seleção de imagem no Picasa) em segundo nível do wizard. D6 Usuários não percebem que saíram do contexto do Moodle ao acessarem links externos Local na interface: Todos os links externos, e.g. rodapé da página inicial do Moodle após login. Justificativa: O usuário clicou em links para sites externos, mas não percebeu que saiu do contexto do Moodle e continuou sua interação com o intuito de realizar a tarefa nesse outro contexto. Sugestão de melhoria: Indicar explicitamente a mudança de contexto informando ao usuário que vai acessar um link externo ao Moodle. E então, aguardar a confirmação do usuário para este acesso. D7 - Ausência de agrupamento de postagens de usuários nos blogs Local na interface: Página inicial e menu lateral. Justificativa: O sistema não faz agrupamento de postagens no blog por turma, sendo necessário que os usuários deliberadamente associem suas postagens a uma tag (um texto) comum entre todos os alunos da mesma turma. Dessa forma, os alunos podem ter dificuldade para ler as postagens dos colegas de turma, já que a única forma de visualizar essas postagens é por meio de uma busca por tags. Ou seja, se o professor não instruir os alunos sobre a necessidade de utilização de uma tag comum para a turma ou se o usuário não associar sua postagem a essa tag, tanto o professor quanto outros alunos poderão não encontrar essa postagem. O sistema não comunica esse fato aos usuários, cabendo ao professor a responsabilidade de instruir os alunos. Método de descoberta: MIS (Classe 4: Ausência de instruções claras ou consistentes) Sugestão de melhoria: Incluir busca por turma e organização de todas as postagens de colegas que fazem parte da mesma turma. Comunicar aos usuários sobre a utilidade e necessidade de inclusão de tags. Problemas não intencionais Figura 6 - Passos para incorporar uma imagem no corpo do texto Justificativa: Para incorporar uma imagem a um texto, anexar um arquivo ou enviar arquivos, os usuários precisam interagir com duas a três janelas modais com muitas opções. Na Figura 6 os números indicam os passos necessários para isso.. Sugestões de melhoria: - Seguir padrão utilizado em outros softwares: ao clicar para anexar, abrir diretamente a lista de arquivos locais; - Disponibilizar uma explicação sobre quais são os passos para o envio de arquivos (como um wizard); - Disponibilizar as ações avançadas (seleção Estes problemas representam aqueles não fazem parte da metacomunicação desejada do projetista, como bugs ou aqueles ligados à instância de instalação do Moodle. Problema 1 - Mensagem ilegível ao confirmar a incorporação da imagem no corpo de texto do blog. O texto estava comprimido em uma caixa de diálogo muito pequena que impedia sua leitura e a caixa de diálogo não tinha título. Problema 2 - Alguns signos estáticos estavam em inglês, ou seja, não estavam na língua configurada para o Moodle - língua portuguesa. Localização do Sistema Escolhido A linguagem padrão do Moodle é o inglês, mas existem traduções para mais de 100 línguas em andamento. Até o momento da escrita deste artigo, julho de 2011, 92% dos

textos que compõem a interface do Moodle está traduzido para a língua portuguesa [7]. Durante a avaliação, identificamos na interface do Moodle mensagens e rótulos não traduzidos para o português e concentramos essas ocorrências na seção de problemas não intencionais. Além da tradução de textos, existem outros aspectos de localização de sistemas como o formato de datas, endereços, representação de números, dentre outros. Contudo, todos esses aspectos no Moodle estavam em conformidade com os padrões da cultura brasileira. Fechamento MIS Os resultados obtidos nas avaliações foram analisados e comparados e elaboramos uma apreciação final do conteúdo identificado na metacomunicação do projetista para o usuário e a reconstrução da metamensagem. Por questão de espaço, apresentamos uma versão sintetizada da reconstrução da metamensagem do projetista ao usuário: Caro usuário que faz uso do blog, do fórum ou utiliza o envio de tarefas do Moodle com proficiência em leitura de instruções em inglês, que são experimentadores corajosos de sistemas e têm experiência em navegação na Internet e as ferramentas de colaboração famosas, venho propor a vocês o sistema que criei para viabilizar o ensino à distância. - Uso do fórum: Eu criei para você um sistema de fórum, onde você pode localizar assuntos ou palavras do seu interesse nas mensagens postadas no fórum, visualizar as informações dos tópicos já postados ou incluir um novo tópico de discussão para se comunicar com seus colegas. (...) - Uso do blog: Eu criei para você outro sistema de comunicação que é um pouco diferente do fórum o sistema de blog. Nele você também pode se comunicar com outros colegas, professores, tutores, além de outros usuários do Moodle. (...) - Envio de tarefas: Através do Moodle, você também pode enviar um ou vários arquivos de exercícios/tarefas utilizando o recurso de tarefa do Moodle 2.0. Você pode enviar um ou mais arquivos utilizando o botão "Enviar arquivos". (...). MAC Um resumo do tempo de conclusão da interação e resultado de cada tarefa pode ser encontrado na tabela abaixo: Dos dezoito testes realizados (seis usuários x três tarefas), apenas nove testes foram concluídos com êxito; nove testes foram interrompidos com a desistência dos usuários; e três foram concluídos parcialmente pela desistência de alguns dos itens das tarefas. Em boa parte dos testes, os usuários despenderam muito tempo explorando a interface do Moodle para encontrar o acesso para as páginas onde realizariam as tarefas, sendo que alguns chegaram a sair do contexto e continuaram explorando. Esse comportamento foi mais comum entre os usuários surdos. Uma divergência nas interações de usuários ouvintes e surdos foi na interação com o envio de imagens e arquivos. O Moodle oferece muitas funcionalidades relacionadas à incorporação de imagens e arquivos, mas a interface dessas funcionalidades envolve diversas telas com variadas opções de configuração e diferentes das telas com as quais os usuários estão habituados com outros sistemas na Internet. Apesar dos problemas de interação com essa interface terem ocorrido em maior frequência (porém, não apenas) com os usuários surdos, quaisquer usuários do Moodle poderiam desfrutar de melhorias na comunicabilidade dessa e de outras interfaces do sistema. Segundo a EngSem, a desistência de concluir uma tarefa é uma ruptura completa e pode levar os usuários a imaginar que as funcionalidades que buscavam não estavam presentes no sistema, quando de fato estavam. Isso pode ser grave, pois pode levar os usuários a não utilizarem o sistema por não entenderem a solução do projetista (ruptura no nível estratégico [1,12]). O alto número de rupturas de comunicação completas tanto de usuários surdos, quanto de ouvintes nos permite considerar que elas se devem a problemas de comunicabilidade relacionados à interface e não às dificuldades de linguagem dos usuários surdos. Em geral, a dificuldade de compreensão da língua portuguesa pelos usuários surdos teve reflexos no tempo de execução da tarefa, já que eles levaram, em média, mais do que o dobro do tempo dos ouvintes para concluir as tarefas. Apresentamos o trecho inicial e final do perfil semiótico: Caro aluno que utiliza o Moodle, como um ambiente de apoio, em disciplinas e/ou cursos à distância, presenciais ou semipresenciais. Eu imagino que você é um aluno que deseja ter acesso ao material do seu curso/disciplina e se comunicar com seus colegas e professor, a partir de qualquer computador, em qualquer local e quando quiser. Para isso, eu criei o sistema Moodle que pode ser acessado por você através do simples acesso a uma página da Internet, sendo necessário apenas ter seu login e senha de acessos. (...) Eu imagino que você deseja ter acesso ao material didático do seu curso/disciplina de forma organizada e centralizada em um site e, preferencialmente, online. Assim você pode acessar de qualquer computador, em qualquer local e quando desejar. (...) Eu criei para você um sistema de ensino a distância que pode apoiar suas aulas presencias, semipresenciais e à distância. É ainda um sistema que se adapta as mais diversas necessidades, sendo de fácil aprendizado e bastante flexível. Eu imagino que explorando os recursos do Moodle, você poderá ter um aprendizado mais efetivo e flexível. Você poderá ainda desenvolver seu aprendizado com mais autonomia e ter

liberdade para organizar suas atividades de acordo com o seu tempo e local de acesso. As metamensagens reconstruídas no MIS e no MAC foram consistentes, não apresentando divergências. CONCLUSÕES Neste trabalho foi apresentada a avaliação feita do sistema Moodle, na perspectiva de alunos surdos e ouvintes. Para isso decidimos avaliar a comunicabilidade, por sua importância na identificação de como o sistema está sendo apresentado ao usuário, fundamental para o seu uso. Utilizamos os métodos MIS e MAC. Como produtos finais destes métodos de avaliação baseados na EngSem, temos a metacomunicação do projetista para os usuários através do sistema da forma como ela foi emitida (MIS) e da forma como foi recebida (MAC). A partir da análise dos resultados foi possível notar que a necessidade do usuário ter experiência de navegação na Internet identificado no MIS foi corroborado e intensificado no MAC. Além disso, apesar do designer emitir a informação de que os usuários podem/devem explorar o sistema para aprender através de tentativa e erro, o comportamento dos usuários durante o teste não revelou que essa informação havia sido recebida por eles, uma vez que, em mais de uma situação durante as interações, eles tiveram receio em acessar links, botões ou não perceberam a presença deles. Portanto, além da realização do MIS ter contribuído para a definição dos cenários a serem utilizados no MAC, a comparação da metamensagem emitida (MIS) com a recebida (MAC) forneceu informações importantes para a avaliação da comunicabilidade do Moodle: potenciais rupturas de comunicação identificadas na inspeção foram confirmadas no teste e os resultados de outras rupturas encontradas em cada um se complementaram. Dentre as possíveis contribuições deste trabalho consideramos: 1) Descrição do uso do MIS e MAC para avaliação com surdos e ouvintes, auxiliando na pesquisa destes sistemas em diferentes contextos (considerando acessibilidade) e, também, geração de descrições sobre o seu uso (para pessoas que estão aprendendo os métodos); 2) Apresentação de decisões sobre como aplicar estes métodos com pessoas surdas, sendo útil para quem quer realizar testes com este perfil de usuários; 3) Os problemas encontrados são relevantes sobre o uso do sistema e serão comunicados aos responsáveis pela manutenção do sistema, podendo gerar melhorias na sua qualidade tanto para ouvintes, quanto para surdos; 4) O foco no usuário surdo contribuiu para a geração de conhecimento sobre as dificuldades destes usuários, assim como a adequação das tecnologias ao uso por eles. Sendo assim, a descrição dos problemas apresentados pode evitar que eles ocorram em outros sistemas. AGRADECIMENTOS Agradecemos a todos os participantes dos testes que nos forneceram através de sua interação com o Moodle informações valiosas para a realização deste trabalho; à nossa amiga Glívia Barbosa que nos acompanhou durante a realização dos testes; ao intérprete Rafael Silva Guilherme, que viabilizou nossa comunicação com os usuários surdos; ao professor Márcio Bunte e a Leonardo Freitas do LCC pelo apoio à criação dos cursos no Moodle da Minha UFMG e auxílio a dúvidas. Finalmente, os autores agradecem à FAPEMIG e CAPES pelo apoio à sua pesquisa. REFERÊNCIAS 1. Barbosa, S.D.J. and Silva, B.S. da. Interação Humano- Computador. Elsevier Editora Ltda., 2010. 2. Bernardino, E.L. Absurdo ou lógica? A produção lingüística dos surdos. Profetizando Vida, Belo Horizonte, 2000. 3. Botelho, P. Linguagem e letramento na educação dos surdos - Ideologias e práticas pedagógicas. Autentica Editora, Belo Horizonte, 2005. 4. Brasil. Ministério Nacional da Saúde. Conselho Nacional de Saúde. Resolução 196/96 sobre pesquisa envolvendo seres humanos. Journal of the Electrochemical Society, 1996. 5. Litto, F.M. and Formiga, M. A educação a distância: o estado da arte. Pearson Education, São Paulo, 2007. 6. Messa, W.C. Utilização de Ambientes Virtuais de Aprendizagem - AVAS: A Busca por uma Aprendizagem Significativa. ABED 9, (2010). 7. Moodle.org. Download: Language Packs. 2011. (http://download.moodle.org/langpack/2.0/). 8. Oliveira, D.R.R. de, Souza, G.O., Dias, J.S., Muller, M.F., Prates, R.O., and Bernardino, E.L. Avaliação da acessibilidade do sítio da Receita Federal para deficientes auditivos. Competição de Avaliação do IHC, Sociedade Brasileira de Computação (2010). 9. Palloff, R.M. and Pratt, K. Construindo comunidades de aprendizagem no ciberespaço: estratégias eficientes para a sala de aula on-line. Artmed, 2002. 10. Prates, R.O. and Barbosa, S.D.J. Introdução à Teoria e Prática da Interação Humano Computador fundamentada na Engenharia Semiótica. Atualizações em Informática, (2007), 263 326. 11. Prates, R.O., Souza, C.S. de, and Barbosa, S.D.J. Methods and tools: a method for evaluating the communicability of user interfaces. interactions 7, 2000, 31 38. 12. Souza, C.S. de. The Semiotic Engineering of Human- Computer Interaction. The MIT Press, Cambridge, 2005.