Approaches to E-learning Quality Assessment ABORDAGENS À AVALIAÇÃO DA QUALIDADE EM E-LEARNING

Transcrição

1 Approaches to E-learning Quality Assessment ABORDAGENS À AVALIAÇÃO DA QUALIDADE EM E-LEARNING Maria Pietronilla Penna ** Università degli Studi di Cagliari, Facoltà di Sienze della Formazione Vera Stara * Università Plitecnica delle Marche, Facoltà di Ingegneria, DEIT v.stara@univpm.it Resumo O campo do e-learning ainda se carateriza por apresentar muitas questões em aberto, tais como: Quem deve garantir a sua qualidade? A avaliação da qualidade em e- learning é uma tarefa difícil, que envolve intervenção humana e não pode ser baseada somente numa metodologia simples e reprodutível. Neste sentido, este artigo é dedicado a discutir diferentes abordagens e critérios que poderiam ser utilizados para uma avaliação da qualidade dentro deste domínio: ISO/IEC : 2005, European Quality Observatory (EQO) (Observatório Europeu da Qualidade) e alguns modelos importantes, tais como o Modelo de Sucesso em e-learning (Holsapple e Lee-Post, 2006), o modelo de Klein et al (2006) e LCD. A partir desta análise, podemos concluir que, apesar dessas tentativas, a avaliação da qualidade em e-learning permanece, até agora, uma questão em aberto, e ainda são necessárias boas práticas em e-learning que garantam um curso eficaz para os alunos e outros atores envolvidos. Palavras-chave: Qualidade em e-learning, avaliação, fator de qualidade do e-learning 1. Introdução Forças económicas, sociais e tecnológicas revolucionam diariamente os processos de ensino e aprendizagem nas organizações, universidades e escolas. No que se refere a esta evolução do ensino e aprendizagem, no entanto, têm sido usadas diferentes expressões para caracterizar a inovação. Entre eles, podemos citar "e-learning", "aprendizagem distribuída", "aprendizagem on-line", "aprendizagem baseada na web" e "ensino a distância" (Wentling et al., 2000). Segundo o Centro Nacional de Estatística para a Educação (National Center for Education Statistics) do Departamento da Educação nos EUA (US Department of Education), 90% das instituições públicas 2- years e 89% das 4-years ofereceram cursos de educação a distância em com matrículas no montante de, respetivamente, e de um total de

2 matrículas. Dessas escolas, 90% ofereceram cursos via Internet, usando a instrução assíncrona baseada em computador, e 88% indicaram planos para iniciar ou aumentar a utilização da Internet como principal meio de entrega de instrução (Waits & Lewis, 2003). Estas estatísticas confirmam a ideia de que a educação a distância baseada na Internet é a tecnologia mais prevalecente no e-learning e de que a Internet causou mudanças drásticas na educação em geral e no ensino a distância em particular. Como consequência, a utilização de tecnologias da Internet para fornecer formação tem sido anunciada como a "revolução do e-learning (Galagan, 2000). E-learning é, essencialmente, a transferência de habilidades e conhecimentos através da rede, e refere-se ao uso de aplicações e processos eletrónicos para a aprendizagem. Aplicações e processos em E-learning incluem aprendizagem baseada na Web, aprendizagem baseada em computador, salas de aula virtuais e colaboração digital. O conteúdo é entregue através da Internet, intranet/extranet, áudio ou vídeo, televisão por satélite e CD-ROM. E-learning é o preferido por uma variedade de razões: ele fornece uma formação consistente e, a nível mundial, reduz o ciclo de tempo de entrega, aumenta a conveniência do aluno, reduz a sobrecarga de informações, melhora o rastreamento e reduz despesas (Welsh et all, 2003). Neste sentido, este artigo dedica-se a discutir a questão complexa e, talvez mais importante, da avaliação da qualidade em e-learning. Esta última tem sido tratada por via do recurso a uma análise das vantagens e limitações das principais abordagens introduzidas para avaliar a qualidade do e- learning. Antes de mais, o que significa "qualidade do e-learning"? A visão predominante (de acordo com os resultados de um levantamento realizado por Ehlers et al., 2005) é que a qualidade é a obtenção de melhores resultados na aprendizagem (50%), juntamente com algo que é excelente no desempenho (19%). Esta compreensão essencialmente pedagógica foi mais difundida do que opções relacionadas com a melhor relação custo-benefício ou de marketing. Além disso, devemos ter em consideração que " qualidade em e-learning" tem uma dupla importância na Europa. Em primeiro lugar, e- learning está associado em vários documentos de reflexão e de planos com um aumento na qualidade das oportunidades educacionais, garantindo uma bem-sucedida adaptação à sociedade da informação. Esse contexto é chamado de 'qualidade através do e-learning'. Em segundo lugar, há um debate separado, mas associado, sobre como melhorar a qualidade do e-learning em si e, neste caso, o contexto é chamado de "qualidade para o e-learning" (Ehlers et al., 2005). 2. A qualidade para o e-learning De acordo com Pawlowski (2003), a qualidade no campo do e-learning não está associada a uma medida bem definida. É variável no que diz respeito ao âmbito, à perspetiva, à dimensão. Apesar deste problema, a avaliação da qualidade está a tornar-se uma questão de importância crescente, como mostrou o interesse da ISO/IEC : 2005 e do Observatório Europeu da Qualidade (OEQ). A ISO/IEC :2005 é um enquadramento para descrever, comparar, analisar e implementar uma gestão da qualidade e abordagens de garantia de qualidade. Vai

3 servir para comparar as diferentes abordagens existentes e para as harmonizar de forma a convergirem para um modelo comum de qualidade. A sua principal componente é o Quadro de Referência para a Descrição de Abordagens de Qualidade (QRDAQ). Consiste nos seguintes itens: um esquema de descrição para a gestão da qualidade; um modelo do processo definindo os processos básicos a serem considerados na gestão da qualidade no domínio da aprendizagem, educação e formação suportadas pelas TIC, e uma declaração de conformidade para o formato da descrição. A ISO/IEC descreve os processos como um ciclo de vida do e-learning. É um modelo referenciado com um alto nível de abstração, que deve ser adaptado a uma dada organização. O modelo será utilizado como um enquadramento para a descrição, comparação e análise das abordagens de processos orientados para a qualidade (Hirata, 2006). Consiste essencialmente em duas partes: Um esquema de descrição para abordagens da qualidade. Um modelo de processo como classificação de referência. O Modelo de Descrição é um esquema para descrever interoperativamente abordagens de qualidade (tais como linhas orientadoras, guias de design, requisitos) e documenta todos os conceitos de qualidade de forma transparente. O Modelo do Processo é um guia dos diferentes processos de desenvolvimento de cenários de aprendizagem e inclui os processos relevantes dentro do ciclo de vida dos sistemas de informação e comunicação para a aprendizagem, educação e formação. O Modelo do Processo é dividido em sete partes. Os subprocessos estão incluídos fazendo referência a uma classificação de processos. Em relação ao grupo de trabalho sobre a qualidade, está atualmente baseado em três subtarefas subsequentes, desenvolvendo mais ferramentas e suporte: Parte 2: O "Modelo de Qualidade" harmonizará os aspetos dos sistemas de qualidade e as suas relações, e fornecerá orientação para todos os intervenientes. Não vai impor uma implementação particular mas, ao invés, focar-se-á nos seus efeitos. O modelo será extensível aos requisitos de determinadas comunidades. Parte 3: As " Referências de Métodos e Métricas" harmonizarão os formatos para descrever os métodos e as medidas para a gestão e garantia da qualidade. Fornecerá uma coleção de métodos de referência que poderá ser usada para gerir e garantir a qualidade em diferentes contextos. Além disso, essa parte fornecerá uma coleção de medidas e indicadores de referência que poderá ser usada para medir a qualidade em processos, produtos, componentes e serviços. Parte 4: As "Boas Práticas e o Guia de Implementação" fornecerão critérios harmonizados para a identificação das melhores práticas, linhas orientadoras para a adaptação, implementação e uso deste padrão, e conterá um rico conjunto de exemplos de boas práticas. Em relação ao OEQ, tem que ser definido e aplicado um enquadramento comparável e adaptável visando estruturar abordagens da qualidade para um mercado comum

4 Europeu e global para produtos e serviços educacionais. O repositório do OEQ é baseado nesta abordagem e conceito. O objetivo principal é fornecer uma plataforma detalhada para que desenvolvedores, gestores, administradores, decisores e alunos encontrem uma abordagem de qualidade adequada às suas necessidades. O OEQ fornece um enquadramento conceptual para a descrição e a harmonização das abordagens de qualidade. Ou seja, sugere um enquadramento de referência como um padrão de qualidade Europeu. O projeto está diretamente ligado aos grupos de padronização do CEN/ISSS (Workshop de Tecnologias de Aprendizagem) e ISO/IEC JTC1 SC36, com o objetivo de transferir resultados das comissões de padronização para os utilizadores e vice-versa. Assim, disponibiliza um repositório baseado na Internet para a gestão da qualidade, garantia de qualidade e abordagens da avaliação da qualidade no campo do e-learning. Além disso, fornece recomendações para a utilização da gestão da qualidade, garantia de qualidade e abordagens de avaliação da qualidade para diferentes grupos-alvo (p. ex. utilizadores finais, administradores de HE, desenvolvedores) e para fins específicos (p. ex. melhoria de processos, transparência de produtos, objetivos de domínio específico, necessidades nacionais / regionais / locais). O projeto do OEQ espera que as seguintes linhas orientadoras possam dar forma à qualidade do e-learning em 2010: (a) os alunos devem desempenhar um papel na determinação da qualidade dos serviços de e-learning; (b) a Europa deve desenvolver uma cultura de qualidade na educação e na formação; (c) a qualidade deve desempenhar um papel central na política de educação e formação; (d) a qualidade não deve ser do domínio exclusivo das grandes organizações; (e) devem ser estabelecidas estruturas de suporte para fornecer assistência competente e orientada para o desenvolvimento da qualidade das organizações; (f) os padrões de qualidade abertos devem ser mais desenvolvidos e amplamente implementados; (g) a investigação interdisciplinar da qualidade deve estabelecer-se no futuro como uma disciplina académica independente; (h) a investigação e a prática devem desenvolver novos métodos de intercâmbio; (i) o desenvolvimento da qualidade deve ser concebido em conjunto por todos os envolvidos; (j) devem ser desenvolvidos modelos de negócio adequados para os serviços no domínio da qualidade.

5 Como é possível verificar a partir das breves descrições das duas abordagens acima apresentadas, ambas tentam incluir todos os aspetos a ter em consideração na avaliação da qualidade do e-learning. O problema destes enquadramentos, no entanto, decorre da sua generalidade. Ou seja, eles pressupõem a ocorrência de processos onde faltam indicações concretas. Por outro lado, cada uma delas requer, para estar corretamente concebida ou controlada, um profundo conhecimento teórico e experimental em domínios como a psicologia, ciência da informação, engenharia de software e sociologia. Não apenas esse conhecimento não está atualmente disponível, como também será difícil torná-lo acessível mesmo num futuro próximo. Portanto, essas abordagens soam como listas de recomendações genéricas, cuja aplicação concreta é deixada apenas à fantasia (e não à ciência) de alguns designers. 3. Fatores de qualidade do e-learning Outras abordagens estão a tentar desenvolver os seus próprios critérios, mas eles estão a ser usados a nível nacional, regional, local (Wirth, 2005) ou consistem apenas em modelos como os descritos a seguir. O Modelo de Sucesso do E-learning (Holsapple e Lee-Post, 2006) é uma descrição de um processo dedicado a medir e avaliar o sucesso. Sucesso em e-learning é definido como uma construção multifacetada a ser avaliada em três fases sucessivas: a conceção do sistema, o sistema de entrega e os resultados do sistema. Conforme se pode ver na Figura 1, na primeira etapa, o objetivo é alcançar o sucesso da conceção do sistema, maximizando as três dimensões da qualidade: qualidade do sistema, qualidade da informação e qualidade de serviço. A segunda etapa é atingir o sucesso do sistema de entrega, maximizando a utilização e as dimensões de satisfação do usuário. A meta final visa o alcançar do resultado do sistema com sucesso através da maximização da dimensão dos benefícios líquidos. Cada dimensão de sucesso é medida como uma única medida numérica, agregando as avaliações de seu conjunto de fatores de atribuição obtidos através de instrumentos de pesquisa. O sucesso global de e-learning pode então ser avaliado para cada dimensão. Uma baixa pontuação para qualquer dimensão de sucesso indica uma deficiência nessa área e os esforços podem ser gastos em concordância a fim de remediar a dita deficiência. O modelo acima descrito sugere que um fator crítico de sucesso no e-learning é a disponibilidade on-line dos alunos. A seleção de alunos para cursos on-line é baseada na avaliação das respostas com referência a quatro medidas de preparação: preparação académica, competência técnica, estilo de vida adequado e com preferência para uma aprendizagem para o e-learning. O aluno capacitado para estudar online é caraterizado por um elevado nível em todas as quatro competências. A capacidade dos alunos de estudarem online tem um impacto decisivo no sucesso do desempenho no curso e satisfação em e-learning.

6 Conceção do sistema Qualidade do sistema 1. Fácil utilização 2. Amigável 3. Estável 4. Seguro 5. Rápido 6. Recetivo Qualidade da informação 1. Bem organizada 2. Bem apresentada 3. Do tamanho certo 4. Escrita de forma clara 5. Útil 6. Atualizada Qualidade do serviço 1.Imediato 2. Recetivo 3. Justo 4. Conhecedor 5. Disponível Sistema de entrega Utilização 1. PowerPoints 2. Áudio 3. Script 4. Fóruns de discussão 5. Estudos de caso 6. Problemas de prática 7. Tutoriais de qualidade 8. Tarefas 9. Exame de prática Satisfação do Utilizador 1. Satisfação Global 2. Experiência agradável 3. Sucesso Total 4. Recomenda a outros Resultados do sistema Benefícios líquidos Aspectos Positivos 1. Melhorar a aprendizagem 2. Poderes 3. Economia do tempo 4. Sucesso académico Aspectos Negativos 1. Falta de Contato 2. Isolamento 3. Problema de Qualidade 4. Dependência de tecnologia Fig. 1. Modelo de sucesso do E-learning Ao contrário do modelo apresentado na Figura 2 que assume que os resultados do curso são um resultado direto da motivação para aprender (Klein et al., 2006). A motivação para aprender é um fator determinante das escolhas que os indivíduos fazem para interagir, participar e persistir em atividades de aprendizagem. Ela é influenciada por caraterísticas do aluno, características de instrução e barreiras percebidas e que possibilitam (barreiras percebidas e que possibilitam são eventos ou condições ambientais que se acreditam existir ou ser encontradas e pensadas para impedir ou facilitar o progresso). As perceções das barreiras e de incapacitadores são por si influenciadas pelo aprendente e pelas características instrucionais.

7 Fig. 2. O modelo conceitual de Klein et al. (2006) Este modelo destaca o papel central da motivação do aluno para aprender e da perceção de características quer sejam barreiras ou facilitadores: melhorar a perceção dos facilitadores dos estagiários e dar resposta às preocupações sobre potenciais barreiras são estratégias importantes para aumentar a motivação para aprender que, por sua vez, facilita o caminho para resultados positivos. Segundo Klein et al. (2006) uma melhor compreensão do impacto que o uso da tecnologia tem na eficácia do ensino requer a análise dos mecanismos que podem dar conta das diferenças na aprendizagem, tais como a motivação para aprender, bem como efeitos diretos da tecnologia na aprendizagem. Uma perspetiva um pouco diferente foi adotada por Lim et al. (2007), que identificam cinco dimensões que afetam a eficácia da formação on-line: a motivação e a auto eficácia do formando, o conteúdo do ensino, o nível de comunicação entre formador e formando, o ambiente organizacional e a facilidade de uso dos recursos on-line do Website. Quanto a esta última dimensão, uma estratégia específica pode garantir a facilidade de uso: Aprendizagem centrada no aluno (LCD). Uma abordagem LCD baseia-se no conhecimento dos utilizadores e suas diferentes características: como é que os alunos preferem aprender, como é que eles estão a aprender a informação, a que pressões estão os alunos sujeitos no seu dia-a-dia, qual a sua motivação ou incentivo para se empenharem na aprendizagem on-line, quais os constrangimentos que enfrentam, que necessidades especiais têm, em que medidas eles se sentem confortáveis com as aplicações on-line usadas, que experiência têm eles com e-learning (Miller 2005). Conhecer o perfil dos alunos é a melhor maneira de criar projetos úteis, estilos e tons, mas, quando se ensina on-line, existem algumas preocupações de design, que representam outros potenciais benefícios da planificação. Estas preocupações começam a partir de uma etapa comum: a seleção de uma técnica de entrega ou da combinação de técnicas a fim de definir, a priori, um design de interface de utilizador. A conceção da interface do curso é extremamente importante (Jones, 1994), porque

8 tem um impacto positivo ou negativo sobre o desempenho do utilizador (Tselios et all, 2001). Então, é desejável usar fontes de visualização amigáveis e cores seguras para a web, a fim de criar um padrão consistente e proporcionar tempos rápidos de download e ajudar os utilizadores, fornecendo páginas para impressão. Segundo Norman (1998) a interface deve ser interativa e fornecer também feedback, ter objetivos específicos, motivar, dar uma sensação contínua de desafio, oferecer as ferramentas apropriadas, evitar qualquer fator de irritação que possa interromper o fluxo de aprendizagem. LCD deve ter em conta que os alunos são sensíveis à legibilidade do texto no ecrã. Por isso a formatação e espaçamento do texto, bem como as cores, são importantes. Além disso, um aspeto comum ajuda os utilizadores a distinguir as páginas do curso de páginas externas hiperligadas. As pessoas não gostam de estudar os textos no ecrã e também não querem ir mais longe do que três cliques a partir da página principal, por isso é necessário ter uma barra de navegação sempre disponível. Os alunos estão sempre em busca de algo novo dentro da web. Por isso, é importante atualizar com frequência, conteúdo e notícias e também dar uma indicação direta do que é novo, logo que possível (Van Rennes et al., 1998). Conclusão O e-learning tem vindo a progredir desde a utilização básica das Tecnologias da Informação e da Comunicação no domínio da aprendizagem para novas formas de educação e formação que enfatizam a criatividade e a colaboração, bem como novas habilidades para a sociedade do conhecimento. Esta, por sua vez, requer uma mudança significativa de perspetiva, longe de um enfoque na tecnologia, conectividade e Internet, para uma maior consideração do contexto da aprendizagem e da necessidade de colaboração, comunicação e inovação. No entanto, esta mudança requer uma quantidade de conhecimentos até então não totalmente disponíveis. Este é o motivo para a dificuldade na avaliação da qualidade do e-learning. Ou seja, por um lado, temos quadros muito interessantes, tais como os de ISO/IEC : 2005, e do EQO, mas que consistem essencialmente numa lista de sugestões e prescrições sem indicações para uma implementação em termos práticos. Por outro lado, temos uma série de modelos, como os esboçados na secção anterior, cada um associado a indicações concretas, mas diferentes uns dos outros no que diz respeito às hipóteses de base e aos contextos de aplicação. Neste sentido, a qualidade do e-learning permanece uma questão em aberto, e ainda precisamos de um e-learning que garanta as melhores práticas que justifiquem que um curso seja eficiente para o aluno e para os demais atores envolvidos. Mas tal garantia, contudo, não se pode somente basear na prática. Precisamos, nesta perspectiva, de novas investigações científicas e de pesquisas ad hoc que envolvam especialistas em educação, equipas e designers de e- learning.

9 Bibliografia Ehlers U.D., Goertz L., Hildebrandt B., Pawlowski J.M. (2005). Quality in e-learning. Cedefop Panorama series; 116. Luxembourg: Office for Official Publications of the European Communities, URL: f. Galagan, P.A. (2000). The e-learning revolution. Training & Development, v54 n12 p24-30 Dec Hirata K. (2006). Information model for quality management methods in e-learning. Proceedings of the Sixth International Conference on Advanced Learning Technologies (ICALT'06). URL: pdf Holsapple C.W., Lee-Post A. (2006). Defining, Assessing, and Promoting E-learning Success: An Information Systems Perspective. Decision Sciences Journal of Innovative Education Vol. 4 Number 1 January Jones M.G. (1994). Visuals information access: a new philosophy for screen and interface design. In Imagery and visual literacy: selected readings from annual conference of the international visual literacy association, Tempe, October 12-16, Klein H.J., Noe R.A., Wang C. (2006). Motivation to learn and course outcomes: the impact of delivery mode, learning goal orientation and perceived barriers and enables. Personnel Psychology 59, Koper E.R.J. (2001). Modelling Units of Study from a Pedagogical Perspective: the pedagogical meta model behind EML. URL: Lim H., Lee S.G.,_, Nam K. (2007). Validating E-learning factors affecting training effectiveness. International Journal of Information Management 27 (2007) Miller M.J. (2005). Usability in E-learning. URL: Norman D. (1998). The invisibile computer. Cambridge MA, MIT Press. Pawlowski J.M. (2003). The European quality observatory (EQO): structuring quality approaches for e-learning. Proceedings of the 3rdIEEE International Conference mon Advances Learning Technologies (ICALT 03).

10 Tselios N. K., Avouris N. M., Dimitracopoulou A., Daskalaki S. (2001). Evaluation of Distance-learning Environments: Impact of Usability on Student Performance. International Journal of Educational Telecommunications, Vol. 7, No. 4, pp Van Rennes L., Collis B. (1998). User interface design for WWW-based courses: Building upon student evaluations. ED Waits, T.,&Lewis, L. (2003). Distance education at degree-granting postsecondary institutions: , NCES Washington, DC: National Center for Education Statistics, U.S. Department of Education. Welsh E.T., Wanberg C.R., Brown K.G., Simmering M.J. (2003). E-learning: emerging uses, empirical results and future direction. International Journal of Training and Development 7:4. Wentling T.L., Waight C., Gallaher J., La Fleur J., Wang C., Kanfer A. (2000). E-learning - A Review of Literature. URL: Wirth M.A. (2005). Quality Management in E-learning: Different Paths, Similar Pursuits. 2nd International SCIL Congress. URL: /programme-10-11/docs/workshop-1-wirth-text.pdf.