Instrumento para a Avaliação de Objectos de Aprendizagem (LORI)

Transcrição

1 Instrumento para a Avaliação de Objectos de Aprendizagem (LORI) Manual do Usuário John Nesbit (nesbit@sfu.ca) Karen Belfer (kbelfer@vcc.ca) Tracey Leacock (tleacock@sfu.ca) O LORI foi desenvolvido para a Rede de Pesquisa e avaliação em E-Learning ou e- aprendizagem (elera) com o apoio da Telelearning NCE, CANARIE Inc, e EduSource Canada. Agradecemos à Natasha Boskic, Anne Archambault e John Vargo pelo seu trabalho nas versões anteriores do LORI. Learning Object Review Instrument (LORI) Versão 2.0

2

3 O que são objectos de aprendizagem? Objectos de aprendizagem são recursos online ou softwares interactivos usados para aprendizagem. Uma única imagem, uma página de texto, uma simulação interactiva, ou um curso completo, podem todos ser exemplos de objectos de aprendizagem. Quando concebidos para a reutilização, os objectos de aprendizagem podem ser partilhados e os custos de produção gerais reduzidos. Porque precisamos de um instrumento de avaliação? Uma procura através de um vasto repositório de objectos de aprendizagem na internet pode ter como resultado milhares de objectos. As avaliações ajudam os usuários a optar pela qualidade e adequação. O LORI facilita a comparação dos objectos, fornecendo um formato de avaliação comum. O que é o LORI? Ao avaliar um objecto de aprendizagem com o LORI, os revisores podem avaliar e comentar tendo em conta 9 aspectos: 1. Qualidade do Conteúdo: Precisão, apresentação equilibrada de ideias, nível apropriado de detalhes, e reutilização em contextos variados 2. Alinhamento dos Objectivos de Aprendizagem: Alinhamento entre os objectivos de aprendizagem, actividades, avaliações, e características do aluno. 3. Feedback e Adaptação: Conteúdo ou feedback adaptativo impulsionados pelo input ou modelação do aluno 4. Motivação: Habilidade de motivar e interessar um grupo concreto de alunos 5. Concepção da Apresentação: Concepção de informações visuais e sonoras para uma aprendizagem reforçada e processamento mental eficaz 6. Utilização Interactiva: Facilidade de navegação, previsibilidade da interface do usuário, e qualidade das funções de ajuda da interface. 7. Acessibilidade: Concepção de controlos e formatos de apresentação para acomodar alunos deficientes e em mobilidade. 8. Conformidade com os Padrões: Aderência aos padrões e operatividade internacionais no que respeita às plataformas técnicas normalmente usadas Como são os objectos classificados? Alto Baixo Para cada item, a qualidade é avaliada numa escala de valores de cinco níveis. Se o item é considerado como não relevante para o objecto de aprendizagem, ou se o revisor não se sente qualificado para julgar esse critério, então o revisor pode optar pela exclusão do item, escolhendo não aplicável (NA). Como deverá o LORI ser usado? O LORI pode ser usado para avaliações individuais e de Painel. Quando usado numa avaliação de painel, recomendamos o modelo convergente de participação para a avaliação colaborativa (Besbit, Belfer, & Vargo, 2002). Os resultados para cada item devem ser

4 apresentados como valores médios acompanhados de comentários dos revisores. Para mais informações sobre a teoria e evidências que apoiam o LORI, veja Leacock e Nesbit (2007) e outros relatórios publicados. Referências Leacock, T.L., & Nesbit, J.C. (2007). A qualidade dos objectos de aprendizagem. Tecnologias Educacionais e a Sociedade, 10 (2), Nesbit, J. C., Belfer, K., & Vargo, J. (2002). Um modelo de participação convergente para a avaliação de objectos de aprendizagem. Jornal Canadense de Aprendizagem e Tecnologias, 28 (3),

5 1-1. Qualidade do Conteúdo Instrumento para a Avaliação de Objectos de Aprendizagem Precisão, apresentação equilibrada de ideias, nível apropriado de detalhes, e reutilizabilidade em contextos variados O conteúdo não tem erros e apresenta-se sem parcialidade ou omissões que possam enganar os alunos. Os enunciados são apoiados por evidências e argumentos lógicos. As apresentações enfatizam pontos-chave e ideias significantes com um nível apropriado de detalhes. Os grupos culturais e étnicos são representados de forma equilibrada e sensível. O conteúdo é aplicável a uma vasta gama de contextos de aprendizagem e adequado para muitos tipos e níveis de alunos. Numa animação da acção, de bombeamento, do coração o conteúdo é preciso, mas a omissão de informações importantes e relevante pode enganar o aluno. A animação mostra correctamente o sangue a mover-se do átrio direito para o ventrículo direito, e do átrio esquerdo para o ventrículo esquerdo. Falha ao não mostrar o sangue a moverse do ventrículo direito para os pulmões e dos pulmões para o átrio esquerdo. Alguns estudantes podem ser enganados, passando a acreditar que o sangue vai directamente do ventrículo direito para o átrio esquerdo sem passar pelos pulmões. A animação é adequada para a biologia do ensino secundário mas pressupõe que os alunos já conheçam certos termos especializados como artéria e veia. Uma ou mais das seguintes características tornam o objecto de aprendizagem inutilizável. O conteúdo não é preciso. O conteúdo é apresentado com parcialidade ou omissões significantes. O nível de detalhes não é apropriado. O conteúdo não se adequa à reutilização. Diferenças culturais ou étnicas não são representadas de forma equilibrada.

6 Instrumento para a Avaliação de Objectos de Aprendizagem 2. Alinhamento dos Objectivos de Aprendizagem Alinhamento entre os objectivos de aprendizagem, actividades, avaliações, e características do aluno. Os objectivos de aprendizagem são declarados, seja no âmbito do conteúdo acedido por um aluno ou dos metadados disponíveis. Os objectivos de aprendizagem são apropriados para os alunos pretendidos. As actividades, conteúdos e avaliações de aprendizagem fornecidos pelo objecto alinham-se com os objectivos declarados. O objecto de aprendizagem é suficiente, em si e por si mesmo, para permitir que os alunos alcancem os objectivos de aprendizagem. Num objecto de aprendizagem sobre a função cardíaca, sete de entre dez questões num pós-teste correspondem a uma animação que mostra a acção de bombeamento do coração. O grupo de alunos pretendido, dificilmente, responderia a três das questões a partir das informações apresentadas na animação, mesmo apesar das instruções implicarem que não são necessários recursos adicionais. Uma das seguintes características torna o objecto de aprendizagem inutilizável. Nenhum dos objectivos de aprendizagem é claro. As avaliações, actividades de aprendizagem e outros conteúdos são substancialmente incompatíveis. Os objectivos de aprendizagem não são apropriados para os alunos pretendidos.

7 Instrumento para a Avaliação de Objectos de Aprendizagem 3. Feedback e Adaptação Conteúdo adaptativo ou feedback impulsionados pelo input ou modelação do aluno O objecto de aprendizagem tem a capacidade (a) de criar mensagens instrutivas ou actividades de acordo com as necessidades ou características específicas do aluno ou (b) de simular ou construir fenómenos em estudo em resposta ao input diferencial do aluno. Um modelo ou perfil do aluno é mantido, o qual influência o comportamento do objecto de aprendizagem. Um objecto de aprendizagem sobre a acção de bombeamento do coração apresenta feedback, mas não mantém um modelo do aluno. Após cada questão do teste o objecto de aprendizagem indica se a resposta do aluno está ou não errada, e, no caso de erro, fornece a resposta correcta. Após todas as questões serem respondidas, ele retorna uma pontuação total. Embora não use as respostas do aluno para adaptar apresentações subsequentes, o objecto de aprendizagem pode ainda ser útil. O objecto de aprendizagem pode apoiar a interactividade na navegação mas: Não há qualquer feedback no que respeita à qualidade ou exactidão da resposta de um estudante/ Não há qualquer manutenção de um registo de respostas ou modelo de alunos que influencie apresentações instrutivas. Não há qualquer simulação ou conjunto de ferramentas que pode variar o seu output de acordo com o input do aluno.

8 4. Motivação Habilidade de motivar e interessar um grupo concreto de alunos Instrumento para a Avaliação de Objectos de Aprendizagem O objecto de aprendizagem é altamente motivador. O seu conteúdo é relevante para os objectivos e interesses pessoais dos alunos pretendidos. O objecto oferece escolha, actividades de aprendizagem baseadas na vida real, interactividade, humor, drama, ou desafios em forma de jogo. Ele fornece expectativas e critérios reais para o sucesso. O Feedback compara o desempenho do aluno aos critérios, mostra as consequências naturais do desempenho, e explica como pode o desempenho ser melhorado. Os alunos terão tendência a relatar maior interesse no tópico após terem trabalhado com o objecto de aprendizagem. Uma animação multimédia sobre a anatomia do coração é acompanhada de uma narração sonora, apresentada completamente. O objecto inclui um pós-teste de informações factuais, mas não existem desafios integrados na animação. O aluno não pode controlar ou interagir com a animação. Os alunos terão tendência a relatar nem o aumento, e nem a redução de interesse no tópico após terem trabalhado com o objecto de aprendizagem. Apesar das suas limitações motivacionais, o objecto pode ainda ser útil para os alunos. Devido a uma ou mais das seguintes características, o objecto não é útil. O conteúdo não é relevante para os objectivos dos alunos pretendidos. As actividades são muito fáceis ou difíceis para os alunos pretendidos. As funcionalidades que atraem o interesse são distracções que interferem com a aprendizagem. Os alunos não têm oportunidade de escolher. O feedback não informa aos alunos sobre o seu nível de competência relativamente aos objectivos de aprendizagem.

9 5. Concepção da Apresentação Instrumento para a Avaliação de Objectos de Aprendizagem Concepção de informações visuais e sonoras para uma aprendizagem reforçada e processamento mental eficaz Os valores de produção e concepção de informações permitem ao usuário uma aprendizagem eficaz. A apresentação minimiza a procura visual. O texto é legível. Os gráficos e diagramas estão etiquetados e ordenados. Os eventos animados ou gravados em vídeo são descritos por narração sonora. Os títulos significativos assinalam o conteúdo das passagens de texto. A escrita é clara, concisa e sem erros. As cores, musicas, e aspectos decorativos são esteticamente agradáveis e não interferem com os objectivos de aprendizagem. A acção de bombeamento do coração é claramente descrita em texto ao lado da animação, mas é difícil para os alunos associar eventos específicos na animação com as partes do texto que os descrevem. Apesar deste defeito, o objectivo de aprendizagem pode ainda ser útil. A concepção das informações, estética ou valores de produção são baixos. O objecto de aprendizagem pode ser inutilizável por razoes como as seguintes. A fonte ou tamanho de fonte escolhido reduz, significativamente a velocidade de leitura. As informações necessárias são ilegíveis. A qualidade de vídeo ou áudio é insuficiente para a aprendizagem. A escolha de cores, imagens e sons interfere com os objectivos de aprendizagem. A concepção das informações produz processos cognitivos desnecessários. Não há títulos suficientes no texto ou os mesmos não são significativos para os alunos.

10 Instrumento para a Avaliação de Objectos de Aprendizagem 6. Utilidade interactiva Facilidade de navegação, previsibilidade da interface do usuário, e qualidade das funções de ajuda da interface. A concepção da interface do usuário implicitamente informa aos alunos como interagir com o objecto, ou existem instruções claras de uso. A navegação pelo objecto é simples, intuitiva e livre de atrasos excessivos. O comportamento da interface do usuário é consistente e previsível. A interface para uma animação da função cardíaca é útil mas pode ser melhorada com uma concepção ou instruções melhores. A animação tem etiquetas que apenas aparecem quando o usuário passar o cursor do mouse sobre uma parte etiquetada do coração. É difícil julgar que partes estão etiquetadas sem passar o cursor sobre cada parte da animação. Apesar deste defeito, o objecto de aprendizagem pode ainda ser útil. A interface do usuário do objecto de aprendizagem é caracterizada por uma ou mais das seguintes caracteristicas : Funcionalidades de navegação como botões e hyperlinks são inexistentes. Vários hyperlinks ou botões não funcionam. Atrasos de navegação são excessivos. O funcionamento da interface não é intuitivo, e não são fornecidas instruções. O funcionamento da interface é inconsistente e imprevisível.

11 Instrumento para a Avaliação de Objectos de Aprendizagem 7. Acessibilidade Concepção de controlos e formatos de apresentação para acomodar alunos deficientes e em mobilidade. O objecto de aprendizagem fornece um nível elevado de acomodação para os alunos com deficiências sensoriais e motoras, e pode ser acedido através de dispositivos de assistência e altamente portáteis. Segue as directrizes do Consórcio IMS para as Aplicações de Aprendizagem Acessíveis e está em conformidade com as Directrizes de Acessibilidade de Conteúdo Web a nível AAA. Um objecto de aprendizagem que consiste numa página HTML com uma animação integrada fornece subtítulos para uma narração sonora e uma descrição sonora suplementar das acções visuais. Todavia, o objecto falha no âmbito de especificar a expansão de vários acrónimos e usa o elemento HTML FONT ao invés da propriedade da CSS font para controlar o tamanho da fonte. Ele está em conformidade com as Directrizes de Acessibilidade de Conteúdo Web a nível A. O objecto de aprendizagem é inutilizável para muitos alunos deficientes por razões como as que se seguem. Os vídeos não têm subtítulos. Não são fornecidas transcrições para os ficheiros de áudio. Faltam etiquetas nas imagens. Os gráficos requerem a percepção de cores para que possam ser entendidos.

12 Instrumento para a Avaliação de Objectos de Aprendizagem 8. Conformidade com os padrões Aderência aos padrões internacionai e operacionalidade no que respeita às plataformas técnicas normalmente usadas O objecto de aprendizagem adere a todos os padrões e especificações internacionais relevantes. Estes incluem os padrões dos Metadados de Objectos de Aprendizagem IEEE, e as directrizes técnicas desenvolvidas pela IMS, IEEE, SCORM e W3C (não incluídas as directrizes de acessibilidade). São fornecidos em código com tags no objecto e apresentados numa página disponível a usuários, metadados padrões suficientes. Um objecto de aprendizagem baseado na Web está registado num repositório com seis das áreas de metadados, mais comuns, no padrão IEE LOM. O objecto passa os testes de metadados da SCORM e a validação HMTL da W3C, mas falha nos testes de complacência da SCORM relativos a interoperabilidade e empacotamento de conteúdos. O objecto de aprendizagem não está conforme com nenhum dos padrões e especificações internacionais relevantes Não são fornecidos metadados suficientes ou não está formatado de acordo com os padrões dos metadados de objectos de aprendizagem. O objecto de aprendizagem falha em todos os testes de complacência no âmbito das directrizes da W3C e SCORM (não incluídas as directrizes de acessibilidade).

13 Folha de Pontuação Instrumento para a Avaliação de Objectos de Aprendizagem Objecto de aprendizagem Revisor Observações Gerais Baixo Alto 1. Qualidade do Conteúdo: Precisão, apresentação equilibrada de ideias, nível apropriado de detalhes, e reutilizabilidade em contextos variados 2. Alinhamento dos Objectivos de Aprendizagem: Alinhamento entre os objectivos de aprendizagem, actividades, avaliações, e características do aluno. 3. Feedback e Adaptação: Conteúdo ou feedback adaptativo impulsionados pelo input ou modelação do aluno 4. Motivação: Habilidade de motivar e interessar um grupo concreto de alunos 5. Concepção da Apresentação: Concepção de informações visuais e sonoras para uma aprendizagem reforçada e processamento mental eficaz

14 6. Usabilidade Interactiva: Facilidade de navegação, previsibilidade da interface do usuário, e qualidade das funções de ajuda da interface. 7. Acessibilidade: Concepção de controlos e formatos de apresentação para acomodar alunos deficientes e em mobilidade. 8. Conformidade com os Padrões: Aderência aos padrões e operatividade internacionais no que respeita às plataformas técnicas normalmente usadas