Avaliação Capítulo 9: Avaliação de um Objeto de Aprendizagem Autoria: Juliana Cristina Braga. Este capítulo inicia com a discussão sobre a importância da avaliação dos OAs no seu processo de construção, seguida pela definição de critérios a serem utilizados nesta avaliação. Posteriormente, são apresentados procedimentos de avaliação de OAs, seguidos por um exercício de avaliação de um OA. 9.1 Importância da Avaliação no processo de construção de Objetos de Aprendizagem: a proposta do processo INTERA Avaliar significa atribuir valor a algo. É uma ação que extrapola a ideia de testar ou medir, porque envolve não apenas a constatação de certo/errado, presente/ausente ou funciona/não funciona. Pressupõe análise qualitativa, relacionando os resultados obtidos aos objetivos definidos no início do processo. Uma grande preocupação da metodologia INTERA é a qualidade pedagógica dos Objetos de Aprendizagem. Observa-se, em geral, que conteúdos disponibilizados como Objetos de Aprendizagem não possuem características desejáveis, especialmente no que se refere ao reuso e aos aspectos didáticopedagógicos. Braga, Dotta, Pimentel e Stansky (2012) afirmam que, em relação a dificuldades pedagógicas observadas na utilização e reuso de OAs: Muito dos objetos existentes não deixam claro nem para o professor nem para o aluno o objetivo pedagógico a ser atingido. Isso ocorre porque esses objetos estão sendo desenvolvidos focando somente nos atributos técnicos, tratando os atributos pedagógicos de forma marginal. Essa situação acaba contribuindo para a baixa reusabilidade do objeto, já que ele passa a não agregar tanto valor ao ensino, desmotivando sua utilização, tanto pelos professores como também pelos alunos.
Para superar estas dificuldades, a metodologia INTERA se diferencia dos demais, tendo uma abordagem não apenas técnica, mas também pedagógica no desenvolvimento de OAs. Nos processos utilizados atualmente, não há distinção entre as etapas de testes e avaliação. Na Metodologia INTERA, esta distinção é proposta, com o objetivo de garantir a qualidade técnica e pedagógica dos OAs produzidos. As etapas são as seguintes: 1. Contextualização de um OA 2. Levantamentos de Requisitos de um OA 3. Arquitetura 4. Desenvolvimento 5. Testes 6. Disponibilização 7. Avaliação 8. Gestão de projetos 9. Ambiente e Padrões Observe que, após a etapa de Desenvolvimento, está prevista a etapa de Testes. Nela, o objetivo é garantir a qualidade técnica e o funcionamento do OA, dentro do que foi solicitado pelo professor demandante. Em seguida, ocorre a Disponibilização. A etapa de Avaliação ocorre após a Disponibilização. O OA é utilizado em aula e avaliado, especialmente no que se refere à aprendizagem obtida. Desta maneira, garante-se a qualidade técnica e pedagógica do OA. Vamos, a partir de agora, pensar um pouco sobre como se dá esta importante etapa. 9.2 Avaliação do OA - Pressupostos e definição de critérios Existem diferentes tipos de OAs, em formatos diversos, com características e objetivos variados. O foco da avaliação pedagógica não está no formato ou nas qualidades técnicas da sua produção, mas nas suas características pedagógicas, ou seja, no quanto ele pode contribuir para a aprendizagem do aluno.
A diversidade de formatos existentes implica em um olhar apurado para identificar os objetos que podem favorecer a aprendizagem. Por outro lado, o formato de um OA não é necessariamente determinante para a aprendizagem. Mayer e Moreno (2002) afirmam que uma animação (ou outro conteúdo multimídia) pode ou não promover a aprendizagem, dependendo de quando e como é usada. Da mesma forma, é preciso analisar a qualidade dos diferentes recursos utilizados num OA. Uma animação, por mais bem elaborada que seja do ponto de vista técnico, pode ter poucos efeitos no que se refere à aprendizagem. Uma bela imagem inserida num texto pode ser meramente ilustrativa, não acrescentando valor algum a ele. É preciso avaliar os diferentes OAs levando-se em conta as possibilidades didático-pedagógicas que eles possuem, definindo alguns critérios gerais. Mussoi (2010) afirma em relação à diversidade de OAs e à avaliação dos mesmos: Apesar desta diversidade, é possível identificar padrões relacionados à avaliação do conhecimento assimilado, utilizando OA. Para realizar uma análise de forma sistemática, devem-se identificar alguns critérios e aspectos a considerar, quando se fala em avaliação dentro de OA. Fatores como a concepção epistemológica na qual o OA está fundamentado, os objetivos descritos em seus metadados, a qualidade dos conteúdos abordados, a facilidade de uso por parte do aluno, a interatividade e a linguagem utilizada interferem diretamente na qualidade pedagógica do OA e devem ser considerados na avaliação. A concepção epistemológica será determinante para o OA. Numa concepção mais tradicional, o OA terá como objetivo transmitir algum tipo de conhecimento, ilustrando ou descrevendo conteúdos. Nesta concepção, não há grande preocupação com a ação do aluno, ou seja, ele é visto como um receptor de informações. Já, se o OA for desenvolvido com base em teorias que privilegiam a interação, ele terá elementos que a favorecerão, possibilitando que o aluno seja sujeito de sua aprendizagem. Os objetivos e conteúdos descritos nos metadados devem ser avaliados segundo os seguintes parâmetros: o OA aborda de maneira clara os conteúdos descritos? eles são precisos ou há problemas conceituais? os objetivos propostos são passíveis de alcance por todos os alunos?
A linguagem utilizada e a apresentação do OA também podem facilitar ou dificultar a aprendizagem. Elas são claras, possibilitando o entendimento por parte do aluno? Estas e outras questões devem ser respondidas na etapa de avaliação. Vejamos alguns instrumentos propostos para isto. 9.3 Procedimentos e instrumentos para avaliação de Objetos de Aprendizagem Podemos distinguir pelo menos dois níveis de avaliação pedagógica dos OAs: i) um referente à aprendizagem do aluno, onde se avalia o quanto ele aprendeu com o OA; ii) o outro, referente ao ensino, onde se avaliam as possibilidades de trabalho e reuso do OA em outros contextos pedagógicos. Pensando na aprendizagem do aluno de maneira pragmática, poderíamos pensar numa avaliação por meio de questões ou alguma atividade onde ele tivesse que utilizar os conteúdos abordados pelo OA. Para que a avaliação seja abrangente, podemos dividi-la em duas fases: na primeira, os alunos realizariam alguma atividade avaliativa antes da utilização do OA. Nela, seriam abordados os conteúdos do OA, verificando-se os conhecimentos que possuem sobre eles. E uma segunda fase após a atividade com o OA, para que se observe o que aprenderam com ele. Além desta verificação da aprendizagem feita com os alunos, a avaliação deve ser composta de um processo detalhado de observação, a partir de critérios bem definidos. Um instrumento norteador desta avaliação pode ser elaborado a partir de perguntas, como no exemplo a seguir:
Dados gerais do OA: Título: Objetivos: Conteúdos abordados: Estratégias utilizadas para aplicação do OA: (descrever como os alunos foram organizados, quanto tempo foi destinado à atividade, quais orientações foram dadas pelo professor). Se preferir, faça referência ao artefato de estratégias pedagógicas realizado em outras aulas. Avaliação quanto ao ensino Os alunos identificaram facilmente o objetivo pedagógico oferecido pelo OA? A linguagem utilizada no OA favorece o entendimento e a aprendizagem do aluno? O OA possibilitou interação? São propostos desafios? Os alunos receberam feedback das atividades realizadas? O OA permitiu que os alunos realizassem as atividades sem intervenção do professor? Os conteúdos são abordados de maneira clara e precisa?
Os objetivos propostos são alcançados? O OA se mostrou adequado ao público alvo apontado? Avaliação quanto à aprendizagem Elabore aqui algumas questões que podem ser utilizadas para avaliar o conteúdo que o OA ensina. Avaliação geral do OA: Neste campo, inserir as conclusões sobre o OA avaliado Outro instrumento para avaliação de OAs pode ser uma tabela onde se quantifica cada um dos itens avaliados. É importante salientar que, mesmo quantificando cada item ou ainda determinando pesos diferenciados para cada um deles, a avaliação geral deve ser qualitativa, ou seja, o OA deve ser avaliado como um todo. Suas qualidades e limitações devem ser consideradas. A quantificação deve ser apenas uma referência e a avaliação não deve se restringir a ela. Lembremos que a avaliação neste processo é uma etapa fundamental para o desenvolvimento do OA. Os problemas ou limitações identificados devem ser solucionados antes de sua finalização. Veja o exemplo a seguir de uma tabela que quantifica os itens de avaliação do OA:
Avaliação da aprendizagem Item Nota Peso Adequação da linguagem 1 2 3 4 5 2 Apresentação do OA para o aluno 1 2 3 4 5 2 Adequação dos objetivos ao público alvo 1 2 3 4 5 2 Adequação e coerência dos conteúdos ao 1 2 3 4 5 2 público alvo Possibilidade de interação com o aluno 1 2 3 4 5 2 Desafios propostos 1 2 3 4 5 1 Feedback 1 2 3 4 5 1 Aprendizagem desenvolvida 1 2 3 4 5 Avaliação do ensino Adequação dos objetivos 1 2 3 4 5 Adequação dos conteúdos 1 2 3 4 5 Possibilidade de reuso em outros contextos 1 2 3 4 5 pedagógicos Qualidade dos conceitos abordados 1 2 3 4 5 Estes instrumentos de avaliação são algumas referências. É importante, no processo de desenvolvimento de um OA, definir claramente o que se pretende com ele em termos de aprendizagem. Vale ressaltar que o resultado obtido com a utilização do OA em sala de aula está, também, relacionado com as estratégias utilizadas pelo professor, que poderão agregar valor ao potencial que o OA possui. Mas, considerando a avaliação como uma etapa do desenvolvimento do OA, o objetivo é torná-lo o melhor possível pedagogicamente, para que ele de fato apoie a aprendizagem do aluno, independentemente da estratégia utilizada. 9.5 Avaliando um Objeto de Aprendizagem Propomos agora um exercício de avaliação de um Objeto de Aprendizagem.
Vamos imaginar que o OA apresentado a seguir está em fase final de elaboração. Já foi testado quanto à sua qualidade técnica, disponibilizado a um grupo de alunos e agora devemos avaliá-lo, antes de finalizá-lo. Como se formam os ventos Disponível em http://objetoseducacionais2.mec.gov.br/handle/mec/6243 Em primeiro lugar, vamos analisar seus metadados, no que se refere aos aspectos pedagógicos. O OA é descrito como uma animação que explica passo a passo a formação dos ventos na superfície terrestre em escala local até a formação em escala global circulação geral atmosférica. O objetivo é Fazer com que alunos do ensino médio entendam de maneira clara e dinâmica os processos de formação dos ventos e a circulação geral atmosférica. Por esta descrição, é possível inferir que se trata de uma animação que demonstra, por meio de imagens, um evento natural, a formação do vento. Por meio dela, o que se espera é que o aluno consiga, a partir da visualização, entender este processo, difícil de ser demonstrado em sala de aula, por meio de desenhos ou explicações do professor.
Vejamos o OA: A animação é apresentada numa sequência de 16 etapas, com duração de aproximadamente 10 segundos cada. Em cada uma delas, são utilizados recursos visuais, mostrando a formação dos ventos, acompanhados de narração e música ao fundo. O aluno pode avançar na animação por meio das teclas numeradas na parte inferior, indicando cada uma delas ou por meio dos botões Continuar ou Voltar, na parte superior da tela.
O OA Como se formam os ventos tem uma linguagem clara e próxima do aluno, um layout atrativo, é autoexplicativo e possibilita a exploração sem o auxílio do professor. Ele permite que o aluno explore as várias fases da explicação, retomando ou avançando quando julgar necessário. Ele não propõe questões ou desafios ao aluno. Para torná-lo mais interativo, a questão inicial da animação poderia ser lançada ao aluno, dando-lhe algumas opções de resposta, para que ele elaborasse hipóteses antes de ver a animação. Ao final, também poderiam ser propostas questões.
Para realizar a avaliação, é importante não apenas analisar o objeto, mas acompanhar a sua exploração por um grupo de alunos. Como o OA demonstra conteúdos, mas não propõe desafios, é importante após a exploração propor um debate, questões ou uma situação problema onde os alunos precisem demonstrar o que aprenderam com ele. Referências Bibliográficas MUSSOI, Eunice Maria, FLORES, Maria Lucia Pozzatti, BEHAR, Patricia Alejandra. Avaliação de Objetos de Aprendizagem. Santiago, Chile, 2010. Disponível em penta2.ufrgs.br/edu/objetosaprendizagem/sld001.htm COSTA, Valeria Machado, TAROUCO, Liane Margarida Rockenbach. Aprendizagem multimídia: usando os princípios de Mayer para avaliar um objeto de aprendizagem. BARON, Franciele, RAABE, Renate de Oliveira, SILVA, Julia Marques Carvalho. Avaliação de Usabilidade de Objetos de Aprendizagem Disponibilizados no RIVED. Brusque, LEFFA, Vilson J. Nem tudo que balança cai: Objetos de aprendizagem no ensino de línguas. Polifonia. Cuiabá, 2006. Disponível em http://www.leffa.pro.br/textos/trabalhos/obj_aprendizagem.pdf