Capítulo 5 Avaliação Pedagógica de um Objeto de Aprendizagem Avaliação Vimos até agora as etapas de produção dos Objetos de Aprendizagem, desde a contextualização até a disponibilização. Neste capítulo, vamos conhecer uma etapa fundamental para garantir a qualidade pedagógica do OA: a Avaliação. Ela é prevista na metodologia INTERA, sendo uma das características que o diferencia de outros processos. Avaliar significa atribuir valor a algo. É uma ação que extrapola a ideia de testar ou medir, porque envolve não apenas a constatação de certo/errado, presente/ausente ou funciona/não funciona. Pressupõe análise qualitativa, relacionando os resultados obtidos aos objetivos definidos no início do processo. 1 Vejamos então a importância da avaliação dos OAs, bem propostas para a sua realização. como algumas 1.1. Importância da Avaliação no processo de construção de Objetos de Aprendizagem: a proposta do processo Intera Uma grande preocupação da metodologia Intera é a qualidade pedagógica dos Objetos de Aprendizagem. Observa-se, em geral, que conteúdos disponibilizados como Objetos de Aprendizagem não possuem características desejáveis, especialmente no que se refere ao reuso e aos aspectos didático-pedagógicos. Braga, Dotta, Pimentel e Stransky (2012) afirmam, em relação a dificuldades pedagógicas observadas na utilização e reuso de OAs: Muito dos objetos existentes não deixam claro nem para o professor nem para o aluno o objetivo pedagógico a ser atingido. Isso ocorre porque esses objetos estão sendo desenvolvidos focando somente nos atributos técnicos tratando os atributos pedagógicos de forma marginal. Essa situação acaba contribuindo para a baixa reusabilidade do objeto, já que ele passa não agregar tanto valor ao ensino, desmotivando sua utilização tanto pelos professores como também pelos alunos.
Para superar estas dificuldades, a metodologia INTERA se diferencia dos demais, tendo uma abordagem não apenas técnica, mas também pedagógica no desenvolvimento de OAs. Na Unidade 3 Processo de Construção de OAs foi apresentado alguns processos utilizados atualmente e suas etapas. Em todos eles, não há distinção entre as etapas de testes e avaliação. Na Metodologia INTERA, esta distinção é proposta, com o objetivo de garantir a qualidade técnica e pedagógica dos OAs produzidos. As etapas são as seguintes: 1. Contextualização de um OA 2. Levantamentos de Requisitos de um OA 3. Arquitetura 4. Desenvolvimento 5. Testes 6. Disponibilização 7. Avaliação 8. Gestão de projetos 9. Ambiente e Padrões 2 Observe que, após a etapa de Desenvolvimento, está prevista a etapa de Testes. Nela, o objetivo é garantir a qualidade técnica e o funcionamento do OA, dentro do que foi solicitado pelo professor demandante. Em seguida, ocorre a Disponibilização (inserir link para a Unidade 10 Disponibilização). A etapa de Avaliação ocorre após a Disponibilização. O OA é utilizado em aula e avaliado, especialmente no que se refere à aprendizagem obtida Desta maneira, garante-se a qualidade técnica e pedagógica do OA. Vamos, a partir de agora, pensar um pouco sobre como se dá esta importante etapa. 1.1. Avaliação do OA - Pressupostos e definição de critérios Existem diferentes tipos de OAs, em diferentes formatos, com diferentes características e objetivos. O foco da avaliação pedagógicaa não está no
formato ou qualidades técnicas da sua produção, mas nas suas características pedagógicas, ou seja, no quanto ele pode contribuir para a aprendizagem do aluno. A diversidade de formatos existentes implica em um olhar apurado para identificar os objetos que podem favorecer a aprendizagem. Por outro lado, o formato de um OA não é necessariamente determinante para a aprendizagem. Mayer e Moreno (2002) afirmam que uma animação (ou outro conteúdo multimídia) pode ou não promover a aprendizagem, dependendo de quando e como é usada. Da mesma forma, é preciso analisar a qualidade dos diferentes recursos utilizados num OA. Uma animação, por mais bem elaborada que seja do ponto de vista técnico, pode ter poucos efeitos no que se refere à aprendizagem. Uma bela imagem inserida num texto pode ser meramente ilustrativa, não acrescentando valor algum a ele. É preciso avaliar os diferentes OAs levando-se em conta as possibilidades didático-pedagógicacritérios gerais. que eles possuem, definindo alguns Mussoi (2010) afirma em relação à diversidade de OAs e a avaliação dos mesmos 3 Apesar desta diversidade, é possível identificar padrões relacionados à avaliação do conhecimento assimilado, utilizando OA. Para realizar uma análise de forma sistemática, devem-se identificar alguns critérios e aspectos a considerar, quando se fala em avaliação dentro de OA. Fatores como a concepção epistemológica na qual o OA está fundamentado, os objetivos descritos em seus metadados, a qualidade dos conteúdos abordados, a facilidade de uso por parte do aluno, a interatividade, a linguagem utilizada, interferem diretamente na qualidade pedagógica do OA e devem ser consideradoss na avaliação. A concepção epistemológica será determinante para o OA. Numa concepção mais tradicional, o OA terá como objetivo transmitirr algum tipo de conhecimento, ilustrando ou descrevendo conteúdos. Nesta concepção, não há grande preocupação com a ação do aluno, ou seja, ele é visto como um receptor de informações. Já se o OA for desenvolvido com base em teorias que
privilegiam a interação, ele terá elementos que a favorecerão, possibilitando que o aluno seja sujeito de sua aprendizagem. Os objetivos e conteúdos descritos nos metadados devem ser avaliados segundo os seguintes parâmetros: o OA aborda de maneira claraa os conteúdos descritos? Eles são precisos ou há problemas conceituais? Os objetivos propostos são passíveis de alcance por todos os alunos? A linguagem utilizada e a apresentação do OA também podem facilitar ou dificultar a aprendizagem. Ela é clara, possibilitando entendimento por parte do aluno? Estas e outras questões devem ser respondidas na etapaa de avaliação. Vejamos alguns instrumentos propostos para isto. 4 1.2. Procedimentos e instrumentos para avaliação de Aprendizagem Objetos de Podemos distinguir pelo menos dois níveis de avaliação pedagógica dos OAs: uma, referente à aprendizagem do aluno, onde se avaliaa o quanto ele aprendeu com o OA. Outra, referente ao ensino, onde se avalia as possibilidades de trabalho e reuso do OA em outros contextos pedagógicos. Pensando na aprendizagem do aluno, de maneira pragmática poderíamos pensar numa avaliação por meio de questões ou alguma atividade onde ele tivesse que utilizar os conteúdos abordados pelo OA. Para que a avaliação seja abrangente, podemos dividi-la em duas fases: na primeira, os alunos realizariam alguma atividade avaliativa antes da utilização do OA. Nela, seriam abordados os conteúdos do OA, verificando-se os conhecimentos que possuem sobre eles. E uma segunda fase após a atividade com o OA, para que se observe o que aprenderam com ele. Além desta verificação da aprendizagem feita com os alunos, a Avaliação deve ser composta de um processo detalhado de observação, a partir de critérios bem definidos. Um instrumento norteador desta avaliação pode ser elaborado a partir de perguntas, como no exemplo abaixo:
Dados gerais do OA: Título: Objetivos: Conteúdos abordados: Estratégias utilizadas para aplicação do OA: (descrever como os alunos foram organizados, quanto tempo foi destinado à atividade, quais orientações foram dadas pelo professor). Se preferir faça referencia ao artefato de estratégias pedagógicas realizado em outras aulas. Avaliação quanto ao ensino Os alunos identificaram facilmente o objetivo pedagógico oferecido pelo OA? ( ) sim ( ) não A linguagem utilizada no OA favorece o entendimento e a aprendizagem do aluno? ( ) sim ( ) não O OA possibilitou interação? ( ) sim ( ) não São propostos desafios? ( ) sim ( ) não Os alunos receberam feedback das atividades realizadas? ( ) sim ( ) não O OA permitiu que os alunos realizassem as atividades sem intervenção do professor? ( ) sim ( ) não Os conteúdos são abordados de maneira clara e precisa? ( ) sim ( ) não 5
Os objetivos propostos são alcançados? ( ) sim ( ) não O OA se mostrou adequado ao público alvo apontado? ( ) sim ( ) não Avaliação quanto a aprendizagem Elabore aqui algumas questões que podem ser utilizadas para avaliar o conteúdo que o OA ensina. 6 Avaliação geral do OA: Neste campo, inserir as conclusões sobre o OA avaliado Outro instrumento para avaliação de OAs pode ser uma tabela onde se quantifica cada um dos itens avaliados. É importante salientar que, mesmo quantificando cada item ou ainda determinando pesos diferenciados para cada um deles, a avaliação geral deve ser qualitativa, ou seja, o OA deve ser avaliado como um todo. Suas qualidades e limitações devem ser consideradas. A quantificação deve ser apenas uma referência, a avaliação não deve se restringir a ela. Lembremos que a avaliação neste processo é uma etapa fundamental para o desenvolvimentoo do OA. Os problemas ou limitações identificados devem ser solucionados antes de sua finalização. Veja o exemplo abaixo, de uma tabela que quantificaa os itens de avaliação do OA:
Avaliação da aprendizagem Item Nota Adequação da linguagem 1 2 3 4 5 Apresentação do OA para o aluno 1 2 3 4 5 Adequação dos objetivos ao público alvo 1 2 3 4 5 Adequação e coerência dos conteúdos ao 1 2 3 4 5 público alvo Possibilidade de interação com o aluno 1 2 3 4 5 Desafios propostos 1 2 3 4 5 Feedback 1 2 3 4 5 Aprendizagem desenvolvida 1 2 3 4 5 Peso 2 2 2 2 2 1 1 7 Avaliação do ensino Adequação dos objetivos 1 2 3 4 5 Adequação dos conteúdos 1 2 3 4 5 Possibilidade de reuso em outros contextos 1 2 3 4 5 pedagógicos Qualidade dos conceitos abordados 1 2 3 4 5 Estes instrumentoss de avaliação são algumas referências. É importante, no processo de desenvolvimento de um Objeto de Aprendizagem, definir claramente o que se pretende com ele em termos de aprendizagem. Vale ressaltar que o resultado obtido com a utilização do OA em salaa de aula está, também, relacionado às estratégias utilizadas pelo professor, que poderão agregar valor ao potencial que o OA possui. Mas, considerando a avaliação como uma etapa do desenvolvimento do OA, o objetivo é torná-lo o melhor possível pedagogicamente, para que ele de fato apoie a aprendizagem do aluno, independente da estratégia utilizada. 1.3. Avaliando um Objeto de Aprendizagem
Propomos agora um exercício de avaliação de um Objeto de Aprendizagem. Vamos imaginar que o OA apresentado a seguir está em fase final de elaboração. Já foi testado quanto à sua qualidade técnica, disponibilizado a um grupo de alunos e agora devemos avaliá-lo, antes de finalizá-lo. Como se formamm os ventos Disponível em http://objetoseducacionais2.mec.gov.br/handle/mec/6243 8 Em primeiro lugar, aspectos pedagógicos. vamos analisar seus metadados, no que se refere aos O OA é descrito como uma animação que explica passo a passo a formação dos ventos na superfície terrestre em escalaa local até a formação em escala global circulação geral atmosférica.. O objetivo é
Fazer com que alunos do ensino médio entendam de maneira clara e dinâmica os processos de formação dos ventos e a circulação geral atmosférica. Por esta descrição, é possível inferir que se trata de uma animação que demonstra, por meio de imagens, um evento natural, a formaçãoo do vento. Por meio dela, o que se espera é que o aluno consiga, a partir da visualização, entender este processo, difícil de ser demonstrado em uma sala de aula, por meio de desenhos ou explicações do professor. Vejamos o OA: A animação é apresentada numa sequência de 16 etapas, com duração de aproximadamente 10 segundos cada. Em cada uma delas, são utilizados recursos visuais, mostrando a formação dos ventos, acompanhados de narração e música ao fundo. O aluno pode avançar na animação por meio das teclas numeradas na parte inferior, indicando cada uma delas ou por meio dos botões Continuar ou Voltar, na parte superior da tela. 9
10
11
12
13
14
15
16
17 O OA Como se formam os ventos tem uma linguagem clara e próxima do aluno, um layout atrativo, é auto explicativo e possibilita a exploração sem o auxílio do professor. Ele permite que o aluno explore as várias fases da explicação, retomando ou avançando quando julgar necessário. Não propõe questões ou desafios ao aluno. Para torná-lo mais interativo, a questão inicial da animação poderia ser lançada ao aluno, dando-lhe algumas opções de resposta, para que ele elaborasse hipóteses antes de ver a animação. Ao final, também poderiam ser propostas questões. Para realizar a Avaliação, é importante não apenas analisar o objeto, mas acompanhar a exploração de um grupo de alunos. Como o OA demonstra conteúdos, mas não propõe desafios, é importante após a exploração propor um debate, questões ou uma situação problema onde os alunos precisem demonstrar o que aprenderam com ele. Referências Bibliográficas MUSSOI, Eunice Maria, FLORES, Maria Lucia Pozzatti, BEHAR, Patricia Alejandra. Avaliação de Objetos de Aprendizagem. Santiago, Chile,2010. Disponível em penta2.ufrgs.br/edu/objetosaprendizagem/sld001.htm
COSTA, Valeria Machado, TAROUCO, Liane Margarida Rockenbach. Aprendizagem multimídia: usando os princípios de Mayer para avaliar um objeto de aprendizagem. BARON, Franciele, RAABE, Renate de Oliveira, SILVA, Julia Marques Carvalho. Avaliação de Usabilidade de Objetos de Aprendizagem Disponibilizados no RIVED. Brusque, LEFFA, Vilson J. Nem tudo que balança cai: Objetos de aprendizagem no ensino de línguas. Polifonia. Cuiabá, 2006. Disponível em http://www.leffa.pro.br/textos/trabalhos/obj_aprendizagem.pdf 18