EVIDÊNCIAS DA VALIDADE DA AUTO AVALIAÇÃO NO ENSINO DE FÍSICA

Transcrição

1 IX ENCONTRO N ACIONAL DE P ESQUISA EM ENSINO DE FÍSICA 1 EVIDÊNCIAS DA VALIDADE DA AUTO AVALIAÇÃO NO ENSINO DE FÍSICA Sérgio Luiz Talim [talim@coltec.ufmg.br] a Colégio Técnico Universidade Federal de Minas Gerais RESUMO O objetivo deste trabalho, que ainda está em andamento, é contribuir para o estudo de estratégias de auto avaliação no ensino de Física. Estamos interessados em comprovar a capacidade do aluno informar de maneira confiável o seu nível de aprendizagem em física. Para isto utilizaremos uma escala de confiança, que é uma escala onde o aluno indica o seu grau de confiança no seu desempenho em testes e avaliações por eles realizadas. Procuramos responder às seguintes questões. Os alunos podem desenvolver habilidades de auto avaliação que o tornem confiáveis para que identifiquem o seu nível de aprendizagem? Existem evidências da capacidade dos alunos para informar o seu nível da aprendizagem de maneira confiável? Podemos utilizar essas escalas de confiança na qual os alunos se auto avaliam para melhorar a interpretação dos resultados nas avaliações, ou seja, aumentar a fidedignidade das avaliações? Para responder à primeira questão de pesquisa analisamos a relação entre a resposta do aluno ao item e a sua resposta à escala de confiança e um teste contendo 15 itens de múltipla escolha. Através do calculo do coeficiente de correlação. entre a nota do aluno no item e a sua nota na escala de confiança, bem como a nota total no teste (a soma das notas de cada item) e a nota total na escala de confiança. Um valor significativo das correlações foi encontrado sendo isso será evidência favorável da capacidade do aluno de se auto avaliar já que os alunos conseguem predizer com razoável certeza o seu acerto ou erro nos itens.. Para responder à segunda calculamos pelo coeficiente alfa de Cronbach do teste antes e depois de se incorporar os resultados da escala.. Um aumento no coeficiente alfa foi encontrado o que indica que o teste é mais fidedigno ou que verifica com mais precisão a aprendizagem pretendida após de incorporar os resultado da auto avaliação obtidos pela escala de confiança. INTRODUÇÃO O papel da educação tem mudado radicalmente durante o último século. No começo do século XX a educação estava focalizada na aquisição de habilidades básicas de leitura, escrita e cálculo matemático para uma pequena parcela da população. O sistema educacional não estava preocupado, em geral, em formar pessoas que pensavam e escreviam de maneira crítica e resolvessem problemas complexos em Matemática e Ciências. No final desse século as exigências do mercado de trabalho e de participação ativa nos processos de decisões democráticas colocaram uma enorme demanda por uma alta habilidade de leitura escrita e resolução de problemas em várias áreas para uma grande parcela da população. Além disso, a quantidade de informação cresceu de tal

2 IX ENCONTRO N ACIONAL DE P ESQUISA EM ENSINO DE FÍSICA 2 maneira que se tornou impossível para uma pessoa ter um conhecimento se quer aproximado de todas elas. O objetivo da educação é hoje melhor concebido como sendo ajudar aos alunos a desenvolver habilidades intelectuais e estratégias de aprendizagem. Estas são necessárias para que os alunos se tornarem aptos e auto-suficientes na procura e seleção das informações relevantes, e para que adquiram conhecimentos necessários para pensarem produtivamente e criativamente sobre historia, ciências e tecnologia, fenômenos sociais, matemática e artes. O significado de conhecer mudou então de ser capaz de relembrar e repetir informações para ser capaz de encontrá-las e usálas. Para isso as habilidades meta-cognitivas de controle e avaliação da própria aprendizagem têm papel primordial. Para fazer frente a essas mudanças uma nova ciência da aprendizagem tem se desenvolvido com a colaboração de vários pesquisadores da área da educação e das ciências cognitivas (BRANSFORD, 1999; MAYER, 1989; AUSUBEL et al, 1978; CHI et al, 1988) bem como uma nova visão da avaliação da aprendizagem (PERRENOUD, 1999; HADJI, 2001; DEPRESBITERIS, 1997). Uma característica dessa nova ciência é colocar o foco nos processos de aquisição de conhecimento através da mudança conceitual. As pessoas são vistas como participantes ativas do processo de aprendizagem procurando e construindo o conhecimento a partir de uma variedade de conceitos previamente adquiridos. O aluno chega à escola com conhecimentos prévios, crenças e conceitos que influenciam a maneira como eles interagem com o ambiente escolar. Aprender nesse contexto significa então reconstruir e modificar os o conjunto de conceitos prévios para que se aproximem mais dos conceitos científicos ( POZO, 2002). A avaliação é um importante aspecto do processo de ensino aprendizagem. A avaliação é vista, e com razão, como sendo o fator mais importante que determina as verdadeiras metas e objetivos do processo de ensino (PERRENOUD,1999). Uma escola que se propõe a formar pessoas preparadas para agir criticamente na sociedade, com competência para resolver problemas inéditos e com compreensão dos principais aspectos do seu funcionamento (aspectos científicos, tecnológicos, históricos, políticos etc.), joga todas essas ótimas intenções ao lixo se avalia apenas a capacidade de seus alunos de reproduzir fatos e informações previamente memorizados. Os alunos rapidamente percebem quais são as verdadeiras intenções de sua escola (o que precisam saber e fazer para serem aprovados) e os resultados da avaliação deixam de ter valor para a regulação das aprendizagens requeridas. A avaliação terá então de ser coerente com os novos objetivos da escola de ensino para a compreensão e a mudança conceitual. Avaliar pode ser entendido como sendo o processo de atribuir valor sobre um determinado objeto (aluno, situação, escola, projeto, etc.) por meio da coleta de dados sobre esse objeto e o confronto destes com as expectativas e intenções que temos em relação ao objeto (HADJI, 1994; HADJI, 2001). Exemplificando: quando um professor atribui a um exercício feito por um aluno a nota 12 (numa escala de 0 a 20) ele está exprimindo pela nota 12 o juízo que faz do valor da aprendizagem do aluno (objeto em questão) utilizando as respostas deste no exercício (dados sobre o objeto) e confrontando-as com as respostas que ele considera corretas (expectativas e intenções relativas ao que é a aprendizagem). Assim avaliar exige sempre construir um ideal com o qual comparamos o real. Para avaliar a aprendizagem do aluno devemos então especificar o que entendemos por aprendizagem e o como seria um aluno ideal, aquele que aprendeu realmente.

3 IX ENCONTRO N ACIONAL DE P ESQUISA EM ENSINO DE FÍSICA 3 De acordo com Hadji (2001) a avaliação na sua função de informar e formar pode ser dividida em três tipos: a avaliação em terceira pessoa, a avaliação em segunda pessoa e a avaliação em primeira pessoa. A avaliação em terceira pessoa é aquela em que um agente externo, que não é o professor, avalia os alunos, como ocorre na avaliação de sistemas (por exemplo o SAEB). A avaliação em segunda pessoa é aquela realizada pelo professor responsável pelo ensino. A avaliação em primeira pessoa é aquela em que o próprio aluno, que se apropria dos instrumentos, critérios e procedimentos de avaliação, se auto avalia. Esta auto avaliação deverá ser uma das metas importantes do processo de ensino, pois só uma aluno capaz de se avaliar pode ser um agente autônomo que é responsável pela sua própria aprendizagem. O objetivo deste trabalho é contribuir para o estudo de estratégias de auto avaliação no ensino de Física. Estamos interessados em comprovar a capacidade do aluno informar de maneira confiável o seu nível de aprendizagem em física. Para isto utilizaremos uma escala de confiança, que é uma escala onde o aluno indica o seu grau de confiança no seu desempenho em testes e avaliações por eles realizadas. Procuramos responder às seguintes questões. Os alunos podem desenvolver habilidades de auto avaliação que o tornem confiáveis para que identifiquem o seu nível de aprendizagem? Existem evidências da capacidade dos alunos para informar o seu nível da aprendizagem de maneira confiável? Podemos utilizar essas escalas de confiança na qual os alunos se auto avaliam para melhorar a interpretação dos resultados nas avaliações, ou seja, aumentar a fidedignidade das avaliações? O trabalho está ainda em andamento e serão apresentados alguns dos resultados preliminares. Uma apresentação sobre o estado atual das pesquisas sobre auto avaliação em ciências será apresentado. Logo depois a metodologia da pesquisa será apresentada e discutida seguida da apresentação e análise dos dados, onde procuramos responder às questões de pesquisa propostas nessa introdução. Finalmente concluiremos com as implicações para ensino de Física e questões ainda a serem respondidas por futuras pesquisas. AUTO AVALIAÇÃO E ESCALAS DE CONFIANÇA A auto avaliação parece ser um instrumento extremamente útil para desenvolver as habilidades meta cognitivas dos alunos. Alunos que aprendem a aprender devem ter necessariamente uma boa capacidade de se auto avaliar. A utilização das opiniões dos alunos sobre os seus processos mentais é freqüente na pesquisa sobre atitudes e motivação. No entanto, a auto avaliação da aprendizagem, que exige uma opinião dos alunos sobre seus processos mentais cognitivos, tem sido pouco pesquisada na avaliação de aprendizagem. Existe muita desconfiança da capacidade dos alunos de avaliarem de maneira válida o seu nível de conhecimento. Realmente, a possibilidade de que os alunos não tenham essa habilidade ou que ela seja difícil de ser adquirida precisa ser pesquisada. Hadji (2001) propõe um modelo para a avaliação como sendo um processo de atribuir um valor ao trabalho do aluno. O valor é atribuído através da comparação entre um conjuntos de habilidades, competências e conhecimentos ideais (o referente), e o conjunto de desempenho dos alunos obtidos através de vários instrumentos de coleta da dados (o referido). A diferença entre o referente e o referido é a base para se atribuir um valor, ou avaliar, o aluno. Para que o aluno se auto avalie ele terá de se apropriar do referente e desenvolver habilidades para obter o referido. Isso terá

4 IX ENCONTRO N ACIONAL DE P ESQUISA EM ENSINO DE FÍSICA 4 de ser aprendido e não é de se esperar todos os aluno tenham idênticas habilidades de auto avaliação. Existe algumas evidências da validade de uso da auto avaliação em alguns trabalhos. Tamir (1999) introduziu em seu trabalho um inventários de auto-avaliação, que é uma estratégia que visam avaliar o grau de compreensão dos alunos através de um inventário onde os conceitos são apresentados e os alunos se auto-avaliam, obtendo-se informações sobre o seu grau de conhecimento e contribuindo para a formação de uma atitude crítica do aluno em relação ao seu próprio conhecimento. Esses inventários, assim como outras estratégias de auto-avaliação, têm sido pouco estudadas e pesquisadas. No entanto as pesquisas realizadas têm mostrado que essas estratégias têm várias características interessantes entre elas (TAMIR, 1999): um bom grau de fidedignidade e validade, facilidade de uso, possibilidade de uso como pré-teste e pós-teste, produzido e corrigido em pouco tempo, não intimida os alunos sendo por eles facilmente respondido Uma outra estratégia interessante que tem sido estudada e que pode ser utilizada como auto avaliação é a escala de confiança (TAMIR, 1999). As escalas de confiança são nada mais do que uma pergunta que apresentamos ao aluno durante a realização de uma avaliação sobre o seu grau de confiança na resposta dada. Assim para cada item da avaliação o aluno é convidado a se posicionar sobre o seu grau de confiança na resposta dada ao item. Essa posição pode ser uma escolha entre tenho certeza de que a minha resposta está correta, e não tenho muita certeza de que a minha resposta está correta. A resposta da escala pode ser utilizada na nota do teste valorizando assim a capacidade do aluno de se auto avaliar. Essa escala de confiança tem a vantagem de ser facilmente construída, e de não exigir quase nenhuma aprendizagem adicional dos alunos. Pode ser utilizada em qualquer avaliação que o professor use rotineiramente em sua prática. A escala pode ainda ser utilizada para melhorar a interpretação dos resultados dos alunos sendo incorporada à nota do teste como será explicado na próxima seção. O objetivo deste trabalho é estudar o uso dessas escalas de confiança para verificar as habilidades de auto avaliação dos alunos. Queremos responder às duas perguntas: 1. Podemos confiar na capacidade do aluno de avaliar o seu nível de aprendizagem? 2. Podemos utilizar escala de confiança como mais uma informação sobre o aluno e com isso melhorar a validade das avaliações utilizadas? METODOLOGIA Para tentar responder às duas questões apresentadas no final da seção anterior desenvolvemos uma escala de confiança para ser utilizada em uma avaliação composta de itens de múltipla escolha. Para cada item os alunos eram convidados a se posicionarem sobre a sua certeza na resposta dada (veja apêndice).

5 IX ENCONTRO N ACIONAL DE P ESQUISA EM ENSINO DE FÍSICA 5 O teste é composto de 15 itens de múltipla escolha sobre o conteúdo ondas e termodinâmica, foi aplicado a 139 alunos do segundo ano do ensino médio do Colégio Técnico da UFMG. A qualidade do teste será verificada pela análise de fidedignidade por consistência interna (coeficiente alfa de Cronbach). Para responder à primeira questão de pesquisa analisamos a relação entre a resposta do aluno ao item e a sua resposta à escala de confiança. O item foi avaliado em 0 (resposta errada) ou 0,3 (resposta correta), e a escala foi avaliada em 1 (tenho certeza da resposta ou TC) ou 0 (não tenho certeza da resposta ou NC). O aluno que se auto avalia corretamente irá marcar TC na escala de confiança do item e irá responder corretamente a esse item. Uma maneira de verificar esta relação é calcular o coeficiente de correlação. Iremos calcular a correlação entre a nota do aluno no item e a sua nota na escala de confiança, bem como a nota total no teste (a soma das notas de cada item) e a nota total na escala de confiança. Um valor significativo de correlação será uma evidência favorável da capacidade do aluno de se auto avaliar já que os alunos conseguem predizer com razoável certeza o seu acerto ou erro nos itens. Pressupomos que o aluno precisa ter uma boa habilidade de avaliar o nível de sua aprendizagem nos conteúdos avaliados no teste, para poder predizer o seu acerto no item. Logo uma boa predição verificada pela correlação indica uma boa habilidade de auto avaliação. Para responder à segunda questão iremos realizar uma comparação entre a fidedignidade calculada pelo coeficiente alfa de Cronbach (AGRESTI e FINLAY, l986; SILVA, 1992)) do teste antes e depois de se incorporar os resultados da escala. Esses resultados são.incorporados através de uma regra simples: se o aluno acertou o item e marcou TC na escala recebe o valor total do item (0,3); se acertou o item e marcou NC na escala recebe um valor um pouco menor do total (0,25); se errou o item e marcou NC recebe um valor um pouco maior do zero (0,1); se errou o item e marcou TC não recebe nenhum ponto (0). Com isso o aluno que tem uma auto avaliação bem desenvolvida é premiado e de alguma maneira a sua nota no teste incorpora essa habilidade. Um aumento no coeficiente alfa indica que o teste é mais fidedigno ou que verifica com mais precisão a aprendizagem pretendida. ANÁLISE DOS RESULTADOS Apresentamos na tabela 1 os resultados do cálculo de correlação entre a nota no item e a nota na escala para cada item e a nota total no teste e na escala de confiança. Tabela 1 - Correlações Item Correlação Item Correlação 1 0,61* 9 0,44* 2 0,64* 10 0,21* 3 0,29* 11 0,30* 4 0*** 12 0,12*** 5 0,53* 13 0,29* 6 0,18** 14 0,26*

6 IX ENCONTRO N ACIONAL DE P ESQUISA EM ENSINO DE FÍSICA 6 7 0,07*** 15 0,02*** 8 0,41* Correlação nota total escala total 0,66* ** p<0,01 ** p<0,05 *** sem correlação Observe que quase todas (11 em 15) as correlações entre a nota no item e na escala e entre a nota total no teste e a nota total na escala são positivas e significativas indicando que a escala foi um bom preditor para o desempenho no teste. Como foi argumentado antes isso é uma evidência da capacidade do aluno de se auto avaliar e também da validade do uso dessa escala de confiança como uma estratégia de auto avaliação. Ë claro que uma evidência por melhor que seja não é uma certeza. O nosso trabalho está limitado a certos alunos e acertos conteúdos de Física e até mesmo ao formato do teste utilizado. Outras evidências precisam ser pesquisadas para estabelecer com mais confiança essa capacidade auto avaliativas dos alunos e a validade do uso dessa escala como auto avaliação. Nesse sentido, esse é um trabalho ainda em andamento que continuará a ser desenvolvido. A tabela 2 mostra os valores do coeficiente alfa para o teste antes e depois de ter incorporado os resultados da escala de confiança. Tabela 2 Coeficiente alfa Coeficiente alfa Teste sem a nota da escala 0,71 Teste com a nota da escala 0,81 Observe que houve um aumento na fidedignidade do teste comprovando que os dados da escala tornam o teste mais confiável e a interpretação dos resultados mais precisa. Em parte isso se deve ao fato de que o uso da escala inibe um pouco o chute ou acerto casual que pode ocorrer em questões de múltipla escolha. O aluno, mesmo que acerte o item sem saber o conteúdo, mostra o seu verdadeiro conhecimento ao responder a escala de confiança. CONCLUSÕES Apresentamos uma evidência que comprova a capacidade do aluno de se auto avaliar e também da validade do uso de escalas de confiança como uma estratégia de auto avaliação para alunos de ensino médio na disciplina de Física. Mostramos que os resultado da escala de confiança têm uma correlação significativa com os resultado em um teste de múltipla escolha, mostrado que os alunos são capazes de avaliarem corretamente o seu nível de aprendizagem. Além disso mostramos que o uso da escala pode melhorar a interpretação dos resultados obtidos pelos alunos em testes de múltipla escolha.

7 IX ENCONTRO N ACIONAL DE P ESQUISA EM ENSINO DE FÍSICA 7 Algumas questões podem ser colocadas para futuras pesquisas. As escalas de confiança podem aumentar a fidedignidade de testes que utilizem outros tipos de item que não sejam de múltipla escolha? Podemos desenvolver as capacidades auto avaliativas dos alunos se escalas de confiança forem utilizadas frequentemente já que isso obriga os alunos a se posicionarem sobre o seu conhecimento? A escala de confiança pode ser utilizada com um instrumento para verificar o desenvolvimento das habilidades de auto avaliação dos alunos, usando por exemplo a medida de correlação entre as notas nos itens e a nota da escala? Este trabalho espera contribuir para tornar o uso da auto avaliação mais frequente nas aulas de Física. REFERÊNCIAS BIBLIOGRÁFICAS AGRESTI, A.; FINLAY, B. (l986); Statistical methods for the social sciences. San Francisco, Dellen Publishing Company, 1986, 556p. AUSUBEL, D. P., NOVAK, J. D., HANESIAN, H. (l978); Educational Psicology: a cognitive view. (2 nd. Ed) New York, Holt, Rinehart and Winston, p. trad.: Psicologia Educacional. Rio de Janeiro, Ed. Interamericana, p. BRANSFORD, J. D; Brown, A. L.;COCKING, R. R. (1999); How people learn: brain, mind, experience and school. Committee on Developments in the Science of Learning. Commission on Behavioral and Social Sciences and Education. National Research Council. CHI, M. T. H; GLASER, R.; FARR, M. J. (l988); The Nature of Expertise. Lawrence Erlbaum Associates Publishers, New Jersey, DEPRESBITERIS, Lea. Avaliação da aprendizagem Revendo conceitos e posições. Em Avaliação do rendimento escolar. Campinas, SP, Papirus, HADJI, C. (1994) A avaliação, regras do jogo Das intenções aos instrumentos. Portugal. Porto Editora. Traduzido por Júlia L. Ferreira e José M. Cláudio. HADJI, C. (2001) A avaliação desmistificada. Porto Alegre Editora Artmed. Traduzido por Patrícia C. Ramos. LINDEMAN, R. H. (1976) Medidas educacionais Testes objetivos e outros instrumentos de medida para a avaliação da aprendizagem 1 a edição. Porto Alegre. Editora Globo. Traduzido por Leonel Vallandro LINN, R.L. Educational Measurement. American Council on Education : Oryz Press, 1993 PERRENOUD, P. (1999) Avaliação: Da excelência à regência das aprendizagens entre duas lógicas. Porto Alegre. Editora Artes Médicas. Traduzido por Patrícia Chittoni Ramos. POZZO, J. I. (2002); La Adquisicion de conocimiento cientifico como um poceso de cambio representacional. Investigações em ensino de ciências.07 (3). SILVA, C. S. da (l992); Medidas e Avaliação em Educação. Petrópolis, Ed. Vozes, 1992.

8 IX ENCONTRO N ACIONAL DE P ESQUISA EM ENSINO DE FÍSICA 8 TAMIR, P.. (l999); Self-assessment: the use of self-report knowledge and opportunity to learn inventories. International Journal of Science Education, 21 (4), p

9 IX ENCONTRO N ACIONAL DE P ESQUISA EM ENSINO DE FÍSICA 9 APÊNDICE Folha de rosto utilizada na prova Nome: Turma: Valor: 10pts Professor: Data: / / Atenção: marque o grau de confiança que você tem em cada questão. Se você tem confiança da resposta marque TC, se você não tem confiança marque NC. A tabela abaixo mostra a possibilidade de pontos para cada marcação. MARCAÇÃO ACERTO ERRO TC 0,30 0,00 NC 0,25 0,10 PREENCHA O GABARITO E ENTREGUE ESTA PÁGINA AO APLICADOR A A A A A A A A A A A A A A A B B B B B B B B B B B B B B B C C C C C C C C C C C C C C C D D D D D D D D D D D D D D D TC TC TC TC TC TC TC TC TC TC TC TC TC TC TC NC NC NC NC NC NC NC NC NC NC NC NC NC NC NC