Avaliações Educacionais e o Ensino de Ciências e Matemática: o Enem: avaliação do desempenho dos estudantes em Ciências da Natureza

Transcrição

1 Avaliações Educacionais e o Ensino de Ciências e Matemática: o Enem: avaliação do desempenho dos estudantes em Ciências da Natureza Marta F. Barroso 1, Marcelo S.O. Massunaga 2, Gustavo Rubini 3 1 UFRJ Instituto de Física e LIMC (Laboratório de Pesquisa e Desenvolvimento em Ensino de Matemática e Ciências); 2 UENF Laboratório de Ciências Físicas; 3 UFRJ LIMC (Laboratório de Pesquisa e Desenvolvimento em Ensino de Matemática e Ciências) marta@if.ufrj.br Área Temática Educação básica INTRODUÇÃO Elaborar diagnósticos sobre a educação que avancem além da constatação da baixa qualidade da educação brasileira é necessário, para que seja possível propor mudanças baseadas nas evidências fornecidas por esses diagnósticos. As avaliações educacionais que são realizadas pelo Instituto Nacional de Pesquisas e Estudos Pedagógicos Anísio Teixeira INEP possibilitam um sem número de leituras, cada uma enriquecendo nosso conhecimento sobre o estado do sistema educacional no país. Dentre essas avaliações, algumas são particularmente relevantes, pela abrangência e clareza de objetivos, como o PPISA, o Saeb, o Enem e o Enade. O projeto Avaliações Educacionais e o Ensino de Ciências e Matemática, contemplado no Edital 21 do Programa Observatório da Educação, congregava os Programas de Pós- Graduação em Ensino de Física (Mestrado Profissional) e em Ensino de Matemática (Mestrado Acadêmico). Seus objetivos gerais propunham-se a responder a duas perguntas gerais: O que as avaliações educacionais nos revelam a partir do ensino de Matemática e Ciências na educação básica no Brasil? Como é possível utilizar este diagnóstico para propor melhorias tanto para a educação básica quanto para a formação de professores? Como objetivos específicos, propunha-se a estudar os dados do Pisa, os resultados do Enem de Ciências da Natureza e Matemática, a avaliar os resultados de políticas públicas como o ProLetramento Matemática, e a discutir as possibilidades de transferência desses conhecimentos para a educação básica, em particular para os professores. Neste trabalho, são apresentados resultados relativos ao estudo das provas do Enem, dos anos de 29, 21 e 211. Para esses anos, os microdados foram disponibilizados pelo INEP. OBJETIVOS O Exame Nacional do Ensino Médio Enem é, como o próprio nome diz, uma avaliação para estudantes que completam o ensino médio. É uma avaliação não compulsória, mas como seus resultados são utilizados para o acesso a grande parte das universidades públicas do país (por meio do Sistema de Seleção Unificada, o SiSU), para o acesso ao financiamento ao ensino superior privado (por meio do Prouni) e para a certificação do ensino médio, constitui-se em um processo avaliativo atípico dentro do conjunto das avaliações em larga escala: não é de caráter universal, não é de caráter amostral, mas os participantes fazem a prova com muito cuidado, de forma geral. Com isso, esse exame pode fornecer um quadro relativamente fiel e informações relevantes sobre a aprendizagem dos estudantes ao final da educação básica, nos temas e competências abordados neste exame, em nosso país. 1

2 Apresenta-se um conjunto de informações que permitem caracterizar o público participante das edições 29 e 21 do Enem e o desempenho dos participantes nas provas. Todas essas informações são obtidas a partir dos microdados e das provas disponibilizados pelo INEP, por meio do uso de estatística descritiva simples dos registros de todos os participantes das provas do Enem 29 e 21. São verificados os desempenhos de todos os candidatos e dos candidatos que se auto-declaram concluintes no ano de realização do exame. A interpretação desse primeiro apanhado geral do desempenho dos candidatos nessas provas permite fazer algumas inferências sobre a aprendizagem dos estudantes brasileiros ao final do ensino médio. Em particular, resultados sobre o desempenho dos alunos na prova de Ciências da Natureza nos anos de 29, 21 e 211 são apresentados e analisados. DESENVOLVIMENTO Em 29, ocorre uma importante mudança nos objetivos e métodos do Enem. Dentre algumas das componentes dessa mudança, o exame passa a ser focado em habilidades e conteúdos. Essa mudança não descaracteriza a proposta inicial do Enem de avaliar competências e habilidades. Os itens ainda são caracterizados por habilidades, mas agora também são informados os objetos de conhecimento associados à matriz de referência. Esses objetos descrevem conteúdos das áreas específicas. Quanto às competências, estas estão agora caracterizadas pelos eixos cognitivos, comuns a todas as áreas. Assim, a proposta de avaliar competências e habilidades ainda existe, mas agora é possível identificar nos itens as áreas específicas que estão sendo avaliadas. Essas nova prova, como diz a carta, aproxima o Enem dos currículos praticados nas escolas. E essa aproximação permite uma releitura dos resultados do exame, com contribuições sobre a compreensão em relação à aprendizagem dos estudantes. Passa a ser possível conhecer o que o alunado brasileiro domina sobre cada área específica do conhecimento, permitindo um retorno para os professores sobre as suas práticas docentes. O INEP disponibilizou em sua página as provas do Enem e, a partir de 212, os microdados relativos ao questionário sócio-econômico e das respostas dos candidatos aos exames aplicados em 29, 21 e 211. Escolheu-se trabalhar com as provas efetivamente aplicadas nas edições de 29 e 21 do Enem. Para isso, os arquivos disponibilizados pelo INEP foram abertos e preparados para uso; um relato detalhado desta preparação pode ser encontrado em [Barroso, 213]. Os filtros utilizados utilizados foram: 1. Escolha das provas da principal aplicação do exame, em suas quatro cores (azul, amarelo, branco e rosa no primeiro dia, Ciências da Natureza e Ciências Humanas; amarelo, azul, cinza e rosa no segundo dia, Linguagens e Matemática). 2. Exclusão dos alunos que não compareceram ou que foram eliminados. 3. Padronização de todas as cores seguindo o padrão da prova azul. 4. Dicotomização dos resultados, isto é, transformação das respostas apresentadas em respostas do tipo certo ou errado, e obtenção da nota segundo a Teoria Clássica de Testes [Pasquali, 23]. 5. Separação dos dados em dois grandes grupos: o grupo de participantes (a amostra geral) e o grupo dos concluintes, os candidatos que informam estarem concluindo o ensino médio no ano em que estão prestando o exame. Portanto, a amostra utilizada neste trabalho é constituída de todos os candidatos que estavam presentes nas provas da aplicação regular dos exames nos anos de 29 e 21. A indicação do número da questão na prova é relativa à prova de cor azul. 2

3 Na Tabela 1, as informações relativas ao processo de seleção da amostra estão apresentadas. São indicados o número total de registros contidos nos microdados disponibilizados pelo INEP, que corresponde ao número de candidatos inscritos; o número de candidatos presentes às provas do primeiro dia do exame, no qual são realizados os testes de Ciências da Natureza e Ciências Humanas; o número de candidatos presentes no segundo dia do exame, no qual são realizados os testes de Linguagens, Matemática e prova de Redação; o número de candidatos com resultados válidos que realizaram o exame regular, isto é, os que compareceram na aplicação principal da prova (e não na prova para pessoas privadas de liberdade ou para os problemas de impressão ocorridos em 21), tanto no primeiro quanto no segundo dia de aplicação; e, finalmente, o número de candidatos nos dois dias que se auto-declararam concluintes do ensino médio no ano do exame. Tabela 1. Números relativos à avaliação dos microdados do Enem 29 e 21 Enem 29 Enem 21 Inscrições Participantes no primeiro dia (CiNat e CiHum) Participantes no segundo dia (Linguagens e Matemática) Candidatos mantidos no banco de dados de CiNat e CiHum Candidatos mantidos no banco de dados de Linguagens e Matemática Concluintes de Ciências da Natureza e Ciências Humanas Concluintes de Linguagens e Matemática Fonte: INEP, Microdados do Enem 29 e do Enem 21, adaptado e analisado pelos autores. Estatísticas descritivas foram utilizadas para a análise das informações. Faz-se uma caracterizaçao do perfil dos candidatos e das escolas, e analisados o desempenho dos estudantes em cada uma das provas aplicadas, com a descrição do gênero dos candidatos, da idade, do tipo de escola frequentada, entre outras. Também são descritas as curvas de desempenho, os histogramas das notas segundo a Teoria da Resposta ao Item e segundo a Teoria Clássica dos Testes. A partir de uma classificação elaborada por Gonçalves Jr. [Gonçalves Jr, 212; Gonçalves Jr. e Barroso, 213] para as questões de física da prova de Ciências da Natureza, foi feita uma avaliação do desempenho dos estudantes em Física. RESULTADOS E DISCUSSÃO Os dados avaliados correspondem aos registros dos candidatos presentes ao primeiro dia de prova. Apresentamos os resultados correspondentes ao gênero dos participantes. Nas edições de 29 e 21, tanto os participantes quanto os concluintes são predominantemente mulheres, num total de 6%, como indicado na Tabela 2, Tabela 2 - Distribuição percentual dos candidatos por gênero Participantes Concluintes Feminino 6,2% 59,4% 6,6% 6,2% Masculino 39,8% 4,6% 39,4% 39,8% A avaliação dos dados disponíveis nos permitem concluir que, em resumo, os concluintes do ano do Enem são jovens entre 16 e 25 anos, em sua maioria (6%) mulheres, solteiros, e brancos ou pardos. 3

4 Frequência Frequência Com relação às escolas, os dados relativos ao registro do tipo de dependência administrativa da escola de ensino médio, como mostrado na Tabela 3, revelam que entre a maioria dos participantes não fornece essa informação. Já entre os concluintes, cerca de 75% dos estudantes cursou o ensino médio na rede pública estadual e cerca de 21% na rede privada. As redes públicas federal e municipal têm um número muito pequeno de candidatos. Apresenta-se na Figura 1 o histograma dos escores TRI dos estudantes concluintes nas provas de Ciências da Natureza em 29 (Figura 1a) e em 21 (Figura 1b). Tabela 3. Distribuição percentual das respostas relativas à dependência administrativa da escola em que cursou o ensino médio Participantes Concluintes Federal,8%,6% 1,7% 1,7% Estadual 3,5% 25,8% 75,% 75,5% Municipal,7%,5% 1,6% 1,4% Privada 1,5% 7,3% 21,7% 21,4% Não Informado 57,5% 65,9%,%,% Figura 1a. A nota na prova de Ciências da Figura 1b. A nota na prova de Ciências da Natureza segundo a TRI, para os concluintes Natureza segundo a TRI, para os concluintes do Enem 29. concluintes do Enem Nota da prova de Ciências da Natureza Nota da prova de Ciências da Natureza Na Figura 2, estão os histogramas desta mesma prova com o escore fornecido pela Teoria Clássica dos Testes TCT dos estudantes concluintes, na prova de Ciências da Natureza em 29 (Figura 2a) e em 21 (Figura 2b). Esta nota segundo a TCT corresponde à soma dos acertos na prova, que possui 45 questões. Os histogramas das provas de Matemática, Ciências Humanas, Linguagens e Redação também foram obtidas, e a avaliação dessas distribuições foi elaborada. Figura 2a. A nota na prova de Ciências Figura 2b. A nota na prova de Ciências da Natureza segundo a TCT, para os da Natureza segundo a TCT, para os concluintes do Enem 29. concluintes do Enem 21. 4

5 Percentual de acerto Frequência Frequência Total de acertos em Ciências da Natureza Total de acertos em Ciências da Natureza O desempenho dos estudantes em cada uma das questões de cada uma das provas, mensurado a partir do percentual de acertos nas questões da prova de Ciências da Natureza em 29, está indicado na Figura 3. Figura 3. Os percentuais de acerto por item na prova de Ciências da Natureza do Enem ENEM 29 Prova de Ciências da Natureza Percentual de acertos 6 4 média (34,7%) Número da questão - Prova Azul CONCLUSÃO A avaliação apresentada aqui, e os demais resultados obtidos, revela um perfil do exame do Enem, em particular da prova de Ciências da Natureza. O perfil revela, nos anos considerados, um exame com itens predominantemente qualitativos, extensos para o tempo disponível para a sua resolução e em geral bem contextualizados. Observa-se dos desempenho dos estudantes que o percentual de acertos entre os concluintes do ensino médio e para os participantes em geral foi praticamente o mesmo nesta prova. Há diferença nas médias dos desempenhos nas questões que envolvem análises quantitativas, com percentuais de acerto menores. Esse fato revela uma das dificuldades de aprendizagem em ciências no país: há um desempenho muito baixo dos alunos em itens em que é exigida uma resolução de problemas, com diversas operações cognitivas concatenadas. Esse 5

6 assunto foi abordado na análise de uma das questões do Enem 29 [Duarte, 213]. Neste trabalho, percebem-se as possibilidades para a sala de aula da análise detalhada dos resultados do Enem. REFERÊNCIAS DUARTE, L.P.A.A. Estudo de um item do Enem 29. Trabalho de conclusão de curso, Licenciatura em Física da UFRJ, apresentado em julho de 213. UFRJ, 213. GONÇALVES Jr, W.P. Avaliações em Larga Escala e o Professor de Física. Dissertação de mestrado apresentada ao Programa de Pós-Graduação em Ensino de Física (Mestrado Profissional) em fevereiro de 212. Disponível em 212_Wanderley_Goncalves/dissertacao_Wanderley_Goncalves.pdf. Consultado em 29/1/213. GONÇALVES Jr, W.P. e BARROSO, M.F. As Questões de Física e o Desempenho dos Estudantes no ENEM. Aceito para publicação na Revista Brasileira de Ensino de Física. Disponível em Consultado em 29/1/213. PASQUALI, L. Psicometria: A Teoria da Medida em Psicologia e Educação. Petrópolis, RJ: Vozes, 23. 6