Estudos de validade do Exame Nacional do Ensino Médio

Transcrição

1 Estudos de validade do Exame Nacional do Ensino Médio Claudette Maria Medeiros Vendramini 1 Maria Cristina Rodrigues Azevedo Joly 2 Gisele de Fátima Spineli Cangussú 3 Juliana Maximila de Paula Bueno 4 Luana Comito Muner 5 1 Coordenadora Institucional do Obeduc2010, Professora do Programa de Pós-Graduação Stricto Seusu em Psicologia da Universidade São Francisco USF, Itatiba/SP; claudette.vendramini@usf.edu.br 2 Pesquisadora do Obeduc2010, Professora do Programa de Pós-Graduação em Desenvolvimento Humano e Saúde da Universidade de Brasília UnB, Brasília/DF 3, 4, 5 Bolsistas de Mestrado do Obeduc2010. Programa de Pós-Graduação Stricto Seusu em Psicologia da Universidade São Francisco USF, Itatiba/SP; ÁREA TEMÁTICA - Educação básica INTRODUÇÃO A avaliação em larga escala é compreendida como um sistema de informações que tem por função principal fornecer diagnóstico e subsídios tanto para a implementação quanto para a manutenção de políticas educacionais. Nesse sentido, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira Inep realiza avaliações a fim de estabelecer políticas públicas para a Educação do país. Uma dessas avaliações, o Exame Nacional do Ensino Médio Enem, visa avaliar as habilidades e competências de estudantes de ensino médio nos eixos cognitivos domínio da linguagem, compreensão dos fenômenos, enfrentamento e solução de situações-problema, a construção da argumentação e a elaboração de propostas resultante do processo de aprendizagem no ensino básico. Para tornar válidas e fidedignas as inferências feitas a partir das pesquisas científicas que usam as bases de dados gerados pelo Enem faz-se necessário ter informações sobre a qualidade das provas aplicadas neste exame. Considerando os estudos realizados por Bartholomeu (2011), Bueno (2013), Gomes (2005), Gomes e Borges (2007) e Gomes e Borges (2009) verifica-se que a estrutura do Enem no modelo aplicado em 2001 e 2007 não se confirma, porém o que todos os estudos trazem em comum, são evidências empíricas de que essa prova pode ser pensada como uma avaliação da inteligência à luz da teoria CHC de Catell-Horn-Carroll. Porém deve-se considerar que os estudos supracitados e os realizados por Brito e cols. (2000), Klein, Fontanive e Carvalho (2007), Souza (2006) e Spineli (2013) foram realizados com a estrutura proposta pelo MEC para os anos de 1998 e Nesse sentido, três pesquisas foram desenvolvidas pelos bolsistas do Observatório da Educação 2010 com a finalidade de investigar sobre as evidências de validade dessas provas. No estudo desenvolvido por Muner (2012), a autora avaliou as evidências de validade das provas aplicadas no Enem 2010, por meio da Análise Fatorial Exploratória (AFE) e Análise Fatorial Confirmatória (AFC) em uma amostra geral de estudantes paulistas, selecionados seguindo critérios de inclusão. Para a realização das análises fatoriais foram selecionadas aleatoriamente do banco de dados geral duas subamostras, sendo uma para AFE composta por estudantes e outra para a AFC composta por 1337 estudantes.

2 A pesquisa realizada por Cangussu (2013) investigou sobre as evidências de validade do Enem 2006 associando seus resultados a uma escala de Metacompreensão META-EM em estudantes paulistas do ensino médio. Nesse estudo, a autora deu destaque à leitura, enquanto habilidade cognitiva, que envolve, por meio da compreensão, uma série de estratégias cognitivas que auxiliam o aluno a adquirir as habilidades e competências do Enem. A outra pesquisa foi realizada por Bueno (2013) que verificou as evidências de validade fatorial da prova do Enem 2007 e interpretou as habilidades e competências avaliadas pelo Enem à luz da teoria CHC das habilidades cognitivas em estudantes paulistas. OBJETIVOS O objetivo geral das pesquisas foi avaliar as evidências de validade das provas do Enem em estudantes do estado de São Paulo. Três estudos foram realizados para esse fim com os seguintes objetivos específicos: Estudo1 (CANGUSSU, 2013) - verificar as evidências de validade do Enem 2006 associando seus resultados a uma escala de Metacompreensão e as evidências de validade da escala; Estudo2 (BUENO, 2013) - verificar as evidências de validade fatorial da prova do Enem 2007 e interpretar as habilidades e competências avaliadas neste exame à luz da teoria CHC das habilidades cognitivas; e, Estudo3 (MUNER, 2012)- verificar evidências de validade do Enem 2010, por meio da Análise Fatorial Exploratória (AFE) e Análise Fatorial Confirmatória (AFC). MÉTODO Fonte de dados e sujeitos Para o Estudo1 Cangussu (2013) selecionou do banco de dados do Enem 2006 os estudantes do estado de São Paulo que concluíram o ensino médio antes de 2006, que fizeram a prova amarela, que não cursavam a Educação de Jovens e Adultos. Para possibilitar a comparação dos dados com o banco de dados da escala de metacompreensão META-EM foram selecionados estudantes na faixa etária 16 a 18 anos, correspondente às idades dos estudantes que compunham o banco de dados da escala de META-EM. A mostra ficou então composta de um total de participantes, sendo 197 (4,6%) com 16 anos, com 17 (59%) e com 18 anos (36,4%). Desses, eram do sexo feminino e do masculino, concluíram o Ensino Médio em 2006 e 310 concluíram antes de No Estudo2 Bueno (2013) considerou os estudantes do banco de dados do Enem 2007 que eram do estado de São Paulo e que cursaram o ensino médio regular. Assim a amostra dessa pesquisa incluiu avaliados, sendo 59,5% do sexo feminino e 40,5% do sexo masculino, com idades que variaram de 15 a 49 anos (M = 17,6; DP = 1,8). Com relação às instituições de ensino obteve-se 74,1% de escolas estaduais, 24,3% de escolas privadas, 1,2% de escolas municipais e 0,3% de escolas federais. Dentre estas escolas 99,1% estão situadas na zona urbana e 0,9% situam-se na zona rural. A amostra do Estudo3 desenvolvido por Muner (2012) consiste dos participantes selecionados do banco de dados do Enem 2010 do estado de São Paulo, cursando o 3º ano do Ensino Médio Regular - EMR ou profissionalizante no ano de realização do Enem, que fizeram as provas do caderno azul e responderam as duas etapas da prova objetiva, que optaram pela Língua Inglesa na prova Linguagens, Códigos e suas Tecnologias, e que indicaram não necessidade especial. Esse banco conta com o resultado das provas de participantes, 56,6% feminino, 97,6% estudantes do ensino médio regular, com idades de 16 a 20 anos (M=17,38; DP=0,60), representando 551 cidades do estado de São Paulo. Foram selecionadas aleatoriamente do banco de dados geral duas subamostras, a subamostra1 com participantes a subamostra2, na qual foi realizada a AFC, foi composta de participantes, correspondendo a 10% da amostra geral. Material

3 Provas do ENEM-SP 2006(azul), 2007(amarela) e 2010 O Enem é composto por testes em quatro áreas de conhecimento: linguagens, códigos e suas tecnologias (incluindo redação); ciências humanas e suas tecnologias; ciências da natureza e suas tecnologias e matemática e suas tecnologias. Cada grupo de testes é composto por itens de múltipla escolha. A parte objetiva da prova tem como pontuação de 0 a 100 separadas pelas cinco competências, ou seja, para cada competência é possível obter uma nota de 0 a 100 pontos. A nota da Redação é a média aritmética das notas atribuídas a cada uma das cinco competências avaliadas na correção e situada na faixa de desempenho correspondente do estudante. Escala de Metacompreensão Ensino Médio (META-EM) (JOLY, 2005) A escala tem por objetivo avaliar o tipo e a frequência de estratégias de metacompreensão em leitura que os jovens estudantes utilizam antes, durante e depois da leitura de textos informativos. É composta por 39 afirmações do tipo Likert com três opções de intensidade de frequência nunca, algumas vezes e sempre variando de 0 a 2 pontos. Os itens são distribuídos em função do momento de leitura, sendo que os itens de número 1 a 4 se referem a estratégias utilizadas antes da leitura, os de número 5 a 30 se referem às estratégias durante a leitura e os itens 31 a 39 estão relacionadas às estratégias utilizadas depois da leitura. Procedimento de análise de dados Os dados foram analisados nos três estudos pela estatística descritiva e inferencial segundo as unidades de observação de cada estudo e segundo critérios pré-estabelecidos e descritos anteriormente. As estatísticas descritivas foram utilizadas para a caracterização das amostras e do desempenho geral dos estudantes em cada instrumento aplicado. No Estudo1 foi realizada a correlação produto-momento de Pearson, total e parcial, entre o desempenho geral no Enem-SP 2006 e o uso das estratégias de metacompreensão, a fim de verificar a associação entre as variáveis em questão e a possibilidade de identificar evidência de validade para a META-EM. A MANOVA foi utilizada a fim de analisar o desempenho na utilização de estratégias de metacompreensão em leitura e no Enem em função das unidades de observação, bem como buscar evidências de validade para META-EM por critério externo de desenvolvimento e aprendizagem. Foi utilizado o Alfa de Cronbach para aferir a precisão da META-EM no total e por fatores. Nos Estudos 2 e 3 os resultados foram analisados por meio da análise fatorial exploratória e confirmatória segundo critérios apresentados por Hair, Anderson, Tatham e Black (2011). No Estudo2 os resultados do Enem 2007 foram relacionados, pela autora do trabalho, com as habilidades acadêmicas correspondentes da Teoria CHC e organizados em agrupamentos de itens a partir desta associação. Após esse procedimento foi realizado a análise fatorial exploratória, a fim de verificar como se agrupam os itens da prova empiricamente. Em seguida, foi realizada uma comparação entre os agrupamentos (empírico e teórico) e interpretados à luz da Teoria CHC. No Estudo3 três juízes especialistas em avaliação psicológica realizaram a análise de conteúdo de forma independente para cada item por fator e por prova da subamostra1 a partir do modelo de Catell-Horn-Carroll e do método Cross-Battery (FLANAGAN; HARRISON, 2005). Após a realização da AFE, foi selecionado a subamostra 2 e verificadas a estrutura encontrada empiricamente pela AFC. RESULTADOS E DISCUSSÃO No geral as pesquisas revelaram evidências de validade para as provas originais ou modificadas do Enem. Os resultados do Estudo1 indicaram que as estratégias metacognitivas globais se associaram positivamente com todas as competências da prova objetiva, porém mais significativamente com as competências 2 e 4 do Enem. As estratégias de suporte se associaram

4 negativa e significativamente com a competência 1. Desse modo, o domínio da linguagem pode diminuir a necessidade de utilização de estratégias de suporte à leitura, talvez por implicar em aporte teórico e vocabulário mais amplos. Ao lado desses resultados, foram também verificados bons índices de precisão para a META-EM, o que lhe confere evidências de validade. No Estudo2 os resultados da análise fatorial exploratória por componentes principais e rotação promax indicaram uma estrutura composta de três fatores que explicam 27,2% da variância total, sendo que o primeiro fator se refere a habilidades cognitivas gerais, o segundo fator engloba itens que avaliam habilidades de leitura e interpretação de textos e gráficos e o terceiro fator corresponde a itens que continham textos literários. Os resultados mostraram que a prova do Enem 2007 permite avaliar predominantemente a inteligência fluida e a habilidade de leitura e escrita e não o conhecimento adquirido no período escolar. Para o Estudo3 observou-se que as provas do Enem 2010 mostraram por meio da AFE uma estrutura diferente da originalmente proposta. A prova Ciências Naturais foi composta por três fatores, as Ciências Humanas e Matemática e Tecnologias por dois fatores e a Linguagem e Códigos por um fator. A análise de conteúdo por juízes independentes identificou a presença das habilidades inteligência cristalizada, conhecimento quantitativo, inteligência fluida e leitura e escrita, distribuídas em fatores de modo específico para cada prova. As AFC mostraram bons índices de ajustes para as provas do Enem 2010 indicando que avaliam habilidades cognitivas e acadêmicas e podem aferir o desempenho do estudante com menor número de questões. Os resultados descritos permitiram constatar evidências de validade de construto para estrutura interna e conteúdo para o Enem 2010 reorganizado em função do modelo CHC. CONCLUSÃO Os resultados encontrados por Bueno (2013) mostraram que a prova do Enem 2007 permite avaliar predominantemente a inteligência fluida e a habilidade de leitura e escrita e em um grau menor o conhecimento adquirido no período escolar. No estudo de Muner (2012), a autora encontrou evidências de validade de construto para estrutura interna para a prova do Enem 2010 reduzida por meio das AFE e AFC e evidências de validade de conteúdo por meio da análise de juízes. O Estudo de Gangussu (2013) revelou evidências de validade da prova Enem 2006 por meio de correlações com um instrumento de avalição de metacompreensão em leitura, ressaltando a importância de considerar essa variável nas análises de desempenho dos estudantes. Esses resultados trazem dados importantes sobre a qualidade psicométrica das provas, embora outros estudos devam ser realizados que complementem os dados encontrados por essas pesquisas. Como ressaltado por Bueno (2013) os resultados não podem ser generalizados para as demais provas, devido às modificações que são realizadas anualmente no exame do Enem, pois a cada aplicação dessa prova são selecionados novos estudos que contribuem para a avaliação dos aspectos psicométricos das provas e também para uma melhor avaliação do sistema educacional brasileiro. Como ressaltam as autoras desses três estudos, outras pesquisas devem ser realizadas que contemplem a aplicação de do Enem na forma original ou reduzida concomitantemente à aplicação de instrumentos psicológicos que mensurem as habilidades cognitivas preconizadas pelo modelo CHC, bem como de outros instrumentos de inteligência ou de avaliação da compreensão e metacompreensão em leitura, e assim encontrar novas evidências de validade para as provas aplicadas no Enem. Dessa forma, os estudos realizados de acordo com as características da cada edição do exame, analisados por diferentes métodos estatísticos de análise de dados, poderão contribuir com dados de pesquisa tanto para as áreas de Psicologia e Educação, quanto para outras áreas de conhecimento com interesse na competência e habilidade de estudantes do ensino médio. REFERÊNCIAS BARTHOLOMEU, Daniel (2011). O uso do Enem e Enade em um delineamento longitudinal para avaliação da qualidade dos cursos do ensino superior. Itatiba/SP, 148p. Tese (Doutorado

5 em Psicologia). Programa de Pós-Graduação Stricto Sensu em Psicologia, Universidade São Francisco. BRITO, Márcia R. Ferreira; MUNHOZ, Alícia M. H.; PRIMI, Ricardo; GONÇALEZ, Maria Helena; REZI, Viviane; NEVES, Lliliane F.; SANCHES, Maria Helena F.; MARINHEIRO, F. B. Exames Nacionais: Uma Análise do Enem Aplicado à Matemática. Avaliação, v. 5, n. 4, p , BUENO, Juliana Maximila de Paula. Análise das habilidades avaliadas pelo Enem por meio da teoria CHC: um estudo de validade. Itatiba/SP, 2013, 68p. Dissertação (Mestrado em Psicologia), Programa de Pós-Graduação Stricto Sensu em Psicologia, Universidade São Francisco. FLANAGAN, D. P.; HARRISON, P. L. Contemporary intelectual assessment: theories, tests, and issues. New York: The Guilford Press, GANGUSSU, Gisele de Fátima Spineli. Escala de Metacompreensão e Exame Nacional do Ensino Médio: evidências de validade para META-EM. Itatiba/SP, 2013, 89p. Dissertação (Mestrado em Psicologia), Programa de Pós-Graduação Stricto Sensu em Psicologia, Universidade São Francisco. GOMES, C. M. A. (2005). Uma análise dos fatores cognitivos mensurados pelo Exame Nacional do Ensino Médio. Belo Horizonte/MG, (Tese de Doutorado). Universidade Federal de Minas Gerais. GOMES, C. M. A.; BORGES, O. N. Uma análise dos fatores cognitivos mensurados pelo Enem. In: 30ª REUNIÃO ANUAL DA ANPED, Caxambu. Anais..., GOMES, C. M. A.; BORGES, O. N. O Enem é uma avaliação educacional construtivista? Um estudo de validade de construto. Estudos em Avaliação Educacional, v. 20, n. 42, p , HAIR, J. F.; ANDERSON, R. E.; TATHAM, R. L.; BLACK, W. C. Análise multivariada de dados. Porto Alegre: Bookman, KLEIN, R.; FONTANIVE, N.; CARVALHO, J. C. B. O desempenho de alunos dos Cursos Prévestibulares Comunitários no Enem 2006: análise de um possível impacto da capacitação de professores. Ensaio: avaliação de políticas públicas educacionais, v. 15, n. 56, p , MUNER, Luana Comito. Análise Fatorial Exploratória e Confirmatória do Enem 2010 com estudantes paulistas. Itatiba/SP, 2012, 132p. Dissertação (Mestrado em Psicologia), Programa de Pós-Graduação Stricto Sensu em Psicologia, Universidade São Francisco. SOUZA, Adilson M. Validade preditiva de um processo seletivo em relação ao desempenho de universitários de Psicologia. Itatiba/SP, Dissertação (Mestrado em Psicologia). Programa de Pós-Graduação Stricto Sensu em Psicologia, Universidade São Francisco.