Frederico Neves Condé - Efeito dos modelos de teste na habilidade 1

Transcrição

1 Frederico Neves Condé - Efeito dos modelos de teste na habilidade 1 O efeito dos modelos de testes na estimativa da habilidade dos estudantes: comparação entre Prova Brasil e SAEB 2005 Frederico Neves Condé 2007 Orientador: Jacob Arie Laros Laboratório de Pesquisa em Avaliação e Medida LabPAM conde@br.inter.net; (61)

2 Frederico Neves Condé - Efeito dos modelos de teste na habilidade 2 O Sistema Nacional de Avaliação da Educação Básica (SAEB) é um programa de avaliação da educação realizado pelo Governo Federal desde 1990 e tem como principal objetivo oferecer subsídios à formulação e monitoramento de políticas públicas e programas de intervenção ajustados às necessidades diagnosticadas nas áreas e etapas de ensino avaliadas (INEP, 2007a, 2007b). O SAEB, em 2005, foi dividido em duas avaliações: A Avaliação Nacional dos Estudantes da Educação Básica, a ANEB, e a Prova Brasil. A ANEB tem como objetivo emitir resultados do desempenho dos estudantes brasileiros por meio de uma pesquisa amostral e para estratos predefinidos (Bussab, Miazaki, e Rabello, 2005; INEP, 2007a). Nesta, não se emite resultados dos estudantes por escolas, mas para agrupamentos de estudantes tais como Região, Unidades da Federação, Rede (Pública e Particular). A Prova Brasil surgiu em 2005 e trata-se de uma avaliação de âmbito mais universal que fornecesse resultados do desempenho dos estudantes por Escola. A ANEB (que passa aqui a ser tratada por SAEB 2005) e a Prova Brasil foram aplicadas no final de 2005, em intervalos de cerca de um mês. Embora apresentem delineamentos diferentes, estas avaliações partilham de alguns aspectos em comum, quando, por exemplo, utilizam um mesmo referencial (matrizes de referência), utilizam itens comuns para colocar os resultados em uma mesma escala de proficiência e avaliam uma população similar. Tanto o SAEB 2005, quanto a Prova Brasil, utilizaram testes de avaliação de desempenho, cujos resultados foram estimados por meio da Teoria de Resposta ao Item (TRI) e apresentados em uma escala comum entre anos e séries de avaliação (INEP, 2007a, 2007b). Essa convergência metodológica permite comparar o desempenho de estudantes que responderam à Prova Brasil com o dos estudantes que responderam ao SAEB em seu modelo tradicional. O SAEB 2005 e a Prova Brasil avaliaram o desempenho dos estudantes em Língua Portuguesa e em Matemática, sendo que a primeira contemplou a 4a e 8a séries do Ensino Fundamental (E.F.) e a 3a série do Ensino Médio (E.M.), enquanto a segunda contemplou apenas a 4a e 8a séries do E.F. O universo da Prova Brasil é composto por todos os alunos das escolas estaduais, municipais e federais das 4ª e 8ª séries do Ensino Fundamental matriculados em escolas situadas na zona urbana e que tenham pelo menos 30 alunos na série segundo o Censo preliminar de 2005 (INEP, 2007b). Enquanto no SAEB é utilizada uma amostra de alunos, na Prova Brasil todos os alunos do universo (presentes no momento da avaliação) são avaliados.

3 Frederico Neves Condé - Efeito dos modelos de teste na habilidade 3 Os testes do SAEB 2005 e da Prova Brasil apresentaram estruturas diferentes, embora ambos tenham sido planejados de acordo com a amostragem matricial de itens, que utiliza o esquema de montagem e aplicação de testes por Blocos Incompletos Balanceados (BIB). No caso do SAEB 2005, foram compostos 26 cadernos a partir da combinação, três a três, de blocos de 13 itens, por meio da orientação fornecida pela matriz do BIB (INEP, 2007a), apresentada na Tabela 1. Tabela 1 - Delineamento de Blocos Incompletos Balanceados (BIB) do SAEB Caderno Primeiro Segundo Terceiro Primeiro Segundo Terceiro Caderno Bloco Bloco Bloco Bloco Bloco Bloco Esta distribuição de itens por blocos e combinação de blocos por cadernos permitiu que um mesmo conjunto de itens estivesse localizado na primeira posição (primeiro bloco) em dois cadernos de teste, na segunda posição, em outros dois cadernos e na terceira posição, em outros dois. Já os cadernos de teste da Prova Brasil, em cada disciplina, seguiram um planejamento em BIB com sete blocos que compuseram 21 cadernos de dois blocos. Cada bloco apareceu três vezes em cada posição. Cada caderno de teste tinha quatro blocos, dois de Língua Portuguesa e dois de Matemática. Os cadernos de prova de número ímpar começaram com Língua Portuguesa e os de número par com Matemática (INEP, 2007b). O esquema dos cadernos utilizado é apresentado na Tabela 2.

4 Frederico Neves Condé - Efeito dos modelos de teste na habilidade 4 Tabela 2 - Delineamento de Blocos Incompletos Balanceados (BIB) da Prova Brasil. Caderno Disc 1 Blocos Disc 2 Blocos Posicão 1 Posicão 2 Posicão 1 Posicão 2 1 P 1 2 M M 2 3 P P 3 4 M M 4 5 P P 5 6 M M 6 7 P P 7 1 M M 1 3 P P 2 4 M M 3 5 P P 4 6 M M 5 7 P P 6 1 M M 7 2 P P 1 4 M M 2 5 P P 3 6 M M 4 7 P P 5 1 M M 6 2 P P 7 3 M 7 3 Os aspectos anteriormente apresentados caracterizaram ambas as avaliações e podem ser resumidos na tabela 3. Tabela 3 - Esquema comparativo entre SAEB 2005 e Prova Brasil. SAEB 2005 Prova Brasil Língua Portuguesa e Matemática Língua Portuguesa e Matemática 4a e 8a do E.F e 3a do E.M. 4a e 8a do E.F. Resultados por estratos amostrais. Resultados por escola Cada caderno contém testes de apenas uma das disciplinas. Cada caderno contém testes de Língua Portuguesa e de Matemática. Bib de 26 cadernos. Bib de 21 cadernos. 13 blocos de 13 itens para todas as séries. 7 blocos de itens de 10 itens (4ª) e de 12 (8ª). Cadernos com 3 blocos de uma mesma disciplina. Cadernos com 2 blocos de cada disciplina. 39 itens por caderno. 40 itens para a 4a e 48 para a 8a por caderno. Cada aluno responde a um teste de uma única disciplina. Cada aluno responde a testes de ambas as disciplinas. Resultados estimados pela TRI, escala do SAEB Resultados estimados pela TRI, escala do SAEB O presente relatório de projeto de estudo documenta uma análise comparativa inicial entre os resultados do SAEB 2005 e da Prova Brasil Esta comparação busca fornecer informações sobre o impacto da diferença dos modelos de testes nas estimativas de

5 Frederico Neves Condé - Efeito dos modelos de teste na habilidade 5 proficiências dos estudantes. Busca verificar se, mesmo com modelos de testes diferentes, chegam-se a resultados semelhantes. No caso da obtenção de resultados divergentes, que aspectos geraram essas diferenças? O modelo de prova, a estrutura logística de controle de aplicação? Que outros fatores poderiam influenciar os resultados? Os resultados poderão ter impactos práticos na tomada de decisão de manutenção da estrutura sugerida para as próximas avaliações. Fornece subsídio para discussão acerca do delineamento das avaliações do SAEB e da Prova Brasil, dado que diversas possibilidades foram aventadas para o futuro, tais como a união das logísticas de aplicações e/ou unificação de instrumentos. Metodologia Compararam-se os resultados médios dos desempenhos dos estudantes entre o SAEB 2005 e a Prova Brasil, considerando para a primeira avaliação apenas os resultados dos estudantes de escolas públicas (com escolas Federais) e urbanas. Os quantitativos de estudantes envolvidos estão apresentados na tabela 4. Entre parênteses, na mesma tabela, é apresentado o tamanho da população para qual se irá realizar a inferência. Tabela 4 Amostra avaliada no SAEB 2005 e na Prova Brasil. Disciplina Série SAEB 2005 Língua Portuguesa Sem Pesos Com Pesos Prova Brasil 4a a Matemática 4a a A comparação entre os resultados foi realizada primeiramente por meio da comparação entre os valores médios pontuais, ressaltando que deve ser incorporada a comparação utilizando o intervalo de confiança das médias do SAEB. As pesquisas por amostragem geram estimativas pontuais e por intervalo, esta última incorporando a precisão que se atingiu para cada estimativa.

6 Frederico Neves Condé - Efeito dos modelos de teste na habilidade 6 Primeiros resultados As tabelas 5 e 6 trazem as médias de proficiência do SAEB 2005 das escolas Urbanas, Públicas, com Federais e os respectivos erros padrão e intervalos de confiança (com 95% de confiança.). A partir desta tabela pode-se verificar se o intervalo de confiança em cada caso contém o valor da média na Prova Brasil (outro enfoque para a realização da comparação). De maneira geral, observou-se uma proximidade entre as médias de proficiências estimadas para o SAEB e para a Prova Brasil. Observou-se, no entanto, que, para algumas séries e disciplinas e para certos grupos de comparação, um conjunto de médias da Prova Brasil se distanciavam do limite inferior ou superior do intervalo de confiança calculado para as médias do SAEB. Assim, cabe aqui uma análise mais pormenorizada. Como pode ser verificado na tabela 5, em nível Brasil, as médias de Língua Portuguesa, 8ª série, e de Matemática, 4ª série, da Prova Brasil não apresentaram diferenças significativas às médias do SAEB Já as médias de Língua Portuguesa, 4ª série, e de Matemática, 8ª série, da Prova Brasil extrapolaram o intervalo de confiança calculado para o SAEB Para Língua Portuguesa, 4ª série, a diferença não é expressiva. Por sua vez, para Matemática, 8a série, observou-se uma diferença do intervalo limite superior a cinco pontos da escala. Tabela 5 Desempenho dos estudantes no SAEB 2005 e na Prova Brasil Brasil Língua Portuguesa e Matemática, 4a e 8a séries do E.F - Escolas Públicas Urbanas com Federais. Para Língua Portuguesa, 8ª série, todas as regiões apresentaram médias na Prova Brasil semelhantes às médias do SAEB 2005, já que apresentavam intersecção com o intervalo de confiança calculado para o SAEB (Tabela 6). Tabela 6 Desempenho dos estudantes no SAEB 2005 e na Prova Brasil Regiões Língua Portuguesa e Matemática, 4a e 8a séries do E.F - Escolas Públicas Urbanas com Federais.

7 Frederico Neves Condé - Efeito dos modelos de teste na habilidade 7 Para as duas disciplinas em 4ª série, as diferenças das médias da Prova Brasil em relação ao limite mais próximo não foram sistemáticas entre as Regiões. Destaque para a Região Nordeste que apresentou uma distância do limite superior a 4 pontos. Ressalta-se que as estimativas para Matemática, 8a série, para todas as Regiões, não houve intersecção com o intervalo de confiança calculado para o SAEB. Os resultados são coerentes com os encontrados para a mesma série e disciplina em nível Brasil. Cabe notar que, entre as Regiões, todas as diferenças entre médias consideradas significativas apontavam para uma maior média para a Prova Brasil (Diferença entre médias negativa).

8 Frederico Neves Condé - Efeito dos modelos de teste na habilidade 8 Discussão As maiores diferenças notadas para Matemática, 8a série, por hipótese, não devem ter sido causada em termos de erros de logística de aplicação, já que os resultados de Língua Portuguesa, 8a série, foram os que apresentaram a menor diferença entre as duas avaliações e as provas dessas disciplinas foram aplicadas em conjunto. Uma das hipóteses é a de que essa discrepância tenha sido causada pela diferença entre os modelos de prova SAEB e Prova Brasil e seu impacto na estimação da proficiência. Tal aspecto deve ser investigado com mais profundidade. Observou-se para Brasil e Regiões uma grande incidência de médias significativamente superiores da Prova Brasil, em comparação ao SAEB. Poucos foram os casos em que se verificaram médias significativamente superiores do SAEB em relação à outra avaliação. Para a continuidade do estudo, é importante comparar as estimativas dos erros padrão dos parâmetros da TRI de itens comuns e não comuns às duas avaliações, para de certa forma, investigar se o delineamento das provas gera diferença significativas na estimação das proficiências. Sugere-se, também, a comparação de resultados para outros subgrupos populacionais (agrupamento por quartis de proficiência, redes, etc.). Uma análise bastante informativa será retirar determinado quantitativo de dados de respostas aos itens do SAEB, de forma que sua base de dados apresente o mesmo número de itens respondido pelos estudantes na Prova Brasil. Após, reestimar as proficiências e refazer as comparações. Caso as diferenças entre os resultados se mantenham, reforça a hipótese que as diferenças são causadas pela estrutura da prova. Uma última ressalva diz respeito à versão da base de dados utilizada para a comparação. Foi informado pelo INEP que uma base com algumas alterações/acertos ainda será disponibilizada e, portanto, o estudo deverá ser replicado e adaptado à nova base quando esta estiver disponível. Sugere-se ainda uma análise mais detalhada do relatório de campo para verificação da existência de especificidades que pudessem gerar uma possível superestimação das médias da Prova Brasil.

9 Frederico Neves Condé - Efeito dos modelos de teste na habilidade 9 Referências Bussab, W.O., Miazaki, E.S. e Rabello, M.C.R. (2005a). Plano amostral do SAEB-2005: Definição do Plano Amostral. Brasília-DF: Inep. Bussab, W.O., Miazaki, E.S. e Rabello, M.C.R. (2005b). Plano amostral do SAEB-2005: Definição do Universo da Pesquisa. Brasília-DF: Inep. Bussab, W.O., Miazaki, E.S. e Rabello, M.C.R. (2005c). Plano amostral do SAEB Sistema de Ponderação. Brasília-DF: Inep Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (2007a). ANEB 2005: relatório da teoria clássica dos testes. Brasília: MEC/INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (2007b). Relatório técnico: análise da Teoria Clássica dos Testes e da Teoria de Resposta ao Item da Prova Brasil Brasília: MEC/INEP.