Processo de Composição da Prova SARESP do 5º EF de Matemática

Transcrição

1 Processo de Composição da Prova SARESP do 5º EF de Matemática The Process of Composition of Mathematics test SARESP to the 5th Year of Elementary School Rodrigo de Souza Bortolucci Mestre em Educação Matemática, VUNESP Pesquisador, Fundação VUNESP Resumo Este trabalho apresenta o processo de composição da prova de Matemática SARESP 2013 de Matemática, para o 5º Ano do Ensino Fundamental, e explicita como a aplicação da TRI contribui nesse processo a fim de garantir uma avaliação isenta, que se identifica com o público a que se destina e que tem condições de oferecer subsídios para a melhoria do ensino público do estado de São Paulo. Palavras chave: SARESP. Avaliação de Larga Escala. Curva de informação do teste. Abstract This study presents the elaboration method of mathematics test in external assessment SARESP and shows how the Item Response Theory IRT adds to the quality of test to provide subsidies to educational system of the state of São Paulo Brazil. Keywords: SARESP. External assessment of Large Scale. Curve of test information. Introdução O Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo SARESP é uma avaliação externa, aplicada desde 1996, que visa fornecer informações sobre o rendimento escolar da Educação Básica paulista, desde as séries iniciais até o desfecho no final do Ensino Médio, a fim de orientar os gestores que monitoram as políticas voltadas para a melhoria da qualidade do ensino. Esse Sistema de Avaliação utiliza se de provas para análise do desempenho dos alunos do 5º, 7º e 9º anos do Ensino Fundamental e da 3ª série do Ensino Médio, cuja montagem faz uso da metodologia dos Blocos Incompletos Balanceados (BIB) enquanto que a apuração dos resultados é respaldada pela Teoria de Resposta ao Item (TRI). A utilização do BIB torna possível o uso de uma grande quantidade de itens por série e disciplina, tornando possível a análise de um maior número de competências e habilidades do aluno. A TRI, por sua vez, permite analisar as respostas, calcular e

2 Rodrigo de Souza Bortolucci ancorar, na escala adotada pelo SARESP, as escalas médias de proficiências apuradas. Desta forma é possível, interpretar pedagogicamente os resultados para os diferentes pontos da escala e acompanhar a evolução dos indicadores de qualidade da educação ao longo dos anos. Nesse cenário, a escolha dos itens que compõem as provas é de fundamental importância, pois estes devem garantir a comparabilidade, a validade e a fidedignidade das análises de cada edição. Além do mais, é necessário que as provas permitam uma investigação contínua dos avanços e necessidades de cada ano escolar em Matemática. Este trabalho tem por objetivo apresentar e discutir o processo de composição da prova SARESP 2012 na área de Matemática aplicada aos alunos do 5º Ano do Ensino Fundamental da rede de ensino pública estadual paulista na perspectiva da Teoria de Resposta ao Item (TRI). 1. Metodologia A escolha dos itens para composição da prova de Matemática do 5º Ano do Ensino Fundamental (EF) atendeu aos seguintes critérios: - pertinência e adequação das habilidades definidas na Matriz de Referência para a Avaliação SARESP com o Currículo do Estado de São Paulo para o Ensino Fundamental. - utilização de itens pré testados, que apresentam bons índices/parâmetros estatísticos (TCT e TRI), com grau de dificuldade compatível com as exigências da SEE/SP e que permitam a continuidade da análise do desempenho obtido em edições anteriores. - grau de distanciamento entre as médias de proficiência em Matemática do SARESP 2011 e a média correspondente ao Nível Adequado, tido como padrão do desempenho esperado na avaliação SARESP. - a necessidade de incluir itens de ligação, nesse caso itens SAEB, que fizeram parte das provas propostas em edições anteriores, que garantam a comparação de desempenho em anos consecutivos de aplicação do SARESP e a verificação de habilidades durante a trajetória escolar. 172

3 Processo de Composição da Prova SARESP do 5º EF de Matemática Segundo esses critérios, foram selecionados 104 itens para compor as provas de Matemática aplicadas aos alunos do 5º Ano EF, sendo estes 104 itens distribuídos em 26 cadernos de prova, com 24 itens cada. 2. Discussão As habilidades que compõe a matriz de avaliação do 5º Ano do Ensino Fundamental são distribuídas, assim como nos demais anos, em quatro Competências de Área (CA): Números, Operações e Funções (CA 1): busca investigar, principalmente, se o aluno é capaz de identificar diferentes representações numéricas, observar sequências numéricas e resolver situações problema envolvendo as diversas situações relacionadas às quatro operações fundamentais. Espaço e Forma (CA 2): analisa a capacidade do estudante de identificar formas geométricas, ampliações e reduções de figuras planas e observar e descrever a localização de pessoas ou objetos. Grandezas e Medidas (CA 3): verifica se o aluno é capaz de identificar as unidades de medidas usuais, estimar a medida de grandezas por meio de medidas convencionais ou não e resolver situações problema envolvendo o cálculo de perímetro e área. Tratamento da Informação (CA 4): examina a capacidade do estudante de ler, compreender e interpretar informações dispostas em tabelas ou gráficos de colunas. Além disso, cada uma dessas competências de área é dividida em Competências para observar (G I), Competências para realizar (G II) e Competências para compreender (G III), associados às competências cognitivas próprias do aluno. No 5º EF o número de habilidades está dividido da seguinte maneira 1 : TEMAS G I G II G III Total CA 1: Números, Operações e Funções CA 2: Espaço e Forma CA 3: Grandezas e Medidas CA 4: Tratamento da Informação Total Em anexo segue a distribuição das habilidades na matriz do 5º Ano do Ensino Fundamental. Disponível em 173

4 Rodrigo de Souza Bortolucci A montagem da prova inicia se com a divisão dos 104 itens proporcionalmente, se não igual ao menos próxima, ao número de habilidades distribuídas em cada uma das competências de área, assim como nos grupos de competências cognitivas dos alunos. Em seguida, a distribuição dos itens dentro de cada um destes blocos leva em consideração os desempenhos dos alunos nos últimos anos, de modo a continuar evidenciando a consolidação de certas habilidades e, principalmente, investigar indicativos de outras que ainda necessitam de maiores cuidados. Por exemplo, a habilidade 10 da matriz do SARESP: calcular o resultado de uma adição ou subtração de números naturais, se mostra consolidada pela grande maioria dos alunos do ano escolar em questão, tendo em vista que as diversas questões propostas para essa habilidade sempre apresentam um elevado percentual de acerto. Já a habilidade 12, resolver problemas que envolvam a adição ou subtração, em situações relacionadas aos seus diversos significados, mesmo estando ligada à H10, apresenta percentual de acerto consideravelmente menor quando comparado ao desempenho na habilidade 10. Sendo assim, a prova traz um número menor de questões para aferir a habilidade 10 e, prioriza um maior número de itens de H12 a fim de agregar precisão ao(s) ponto(s) da escala SARESP que tratam das competências derivadas dessa habilidade. Essa proposta atenta se ao fato da prova SARESP aferir a proficiência das turmas avaliadas e que essa medida não resulta simplesmente da contabilização do número de erros e acertos, mas sim de uma análise dos acertos contínuos dos estudantes, então sua elaboração não pode ser sustentada apenas por conter certa quantidade de itens fáceis, médios e difíceis, mas sim, principalmente, por permitir que os alunos respondam itens relativos às suas respectivas proficiências. A fim de garantir que os alunos se deparem com uma prova que os permita demonstrar suas habilidades, é necessário, em um primeiro momento, conhecer quem é a população alvo que realizará a prova. Ou seja, saber responder, entre outras, perguntas como: 174

5 Processo de Composição da Prova SARESP do 5º EF de Matemática i) Qual a proficiência média destes alunos? Se um dos objetivos da avaliação é diagnosticar o rendimento escolar dos alunos da rede pública e a sua evolução, então se torna necessário conhecer as aptidões da sua maioria. Sendo assim, há que concentrar um maior número de itens em torno da proficiência média daquele ano/série focalizando suas reais habilidades, além de propiciar, mesmo que de forma discreta, uma melhora no rendimento dos alunos em relação ao ano anterior. Portanto, não é indicado, por exemplo, propor uma prova com uma grande concentração de itens que caracterizam o ponto 350 na escala de proficiência SARESP para avaliar os alunos que, em média, apresentam proficiência 200, pois, em uma prova deste tipo a grande parte dos alunos provavelmente não iria identificar a alternativa correta das questões. Ou seja, a prova iria demonstrar o que os estudantes não sabem fazer, não se propondo ao objetivo de diagnosticar as habilidades que os alunos de fato dominam. Para este modelo de prova o oposto também é verdadeiro, ou seja, o fato de tentar garantir que a prova caracterize a maioria dos estudantes resulta numa avaliação menos adequada dos alunos que estão distantes (para mais ou para menos) da proficiência dos alunos em questão. ii) Quais habilidades apresentam maiores índices de acertos e erros? Quais os motivos disso? O que fazer a partir disso? A partir dos resultados das edições anteriores, é possível conhecer o público alvo da avaliação; a sua posição na escala; quais as habilidades associadas a essa proficiência e o que se espera que o aluno consiga fazer e quais suas possíveis dificuldades. Essas ponderações auxiliam no estudo e entendimento dos erros e acertos característicos da turma, partindo da proficiência aferida àquela questão e sua adequação para o propósito de avaliação daquela turma. No caso do erro, a análise pode apontar, entre outras possibilidades, se é necessário utilizar se de uma questão que trate o assunto de forma mais simples de modo a evidenciar ainda mais a aferição de proficiência. Já no caso de acerto, um 175

6 Rodrigo de Souza Bortolucci estudo pode direcionar a um próximo passo que investigue aquela habilidade de uma nova maneira, a fim daquela habilidade aparecer em novos pontos da escala. Fazer isso não significa simplesmente, tornar a prova mais fácil ou mais difícil, mas sim no primeiro caso (o erro), de tentar identificar o momento em que este se inicia, ou seja, que conceitos realmente foram consolidados e o que é que que não está permitindo ao aluno atingir determinada proficiência. Já no segundo caso (o acerto), a tentativa é exatamente dar um passo adiante de forma coerente. Levando em consideração todos esses fatores, um primeiro modelo de prova foi proposto para a avaliação. A partir da relação dos 104 itens foi estimada a curva de informação da prova que permite analisar quanto o teste contém de informação para a medida de habilidade. Conforme se vê a seguir, o eixo horizontal do gráfico corresponde a um intervalo de 6 a 6 pontos que podem ser associados aos pontos da escala. Para fazer tal correspondência, assume se um ponto b do intervalo, multiplica se por 50 e adiciona se a 250, porque este é o ponto médio da escala. O gráfico seguinte mostra a curva de informação para a primeira proposta de prova. 176

7 Processo de Composição da Prova SARESP do 5º EF de Matemática Nota se que a prova apresenta um alto poder de informação um pouco adiante do ponto 0,5, que corresponderia ao ponto 225 da escala de proficiência SARESP. Além disso, o erro padrão no intervalo 2 2 a 2 é consideravelmente baixo. Como a proficiência dos alunos está próxima de 210, foram propostas algumas alterações na composição da prova, de modo a deslocar a curva à esquerda. Após as mudanças um novo gráfico foi gerado. Em comparação ao primeiro gráfico temos: 2 Esse intervalo corresponde ao intervalo de 150 a 350 na escala de proficiência SARESP. 177

8 Rodrigo de Souza Bortolucci É possível notar que a alteração resultou na mudança esperada, trazendo o pico da curva mais próximo da proficiência média dos alunos, tornando a prova mais alinhada com as aspirações iniciais de sua concepção. Com uma avaliação nesse formato é esperada uma caracterização mais detalhada do desempenho da turma avaliada, afinal os itens não estão distantes da proficiência de grande parte dos alunos respondentes. Além disso, o pico da segunda curva de informação do teste ocorre no ponto 0,5, ou seja, corresponde ao ponto 225 da escala que é o ponto seguinte que os alunos do 5º Ano do Ensino Fundamental deverão alcançar em Matemática. Considerações Finais É preciso destacar que para atingir os objetivos propostos para a prova, a necessidade de aferir determinados intervalos da escala é mais relevante que a mera contagem de itens classificados como fáceis, médios ou difíceis. Privilegiar a imposição da necessidade de certo número de itens de cada dificuldade aferida causa uma inversão nas expectativas da prova. O distanciamento entre a proficiência média dos alunos e o que é tido como adequado aos mesmos 178

9 Processo de Composição da Prova SARESP do 5º EF de Matemática resulta num maior número de questões classificadas como médias e difíceis, quando comparado as fáceis. Consequentemente, o número de questões fáceis se restringe a poucas habilidades presentes na matriz. Com isso, ao invés de propor itens mais sofisticados para essas habilidades, elas destinam se apenas a atingir um determinado número de perguntas fáceis, mesmo que essas contribuam pouco para medir a proficiência da turma. Portanto, o fato de uma prova conter maior concentração de itens classificados como médios ou difíceis, não acarreta em prejuízo no cálculo da média de proficiência, afinal isso é decorrência direta entre o distanciamento do que se considera adequado para a turma. O contrário sim, é prejudicial, ou seja, trocar parte dessas questões por outras tidas como fáceis, cujo percentual de acerto será muito alto contribui apenas para um aumento no número de acertos da turma, mas que não resulta aumento da proficiência média. Além disso, a substituição de questões, invariavelmente dificulta o mapeamento das lacunas entre os pontos da escala. Sendo assim, para uma avaliação externa isenta, é fundamental conhecer tanto o processo de aferição da proficiência, por meio da TRI, como o público que está sendo avaliado, respeitando suas limitações e explorando cada vez mais suas capacidades de modo a efetivamente promover a melhoria da educação. Referências ANDRADE, D. F.; TAVARES, H. R. e VALLE, R. C. Teoria de Resposta ao Item: conceitos e aplicações. ABE Associação Brasileira de Estatística, 4º SINAPE, SÃO PAULO (Estado) Secretaria da Educação. Matrizes de Referência para a avaliação: Matemática / Secretaria da Educação; coordenação geral, Maria Inês Fini. São Paulo: SEE, 2009., Secretaria da Educação. Proposta Curricular do Estado de São Paulo: Matemática. Coord. Maria Inês Fini. São Paulo: SEE, 2008., Secretaria da Educação. Relatório Pedagógico SARESP 2012 Matemática. Execução Rodrigo de Souza Bortolucci, Maria Eliza Fini, Ligia Maria Vettorato Trevisan e Tânia Cristina A. de Azevedo Fundação VUNESP São Paulo: SEE, Recebido em: 03/11/2013 Avaliado em: 25/11/

10 Rodrigo de Souza Bortolucci ANEXO 180