11 de maio de 2011 Análise do uso dos Resultados _ Proposta Técnica 1
ANÁLISE DOS RESULTADOS DO SPAECE-ALFA E DAS AVALIAÇÕES DO PRÊMIO ESCOLA NOTA DEZ _ 2ª Etapa 1. INTRODUÇÃO Em 1990, o Sistema de Avaliação da Educação Básica (SAEB) realizou seu primeiro exercício de avaliação nacional, aplicando provas de conhecimento que focalizavam conteúdos curriculares de Língua Portuguesa, Matemática e Ciências a amostras de alunos nos vários estados. Em 1995, os levantamentos passaram a se concentrar nos estudantes de 4ª e 8ª séries do Ensino Fundamental e 3ª série do Ensino Médio. Tal interesse por avaliações de sistemas educacionais, com base na aplicação de testes em larga escala, teve ainda expressão em nível subnacional. O Governo do Estado do Ceará, através da Secretaria da Educação (SEDUC), implementou desde 1992, (SPAECE). A criação do Sistema Permanente de Avaliação da Educação Básica (SPAECE) tem como objetivo fornecer subsídios para formulação, reformulação e monitoramento das políticas educacionais, além de possibilitar aos professores, dirigentes escolares e gestores um quadro da situação da Educação Básica da rede pública de ensino. A Secretaria da Educação do Ceará, considerando a importância da avaliação como instrumento eficaz de gestão para a correção das distorções evidenciadas e das desigualdades de oportunidades de aprendizagens, em 2007, ampliou a abrangência do SPAECE implantando, em caráter censitário e anual, a Avaliação da Alfabetização SPAECE-Alfa, as avaliações de 5º e 9º séries do Ensino Fundamental e a avaliação do Ensino Médio. 2
O SPAECE-Alfa avalia os alunos do 2º ano do Ensino Fundamental nas escolas da rede pública de ensino e é objeto central desta proposta. 2. JUSTIFICATIVA O Sistema Permanente de Avaliação da Educação Básica (SPAECE) tem por objetivo fornecer subsídios para formulação, reformulação e monitoramento das políticas educacionais, além de possibilitar aos professores, dirigentes escolares e gestores um quadro da situação da Educação Básica da rede pública de ensino do estado do Ceará. Os resultados gerados pelo SPAECE permitem elaborar diagnósticos acurados sobre a situação, desempenho e qualidade da Educação Básica. O fato de existir uma série ininterrupta de dados, possibilita a análise da evolução nos itens anteriormente mencionados e assim construir uma ferramenta eficaz para transformar e para corrigir dificuldades nas situações retratadas. Outra expectativa consiste em que os principais membros da comunidade escolar procurem disseminar, para contextos similares, as iniciativas intencionalmente desenvolvidas no âmbito das unidades escolares e que foram comprovadas pelo SPAECE como sinais de melhoria no desempenho escolar. Não há dúvida de que a disseminação dos resultados das avaliações é fundamental para o avanço da pesquisa educacional e para o desenho de políticas públicas que respondam aos problemas prioritários, assim como para o monitoramento e o controle social dessas políticas no âmbito educacional. O desafio, portanto, consiste em percorrer um caminho de mão dupla. Em primeiro lugar, 3
aproveitar ao máximo as informações provenientes do SPAECE em términos de possibilitar subsídios aos diversos programas desenhados e implementados na SEDUC. Assim, o conhecimento aprofundado tanto das características dos programas quanto dos resultados obtidos pelo SPAECE permitirão transformar o SPAECE em ferramenta útil de monitoramento e avaliação e, se for o caso, de redesenho das iniciativas. Em segundo lugar, é importante ter um retorno empírico das limitações e potencialidades do próprio SPAECE com o propósito de elaborar sugestões que potencializem o SPAECE no futuro como ferramenta analítica. Esta proposta visa contribuir nesse caminho de mão dupla. Para isto, o trabalho se concentra no Prêmio Escola Nota 10 e as potencialidades do SPAECE como instrumento ativo na procura de aprimoramentos do Prêmio e, portanto, na melhora da qualidade do ensino fundamental no Estado do Ceará. Importante sublinhar que a presente proposta, deve refletir o caráter de continuidade com a primeira fase deste projeto realizado em 2010. 3. METODOLOGIA DE TRABALHO E EIXOS NORTEADORES O Prêmio Escola Nota 10 foi pensado e implantado no âmbito da melhora da qualidade do Ensino Fundamental no Estado do Ceará. Isto implica considerar na agenda de pesquisa que os efeitos positivos do Prêmio não se limitam apenas a resultados na segunda série, mas podem ter também impactos positivos nos anos posteriores do ensino fundamental. Porém, este impacto não é automático. Para ter efetivamente resultados para além da segunda série, os diversos instrumentos de gestão em todos os niveles devem ser capazes de incluir a continuidade e garantir a qualidade do ensino ao longo de todo o ciclo do fundamental. Na primeira fase do projeto, o estudo incidirá sobre as ações mais representativas no que se refere aos planos escolares das escolas beneficiadas pelo Prêmio Escola Nota Dez. Revisar o conteúdo dos planos e elaborar uma taxonomia em termos das ações propostas e a sua relação com as metas do Prêmio é o propósito central desta fase. Ainda nesta fase, se realizará uma análise dos planos do subconjunto de escolas que receberam a segunda parcela. 4
Na segunda etapa, o foco será a identificação das estratégias adotadas pelas escolas, segundo o plano escolar, que estão relacionadas com a melhoria do desempenho dos alunos na quinta série. Outra ação da pesquisa diz respeito ao processamento de indicadores com base nos microdados do SPAECE. Não somente será utilizado o conjunto de resultados das avaliações em Língua Portuguesa para a segunda série do Ensino Fundamental, mas também as informações provenientes dos questionários aplicados a diretores, professores e alunos. Esses questionários versam sobre diversos temas tais como gestão escolar, reflexão sobre o SPAECE, demandas das escolas, instrumentos de planejamento e um questionário muito relevante aplicado aos professores do SPAECE ALFA. O SPAECE ALFA é a denominação usada para a prova específica da segunda série do Ensino Fundamental em Língua Portuguesa. Esta prova é central para a implantação e funcionamento do Prêmio. A partir dos resultados do SPAECE ALFA nossa análise será desenvolvida para entender o grau de articulação entre o SPAECE e os planos escolares das escolas apoiadas e premiadas. Os questionários acima mencionados complementam e robustecem a análise sobre o Prêmio Escola Nota 10. Um desafio adicional será identificar em que medida as escolas participantes do Prêmio revelam uma trajetória diferente na melhora da qualidade do ensino quando comparadas com o restante das escolas do sistema. Para isto, se realizaram comparações em termos dos resultados do SPAECE ALFA com escolas que não participam do Prêmio, mas que mostram resultados muito semelhantes às escolas participantes. Duas hipóteses aqui nortearão o trabalho. Na primeira, trajetórias semelhantes (das escolas premiadas e das escolas não contempladas para o Prêmio) podem ser consequência de melhoras sistêmicas e não necessariamente produto dos incentivos gerados pelo Prêmio. A segunda hipótese pode mostrar um diferencial significativo na trajetória das escolas participantes quando comparadas com as outras escolas. Nesse caso, será necessário explorar quais os fatores potenciais que explicam esse diferencial. 5
A terceira etapa da pesquisa propõe elaborar um quadro geral do ensino fundamental para a quinta série. Este quadro será elaborado a partir dos resultados gerados pelas provas de língua portuguesa e matemática do SPAECE; este quadro será baseado em recortes geográficos do Estado do Ceará, assim como em áreas de planejamento administrativo do SEDUC e tomando dois pontos do tempo: 2009 e 2010. A análise privilegiará os seguintes recortes: Urbano/Rural; Capital/ Interior e recortes administrativos. Na procura de maiores âmbitos de análise do SPAECE, finalmente, a quarta etapa da pesquisa consiste em propor um conjunto de critérios extraídos dos resultados do SPAECE ALFA e dos questionários que sirvam de insumos para propor uma metodologia que permita selecionar escolas nas quais futuramente possa se aplicar estudos de profundidade ou de melhores práticas. Será que as informações produzidas pelo SPAECE podem também ter essa utilidade? Estudos deste tipo na área da educação já vêm sendo realizados no país e possibilitam a maior compreensão sobre processos pedagógicos e de gestão, assim como e dinâmicas de relacionamento no interior da escola. Esta compreensão é fundamental para obter subsídios na procura de melhora na qualidade da escola. No presente proposta, o objetivo não é de realizar esses estudos nas escolas, mas sim de testar uma metodologia de seleção de escolas para posteriormente implantar pesquisas em profundidade. Em consequência, após de propor um conjunto de critérios com informações do SPAECE ALFA serão selecionadas no máximo 5(cinco) escolas para validar a metodologia. A validação consiste na visita em locus destas escolas para verificar quão acurados são critérios propostos. Para isto, serão desenhados instrumentos de coleta de informações que permitam validar os critérios. Importante sublinhar a necessidade de estabelecer vínculos sólidos de comunicação entre a equipe da pesquisa e os representantes da SEDUC para o bom término da pesquisa. Assim, a consulta permanente e presteza para disponibilizar os insumos necessários para o cumprimento de todas as etapas são condicionantes que não podem ser relevadas. 6
4. OBJETIVOS 4.1 Objetivo Geral Realizar análise do uso dos resultados das avaliações a partir dos planos escolares das escolas beneficiadas pelo Prêmio Escola Nota Dez nos períodos: 2008/2009 e 2009/2010; dando ênfase à relação entre os resultados gerados pelo SPAECE no período 2008-2010 e as estratégias de efetivação dos planos escolares no estado do Ceará para a Alfabetização. 4.2 Objetivos Específicos 1 Levantar e sistematizar os planos escolares utilizados no âmbito das escolas beneficiadas pela parcela integral do Prêmio Escola Nota Dez, em 2008; 2 Levantar e sistematizar os planos escolares utilizados no âmbito das escolas beneficiadas pelo Prêmio Escola Nota Dez, em 2009; 3 Avaliar a eficiência dos planos escolares, relacionando as ações planejadas com os resultados das avaliações externas; 4 Comparar as escolas beneficiadas pelo Prêmio Escola Nota Dez com as escolas não contempladas que possuíam características similares a essas para verificar se as mudanças apresentadas ocorreram de forma diferenciada nas escolas beneficiadas e não beneficiadas. Utilizar os resultados das avaliações de dois anos consecutivos para verificar a sustentabilidade das mudanças apresentadas entre 2008 e 2009; 5 Identificar as estratégias de ação que possibilitem a efetivação dos programas e planos escolares focalizando as avaliações em larga escala; 6 Elaborar com base nos resultados das provas do 5º ano um panorama geral das escolas municipais no estado do Ceará; 7 Desenvolver critérios para uma pesquisa futura de Estudos de Caso para identificar as melhoras práticas nas escolas selecionadas e explorar as condições de replicabilidade para todo 7
o Sistema Estadual de Ensino; 8 Identificar e visitar no máximo 5 (cinco) escolas com base nos critérios do item 7 para validar a metodologia de seleção de escolas. 5. Atividades: Serão realizadas as seguintes atividades: a) Reuniões técnicas com a SEDUC para apresentação, discussão e ajustes na proposta de trabalho apresentada pelo IETS. b) Elaborar o Plano de Trabalho detalhado do projeto a representantes da SEDUC. c) Realizar levantamento de informações acerca das avaliações desenvolvidas pela SEDUC, para definição e seleção dos municípios e unidades escolares que participarão da amostra. d) Elaborar os instrumentais de análise. e) Elaborar o plano de coleta de dados. f) Constituir a base de dados. g) Realizar sistematização, análise e interpretação dos dados. h) Elaborar um Relatório Parcial com os resultados obtidos de forma preliminar. i) Elaborar um Relatório Final com os resultados obtidos e um Resumo Executivo a partir do Relatório Final. 8
6. PRODUTOS a) Relatório preliminar constando o plano de Trabalho e a metodologia a serem aplicados. b) Relatório Parcial com o detalhamento das atividades desenvolvidas nos 2 (dois) primeiros meses de execução do serviço e seus resultados preliminares. c) Relatório Final e Resumo Executivo, com os resultados globais do estudo. 9