Avaliação Econômica Gerência de Avaliação de Projetos São Paulo, 27 de agosto de 2012 1
O Programa Parceria entre a Secretaria de Educação do Estado de São Paulo e Fundação Itaú Social; Coordenação técnica do Projeto Piloto: Instituto Fernand Braudel Regional de Ensino Leste 3; 10 escolas de Ensino Fundamental II e Ensino Médio; critério de escolha: IDESP; Período: 2009 a 2011. 2
O Programa OBJETIVO: Fortalecer as práticas da coordenação escolar e do corpo docente na oferta de ensino: Planejamento das aulas Gestão da sala de aula Uso da avaliação dos alunos ESTRATÉGIA: Tutoria Formação continuada customizada; Caráter prático e modelar; Realizada no cotidiano da escola, especialmente na sala de aula; Tutor: par avançado também atuante na rede pública de ensino. FOCO (adesão voluntária): Professores Coordenadores; Professores de Língua Portuguesa e Matemática. 3
O Programa OBJETIVO: Intensificar a participação dos pais; aproximação família-escola. ESTRATÉGIA: Coordenador de Pais; Visita domiciliar; Organização de atividades para pais e alunos; Mobilização de voluntários; organização do espaço escolar; Atendimento e acompanhamento de alunos (evasão escolar); Atendimento a pais; Participação das reuniões de pais; Coordenador de Pais: Profissional dedicado exclusivamente à aproximação entre família e escola, com conhecimento da comunidade; FOCO: Famílias e alunos. 4
Matriz Avaliativa Desempenho do Professor Planejamento Gestão da sala de aula Avaliação Gestão Pedagógica HTPC Liderança Pedagógica Relação Família-escola Atendimento a pais Participação em atividades da escola Formação do aluno Participação na vida escolar Relação entre alunos Relação do aluno com conhecimento Desempenho Escolar 5
Estratégias de Avaliação Perspectivas complementares: I - Monitoramento das estratégias de intervenção no campo (relatórios, visitas técnicas, questionários) II - Avaliação de métodos mistos: com uso de metodologias quantitativas e qualitativas para as quatro dimensões III - Avaliação econômica: análise de impacto e cálculo do retorno econômico com foco em desempenho dos alunos nas notas de Língua Portuguesa e Matemática (SARESP) 6
AVALIAÇÃO ECONÔMICA 7
A Avaliação Econômica Objetivos avaliados: Efeito do programa no desempenho escolar: notas no exame do Saresp de Língua Portuguesa e Matemática. Público alvo: alunos do segundo ciclo do fundamental e ensino médio: Observamos o desempenho dos alunos do 7º e 9º ano do ensino Fundamental e 3º ano do ensino médio. 5º - 7º (2008-2010) 5º - 9º (2007-2011) 7º - 9º (2008-2010) 9º - 3ºEM (2008-2011) 9º - 3ºEM (2007-2010) 8 Total de escolas no programa Total de alunos avaliados 6 375 6 296 9 523 10 295 10 279
Questões no Desenho da Avaliação 1) Intervenções Intervenções concomitantes Não permitem identificar os efeitos de cada uma delas Mudança nas intervenções ao longo do tempo Ex-post não sabemos o que deu certo 2) Amostra Apenas 10 escolas Análise de impacto possível apenas no nível dos alunos O contexto de cada escola tem grande poder de alterar a média Validade externa Todas da mesma regional Escolas mais vulneráveis 9
A Avaliação Metodologia: Painel de alunos (controla por características não observadas fixas no tempo) Observa dois pontos do tempo: antes e depois da intervenção (primeira diferença) Usa grupo de controle: Escolas de baixo IDESP da RMSP (vantagem: busca pares de escolas mais similares) Demais escolas da Leste 3 (vantagem: controla por variável não observada de contexto) Usa método econométrico que garante que os grupos tratado e controle sejam muito similares (pareamento duplo robusto: variáveis de controle e ponderação por escore de propensão). Escore de propensão = probabilidade de ser tratado predita com base em características observáveis; usado como fator de correção da composição da amostra Explica razoavelmente o viés de composição: R² por volta de 20% Corrige satisfatoriamente a composição: diferença de média não significante entre os grupos nas variáveis consideradas (balanceamento de 70% a 80%) 10
Metodologia ΔY i = α + β*t i + β j *X ij + μ i Onde: ΔY i = Y i ano(1) Y i ano(0) T i = identifica se aluno estuda em escola piloto Matriz X ij :Variáveis de controle j para cada aluno i : Alunos: gênero, idade, raça, se fez pré-escola e escolaridade dos pais Diretores: tempo no cargo Professores: tempo no cargo Escolas: total de matrículas, IDESP 2007, oferta de ensino Componentes de IPVS (Índice Paulista de Vulnerabilidade Social): Proporção de famílias pobres na escola (renda familiar menor que 850 reais) Proporção de famílias com crianças de 0 a 5 anos Proporção de mães com ensino fundamental e ensino médio completos 11
Histórico de proficiência por ano escolar 5º ano - Matemática 7º ano - Matemática 200 210 195 190 185 180 205 200 195 175 190 170 165 160 155 185 180 175 150 2007 2008 2009 2010 2011 170 2007 2008 2009 2010 2011 *Leste 3 *RMSP com pior IDESP Tratamento *Leste 3 *RMSP com pior IDESP Tratamento * Não inclui as escolas beneficiadas pelo programa As escolas tratadas têm proficiência mais similar às escolas da RMSP com pior IDESP. As demais escolas da Leste 3 têm desempenho média melhor que as escolas tratadas. A tendência das escolas tratadas é paralela às demais escolas da Leste 3 12
Histórico de proficiência por ano escolar 9º ano - Matemática 3º ano EM - Matemática 245 265 240 235 260 230 255 225 250 220 215 245 210 2007 2008 2009 2010 2011 240 2007 2008 2009 2010 2011 *Leste 3 *RMSP com pior IDESP Tratamento *Leste 3 *RMSP com pior IDESP Tratamento * Não inclui as escolas beneficiadas pelo programa 13
Histórico de proficiência por ano escolar 5º ano - Língua Portuguesa 7º ano - Língua Portuguesa 185 208 180 206 204 175 202 170 200 198 165 196 160 194 192 155 2007 2008 2009 2010 2011 190 2007 2008 2009 2010 2011 *Leste 3 *RMSP com pior IDESP Tratamento *Leste 3 *RMSP com pior IDESP Tratamento * Não inclui as escolas beneficiadas pelo programa 14
Histórico de proficiência por ano escolar 9º ano - Língua Portuguesa 3º ano EM - Língua Portuguesa 235 270 230 265 225 260 220 255 215 250 210 2007 2008 2009 2010 2011 *Leste 3 *RMSP com pior IDESP Tratamento 245 240 2007 2008 2009 2010 2011 * Não inclui as escolas beneficiadas pelo programa *Leste 3 *RMSP com pior IDESP Tratamento 15
Exemplo Gráfico do Resultado 5ª a 7ª ano - Língua Portuguesa 200 195 190 185 180 175 170 165 160 2008 2010 } 3.1 Tratado Controle Contrafactual 16
Resultados vis a vis escolas de pior IDESP da RMSP Linha de Base Anos de Programa Matemática Língua Portuguesa 2007 2008 2009 2010 2011 Impacto Impacto 1 6 Ano 2 6 Ano 7 Ano 3 5º Ano 6 Ano 7 Ano 8 Ano 3,3**(12%) 3,1*(11%) 4 5º Ano 6º Ano 7 Ano 8 Ano 9 Ano -5,9*(-11%) - 5 6º Ano 7º Ano 8 Ano 9 Ano 1 EM - - 6 7º Ano 8º Ano 9 Ano 1 EM 2 EM 7 8º Ano 9º Ano 1 EM 2 EM 3 EM - 5,7** (17%) 8 9º Ano 1º EM 2 EM 3 EM - - 9 1º EM 2º EM 3 EM *** 99% de significância ** 95% de significância *90% de significância 17 Coortes laranja = 3 anos de programa Coortes azuis =2 anos de programa
Comparação dentro da Leste 3 Os resultados usando como grupo de controle as demais escolas da Leste 3 confirmam os resultados acima: LP para o 3º ano do EM 2011. LP e MT para 7º ano do EF 2010. No entanto, os resultados não são significativos para as coortes do 9º ano. O pior resultado em matemática é comum a todas as escolas da Leste 3 e não parece estar relacionado com o programa.
Resultados: hipóteses interpretativas Por que impacto positivo? Início do FUND II: mais fácil gerar impacto com séries de alunos mais jovens EM: o último ano do programa foi mais efetivo: Maior número de tutorias (relatórios de gestão corroboram) Coordenador de pais mais bem definido (segundo estudo qualitativo) Por que impacto negativo no final do Fund II? O pior resultado em matemática é comum a todas as escolas da Leste 3 e não parece estar relacionado com o programa. 19
Resultados: hipóteses interpretativas Por que impacto diferenciado em Língua Portuguesa? Melhor aceitação das tutorias por esses professores (percepção gestores do programa) As tutorias são mais efetivas entre os professores de língua portuguesa (estudo qualitativo) Problemas levantados pelos gestores que enfraquecem a possibilidade de resultado: Dificuldade de realizar tutorias no turno noturno Algumas escolas não aceitaram o programa Resistência de alguns professores em receber as tutorias Elevada rotatividade/ausência de professores descontinua a ação Heterogeneidade das escolas (composição da equipe e gestão escolar) 20
AVALIAÇÃO DE MÉTODOS MISTOS 21
Resultados avaliação de métodos mistos Formação dos Alunos: percepção sobre a ação das tutorias no ambiente escolar e sala de aula Melhora a relação entre alunos Relação dos alunos com conhecimento mais positiva Alunos reconhecem ter maior possibilidade para participação em sala de aula Professores de português e matemática são indicados como referência de bons professores Inquietação dos jovens para serem melhor percebidos e cuidados na escola Obs: Mudanças do desempenho do professor convergem com inquietações e expectativas dos alunos 22
Resultados avaliação de métodos mistos Desempenho do Professor: percepção sobre o aprendizado das tutorias I - Planejamento: Maior utilização dos referenciais curriculares da Secretaria de Educação e utilização das sequências didáticas Compreensão sobre o significado das competências desejadas para os alunos Ampliação do uso de recursos didáticos em sala de aula e maior observação das necessidades específicas de aprendizagem dos alunos II - Gestão de sala de aula: Maior participação dos alunos em sala Atenção ao tempo de uso de fala, circulação física pela classe, configuração de dinâmicas para estudos individuais III - Avaliação: Uso da avaliação como instrumento de aprendizagem dos alunos Elaboração de provas com clareza sobre quais competências e habilidades se quer conhecer e a confecção de exercícios adequados Realização de devolutivas das provas para os alunos 23
Resultados avaliação de métodos mistos Gestão Pedagógica: percepção sobre a necessidade da tutoria e fortalecimento dos papeis Professores Coordenadores indicam melhor compreensão de sua função. Entretanto, essa compreensão não se transformou em ação prática na gestão pedagógica das escolas Percepção pelos PCs de que o modelo de HTPC das escolas é uma reprodução das reuniões formativas da DRE Reconhecimento de que o HTPC se tornou mais formativo, mas ainda distante da realidade concreta da sala de aula e das necessidades dos professores PCs ainda se encontram em situação de certo isolamento nas escolas 24
Resultados avaliação de métodos mistos Relação Família-Escola: percepção sobre a ação efetiva do coordenador de pais Citadas por todos os públicos, sempre associadas a elogios e atributos positivos Alunos e familiares afirmam que estas profissionais reforçam os laços entre famílias e escolas por constituírem uma referência clara a quem ambos podem recorrer Relação horizontal estabelecida facilita e potencializa a aproximação destes dois universos Proximidade de perfil entre as coordenadoras de pais e as famílias é determinante para que os familiares estabeleçam com elas uma relação de referência no ambiente escolar Visitas realizadas pelas coordenadoras de pais permitem compreender melhor a situação de alguns alunos e orienta a escola na relação pedagógica com eles estabelecida Diretores identificam importância das coordenadoras de pais para apoiar a relação com as famílias e destacam que exercem papel diferente dos professores mediadores 25
USOS DAS AVALIAÇÕES 26
Considerações Avaliação mostrou convergência entre as expectativas dos alunos (espaço para participação, maior atenção dos professores) e as mudanças das práticas dos professores (planejamento, avaliação e gestão da sala de aula) A implantação do Programa aconteceu de forma gradativa nos 3 anos de duração: - 1º ano de aprendizagem: identificação dos papéis; fortalecimento do vínculo com as escolas e a Regional de Ensino; estratégias de comunicação - 2º e 3º anos: intensificação da estratégia de tutoria e das ações com as famílias e os alunos Heterogeneidade das unidades escolares (gestão; composição das equipes; porte) Necessidade de atuação conjunta entre diferentes líderes escolares (supervisor, diretor, coordenador pedagógico) 27
Expansão e transferência de tecnologia FORMAÇÃO CENTRALIZADA NA REGIONAL PCNPs e Supervisores: conteúdos de gestão pedagógica com foco nas estratégias de tutoria (8h/mês). PCs (EFII e EM): alcançar em escala o público alvo nos conteúdos de gestão pedagógica com foco nas estratégias de tutoria (8h/mês). FORMAÇÃO DESCENTRALIZADA NAS ESCOLAS Diretor e Professor Coordenador Acompanhamento de caráter formativo e modelar e in loco. Visitas técnicas quinzenais -> com equipe gestora. 28
Diretoria Regional Leste 3 ESTRATÉGIAS DE TUTORIA 3 TUTORES 11 SUPERVISORES 12 PCNPs TRANSBORDAMENTO: 50 ESCOLAS 12 ESCOLAS MODELARES FOCO DA TRANSFERÊNCIA Supervisores e PCNPs assumindo tutoria como estratégia central de trabalho com Diretores e PCs
Diretoria Regional Leste 2 ESTRATÉGIAS DE TUTORIA 3 TUTORES 13 SUPERVISORES 13 PCNPs TRANSBORDAMENTO: 60 ESCOLAS 14 ESCOLAS MODELARES FOCO DA TRANSFERÊNCIA Supervisores e PCNPs assumindo tutoria como estratégia central de trabalho com Diretores e PCs