Meta-análise de impactos: uso de evidências para priorizar investimentos educacionais

Tamanho: px

Começar a partir da página:

Download "Meta-análise de impactos: uso de evidências para priorizar investimentos educacionais"

Maria Laura Peres Castilhos
5 Há anos
Visualizações:

1 ANDRÉ PORTELA

2 Meta-análise de impactos: uso de evidências para priorizar investimentos educacionais André Portela Souza EESP/FGV São Paulo 16 de Setembro de 2016

3 Apresentação I. A importância das tomadas de decisão baseadas em evidências II. A revisão sistemática e meta-análise de impactos III. Alguns exemplos

4 A importância das tomadas de decisão baseadas em evidências Evidências idiossincráticas vs. evidências sistemáticas

5 Uso das evidências sistemáticas para: 1. Identificar avanços e fracassos 2. Identificar novas tendências 3. Identificar os determinantes do progresso e de novas tendências 4. Avaliações de impacto ex-ante 5. Avaliações de impacto ex-post 6. Aprender com os outros (meta-análise)

6 Meta-Análise e A Revisão Sistemática de Impacto: Definições Revisão sistemática: Revisão de literatura científica a partir de métodos sistemáticos que seleciona e avalia estudos relevantes sobre uma questão claramente formulada. Meta-Análise: Método estatístico utilizado na revisão sistemática para integrar os resultados dos estudos e aumentar o poder estatístico da pesquisa primária.

7 Meta-Análise e A Revisão Sistemática de impacto: Etapas 1. Definir claramente a questão ou problema; 2. Levantar os estudos que abordam a questão; 3. Selecionar os estudos a partir de critérios claros de inclusão e exclusão; 4. Avaliar a qualidade dos estudos e a heterogeneidade entre eles; 5. A partir dos resultados dos estudos, torná-los comparáveis e calcular os impactos médios; 6. Interpretar os resultados levando em conta a generalização dos resultados.

8 Associação ou Causalidade: o que importa para o desenho de políticas educacionais? Para o desenho das políticas educacionais o que se deseja conhecer é em quanto o aprendizado irá se alterar caso uma determinada ação seja implementada (impacto causal da ação) e não simplesmente quão maior é o aprendizado nas escolas que implantaram a ação em comparação com as que não implantaram (associação); Busca-se identificar, isolar e quantificar a magnitude do impacto de diversos fatores determinantes do aprendizado; Constrói-se um mapa dos impactos e não apenas um mapa de fatores associados ao aprendizado.

9 Dois Exemplos Jovem do Futuro Caminhos para melhorar o aprendizado

10 probabilidade de ocorrência (%) 7,5% 7,0% 6,5% 6,0% 5,5% 5,0% 4,5% 4,0% 3,5% 3,0% 2,5% 2,0% 1,5% 1,0% 0,5% Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de controle, caso o Programa não tenha impacto Evidência de Impacto Negativo Jovem do Futuro ,0% ,5 Evidência de Ausência de Impacto Se o Jovem de Futuro não tivesse qualquer impacto, o que foi observado só seria esperado ocorrer uma vez a cada 100 mil tentativas Evidência de Impacto Positivo número de vezes que o grupo de tratamento teve desempenho superior ao de controle LP MAT

11 Jovem do Futuro Magnitude do Impacto do Jovem de Futuro sobre o Aprendizado em Língua Portuguesa por Área de Atuação Mato Grosso do Sul Goiás Ceará Pará Impacto Médio Rio de Janeiro Vale do Paraíba São Paulo Minas Gerais 0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0

12 Caminhos para melhorar o aprendizado Meta-Análise Instituto Ayrton Senna Todos Pela Educação

13 Escopo do Estudo Identificar, isolar e quantificar os determinantes do aprendizado; Dentre os 400 estudos nacionais e internacionais identificados, com base em critérios de qualidade e relevância (qualidade da publicação e representatividade da amostra amostra mínima de 1,500 alunos), 165 foram selecionados para análise; Os resultados destes estudos foram (i) catalogados, (ii) organizados por temas, (iii) comparados em termos da magnitude e (iv) avaliados segundo: Validade interna da análise Validade externa da análise e Precisão e robustez das estimativas.

14 Relevância substantiva, comparabilidade e estimativas de impacto Toda unidade de medida de impacto tem numerador e denominador: Aumento no aprendizado (numerador) por ano de experiência do professor (denominador) Aumento no aprendizado (numerador) por número de alunos a menos em cada turma (denominador) Impacto do quê? Vários determinantes (características dos sistemas educacionais, escolas e professores) Sobre o quê? Sempre sobre o aprendizado Sempre que possível, padronizamos o impacto sobre o aprendizado para a escala SAEB

15 Relevância substantiva, comparabilidade e estimativas de impacto Desvios-padrões das notas na escala SAEB (alunos que tendo aula com um bom professor (entre 20% melhores) aprendem por ano 29% de um desvio-padrão a mais que um alocado a um mau professor (entre os 20% piores)) Pontos na escala SAEB (alunos que tendo aula com um bom professor (entre 20% melhores) aprendem por ano 9,6 pontos na escala SAEB a mais que um alocado a um mau professor (entre os 20% piores) Aceleração do aprendizado (anos equivalentes) (alunos que tendo aula com um bom professor (entre 20% melhores) aprendem por ano 68% mais que um alocado a um mau professor (entre os 20% piores)

16 Relevância substantiva, comparabilidade e estimativas de impacto Impossibilidade de padronizar as unidades dos fatores determinantes (impacto do quê?) O impacto de reduzir o tamanho da sala de aula em 30% é duas vezes maior que o de estudar com um professor com 3 anos de experiência ao invés de com um sem experiência Mas o impacto de reduzir o tamanho da sala de aula em 10% é menor que o de estudar com um professor com 5 anos de experiência ao invés de com um sem experiência O que tem mais impacto sobre o aprendizado? Redução no tamanho da turma ou experiência do professor?

17 Principais resultados Se a escola e o professor são importantes então o grau de exposição a ele também tem que ser fundamental Existem diversos mecanismos para se aumentar o grau de exposição dos alunos aos professores: (i) redução no absenteísmo de alunos e professores, (ii) aumento na jornada diária, (iii) cumprimento efetivo do ano letivo, (iv) redução no tamanho das turmas O aprendizado de uma aluno alocado a um professor que não faltou durante o ano letivo tem tipicamente um aprendizado 44% maior que o que teria caso fosse alocado a um professor que faltou 10 dias O aprendizado de uma aluno alocado a uma turma com 15 alunos tem tipicamente um aprendizado 44% maior que o que teria caso fosse alocado a uma turma com 22 alunos

18 Principais resultados Para uma escola hipotética onde no início todos os professores eram medianos passar a ter todos os professores entre os melhores (20% melhores) garante que a nova turma de alunos que inicia a 1ª série irá ao alcançar a 8ª série tendo cumprido quase ½ (44%) da 3ª Meta Para uma escola hipotética onde metade dos professores são jovens e sem experiência, passar a ter todos os professores com ao menos 3 anos de experiência garante que a nova turma de alunos que inicia a 1ª série irá ao alcançar a 8ª série tendo cumprido 1/8 (13%) da 3ª Meta 19

19 Principais resultados Para uma escola hipotética onde os professores faltam em média 10 dias por ano letivo, passar a ter professores que faltam apenas 5 dias por ano letivo garante que a nova turma de alunos que inicia a 1ª série irá ao alcançar a 8ª série tendo cumprido mais de ¼ (28%) da 3ª Meta Para uma escola hipotética onde todos as turmas tem 24 anos passar a ter turmas de 20 alunos garante que a nova turma de alunos que inicia a 1ª série irá ao alcançar a 8ª série tendo cumprido ¼ (28%) da 3ª Meta

Porcentagem de um desvio-padrão 35% Magnitude do Impacto de Fatores Determinantes Selecionados do Aprendizado 30% 25% 29% 20% 15% 20% 20% 10% 5% 10% 0% Redução no tamanho da turma de 22 para

20 Porcentagem de um desvio-padrão 35% Magnitude do Impacto de Fatores Determinantes Selecionados do Aprendizado 30% 25% 29% 20% 15% 20% 20% 10% 5% 10% 0% Redução no tamanho da turma de 22 para 15 alunos Aumento no número efetivo de dias letivos de 190 para 200 Melhores (20% melhores) vis-àvis piores professores (20% piores)2 Professores com 3 a 5 anos experiência versus sem experiência

21 Principais limitações Compilamos estimativas do impacto de um fator mantendo os demais constantes (Ceteris paribus) Mas mantendo os demais fatores constantes em que nível? Quão dependente é a estimativa de impacto ao nível dos demais fatores? Dificuldades com a validade externa (e daí com a utilidade) das estimativas Diferenças na sensibilidade à margem intensiva e extensiva: aumento na experiência de todos os professores versus aumento na proporção de professores com experiência

22 Principais limitações Impactos diretos e indiretos: Avalia-se prioritariamente o impacto direto de reduções no tamanho da turma sobre o aprendizado. Mas reduções no tamanho das turmas podem requerer aumento no número e daí a uma queda na qualidade dos professores Foco apenas no aprendizado: Turmas homogêneas são melhores para o aprendizado Mas outros objetivos da educação podem relevar a que turmas heterogêneas sejam preferíveis Falta informação sobre custos, o que impede uma avaliação da relação custo-efetividade das diversas alternativas Limitados aos estudos feitos ate 2011

Documentos relacionados

Sobre o que importa para a melhoria da qualidade da educação e os mecanismos de incentivos para sua promoção

Sobre o que importa para a melhoria da qualidade da educação e os mecanismos de incentivos para sua promoção Ricardo Paes de Barros (SAE) Diana Grosner (SAE) Brasília, Maio de 2013 0. Qualidade da Educação