Efeitos distributivos de programas educacionais e o uso de experimentos aleatórios

Transcrição

1 SERGIO FIRPO

2 Efeitos distributivos de programas educacionais e o uso de experimentos aleatórios SERGIO FIRPO Professor Titular da Cátedra Instituto Unibanco no Insper

3 Experimentos aleatórios Por que usá-los? Antes da : grupo de controle tem as mesmas características do grupo de tratamento Equilíbrio nos fatores que afetam desempenho Escolas do grupo de Tratamento Resultados de proficiência Evasão Eficiência da gestão Práticas pedagógicas Escolas do grupo de Controle Resultados de proficiência Evasão Eficiência da gestão Práticas pedagógicas Após a : diferenças entre os resultados dos grupos de escolas se devem ao programa.

4 Proficiência Efeito do programa no resultado médio das escolas Como a proficiência média das escolas evolui? Para cada escola, tratada ou controle, calculamos a média de desempenho dos seus alunos Evolução da proficiência durante a Evolução média do grupo de escolas beneficiadas Antes da Depois da Grupo de Tratamento

5 Proficiência Efeito do programa no resultado médio das escolas Como a proficiência média das escolas evolui? Para cada escola, tratada ou controle, calculamos a média de desempenho dos seus alunos Evolução da proficiência durante a Impacto do programa Evolução média do grupo de escolas não beneficiadas Evolução média do grupo de escolas beneficiadas 240 Antes da Depois da Grupo de Tratamento Grupo de Controle

6 Efeito do programa na dispersão do desempenho O programa reduz desigualdades educacionais? Aumenta diferenças preexistentes? Em diversas situações estamos interessados em saber também se um programa educacional, além de ter aumentado o desempenho médio dos alunos, afetou a dispersão ou a desigualdade de desempenho. O primeiro passo é: como calcular a desigualdade educacional? O segundo passo é definir: desigualdade educacional entre quem? Desigualdade entre alunos de uma mesma escola? Desigualdade entre escolas?

7 Frequência Distribuição do desempenho Como calcular a desigualdade educacional entre alunos ou entre escolas? Desempenho

8 Distribuição do desempenho Como calcular a desigualdade educacional entre alunos ou entre escolas?

9 Distribuição do desempenho Como calcular a desigualdade educacional entre alunos ou entre escolas? 10% piores desempenhos Distância entre os melhores e piores desempenhos 10% melhores desempenhos

10 Efeito do programa na distribuição do desempenho Desigualdade educacional entre quem? Mas essa é a distribuição de desempenho de quem? Entre alunos dentro de uma mesma escola? Médio entre escolas?

11 Efeito do programa na distribuição do desempenho Antes da Após a : grupo de tratamento aumenta a média e reduz variância

12 Efeito do programa na distribuição do desempenho entre alunos de uma mesma escola Evolução da distância entre a média dos 10% melhores e a média 10% piores desempenhos Evolução da desigualdade entre alunos das escolas de controle Antes da Grupo de Controle Depois da

13 Efeito do programa na distribuição do desempenho entre alunos de uma mesma escola Evolução da distância entre a média dos 10% melhores e a média 10% piores desempenhos Evolução da desigualdade entre alunos das escolas de controle Evolução da desigualdade entre alunos das escolas de tratamento Impacto do programa 70 Antes da Grupo de Tratamento Grupo de Controle Depois da

14 Efeito do programa na distribuição do desempenho O programa pode aumentar a desigualdade entre os alunos de uma mesma escola? Em certas situações a política educacional pode gerar efeitos perversos sobre a dispersão do desempenho. Exemplo: Instauração de metas sem provisão de instrumentos pedagógicos adequados. Professor pode responder à meta de aumentar o desempenho médio da turma focando no aprendizado de um grupo de alunos. Esses são aqueles cujos desempenhos tendem a ser mais sensíveis ao esforço do professor. E esses podem ser os melhores alunos.

15 Efeito do programa na distribuição do desempenho O programa pode aumentar a desigualdade entre as escolas? Uma política educacional também pode gerar efeitos perversos sobre dispersão de desempenho entre as escolas. Exemplo: Política educacional é tal que nas escolas com menor complexidade de gestão efeitos são maiores. Como complexidade de gestão afeta negativamente desempenho, política ajuda mais os que já eram melhores desde o início.

16 Efeito do programa na distribuição do desempenho Antes da Após a : grupo de tratamento aumenta a média e aumenta a variância

17 Efeitos distributivos do programa Quais os limites dos experimentos aleatórios para calcular efeitos distributivos do programa? Efeitos distributivos podem ser calculados com os dados experimentais. Mas os experimentos aleatórios não nos permitem calcular a distribuição dos efeitos do programa. Para tanto, precisaríamos saber mais do que o experimento nos proporciona. Precisaríamos saber como alunos e/ou escolas mudariam sua posição relativa aos demais alunos tratados.

18 Efeito do programa na distribuição do desempenho Efeitos individuais da Antes da C Após a T Impacto individual D = T - C

19 Efeito do programa na distribuição do desempenho Efeitos individuais da Antes da C Após a T Impacto individual D = T - C

20 Considerações finais Experimentos aleatórios são ferramentas poderosas para se calcular o efeito causal de um programa educacional sobre escolas e alunos. Eles podem ser também utilizados para respondermos questões relevantes para os gestores: O programa beneficia mais os alunos que já apresentavam melhor desempenho (aumenta a desigualdade) ou aqueles alunos de pior desempenho (reduz desigualdade)? O programa afeta diferentemente escolas que já eram diferentes desde o início? Se sim, aumentando ou reduzindo o hiato (gap) entre elas? Contudo, sem hipóteses acerca de como os indivíduos mudam de posição relativa devido à política, não podemos usar os dados experimentais para identificar a distribuição dos efeitos da política entre indivíduos.

21 Obrigado!