RICARDO PAES DE BARROS

Transcrição

1 RICARDO PAES DE BARROS

2 Avaliação de Impacto do Projeto Jovem de Futuro sobre a Aprendizagem Ricardo Barros (IAS/Insper), Samuel Franco (OPESociais), Gabriela Gall (Insper) e Rosane Mendonça (UFF)

3 Impacto sobre o quê? Impacto em quem? Impacto quando?

4 Impacto sobre o quê? Impacto sobre proficiência em Matemática e Língua Portuguesa nos alunos da escola ao final da 3ª série, Impacto em quem? Impacto quando? após três anos da implementação do projeto.

5 Impacto sobre o quê? Impacto em quem? Impacto quando? Impacto sobre proficiência em Matemática e Língua Portuguesa nos alunos da escola ao final da 3ª série, após três anos da implementação do projeto.

6 Impacto Sobre o Que? Ano Anterior a Intervenção (Linha de Base) 1º Ano de Intervenção 2º Ano de Intervenção 3º Ano de Projeto (Segmento) B1 1º Série B2 2º Série A3 B3 3º Série Aprendizado em Língua Portuguesa e Matemática na Linha de Base Aprendizado em Língua Portuguesa e Matemática no Segmento B3 A3 Melhoria da proficiência na média em Português e Matemática da linha de base ao segmento (3 anos após o programa) na 3ª série do ensino médio.

7 Proficiência ao final da 3a série do Ensino Médio 270 Evolução da Proficiência no Grupo de Escolas Beneficiadas Antes da implantação Três anos após a implantação

8 Proficiência ao final da 3a série do Ensino Médio 270 Evolução da Proficiência no Grupo de Escolas Beneficiadas Melhora no Grupo de Escolas Beneficiadas Antes da implantação Três anos após a implantação

9 Proficiência ao final da 3a série do Ensino Médio Evolução da Proficiência no Grupo de Escolas Beneficiadas Proficiência das escolas beneficiadas Melhora no Grupo de Escolas Beneficiadas Antes da implantação Proficiência que as escolas beneficiadas teriam caso elas não tivessem tido acesso ao Programa Três anos após a implantação

10 Proficiência ao final da 3a série do Ensino Médio Evolução da Proficiência no Grupo de Escolas Beneficiadas Impacto do Programa Proficiência das escolas beneficiadas Melhora no Grupo de Escolas Beneficiadas Antes da implantação Melhora que teria ocorrido no grupo de escolas beneficiadas caso elas não tivessem tido acesso ao Programa Proficiência que as escolas beneficiadas teriam caso elas não tivessem tido acesso ao Programa Três anos após a implantação

11 Proficiência ao final da 3a série do Ensino Médio Evolução da Proficiência no Grupo de Escolas Beneficiadas e Controle Melhora no grupo de escolas beneficiadas Proficiência das escolas beneficiadas Impacto do Programa Melhora no Grupo de Controle Proficiência das escolas não beneficiadas (grupo de ontrole) Antes da implantação Três anos após a implantação

12

13 B

14 D B Atendimento Imediato Atendiment

15 A B D Atendimento Imediato Atendimento após 3 anos de Pr

16 E B D A Atendimento Imediato Atendimento após 3 anos de Programa

17 C D A E to Imediato Atendimento após 3 anos de Programa

18 A E C Atendimento após 3 anos de Programa

19 Estações Pará Ceará Rio de Janeiro Goiás Minas Gerais SP Vale do Paraíba Mato Grosso do Sul SP Região Metropolitana Todos

20 Diagrama 2: Janela de Tempo de Avaliação

21 probabilidade de ocorrência (%) Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de controle, caso o Programa não tenha impacto 7,5% 7,0% 6,5% 6,0% 5,5% 5,0% 4,5% 4,0% 3,5% 3,0% 2,5% 2,0% 1,5% 1,0% 0,5% 0,0% 13% número de vezes que o grupo de tratamento teve desempenho superior ao de controle

22 probabilidade de ocorrência (%) Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de controle, caso o Programa não tenha impacto 7,5% 7,0% 6,5% 6,0% 5,5% 5,0% 4,5% 4,0% 3,5% 3,0% 2,5% 2,0% 1,5% 1,0% 0,5% 0,0% 95% número de vezes que o grupo de tratamento teve desempenho superior ao de controle

23 probabilidade de ocorrência (%) Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de controle, caso o Programa não tenha impacto 7,5% 7,0% 6,5% 6,0% 5,5% 5,0% 4,5% 4,0% 3,5% 3,0% 2,5% 2,0% 1,5% 1,0% 0,5% 0,0% 95% número de vezes que o grupo de tratamento teve desempenho superior ao de controle

24 probabilidade de ocorrência (%) 7,5% 7,0% 6,5% 6,0% Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de controle, caso o Programa não tenha impacto 5,5% 5,0% 4,5% 4,0% 3,5% 3,0% 2,5% 2,0% 1,5% 1,0% 0,5% Evidência de Impacto Negativo ,0% ,5 Evidência de Ausência de Impacto Evidência de Impacto Positivo número de vezes que o grupo de tratamento teve desempenho superior ao de controle

25 probabilidade de ocorrência (%) 7,5% 7,0% 6,5% 6,0% 5,5% 5,0% 4,5% 4,0% 3,5% 3,0% 2,5% 2,0% 1,5% 1,0% 0,5% Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de controle, caso o Programa não tenha impacto Evidência de Impacto Negativo ,0% ,5 Evidência de Ausência de Impacto Evidência de Impacto Positivo número de vezes que o grupo de tratamento teve desempenho superior ao de controle LP MAT

26 probabilidade de ocorrência (%) 7,5% 7,0% 6,5% 6,0% 5,5% 5,0% 4,5% 4,0% 3,5% 3,0% 2,5% 2,0% 1,5% 1,0% 0,5% Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de controle, caso o Programa não tenha impacto Evidência de Impacto Negativo ,0% ,5 Evidência de Ausência de Impacto Se o Jovem de Futuro não tivesse qualquer impacto, o que foi observado só seria esperado ocorrer uma vez a cada 100 mil tentativas Evidência de Impacto Positivo número de vezes que o grupo de tratamento teve desempenho superior ao de controle LP MAT

27 Magnitude do Impacto do Jovem de Futuro sobre o Aprendizado em Língua Portuguesa por Área de Atuação Mato Grosso do Sul Goiás Ceará Pará Impacto Médio Rio de Janeiro Vale do Paraíba São Paulo Minas Gerais 0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0

28 Aprendizado ao longo do Ensino Médio (pontos na Escala SAEB) Aprendizado em Matemática ao longo do Ensino Médio por unidade da federação +5 Aprendizado médio de uma série do Ensino Médio 16 pp 2 7 UFs 0 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% +5 porcentagem de unidades da federação +5 Suficiente para ultrapassar 7 unidades da federação Média

29 Porcentagem de Estudantes com Desempenho Adequado em Matemática: PISA 2012 Singapore Hong Kong-China Korea Estonia Japan Finland Switzerland Chinese Taipei Canada Liechtenstein Viet Nam Poland Netherlands Denmark Ireland Germany Austria Belgium Australia Latvia Slovenia Czech Republic Iceland United Kingdom Norway France New Zealand Spain Russian Federation Luxembourg Italy Portugal United States Lithuania Sweden Slovak Republic Hungary Croatia Greece Serbia Romania Turkey Bulgaria Kazakhstan United Arab Emirates Thailand Chile Malaysia Mexico Uruguay Montenegro Costa Rica Albania Argentina Brazil Tunisia Jordan Qatar Colombia Peru Indonesia Na Grécia, a porcentagem de estudantes que tem desempenho considerado adequado é o dobro da mesma porcentagem no Brasil. Brasil Enquanto no Brasil menos de 1/3 dos estudantes tem desempenho considerado adequado; na Coréia mais de 90% encontram-se nessa situação. Grécia Chile Adicional de 13 pontos na Escala SAEB para alcançar o Chile Coréia Adicional de 27 pontos na Escala SAEB para alcançar a Grécia 90% dos países que participam do PISA tem desempenho em Matemática melhor que o do Brasil porcentagem de estudantes com desempenho adequado (nível 2 ou acima)