Avaliação do Projeto Jovem de Futuro: resultados preliminares do segundo ano do programa

Transcrição

1 Avaliação do Projeto Jovem de Futuro: resultados preliminares do segundo ano do programa Ricardo Barros IPEA Mirela de Carvalho IETS Samuel Franco IETS Andrezza Rosalém - IETS Rio de Janeiro, Abril de 2010

2 2. Adesão das escolas 4. Seleção de uma escola em cada grupo por sorteio público Sequência de Eventos Apresentaçãprese1. Apresntação do programa ama 3. Grupamento das escolas 6. Pesquisa socuioeconômica 5. Seleção de uma amostra de turmas 7. Avaliação diagnóstica Avaliação somativa

3 Estrato Diferença entre os grupos de tratamento e controle segundo a avaliação Diagnóstica de matemática: Amostra - Porto Alegre, Diferença entre tratamento e controle Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas pela Cesgranrio em Porto Alegre, 2008

4

5 P-valor do teste de Kolmogorov para igualdade entre as distribuições das notas dos alunos nos grupos de controle e Avaliação Diagnóstica de matemática Porto Alegre, 2008 Indicadores de resultado Total Amostra Amostra (alunos que fizeram diagnóstica e somativa) Média do desempenho º quartil do desempenho Mediana do desempenho Porcentagem com desempenho acima da meta do programa "Todos pela Educação" Porcentagem com desempenho acima de Porcentagem com desempenho acima de Porcentagem com desempenho acima de Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas pela Cesgranrio em Porto Alegre, 2008 Nota 1: Foi considerado como meta do programa "Todos pela educação" a nota de 317.

6 Características do domicílio dos alunos das escolas de Controle e Tratamento do programa Jovem de Futuro: Amostra - Porto Alegre, 2008 Indicador Controle Média (%) Tratamento Diferença P-valor do teste-t de igualdade de médias Porcentagem dos alunos que possuem: Duas ou mais TV a cores ,1 64 Dois ou mais rádios ,4 56 Videocassete ou DVD ,9 54 Freezer ,2 90 Máquina de lavar ,7 22 Aspirador de pó ,4 12 Carro ,4 51 Computador ,0 27 Dois ou mais banheiros ,0 68 Empregada doméstica ou diarista ,4 23 Empregada doméstica ou diarista todos os dias 5 4 1,2 6 Pelo menos dois quartos de dormir ,2 88 Mais de dois quartos de dormir ,8 77 Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto Alegre, 2008.

7 Características do responsável dos alunos das escolas de Controle e Tratamento do programa Jovem de Futuro: Amostra - Porto Alegre, 2008 Indicador Controle Média (%) Tratamento Diferença P-valor do teste-t de igualdade de médias Porcentagem dos alunos que: Moram com mais de 2 pessoas ,4 67 Moram com a mãe ,8 15 A mãe ou responsável não tem o fundamental completo ,9 51 A mãe ou responsável tem pelo menos o médio completo ,9 68 A mãe ou responsável sabem ler e escrever ,4 65 Vê a mãe ou responsável lendo ,0 96 Mora com o pai ,9 40 O pai ou responsável não tem o fundamental completo ,7 86 O pai ou responsável tem pelo menos o médio completo ,1 75 O pai ou responsável sabe ler e escrever ,4 75 Vê o pai ou responsável lendo ,1 52 Os pais ou responsáveis o estimulam a estudar ,1 97 Os pais ou responsáveis o estimulam a fazer dever de casa e trabalhos da escola ,7 7 Os pais ou responsáveis o estimulam a ler ,8 46 Os pais ou responsáveis o estimulam a ir à escola ,2 76 Os pais ou responsáveis conversam sobre o que acontece na escola ,1 96 Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto Alegre, 2008.

8 Hábito de leitura e uso do tempo dos alunos das escolas de Controle e Tratamento do programa Jovem de Futuro: Amostra - Porto Alegre, 2008 Indicador Controle Média (%) Tratamento Diferença P-valor do teste-t de igualdade de médias Porcentagem dos alunos que: Têm mais de 20 livros em casa ,7 9 Têm mais de 100 livros em casa 7 6 1,3 19 Sempre lêem revistas em quadrinhos ,4 4 Nunca lêem revistas em quadrinhos ,5 53 Sempre lêem livros de literatura ,8 61 Nunca lêem livros de literatura ,5 46 Sempre lêem jornais ,2 31 Nunca lêem jornais 5 6-1,0 19 Sempre lêem revistas de informação ,1 90 Nunca lêem livros de informação ,4 45 Gastam mais de duas horas assistindo TV ,1 15 Gastam mais de duas horas fazendo trabalhos domésticos ,1 62 Trabalham fora de casa ,2 63 Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto Alegre, 2008.

9 Características educacionais dos alunos das escolas de Controle e Tratamento do programa Jovem de Futuro: Amostra - Porto Alegre, 2008 Indicador Controle Média (%) Tratamento Diferença P-valor do teste-t de igualdade de médias Porcentagem dos alunos que: Fizeram maternal ,8 72 Não fizeram nem maternal nem pré-escola ,6 13 Foram reprovados alguma vez ,7 83 Abandonaram alguma vez a escola durante o ano letivo ,1 99 Completaram o ensino fundamental (antigo 1º grau) no supletivo ,2 71 Gostam de estudar língua portuguesa ,1 23 Fazem dever de casa de língua portuguesa sempre ou quase sempre ,0 9 Gostam de matemática ,0 51 Fazem dever de matemática sempre ou quase sempre ,3 59 Porcentagem dos alunos que pretendem: Continuar estudando depois de terminar o ensino médio ,0 99 Trabalhar depois de terminar o ensino médio ,3 87 Trabalhar e continuar estudando depois de terminar o ensino médio ,9 70 Nota média em: Língua Portuguesa ,5 58 Matemática ,1 53 Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto Alegre, 2008.

10 Características da escola dos alunos das escolas de Controle e Tratamento do programa Jovem de Futuro: Amostra - Porto Alegre, 2008 Média (%) Indicador Controle Tratamento Diferença P-valor do teste-t de igualdade de médias Porcentagem dos alunos que: O professor corrige o dever de casa de língua portuguesa sempre ou quase sempre O professor corrige o dever de casa de matemática sempre ou quase sempre , ,4 91 O professor elogia as boas notas sempre ou quase sempre ,3 65 Esudam em escolas onde os alunos costumam bater uns nos outros Estudam em escolas onde existem brigas ou discussões entre alunos e funcionários , ,2 43 Esudam em escolas onde existem gangues que brigam ,6 78 Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto Alegre, 2008.

11 Estrato Diferença entre os grupos de tratamento e controle segundo a avaliação de matemática: Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul (SAERS) - Porto Alegre, Diferença entre tratamento e controle Fonte: Estimativas produzidas com base na prova do Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul (SAERS), de 2008.

12 Avaliação ex-ante do impacto mínimo necessário para uma relação custobenefício favorável: Porto Alegre, trabalhador com educação média completa Gênero Etnia Taxa de desemprego Taxa de desconto intertemporal Valor presente da renda do trabalho (R$ mil) Benefício por unidade de impacto (R$/pontos na escala SAEB) Impacto mínimo para uma relação custobenefício favorável Homen Mulher Branco Negra 10% 10% % 15% % 10% % 15%

13 Evolução da Proficiência em Matemática - Porto Alegre Total Tratamento Controle Impacto Progresso Diagnóstica Somativa

14

15

16 Impacto do Projeto Jovem de Futuro Porto Alegre - Matemática Valor Adicionado - Todos os Alunos Indicador Impacto Erro-padrão P-valor (%) Progresso Impacto como porcentagem do progresso Média o quartil Mediana o quartil Média entre os 25% piores Média entre os 50% piores Média entre os 50% melhores Média entre os 25% melhores Porcentagem de alunos com nota acima de 275 Porcentagem de alunos com nota acima de 300 Notas: Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas pelo Cesgranrio em Porto Alegre, 2008 e (1) O impacto foi definido pela diferença entre as médias das escolas de Tratamento e Controle. (2) O progresso foi definido pelas médias das escolas de Controle.

17 Impacto do Projeto Jovem de Futuro Porto Alegre - Língua Portuguesa Valor Adicionado - Todos os Alunos Indicador Impacto Erro-padrão P-valor (%) Progresso Impacto como porcentagem do progresso Média o quartil Mediana o quartil Média entre os 25% piores Média entre os 50% piores Média entre os 50% melhores Média entre os 25% melhores Porcentagem de alunos com nota acima de 275 Porcentagem de alunos com nota acima de 300 Notas: Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas pelo Cesgranrio em Porto Alegre, 2008 e (1) O impacto foi definido pela diferença entre as médias das escolas de Tratamento e Controle. (2) O progresso foi definido pelas médias das escolas de Controle.

18 Impacto do Projeto Jovem de Futuro Belo Horizonte - Língua Portuguesa Valor Adicionado - Todos os Alunos Indicador Impacto Erro-padrão P-valor (%) Progresso Impacto como porcentagem do progresso Média o quartil Mediana o quartil Média entre os 25% piores Média entre os 50% piores Média entre os 50% melhores Média entre os 25% melhores Porcentagem de alunos com nota acima de 275 Porcentagem de alunos com nota acima de 300 Notas: Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas pelo CAED em Belo Horizonte, 2008 e (1) O impacto foi definido pela diferença entre as médias das escolas de Tratamento e Controle. (2) O progresso foi definido pelas médias das escolas de Controle.

19 Progresso na porcentagem de alunos com proficiência em Matemática acima do mínimo recomendado (p. p.) 10 Progresso necessário para alcançar a 3 a Meta do CompromissoTodos pela Educação: Matemática - Região Metropolitana de Porto Alegre, estimativa com base no SAERS Impacto de um ano no programa Anos Fonte: Estimativas produzidas com base na prova do Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul (SAERS), de 2008.

20 Taxa de crescimento (%) 5 Relação entre a taxa de crescimento anual do PIB por trabalhador no período e a proficiência em Matemática na 8 a série em 1995: Unidades da Federação pp Impacto do programa na amostra entre alunos que fizeram as avaliações diagnóstica e somativa Proficiência em matemática Fonte: Estimativas produzidas com base no dados da Pesquisa Nacional por Amostra de Domicílio (PNAD) de 2002 a 2006 e do Sistema de Avaliação da Educação BásicaSAEB/INEP

21 Sensibilidade de impacto do programa ao volume e distribuição dos recursos: Porto Alegre (%) Indicadores Volume de recursos: Porcentagem de alunos beneficiados Porcentagem de recursos alocados por tipo de despesa Matemática Língua portuguesa Coeficiente P-valor (%) Coeficiente P-valor (%) Alunos da escola que estão no ensino médio -2,7 38 1,5 63 Alunos da escola que estão na 1 a série do ensimo médio -5,3 35 1,1 86 Professor e aluno -3,7 49 2,0 75 Aluno -3,9 58 7,3 37 Professor -3,2 70-6,1 55 Distribuição dos recursos Distribuição dos recursos: Porcentagem de recursos alocados por tipo de resultado Atividades que promovam o desenvolvimento de competencias e habilidades dos alunos Atividades que promovam o aumento do índice de frequencia dos alunos Atividades que promovam o desenvolvimento de atitudes de responsabilidade socioeconômica e ambientais dos alunos Atividades que promovam o aumento do índice de frequencia dos professores Atividades que promovam práticas pedagógicas melhoradas Atividades que promovam a gestão escolar por resultado e infraestrutura melhorada 6, ,3 30 1,9 78 2,8 74-4, ,3 3 2,6 53 9,0 6-13, ,9 3-0,6 94-3,2 74 Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas pelo Cesgranrio em Porto Alegre, 2008 e As informações da alocação de recursos do programa por escola foram disponibilizadas pelo Instituto Unibanco para anos de 2008 e Nota: Regressão da diferença entre o valor adicionado das escolas de tratamento e controle em cada estrato contra os indicadores de distribuição e volume de recursos.

22 Diferença no progresso entre as escolas de Tratamento e Controle Relação entre o impacto do programa e a proporção dos recursos alocados a atividades que promovam o aumento do índice de frequencia dos professores: Língua portuguesa - Porto Alegre y = 0,8994x - 10,532 R² = 0, Porcentagem dos recursos alocados no R4 (%) Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco ap licadas pelo Cesgranrio em Porto Alegre, 2008 e As informações da alocação de recursos do programa por escola foram disponibilizadas pelo Instituto Unibanco para anos de 2008 e Nota 1: Foi considerado como impacto a diferença na nota média no progresso (Somativa Diagnóstica 2008) entre as escolas de Tratamento e Controle.

23 Diferença no progresso entre as escolas de Tratamento e Controle Relação entre o impacto do programa e a proporção dos recursos alocados a atividades que promovam o desenvolvimento de atitudes de responsabilidade socioeconômica e ambiental dos alunos: Língua portuguesa - Porto Alegre y = -1,1343x + 30,111 R² = 0, Porcentagem dos recursos alocados no R3 (%) Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco ap licadas pelo Cesgranrio em Porto Alegre, 2008 e As informações da alocação de recursos do programa por escola foram disponibilizadas pelo Instituto Unibanco para anos de 2008 e Nota 1: Foi considerado como impacto a diferença na nota média no progresso (Somativa Diagnóstica 2008) entre as escolas de Tratamento e Controle.

24 Diferença no progresso entre as escolas de Tratamento e Controle 80 Relação entre o impacto do programa e a proporção dos recursos alocados a atividades que promovam práticas pedagógicas melhoradas: Língua portuguesa - Porto Alegre y = -5,2903x + 27,591 R² = 0, Porcentagem dos recursos alocados no R5 (%) Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco ap licadas pelo Cesgranrio em Porto Alegre, 2008 e As informações da alocação de recursos do programa por escola foram disponibilizadas pelo Instituto Unibanco para anos de 2008 e Nota 1: Foi considerado como impacto a diferença na nota média no progresso (Somativa Diagnóstica 2008) entre as escolas de Tratamento e Controle.