Experiências de Avaliação em Programas Sociais do Governo Federal - Programa de Erradicação do Trabalho Infantil - PETI

Transcrição

1 Escola Nacional de Administração Pública ENAP Aperfeiçoamento em Avaliação de Programas Sociais Experiências de Avaliação em Programas Sociais do Governo Federal - Programa de Erradicação do Trabalho Infantil - PETI Carmela Zigoni Pereira Dionara Barbosa Gláucia Alves Macedo Juliana de Carvalho Guimarães Monica Aparecida Rodrigues Patrícia Ferreira Vilas Boas

2 PARTE 1 Nome do Programa: Programa de Erradicação do Trabalho Infantil Justificativa para a implementação: Existência de 5,5 milhões de crianças e adolescentes (entre 5 e 13 anos) em situação de trabalho infantil, conforme dados da PNAD Duração do programa: continuada Início em População alvo: famílias com crianças e adolescentes na faixa etária dos 7 aos 15 anos envolvidos em atividades consideradas como as piores formas de trabalho infantil. Essas atividades foram regulamentadas pela Portaria nº 20, de 13 de setembro de 2001, da Secretaria de Inspeção do Trabalho, do Ministério do Trabalho e Emprego. Entre elas, podem ser citadas as atividades em carvoarias, olarias, no corte de cana-de-açúcar, nas plantações de fumo e lixões. Critério de elegibilidade: faixa etária dos 7 aos 15 anos; estar envolvido em atividades consideradas como as piores formas de trabalho infantil. Valor do benefício: Famílias, cujas crianças exercem atividades típicas da área urbana (capitais, regiões metropolitanas e municípios com mais de 250 mil habitantes), têm direito à bolsa mensal no valor de R$ 40 por criança. As que exercem atividades típicas da área rural recebem R$ 25 ao mês, para cada criança cadastrada. Além da bolsa, o programa destina R$ 20 nas áreas rurais e R$ 10 nas áreas urbanas (por criança ou adolescente) à denominada Jornada Escolar Ampliada, para o desenvolvimento, em período extracurricular, de atividades de reforço escolar, alimentação, ações esportivas, artísticas e culturais. Tais recursos são repassados aos municípios, a fim de que a gestão execute as ações necessárias à permanência das crianças e adolescentes na Jornada Escolar Ampliada. O PETI prevê, ainda, o repasse de recursos aos municípios, para que as famílias inscritas sejam contempladas com ações de Ampliação e Geração de Renda, consolidando, ainda mais, a erradicação do trabalho infantil. Contrapartidas: Para receber a bolsa do programa, as famílias têm que assumir compromissos com o governo federal, garantindo: - freqüência mínima das crianças e adolescentes na escola e na jornada ampliada equivalente a 75% do período total; - afastamento definitivo das crianças e adolescentes menores de 16 anos do trabalho; - participação das famílias nas ações socioeducativas e de ampliação e geração de renda que lhes forem oferecidas; - as ações de controle são executadas pelos municípios. Número de beneficiários: 926 mil crianças e adolescentes atendidos (jun/2005). Meta 2005: 1 milhão de crianças e adolescentes atendidos.

3 Fonte de financiamento: recursos do Fundo Nacional de Assistência Social, cofinanciamento de estados e municípios, podendo contar, ainda, com a participação financeira da iniciativa privada e da sociedade civil. Despesa total (ano): R$ ,00 (projeção 2005) Ministério Executor: Ministério do Desenvolvimento Social e Combate à Fome Instâncias de Implementação: Ministério do Desenvolvimento Social e Combate à Fome, Municípios (2.788), Secretarias de Assistência Social (ou outra que realize suas funções), Fundo Nacional de Assistência Social, Caixa Econômica Federal PARTE 2 Nome do Estudo: Relatório de Auditoria de Natureza Operacional do TCU sobre o Programa de Erradicação do Trabalho Infantil PETI Natureza da avaliação realizada: Na avaliação analisada podemos identificar três naturezas de avaliação, conforme capítulos listados abaixo: Estrutura: disponibilidade de monitores qualificados e em número suficiente para atendimento das crianças na jornada ampliada, conveniência para as crianças em relação aos locais e aos horários nos quais se desenvolvem as atividades da jornada escolar ampliada Processo: identificação e seleção do público alvo, tempestividade no repasse de recursos, conveniência para as crianças em relação aos locais e aos horários nos quais se desenvolvem as atividades da jornada escolar ampliada, atuação das comissões de erradicação do trabalho infantil no âmbito estadual e municipal Resultado: atratividade do valor da bolsa criança cidadã contribuição da jornada ampliada na melhoria do desempenho escolar das crianças, mecanismos de controle para assegurar que as crianças não retornam ao trabalho durante sua participação no programa e após sua exclusão Metodologia de avaliação utilizada: O relatório não apresenta uma descrição clara da metodologia utilizada para a realização da avaliação, supostamente de base qualitativa. Não foi possível identificar questões básicas como a quantidade e o método de seleção dos municípios visitados, bem como os instrumentos utilizados no processo de avaliação. Sendo assim, com base no modelo de avaliação normalmente realizada pelo TCU e em indicativos encontrados no texto pode-se identificar a utilização de alguns métodos: Comparação: O QUE o Programa DEVERIA SER versus O QUE ELE É (benchmarking);

4 Para isso: Visitou municípios selecionados; Aplicou questionários (via correio): gestores municipais, monitores e famílias; Levantou e analisou documentos; Discutiu os pontos levantados na avaliação com os gestores; Principais indicadores evidenciados (estrutura, processo e resultado): a) Indicadores de Estrutura: - Qualidade dos locais e das instalações para a execução das atividades da Jornada Escolar Ampliada - Facilidade de deslocamento das crianças até as escolas ou locais onde é oferecida a Jornada Escolar Ampliada - Existência de programas de capacitação e geração de renda para as famílias participantes do PETI - Condições do Município (capacidade administrativa) para a implementação e monitoramento da Jornada Escolar Ampliada b) Indicadores de Processo: - Disponibilidade de dados sobre o número total de crianças trabalhando em atividades perigosas, degradantes, penosas ou insalubres - Ocorrência de atrasos no pagamento da Bolsa Criança Cidadã às famílias do PETI - Média de horas de capacitação dos monitores da Jornada Escolar Ampliada - Número de crianças por monitor na Jornada Escolar Ampliada - Controle da freqüência dos alunos na Jornada Escolar Ampliada - Existência de Comissão de Erradicação de Trabalho Infantil no Município Os indicadores abaixo, pelo grupo considerados de processo, no relatório aparecem como indicadores de desempenho: - Custo de manutenção do programa por cada 100 crianças de 7 a 14 anos retiradas de atividades laborais perigosas, penosas, insalubres ou degradantes (fonte de dados: SIAFI, SEAS, Gestores Estaduais e Gestores Municipais) - Número de horas semanais oferecidas pela Jornada Escolar Ampliada (fonte de dados: Gestores Municipais do PETI) - Número de horas destinadas à capacitação dos monitores da Jornada Escolar Ampliada (fonte de dados: Gestores Municipais do PETI)

5 - Número de horas destinadas para reuniões sócio-educativas de geração de renda (fonte de dados: Gestores Municipais do PETI) - Tempo médio de espera pelas famílias desde o seu cadastramento no PETI até o recebimento da Bolsa Criança Cidadã (fonte de dados: Gestores Estaduais do PETI) - Percentual das famílias que têm acesso às campanhas de conscientização sobre os malefícios causados pelo trabalho infantil (fonte de dados: Famílias e Gestores Estaduais) - Percentual de Famílias participantes do PETI atendidas com atividades de capacitação e qualificação profissional (fonte de dados: Famílias e Gestores Estaduais) - Número de crianças exercendo atividade laboral antes e depois da implementação do PETI (fonte de dados: Prefeituras, via questionários) - Nível de atuação das Comissões Municipais de Erradicação do Trabalho Infantil - CMETI sobre a condução do Programa (fonte de dados: CMETI, via questionários) b) Indicadores de Resultado: - Alcance do PETI no atendimento de todas as crianças que trabalham em atividades laborais nas suas piores formas - Impacto do valor da Bolsa Criança Cidadã sobre a renda das famílias, motivando-as a retirar seus filhos do trabalho - Redução no índice de evasão escolar após a implementação do PETI - Redução do trabalho infantil após a implantação do PETI Os indicadores abaixo, pelo grupo considerados de resultado, no relatório aparecem como indicadores de desempenho: - Número de crianças e adolescentes de 7 a 14 anos atendidas pelo PETI / total de crianças e adolescentes de 7 a 14 anos que se encontrem em atividades laborais perigosas, penosas, insalubres ou degradantes (fonte de dados: SEAS/MPAS e PNAD/IBGE) - Percentual de aumento da renda da família após sua inclusão no PETI (fonte de dados: Prefeituras, via questionários) - Taxa de freqüência escolar das crianças e adolescentes participantes do PETI (fonte de dados: Prefeituras, via questionários) - Taxa de evasão escolar das crianças e adolescentes participantes do PETI (fonte de dados: Prefeituras, via questionários) - Percentual de recursos do PETI que atingiram 10% dos municípios com menor IDH (fonte de dados: SEAS/MPAS)

6 Recomendações da Avaliação à SEAS: IDENTIFICAÇÃO E SELEÇÃO DO PÚBLICO ALVO a) Implementar ações no sentido de uniformizar, em âmbito nacional, os critérios para inclusão das famílias no Programa e a metodologia de identificação dessas famílias; b) Envio de esforços junto ao Ministério do Trabalho no sentido de identificar e quantificar as crianças que se encontram no trabalho infantil atualmente no Brasil, a fim de constituir e manter cadastro atualizado com suas informações. Com isso pretende-se conseguir a identificação e quantificação precisa do público alvo do Programa a fim de que não haja distorções na seleção das famílias. ATRATIVIDADE DO VALOR DA BOLSA CRIANÇA CIDADÃ Realização de monitoramento junto aos municípios, com a finalidade de verificar a existência de crianças que não participam do Programa por falta de interesse de suas famílias no valor da Bolsa, para que, em caso positivo, busque-se meios de inseri-las no Programa. Desta forma, caso existam crianças não inseridas no Programa por falta de interesse de suas família no valor da Bolsa, será possível identificá-las e incluí-las. TEMPESTIVIDADE NO REPASSE DE RECURSOS Agilizar a operacionalização do repasse de recursos diretamente aos beneficiários, por meio de cartões magnéticos, a exemplo de experiências bem sucedidas realizadas em programas de governo de outras áreas, como o Bolsa Escola e o Bolsa Renda, conforme previsto na Portaria nº 458, de 04 de outubro de Desta forma, busca-se que os repasses sejam efetuados tempestivamente, fazendo com que as famílias recebam a Bolsa em dia, eliminado o risco de as crianças pararem de freqüentar a Jornada por falta do seu recebimento, bem como, aumente a credibilidade do Programa junto às famílias beneficiadas. DISPONIBILIDADE DE MONITORES QUALIFICADOS E EM NÚMERO SUFICIENTE PARA ATENDIMENTO DAS CRIANÇAS NA JORNADA AMPLIADA a) estabeleça uma relação ideal de alunos por monitor para que a qualidade da Jornada Escolar Ampliada não fique comprometida; b) busque meios de estender o seu Programa de Capacitação a Distância para Conselheiros, Gestores e Técnicos da Assistência Social para a capacitação dos monitores do PETI; c) uniformize a quantidade de horas de capacitação e conteúdo programático para monitores do PETI em nível nacional;

7 d) implemente o mais rápido possível a solução para a contratação dos monitores, tornando o ato legal e informe ao Tribunal a decisão adotada. * (recomendação encontrada ao longo do texto) Uma forma da SEAS tentar aperfeiçoar a qualificação dos monitores da jornada escolar ampliada seria estendendo o seu Programa de Capacitação a Distância para Conselheiros, Gestores e Técnicos da Assistência Social para a capacitação desses monitores. Assim, com os monitores capacitados de forma uniforme e respeitada a relação de quantidade de alunos por monitor, a qualidade da jornada terá padrão uniforme em nível nacional. CONTRIBUIÇÃO DA JORNADA AMPLIADA NA MELHORIA DO DESEMPENHO ESCOLAR DAS CRIANÇAS a) estimule os municípios a manter e aprimorar as atividades relativas à Jornada Ampliada, com ênfase em escrita, leitura e matemática, tendo em vista sua relevância na melhoria do desempenho escolar das crianças do PETI; b) promova a divulgação das experiências bem sucedidas dos municípios, conforme relatado nos itens 6.6 a 6.8 deste relatório, a fim de melhorar a qualidade das atividades desenvolvidas na Jornada Ampliada. Com essas medidas, espera-se que se possa assegurar a melhoria do desempenho escolar das crianças do PETI, e que haja a detecção e disseminação de boas práticas. CONVENIÊNCIA PARA AS CRIANÇAS EM RELAÇÃO AOS LOCAIS E AOS HORÁRIOS NOS QUAIS SE DESENVOLVEM AS ATIVIDADES DA JORNADA ESCOLAR AMPLIADA a) busque parcerias com outros programas do Governo Federal, no âmbito dos Ministérios do Esporte e Turismo e da Educação, como forma de viabilizar a construção de quadras esportivas, transporte das crianças e ampliação de escolas, priorizando a alocação de recursos orçamentários para aquelas localidades onde o PETI esteja em funcionamento e cujos municípios apresentam menor IDH; b) busque a mobilização e o engajamento da sociedade civil no Programa, principalmente nos pequenos povoados, como forma de sensibilizar a prática do mutirão entre as famílias na conservação, manutenção e limpeza dos centros, bem como envolver os empresários e associações em campanhas de doação de equipamentos, material de construção e cessão de áreas para a construção de escolas; c) inclua no Manual Operacional do PETI, os parâmetros mínimos de qualidade que devem ter os locais e instalações da Jornada Escolar Ampliada, considerando sempre as condições de infra-estrutura administrativa e peculiaridades locais de cada município, no sentido de possibilitar que cada centro disponha de banheiro, área para cozinha e preparação das refeições, água, luz, instalações e mobiliário adequados.

8 Assim, com as parcerias dos ministérios das áreas de esporte e educação, as crianças poderão contar com instalações físicas adequadas para a realização das atividades da Jornada Ampliada, possibilitando acesso a quadras de esportes e transporte nos locais onde as distâncias a serem percorridas para as escolas são grandes. MECANISMOS DE CONTROLE PARA ASSEGURAR QUE AS CRIANÇAS NÃO RETORNAM AO TRABALHO DURANTE SUA PARTICIPAÇÃO NO PROGRAMA E APÓS SUA EXCLUSÃO Promover a divulgação a todos os municípios participantes do Programa da norma operacional e manual operacional do PETI. Com a divulgação do manual pretende-se diminuir o nível de desinformação quanto aos procedimentos operacionais do Programa. Pretende-se, com isso, aumentar o nível de conscientização da sociedade, buscando a diminuição do trabalho infantil. MONITORAMENTO E AVALIAÇÃO DO PROGRAMA Promova a divulgação a todos os municípios participantes do Programa da norma operacional e manual operacional do PETI. Com a divulgação do manual pretende-se diminuir o nível de desinformação quanto aos procedimentos operacionais do Programa. ATUAÇÃO DAS COMISSÕES DE ERRADICAÇÃO DO TRABALHO INFANTIL NO ÂMBITO ESTADUAL E MUNICIPAL a) divulgue junto aos diversos representantes da sociedade bem como aos participantes do Programa, a finalidade das Comissões de Erradicação do Trabalho Infantil, suas competências, seus membros e o local de funcionamento, conscientizando-os da importância de sua participação nas reuniões; b) adote medidas com vista a fortalecer as Comissões de Erradicação do Trabalho Infantil, no que diz respeito à sua atuação no controle social do Programa; c) verifique a possibilidade de estabelecer parcerias com ONGs, como por exemplo a Pastoral da Criança ( com a finalidade de fiscalizar a execução do Programa, a semelhança da parceria feita entre o Ministério da Educação e aquela entidade para a fiscalização do Bolsa-Escola. Com isso, espera-se conseguir o Fortalecimento do controle social do Programa, buscando o pleno funcionamento das Comissões de Erradicação do Trabalho Infantil (sobretudo no âmbito municipal) no desempenho de suas funções de fiscalização da

9 execução da Jornada Ampliada (aplicação dos recursos, instalações, capacitação dos monitores etc.), monitoramento do cadastramento das famílias e avaliação do Programa. Conclusões da avaliação: O Programa vem atingindo seu objetivo, retirando as crianças do trabalho e levando-as de volta à escola. Não existem dados exatos sobre a quantidade de crianças no trabalho infantil atualmente e não existem critérios uniformes entre os municípios para a inclusão destas crianças no Programa O valor da bolsa torna-se suficiente para que as famílias sintam-se motivadas a retirarem suas crianças do trabalho. Até o mês de agosto de 2001, 53% dos municípios estavam impedidos de receber recursos devido à falta da certidão de comprovação de adimplência junto à União quanto às obrigações previdenciárias (CND) junto ao Instituto Nacional de Seguro Social INSS, gerando tempestividade no repasse de recursos. Essa suspensão do repasse dos recursos penaliza somente os beneficiários do Programa. Todos os monitores da Jornada Ampliada recebem treinamento, mas a quantidade de horas de capacitação não é uniforme. Não há definição de número máximo de crianças por monitor, tendo sido encontrada uma variação, nos estudos de caso e pesquisa, entre 10 e 72 crianças por monitor, quando a relação ideal é de, no máximo, 30. As atividades oferecidas pela Jornada Ampliada estão contribuindo efetivamente para ampliar e fortalecer o universo de conhecimento e habilidade das crianças do PETI, provocando uma sensível melhoria no seu desempenho escolar e convívio social, proporcionando também uma alimentação mais adequada. O horário de execução da Jornada é adequado, pois não interfere no ensino regular das crianças. Os locais de execução da Jornada Ampliada nem sempre apresentam condições satisfatórias Existem no Programa, como mecanismos de controle para evitar o retorno das crianças ao trabalho, duas ações: Geração de Ocupações Produtivas e a Fiscalização para Erradicação do Trabalho Infantil. A fim de efetuar o monitoramento dos programas, a SEAS está realizando estudos em conjunto com a Universidade de São Paulo - USP e a Fundação Getúlio Vargas - FGV, com a finalidade de desenvolver indicadores de desempenho. A comissão para erradicação do trabalho infantil foi criada em 94% dos municípios. O controle social do Programa é comprometido pelo desconhecimento da sociedade quanto à atuação das comissões.

10 Não existe eqüidade com relação ao tratamento das diferenças sócio-econômicas dos municípios. Em 100% dos municípios visitados, as famílias e monitores avaliam que o Programa vem contribuindo para reduzir o trabalho infantil. Com relação à pesquisa postal, 88% dos municípios julgam a contribuição do Programa na redução do trabalho infantil satisfatória, 8% julgam regular e apenas 2% avaliam esse ponto insatisfatório. Comentários do grupo sobre as conclusões e recomendações ao programa: 1) Sobre as conclusões: Comentário geral: Devido aos problemas de metodologia já citados, consideramos que as conclusões tem uma confiabilidade relativa, já que está baseada em uma avaliação pouco embasada e com metodologia pouco rigorosa. Comentários específicos: - todas as conclusões tem a pretensão de serem passíveis de generalização, mas consideramos que este exercício não é pertinente, dado que a amostra não está bem definida (e portanto pode não ser representativa). - por outro lado, as conclusões são boas no que diz respeito à sua formulação e ao que destaca como importante de ser privilegiado na ação, sendo recomendável que se avalie sua aplicabilidade versus os problemas do próprio processo de avaliação. 2) Sobre as recomendações: Comentário geral: Como as recomendações são baseadas nas conclusões, e devido aos problemas do processo de avaliação já mencionados, é importante que os gestores que irão executar as recomendações, tenham em mente esta ressalva. Comentários específicos: - De forma geral, as recomendações são pertinentes, mesmo que não se possa generalizar os dados da avaliação. Ao menos para os municípios específicos pesquisados, as recomendações, se executadas, podem fazer com que as ações do Programa se tornem mais eficazes e efetivas. Para os demais municípios do Brasil, acreditamos que só uma nova pesquisa, mais cuidadosa, poderia orientar melhorias ou mudanças em termos mais gerais. Comentários do grupo sobre a adequação da avaliação: Considerando que a natureza desta avaliação extrapola os limites das auditorias habituais do TCU, que normalmente privilegiam aspectos físico-financeiros da execução dos

11 Programas, julgamos que a presente Avaliação configura-se em um grande avanço, já que retira estas questões do foco principal e prioriza aspectos relativos ao social. No entanto, consideramos que o aspecto generalista dos resultados apresentados compromete a avaliação já que, com pode ser auferido do texto do Relatório de Auditoria, o levantamento dos dados e as pesquisas realizadas in loco privilegiaram apenas alguns Municípios, não podendo, portando, as conclusões serem dimensionadas para todo o território brasileiro. Além disso, a definição conceitual dos indicadores utilizados não é clara e acarreta confusões de interpretações que poderiam ser evitadas, caso existisse um glossário que especificasse como os conceitos foram construídos e de que forma estão sendo utilizados, pois isso implica em diferentes resultados e interpretações. Como exemplo, podemos citar os indicadores de desempenho: que na sua concepção engloba aspectos muitas vezes mais apropriados aos indicadores de resultado ou de processo. Face ao exposto, a avaliação não nos parece devidamente adequada, apesar do esforço institucional do TCU. Contudo, reconhecemos que avaliações desta natureza sempre, de alguma forma, corroboraram para o aprimoramento das ações pertinentes aos Programas avaliados. Comentários do grupo sobre a possibilidade de avaliação econômica do programa: Se considerarmos como avaliação econômica as metodologias de experimento e quaseexperimento, o grupo não considera pertinente a utilização dessas metodologias para a avaliação de um programa como o PETI. Para o objeto do programa, crianças em situação de trabalho, seria extremamente delicada a questão ética da seleção de grupos (crianças beneficiadas) e controles (crianças não-beneficiadas). Contudo, um estudo baseado nessas metodologias teria condições técnicas de ser realizado pois o público-alvo do programa é de aproximadamente 5 milhões de crianças (estimativa de crianças que trabalham segundo a Pnad 2001) e a meta de atendimento para este ano é de 1 milhão de crianças. Proposta do grupo de metodologia alternativa para avaliação do programa: 1. Avaliação Quantitativa, amostral (representativa) para se identificar resultados do programa, tais como: impacto da bolsa PETI na renda familiar, progressão escolar das crianças beneficiárias, melhoria nas condições de saúde das crianças, cobertura do programa, melhora no desempenho escolar (notas) para as crianças que participam da jornada ampliada (PETI) em relação ao desempenho daquelas que não participam, entre outros.

12 2. Avaliação Qualitativa dos aspectos específicos de Implementação do Programa, abordando: critérios de seleção dos beneficiários, métodos de distribuição das bolsas PETI aos beneficiários, capacitação dos monitores que implementam a jornada ampliada, entre outros.