2º Relatório da Comissão de Acompanhamento e Avaliação Trimestral do Termo de Parceria celebrado entre Secretaria de Desenvolvimento Social SEDESE e o Centro Integrado de Estudos e Programas de Desenvolvimento Sustentável - CIEDS. Período de Avaliação: 25/10/2007 a 24/01/2008 1 INTRODUÇÃO O propósito deste Relatório é avaliar o Termo de Parceria celebrado entre Secretaria de Desenvolvimento Social SEDESE e a Organização da Sociedade Civil de Interesse Público Centro Integrado de Estudos e Programas de Desenvolvimento Sustentável CIEDS, verificando o grau de execução dos resultados pactuados. Este Termo tem como objeto a implementação e monitoramento das ações do "Programa Poupança Jovem", nas 25 escolas estaduais do Município de Ribeirão das Neves, em Minas Gerais, visando aumentar a taxa de conclusão do ensino médio, preparando os jovens para o ingresso na vida adulta e oferecendo-lhes a oportunidade de desenvolvimento pessoal e social. Esta avaliação está embasada no que estabelece o Art.14 da Lei nº 14.870/2003, o Art.21 do Decreto nº 43.749/2004 e o Art.8º da Resolução SEPLAG nº66/2004. Conforme Resolução n. 062, de 30/08/2007, esta comissão é integrada pelos seguintes membros: I Kátia Liliane Alves Canguçú Masp 1.007901-0, pela SEDESE II Beatriz Oliveira de Simoni RG M34.643.368, pela OSCIP; III Lúcio Otávio Seixas Barbosa Masp 1.164142-0, pela SEPLAG; IV - Regina Helena Cunha Mendes RG M1.634.188, pelo Conselho Estadual dos Direitos da Criança e do Adolescente 2 METODOLOGIA DE ANÁLISE ADOTADA Para empreender esta avaliação a CAA realizou a análise do Relatório Gerencial encaminhado pela OSCIP em 14/02/2008, para, em seguida, apresentar as recomendações, decorrentes da 2ª Reunião da Comissão de Acompanhamento e Avaliação, realizada em 15/02/2008, para o bom andamento da parceria em tela e emitir conclusão sobre o desempenho da OSCIP quanto aos resultados pactuados para o período. A nota final deste período avaliatório será composta pela nota obtida na avaliação do Quadro de Indicadores e Metas. 2.1. Nota referente ao atingimento dos resultados dos indicadores do Quadro de Indicadores e Metas Todos os cálculos de notas serão feitos com números até duas casas decimais e o arredondamento deverá obedecer às seguintes regras: se a terceira casa decimal estiver entre 0 e 4, a segunda casa decimal permanecerá como está; e se a terceira casa decimal estiver entre 5 e 9, a segunda casa decimal será arredondada para o número imediatamente posterior.
Ao final de cada período avaliatório, os indicadores constantes do Programa de Trabalho serão avaliados calculando-se o Índice de Cumprimento da Meta - ICM - para cada um deles, conforme fórmulas definidas na descrição desses indicadores. Cumpre destacar que a realização da meta abaixo de 50% não será pontuada. Uma vez calculado o ICM de cada indicador, serão determinadas notas de 0 (zero) a 10 (dez) para cada um destes, também conforme definido na descrição dos mesmos ou, subsidiariamente, conforme regra geral abaixo estabelecida: Regra geral de atribuição de notas a indicadores: Para cada indicador pactuado para o qual não tenha sido predefinido uma regra de pontuação própria, será atribuída nota de 0 a 10, proporcional ao ICM, e conforme a regra de arredondamento mencionada acima. A nota obtida pelo atingimento dos resultados dos indicadores do Quadro de Indicadores e Metas será calculada pelo somatório da nota atribuída para cada indicador multiplicada pelo respectivo peso, dividido pelo somatório dos pesos. Fórmula 1 (F1) : Σ (nota de cada indicador x peso respectivo) Σ dos pesos 2.2. Nota referente ao cumprimento do Quadro de Ações Estruturantes Ao final de cada período avaliatório será atribuída uma nota referente ao cumprimento das ações estruturantes, de acordo com a tabela abaixo: Execução da Ação Nota Atribuída Cumpriu 10 Cumpriu com atraso, mas apresentou justificativa aceita pela CAA 5 Não cumpriu 0 A nota obtida pelo cumprimento das ações é calculada pelo somatório da nota atribuída para cada ação multiplicada pelo respectivo peso, dividido pelo somatório dos pesos. Fórmula 2 (F2): Σ (nota de cada ação x peso respectivo) Σ dos pesos 2.3. Nota final A nota final deste período avaliatório será calculada pela ponderação das notas do Quadro de Indicadores e Metas e do Quadro de Ações Estruturantes, de acordo com seu respectivo fator de ponderação (FP) estabelecido no Termo de Parceria, que é: 100% para o Quadro de indicadores e Metas e 0% para o Quadro de Ações Estruturantes Fórmula 3 (F3): Resultado de F1 x 100 %+ Resultado da F2 x 0%
O resultado obtido será então enquadrado em um dos seguintes conceitos: Pontuação Final Conceito Situação do Termo de Parceria De 9,0 a 10,0 Excelente Cumprido plenamente De 7,0 a 8,9 Bom Cumprido com ressalvas Abaixo de 7,0 Insatisfatório Não cumprido Será considerado satisfatório o desempenho da OSCIP que obtiver o conceito Excelente ou Bom nessa avaliação.
3 COMPARATIVO ENTRE AS METAS PROPOSTAS E OS RESULTADOS OBTIDOS 2 Alunos com conhecimento nas diversas atividades oferecidas pelo Programa e habilidades adquiridas Resultado Indicador de Resultado Unidade Peso 2.2 Eixo Cultura 2.3 Eixo Educação Geral 3 Desenvolvimento do protagonismo juvenil e participação comunitária 4 Professores mobilizados 2.2.1 Percentual de alunos com freqüência mínima nas atividades em que estiverem inscritos 2.2.2 Percentual de alunos com nível de satisfação acima de 80% nas atividades realizadas 2.2.4 Número de horas oferecidas para o Módulo Eixo Cultura (para cada aluno) 2.3.1 Percentual de alunos com freqüência mínima nas atividades em que estiverem inscritos 2.3.2 Percentual de alunos com nível de satisfação acima de 80% nas atividades realizadas 2.3.3 Número de horas oferecidas para o Eixo Educação Geral (para cada aluno inscrito) 3.1 Número de projetos implementados pelos alunos na escola (por escola) 3.2 Percentual de alunos com freqüência mínima nas atividades de participação comunitária 4.1 Percentual de professores com freqüência mínima nas atividades oferecidas 4.2 Percentual de professores com nível de satisfação acima de 80% nas atividades realizadas Meta Realizado Mês 6 Mês 6 Percentual de Execução Nota Pontuação Percentual 3 80% 42,54% 53,18% 5,32 15,95 Percentual 2 70% 85,75% 122,50% 10,00 20,00 Horas 1 24 48 200,00% 10,00 10,00 Percentual 3 80% 68,62% 85,78% 8,58 25,73 Percentual 2 80% 93,60% 117,00% 10,00 20,00 Horas 1 20 20 100,00% 10,00 10,00 Unidade Não será avaliada Percentual 2 70% 95% 135,71% 10,00 20,00 Percentual 2 60% 60% 100,00% 10,00 20,00 Percentual 2 70% 93,10% 133,00% 10,00 20,00
5 Permanência dos alunos no Programa 5.1 Percentual de alunos da 1ª e 2ª séries do Ensino Médio que permaneceram no Programa ao final de cada trimestre dos anos de 2007 e 2008 Percentual 3 90% 100% 111,11% 10,00 30,00 Total 21 9,13
3.1 Observações acerca do atingimento das metas: Indicadores 2.2.1, 2.2.2 e 2.2.4 2.2.1 - O resultado obtido, abaixo da meta e da expectativa, deve-se, sobremaneira, ao fato da presente contagem incluir o período de férias escolares, durante o qual a freqüência dos jovens nas atividades mostrou-se menor de uma maneira geral,como pôde ser verificada ao compararmos a média de faltas/dia durante os meses de novembro, dezembro e janeiro numa amostra de 20 oficinas. Assim, observamos que a média de faltas/dia em novembro é de 1,48; 2,20 em dezembro e 5,31 em janeiro. Diante desses dados, verifica-se, portanto, que esse período não é favorável para a oferta de atividades, ainda que sejam vinculadas ao acesso à cultura. Igualmente, quando a equipe buscou reconhecer o motivo das ausências, descobriu-se que muitos deles, nesse período, viajam para a casa de familiares e amigos, mesmo que dentro da região metropolitana. 2.2.2 - O Laboratório Jovem, uma vez iniciado em novembro de 2007, ainda se encontra em execução. Por conseguinte, a avaliação ora apresentada resulta em uma informação parcial, uma vez aplicada durante o período de vigência das oficinas. É importante salientar que a avaliação parcial é considerada de fundamental importância também por parte dos supervisores de área e dos professores, posto que contribui fortemente para um processo de acompanhamento das atividades executadas, orientando, inclusive, um processo de realinhamento das estratégicas pedagógicas e operacionais adotadas. Os resultados da pesquisa mostram que o maior nível de satisfação dos jovens reside nos quesitos relacionados aos educadores, com 97% de satisfação para o item da competência dos responsáveis pelas atividades e 96% para a metodologia usada pelos mesmos. Da mesma forma os elogios mais freqüentes estão relacionados à competência dos professores e responsáveis. O menor índice de satisfação (74%) é relacionado ao material didático e as principais críticas estão relacionadas aos espaços para a realização das atividades (considerando a infra-estrutura do local) e à falta de materiais (especialmente instrumentos individuais) Além do nível de satisfação, têm-se como outros produtos da pesquisa, as críticas, as sugestões e os elogios sobre o programa. As principais críticas estão relacionadas aos espaços para a realização das atividades (considerando a infra-estrutura do local) e à falta de materiais (especialmente instrumentos individuais). Já como principal sugestão aparece o aumento da carga horária do Laboratório jovem para aqueles que querem aprimorar suas habilidades. Os elogios mais freqüentes estão relacionados à competência dos professores e responsáveis. 2.2.4 - Os princípios norteadores da prática pedagógica adotada pelos educadores favoreceram a inserção, a permanência e o sucesso das atividades desenvolvidas no eixo cultura. Dentre os aspectos facilitadores destacamos: Utilização de material pedagógico de ponta; Acesso facilitado a rede de informação e Entidades de Ensino e Pesquisa; Profissionais graduados e com larga experiência em suas áreas de atuação; Interesse e aplicação dos jovens nas atividades inscritas;
Parceria com agentes e entidades locais; Forte parceria com Escolas estaduais do município; Dentre os aspectos dificultadores destacamos: Poucos espaços com infra-estrutura necessária para desenvolvimento de atividades culturais/pedagógicas; Rede social semi-estruturada no município; Extensão territorial do município; Sistema de transporte público deficiente; Indicador 2.3.1, 2.3.2, 2.3.3 2.3.1 No Eixo educação geral estavam previstas as seguintes atividades: aulas de informática, Rede Jovem Digital, capacitação para professores em língua estrangeira e reforço escolar. A freqüência estabelecida para fins de cálculo da nota do período avaliatório refere-se à freqüência dos alunos na atividade denominada Giro Informática. A Rede Jovem Digital ainda está sendo consolidada e contará com controle de freqüência dos alunos. Houve a continuidade da capacitação de professores de inglês pela parceria com a Escola Americana. O reforço escolar não foi oferecido pela dificuldade de implementação desta ação, principalmente pela indisponibilidade de salas de aula. Dessa forma, acredita-se que esta ação é de competência da Secretaria de Estado de Educação, que possui a metodologia mais adequada para o seu êxito. 2.3.2 O nível de satisfação dos alunos na atividade Giro Informática superou as expectativas, destacando a avaliação positiva dos professores que ministraram as aulas e dos locais em que foram realizadas as atividades. 2.3.3 Foi oferecida uma carga horária de 20 horas na atividade denominada Giro Informática, introduzindo conceitos básicos da informática. Indicador 3.1 e 3.2 3.1 Este indicador não foi avaliado, pois a execução das ações em cada uma das escolas do projeto Minha escola, minha comunidade ficou prejudicada pelo adiantar do calendário escolar, sendo que os colegiados solicitaram que os projetos fossem executados apenas no início do ano letivo de 2008. Apenas o edital do projeto foi publicado e os projetos das 25 escolas foram entregues. 3.2 - Como atividade de encerramento do Giro Jovem, os alunos de cada escola planejaram, negociaram e executaram pelo menos uma atividade voltada para a comunidade. Estes produtos do módulo Giro Jovem constituíram a primeira atividade de participação comunitária. Indicador 4.1 e 4.2 4.1 Foi realizado um evento com professores das escolas de Ribeirão das Neves, no qual foi ministrada uma palestra por uma especialista da área de juventude e educação, do Laboratório da Juventude da UFMG.
4.2 O evento realizado foi avaliado de forma extremamente positiva pelos professores, principalmente no quesito habilidade e competência dos responsáveis e utilidade da atividade para a vida do professor e para o seu trabalho em sala de aula. Indicador 5.1 Até o final do segundo trimestre de execução do termo de parceria não havia sido excluído nenhum aluno do Programa.
4 QUADRO DE AÇÕES ESTRUTURANTES RESULTADO 2.Implementação das atividades do Programa 3. Consolidação da metodologia do Programa para a replicação do mesmo nas escolas do município nos próximos anos e em outros municípios. AÇÃO (N ) 2.3 3.1 Descrição das Ações Duração Estruturantes Início Término Elaboração do material didático e dinâmicas utilizadas nas atividades de sensibilização dos professores Elaboração de um relatório com a descrição da metodologia utilizada na implementação e monitoramento do programa, visando sua replicação Peso ago/07 ago/07 1 Out/07 Jan/08 2 Realizado Justificativa Como explicado no Relatório Gerencial I, as atividades de sensibilização com os professores foram adiadas para o início de 2008. Em função desse acordo, os professores de ensino médio das escolas de Ribeirão das Neves participantes do programa foram convidados para um encontro de capacitação realizado no dia 24 de janeiro. A proposta técnica original foi revista e uma nova proposta metodológica foi desenhada levando em consideração a expansão para os municípios de Ibirité e Esmeraldas, bem como a ampliação do programa no próprio município de Ribeirão das Neves para as novas turmas de Ensino Médio. Já a consolidação da metodologia utilizada no primeiro ano do programa está sendo executada e resultará em um produto denominado Memória Técnica. O monitoramento da execução está contemplado em duas grandes ações: na elaboração do Quadro de monitoramento e avaliação e sua implementação e na contratação e implantação do Sistema Aula software desenvolvido para o monitoramento da informação. 4.1 Observações acerca da execução das ações: Ações 2. A metodologia das atividades de sensibilização de professores, bem como material didático e dinâmicas ainda estão sendo definidas. 3. Foram entregues vários documentos e cadernos relativos à metodologia, diagnóstico, atividades realizadas, etc. 5 PONTUAÇÃO GLOBAL A pontuação apurada na reunião da Comissão de Acompanhamento e Avaliação, baseada no Relatório Gerencial enviado pela OSCIP, foi de _9,13_, atingindo o conceito _EXCELENTE_. Nota Peso Pontuação Quadro de Indicadores e Metas 9,13 100 9,13
6 ANÁLISE DO QUADRO DE RECEITAS E DESPESAS TERMO DE PARCERIA SEDESE E CIEDS - POUPANÇA JOVEM DE 25 DE OUTUBRO DE 2007 A 24 DE JANEIRO DE 2008 PREVISTO REALIZADO mês 04 mês 05 mês 06 mês 04 mês 05 mês 06 TOTAL CATEGORIA CONTÁBIL 1. RECEITAS 1.1. Termo de Parceria 1.811.012,38 0 0 1.811.012,38 0 0 1.811.012,38 1.2. Outras 0 0 0,00 0,00 0 0,00 0,00 TOTAL 0,00 2. DESPESAS 2.1 Recursos Humanos - Equipe Fixa 62.935,00 62.935,00 85.970,00 89.451,96 81.274,16 91.593,22-50.479,34 2.2 Implementação do Programa - - 32.400,00 3.179,50 9.331,86 13.239,63 6.649,01 2.3 Módulo Juventude Ativa - - - 26.975,81 26.163,81 21.609,36-74.748,98 2.4 Capacitação dos Educadores - - - - - - 0,00 2.5 Sensibilização Continuada - - - 3.950,00 4.500,00 - -8.450,00 2.6 Eixo Cultura / Esporte 164.808,33 164.808,33 107.577,86 56.958,67 134.040,10 178.045,52 68.150,23 2.7 Eixo Educação 209.271,67 209.271,67 84.333,57 37.582,49 9.048,00 16.206,62 440.039,80 2.8 Eixo Qualificação Profissional 17.550,00 17.550,00 37.594,29 72.694,29 2.9 Eixo Participação Comunitária 62.704,00 62.704,00 49.779,14 8.700,00 8.700,00 8.700,00 149.087,14 2.10 Alimentação 75.000,00 75.000,00 75.000,00 8.162,47 15.995,50 26.585,00 174.257,03 2.11 Atividades Dinamizadoras 31.500,00 31.500,00 40.528,57 12.684,20 16.611,33 5.649,60 68.583,44 2.12 Comunicação - - - 16.000,00 8.000,00 15.975,00-39.975,00 2.13 Nucleo Poupança Jovem 16.863,65 16.863,65 16.563,65 17.687,67 7.256,32 12.926,74 12.420,22 TOTAL MÊS 640.632,65 640.632,65 529.747,08 281.332,77 320.921,08 390.530,69 818.227,84 SALDO TRIMESTRE 1.811.012,38 992.784,54 818.227,84
A Comissão observou os demonstrativos acima reproduzidos e concluiu que, os gastos estão coerentes com as ações realizadas neste período avaliatório. A Comissão não solicitou a apresentação de comprovantes sobre os gastos do período, mas tendo em vista que a OSCIP os disponibiliza para consulta na sede da entidade, a Comissão sugere que o supervisor faça a conferência desses documentos. Além disso, a Comissão de Acompanhamento e Avaliação reiterou que a OSCIP é responsável pela adequada utilização de todos recursos repassados, bem como pela comprovação de todos os gastos realizados, e que o Órgão Estatal Parceiro é responsável exclusivo pela análise das prestações de contas encaminhadas trimestralmente. Nesse sentido, solicita-se que o Órgão Estatal Parceiro, através do setor responsável, analise, em tempo hábil, a prestação de contas detalhada do período, prevenindo, ou até mesmo corrigindo, possíveis erros ou irregularidades na utilização dos recursos. 7 RECOMENDAÇÕES DA COMISSÃO DE ACOMPANHAMENTO E AVALIAÇÃO 1. Planejar com antecedência as atividades e informar a equipe gestora do Programa (ex: atividade com professores). 2. Manter banco de dados atualizado. 3. Foi ressaltado pela comissão o alto valor gasto com telefonia celular. O CIEDS irá verificar se o celular é de fato a melhor opção de comunicação. 4. Foi também solicitado que houvesse maior detalhamento das despesas com viagem e diárias, especificando o destino e o nome da pessoa. 5. A Comissão observou que houve variações acentuadas nos gastos com salários. A OSCIP explicou o motivo da oscilação desse tipo de gasto. Recomendou-se, então, justificar de forma sucinta no próprio relatório essa variação. 6. A Comissão recomendou que fosse constituída a Comissão de Avaliação referente ao Indicador 5.1. Caso contrário, tal indicador permanecerá com baixa credibilidade. 7. Ficou definido de comum acordo pela comissão que o item 3.1 Número de Projetos implementados pelos alunos na escola, não será avaliado neste trimestre e sim no trimestre seguinte. Os projetos foram revisados e problemas foram encontrados, para que os projetos não fugissem do propósito, optou-se por revisá-los e solicitar que as escolas alterassem os mesmos. 8. A Comissão recomendou que a consolidação dos gastos da equipe CIEDS - Rio de Janeiro seja feita separadamente. 9. A Comissão definiu que para a próxima reunião o CIEDS terá 10 dias após o encerramento do trimestre para entregar o relatório a Supervisão. Esta terá dois dias para sugerir as alterações. O CIEDS então terá mais dois dias para refazer o relatório e encaminhá-lo aos membros da Comissão. Por sua vez os membros da Comissão terão cinco dias para analisar o relatório. A reunião será marcada logo após o quinto dia. 10. A comissão, tendo observado que nos últimos trimestres o gasto ficou de forma significativa abaixo do previsto, recomendou que se buscassem parâmetros mais realísticos no momento de previsão dos gastos.
8 COMPROVANTES DE REGULARIDADE TRABALHISTA E PREVIDENCIÁRIA A OSCIP, Centro Integrado de Estudos e Programas de Desenvolvimento Sustentável - CIEDS apresentou o Certificado de Regularidade do FGTS, a Certidão Negativa de Débito junto à Previdência Social e a Certidão Conjunta Negativa de Débitos Relativos a Tributos Federais e à Dívida Ativa da União, o que comprova a regularidade trabalhista e previdenciária da entidade. 9 CONCLUSÃO O Centro Integrado de Estudos e Programas de Desenvolvimento Sustentável, conforme demonstrado ao longo do relatório de avaliação, cumpriu o acordado no Termo de Parceria e seu desempenho pode ser classificado como excelente. A Comissão está de acordo com a realização do repasse da terceira parcela de recursos do Termo de Parceria para a OSCIP. Belo Horizonte, 22 de fevereiro de 2008. Kátia Liliane Alves Canguçu Gerente do Programa Supervisora do Termo Representante do Órgão Estatal Parceiro Luiz Carlos Guimarães Gerente-Adjunto do Programa Representante do Órgão Estatal Parceiro Lúcio Otávio Seixas Barbosa Representante da Secretaria de Estado de Planejamento e Gestão Beatriz Oliveira De Simoni Representante da OSCIP CIEDS Márcio Couto Representante da OSCIP CIEDS Gláucia Pedrosa Representante da OSCIP CIEDS Regina Helena Cunha Mendes Representante da Conselho Estadual dos Direitos da Criança e do Adolescente - CEDCA