I RELATÓRIO DE ATIVIDADES DA REDE BRASILEIRA DE MONITORAMENTO E AVALIAÇÃO

Transcrição

1 IRELATÓRIODEATIVIDADESDAREDEBRASILEIRADE MONITORAMENTOEAVALIAÇÃO PERÍODO:25/6/09A31/08/09 ELABORAÇÃO:MarciaPaternoJopperteHelenaPinheiro 1

2 ÍNDICE 1.INTRODUÇÃO 2.HISTÓRICO 3.OBJETIVOSDAREDE 4.PÚBLICOALVO 5.ATIVIDADESREALIZADASNOPERÍODO 6.RESULTADOSALCANÇADOS 7.PERFILDOSMEMBROSEANÁLISEDASRESPOSTAS 2

3 1.INTRODUÇÃO EsterelatóriotemporobjetivoapresentarasatividadeseosresultadosdaRede Brasileira de Monitoramento e Avaliação no período entre 25/06/09 a 31/08/09. 2.HISTÓRICO Em novembro de 2008 a Fundação João Pinheiro, o Banco Mundial e o Banco Interamericano de Desenvolvimento, lançaram a Rede Brasileira de MonitoramentoeAvaliaçãodurantea4ªReuniãodaRededeMonitoramentoe AvaliaçãodaAméricaLatinaeCaribe,constituindoassimoseubraçobrasileiro. AprimeirareuniãodaRedefoirealizadaem26/11/08,quandoforamdefinidos seus objetivos e solicitados a todos os participantes que enviassem uma breve descrição de suas instituições. Foi definido ainda que seria criada uma página específicaparaaredeequeseriarealizadoumseminárionacionalnoprimeiro semestrede2009. Nos dias 25 e 26 de junho de 2009 foi realizado em Belo Horizonte/MG o I SemináriodaRedeBrasileiradeMonitoramentoeAvaliação.Oeventoteveapoio dobancomundial,dafundaçãodeamparoàpesquisadoestadodeminasgerais (Fapemig)edaFundaçãodeDesenvolvimentodaPesquisa(Fundep)etevecomo objetivo apresentar estudos desenvolvidos no país que pudessem ilustrar as diferentes etapas do processo de monitoramento e avaliação de políticas e programas. O seminário teve extensa programação, tendo sido apresentados os seguintes trabalhos: Avaliação como um instrumento para alcançar maior efetividade da Políticasocial:balançoedesafiosparaapróximadécada RicardoPaesde Barros IPEA AcontribuiçãodoPPApaulistaparaaintroduçãodaatividade/avaliação / no processo das políticas públicas Governo do Estado de São Paulo/ SEADE SoniaNahasdeCarvalho PAD MG GovernodeMinasGerais FundaçãoJoãoPinheiro NíciaRaies ProgramaJovensdoFuturo InstitutoUnibanco WandaEngel Pesquisa sobre populações em situação de rua Ministério do DesenvolvimentoSocialeCombateàFome LauradaVeiga ProgramaJuventude GovernodoEspíritoSanto AnaPaulaVescovi Programa de Redução de Pobreza do Panamá Banco Mundial Pedro Olinto 3

4 Avaliação e Monitoramento para o Desenvolvimento Humano Instituto AyrtonSenna TatianaFilgueiras ProgramaBrasilAlfabetizado MinistériodaEducação LauroStocco Avaliação de Resultados e Impactos do Fundo Constitucional de FinanciamentodoNordeste(FNE) BancodoNordeste JâniaSousa A Experiência da Implantação do Modelo Lógico Como Metodologia de AvaliaçãoRápidadeProgramasnoGovernoFederal CilairRodrigues AnálisedaSustentabilidadedasBibliotecasComunitáriasdoProjetoLeré preciso ProjetoEcofuturo MireladeCarvalho AvaliaçãodoProcessodeImplementaçãodoBPC TCU MelchiorSawaya NetoeFábioHenriqueGranjaeBarros Avaliação de Projetos Educacionais de Minas Gerais CEDEPLAR EduardoRios Neto/CristineCamposdeXavierPinto ProgramaEntreJovens BancoMundial JoãoPedroAzevedo ProgramaEscolaIntegrada CEDEPLAR AnaMariaHermeto ProgramaViva Vida FundaçãoJoãoPinheiro KenyaNoronha Oconteúdodetodasasapresentaçõespodeserencontradonositedarede,subgrupoISeminário(acessoapenasparamembros): No dia 25/06/09, após a programação do seminário, foi realizada uma reunião deacompanhamentoparadiscutirosseguintestemas: 1) Definiçãodasinstituiçõesintegrantesdarede Foidecididoqueredeterámembrosdeduascategorias:Instituiçõesepessoas físicas,incluindoestudantes,acadêmicos,pesquisadoreseconsultores. FoisugeridoqueacomissãoorganizadoradaRedecontactasseosparticipantes da 4ª Reunião da Rede de Monitoramento e Avaliação da América Latina e Caribe,afimdeaferirinteressessobreaadesão. 2) Definiçãodeondeseriaopróximoseminário Esta definição ficou em aberto, sendo que há duas instituições candidatas a sediarepromoveroevento:afundaçãoseadeeobancodonordeste(bnb).no entanto,ambosapresentamalgumasrestrições. 4

5 3) ComissãoOrganizadora Foidefinidaacriaçãodeumacomissãoorganizadora,comasseguintesfuncões: definirumaprogramaçãoparaoseminário definiralogísticanecessáriaparaaorganização definirolocalparaarealização Acomissãoéformadapelasseguintesinstituições: 3.1)FundaçãoJoãoPinheiro A Fundação João Pinheiro(FJP) desenvolve um papel central na construção do sistema de Monitoramento e Avaliação(M&A) do Governo do Estado de Minas Gerais, em parceria com o Programa Estado para Resultados (EpR) e com a Secretaria de Estado de Planejamento e Gestão(SEPLAG). Na construção desse sistema de M&A, a FJP realiza atualmente avaliações de quatro Projetos Estruturadores,buscandoabordardiferentesdimensõesdessaspolíticas,porém commaiorfoconamensuraçãodoimpactodessasações.alémdasavaliações,a FJP,dadasuatradiçãoenquantocentrodeestatística,subsidiaoGovernocoma construção de indicadores sócio econômicos, em que se destaca a inovadora medição da Matriz de Insumo Produto para Minas Gerais, além dos boletins de conjuntura econômica que observam o comportamento do PIB estadual, principalmente.apartirde2009,afjptambémrealizaapesquisaporamostra de Domicílios de Minas Gerais(PAD/MG), que dará subsidio para o modelo de gestão por resultados do governo mineiro, com indicadores específicos para regiões de planejamento do Estado, bem como será insumo para diversas pesquisaseestudosdepolíticaspúblicas. Representante:AfonsoHenriquesBorgesFerreira(Presidente) 3.2)BancodoNordestedoBrasil O BNB opera como órgão executor de políticas públicas, cabendo lhe a operacionalização de políticas a exemplo do Fundo Constitucional de Financiamento do Nordeste (FNE), principal fonte de recursos para o desenvolvimentodaregiãonordestedopaís. O FNE, instituído pelo art. 159, inciso I, alínea c, da Constituição Federal e regulamentado pela Lei nº 7.827, de , tem como objetivo contribuir para o desenvolvimento econômico e social da Região Nordeste, mediante a execução de programas de financiamento aos setores produtivos, em consonância com o respectivo plano regional de desenvolvimento. Os recursos do Fundo são provenientes de 1,8% da arrecadação do Imposto de Renda e do Imposto sobre Produtos Industrializados e são aplicados, pelo BNB, em programasdecréditoparafomentodossetoresprodutivosdaregião. 5

6 O BNB considera de extrema relevância a realização da avaliação do FNE, oportunidadeparaseconhecerosimpactosdecorrentesdofinanciamentosobo ponto de vista econômico e social, em termos de geração de emprego e renda, para a Região Nordeste. Ademais, este momento possibilita prestar contas à sociedadeacercadeumprogramainstituídopelaconstituiçãofederal,alémde avaliaraprópriaatuaçãodobancoemrelaçãoaofundo. Representante:JaniaMariaPinhoSousa 3.3)FundaçãoSEADE A Fundação Seade especializou se na última década em criar ou aprimorar metodologias e ferramentas para formulação, monitoramento e avaliação de políticaseprogramaspúblicos particularmenteosdecortesocial. Relacionadasaseguir,asatividadesdesenvolvidaspelainstituiçãonessecampo forneceminsumosdecisivosparaasdiferentesfasesdoprocesso,trazendoàluz seusimpactosepermitindoeventuaiscorreçõesderumos. Produção,análiseeorganizaçãodeinformaçõesparacaracterizaredimensionar o fenômeno objeto de intervenção. Destaca se, nesta fase, a caracterização do perfil sociodemográfico de populações alvo, seu dimensionamento e concentraçãoespacial. Geração de insumos para formatação da estratégia a ser adotada, isto é, o próprio desenho do programa. Envolve subsídios para determinar o marco lógico, com a definição clara e precisa dos objetivos gerais e específicos do programa, unidades de avaliação, instrumentais e medidas que retratem o empregoeagestãodosrecursosexigidosparaalcançarseusobjetivos. Produção de instrumentais e ferramentas informatizadas de registro e organização de informações, visando monitorar a eficiência da alocação operacional de recursos humanos, físicos e financeiros diante das metas previstas. Produção de indicadores e outros subsídios que possibilitam avaliar a eficácia do programa, por meio da mensuração dos resultados alcançados, e sua efetividade,emtermosdosimpactosgerados.ressaltam seaquiosesforçosda FundaçãoSeadenacoletadeinformaçõesprimáriasenageraçãodeindicadores relevantes, confiáveis e, sobretudo, passíveis de atualização periódica, capazes deretratarmudançasdecorrentesdaintervençãodosetorpúblico. Representante:SoniaNahasdeCarvalho 6

7 3.4)BancoMundial Representantes:JoãoPedroAzevedoeJohnNewman 3.5)AgênciaBrasileiradeAvaliação AAgênciaBrasileiradeAvaliaçãoéumambientedeprocessamentoedivulgação de conhecimento e de informações, dedicado ao tema da avaliação.é uma organizaçãonãogovernamental,semfinslucrativoscommodalidadeassociativa, ecomumaagendamultisetorial. Tem por objetivo geral introduzir a avaliação como instrumento de apoio aos processos decisórios de formulação e reformulação de políticas, programas, projetos e modelos de gestão, promovendo um ciclo de aprendizado que aprimorecontinuamentesuaefetividade. Comoobjetivosespecíficos: Identificar oportunidades de avaliação e mobilizar atores para viabilizá las, articulandoademandaeaoferta; Criarreferênciasmetodológicasemavaliação; Promover a Gestão do Conhecimento em avaliação, por meio da coleta, consolidaçãoedivulgaçãodemetodologiaseexperiênciasnaárea; Criaremanterumaredesocialdedicadaaotemadaavaliação; Promoveraformaçãoprofissionalemavaliação; Reconhecerepremiarmelhorespráticasdeavaliação; Divulgareventos,informaçõesenotíciasrelacionadosaotemadaavaliação;e Angariarparceirosdetodosossetores(pessoasjurídicasefísicas)queapóiem oprojeto,naformadeassociados,financiadoresoucolaboradores. Representante:MárciaPaternoJoppert(DiretoraGeral) 4)Discussãosobrequemseriaopatrocinadoreondeestariaancoradaem termosinstitucionaisarede Estaquestãoficoutambémindefinida,apesardeserdeextremaimportância. 7

8 5)Estratégiadecomunicação Foireiteradaanecessidadeapontadanareuniãodenovembrode2008dequea Rede se valeria de um site, a ser providenciado pela Agência Brasileira de Avaliação,queseriaoprimeiroinstrumentodetrocadeinformaçõesentreseus membros. Deveriaserinicialmentepublicadonositeoconteúdodossemináriosrealizados emnovembroeemjunhodesteano. 3.OBJETIVOSDAREDE A iniciativa da formação da Rede tem como objetivo disseminar a cultura de M&A no Brasil por meio da promoção do intercâmbio de experiências e da divulgação das metodologias e instrumentos disponíveis para a avaliação e monitoramento,formandoumacomunidadeedesenvolvendocapacidades. 4.PÚBLICOALVO Atores públicos e privados com atuação no campo do M&A de organizações, políticas,programaseprojetos,incluindo:gestores,pesquisadores,consultores, professores, estudantes, estudiosos e organizações financiadoras, promotoras e avaliadoras,bemcomooutrasredesafins. 5.ATIVIDADESREALIZADASNOPERÍODO 5.1CriaçãodeumWebsite O website da rede( foi criado na própria noite do dia 25/06/09. Foi concebido a partir dos conceitos de internet 2.0, e suportadoporumaplataformatecnológicadenominada"ning".estaplataforma decomunidadesdigitaispermitecriarredessociaiseédeusogratuito. Asprincipaisfuncionalidadesdaplataformaselecionadasão: Possibilidadedepublicarnotíciaspormeiodeumblog Possibilidadedecriarfórunsdediscussão Possibilidadedecriarsub grupos PossibilidadedepublicareventosecursosrelacionadosaotemaM&A Filiação com ingresso autorizado pelo administrador, por meio da criação de umperfilindividualouinstitucional Possibilidadedeanexararquivos Interfaceamigável(defáciloperação) 8

9 Visualmenteatrativo 5.2CriaçãodeumCadastro Com o objetivo de conhecer melhor os membros da rede, e de dirigir as suas estratégiasdeacordocomasexpectativaseinteressesdogrupo,foicriadoum cadastro 1 com informações mais detalhadas do que a plataforma ning solicita paraacriaçãodeumperfil. O cadastro se sub divide em dois questionários: um voltado para instituições e outrovoltadoparapessoasfísicas. A fim de facilitar o preenchimento, a compilação e a análise das informações, optou se pela utilização de uma ferramenta eletrônica, denominada QuestionPro 2. Osformuláriospodemseracessadosnosseguinteslinks: pessoasfísicas: pessoas.questionpro.com instituiçõesuseolink: instituicoes.questionpro.com 5.3Convites Os potenciais membros começaram a ser convidados no dia 19/07/09 quando foi finalizada a programação dos questionários eletrônicos do QuestionPro, dandoinícioaousoefetivodowebsite. Primeiramente, foram convidados os participantes da 2a reunião da Rede, realizada em 25/06/09. Em segundo lugar, os participantes da 1a reunião da Rede, realizada em novembro de Em terceiro lugar, foram convidados todososparticipantesdoisemináriodarede,realizadoem25e26/06/09.em quarto lugar (na medida do possível, pois não foram registrados todos os endereços eletrônicos), foram convidados os participantes da 4ª Reunião da RededeMonitoramentoeAvaliaçãodaAméricaLatinaeCaribe.Porúltimo,foi selecionadoumgrupodepessoascompotencialinteressenotema.ospróprios membros que foram se filiando também convidaram outras pessoas com potencialinteresse,funcionalidadetambémpermitidapelaplataforma"ning". 1AelaboraçãodocadastroteveapoiodaequipedoBancoMundial,nafiguradeJoãoPedro AzevedoeJohnNewmanedascolaboradorasHelenaPinheiro(SERPRO)eMariaAliceBueno Accorsi(MinistériodasCidades). 2http:// 9

10 O único critério exigido para tornar se membro por meio do acesso ao site é preencherocadastro. 6.RESULTADOSALCANÇADOS 6.1AcessosàPágina Por meio do uso da ferramenta Google Analytics, foi possível inscrever o endereço eletrônico da Rede e monitorar seus acessos. Os resultados estão apresentadosnosgráficosabaixo: Comosepodeobservar,apáginaalcançou50acessospordia.Ográfico2abaixo mostra informações relativas ao uso da página. Chama a atenção o número acumulado de 523 visitas em 3185 acessos a sub páginas. É interessante tambémnotaropercentualdemembrosquevoltamàpágina,ouseja,66,16%. 10

11 6.2PerfildosVisitantes Conformegráficosacima,onúmerodevisitantesfoide177,sendo70,75%por tráficodiretoe29,25%atravésdereferênciasdeoutrossites. 11

12 Com relação à localização geográfica, 95,2% dos visitantes têm sua origem no Brasil. Mas, observa se visitantes originários de outros 5 países. Dessas, 18 são dochileque,coincidentemente,estámontandoumarededeavaliação,levandoa crer que a Rede Brasileira pode ser uma referência para outros países. As pessoas que estão montando a rede chilena chegaram a pedir ajuda da animadora da Rede que forneceu todo suporte possível para que os passos chilenos fossem trilhados conforme os brasileiros. Para tanto, foram realizadas diversasreuniõesviaskype. 6.3InformaçõesPublicadas Foram publicadas no período 22 mensagens pelo BLOG e 5 eventos/cursos nacionaiseinternacionais. 6.4ConvitesEncaminhadosxMembros Foram convidados pela animadora cerca de 350 pessoas. Alguns membros tambémconvidaramoutrosaparticipar. Dos convidados, 209 pessoas e 54 instituições acessaram o cadastro, 152 pessoas e 31 instituições iniciaram seu preenchimento e 89 pessoas e 16 instituições completaram o preenchimento. Registraram se no site, ou seja, criaramumperfilnapáginadarede,até31/08/09,85pessoase16instituições. Noentanto,esterelatórioconsideraqueonúmerodemembroséoequivalente aonúmerodeelementosquepreencheramocadastro,ouseja,89pessoase16 instituições.contamos,portanto,atéomomentocom105membros. 12

13 7.PERFILDOSMEMBROSEANÁLISEDASRESPOSTAS Combasenocadastrorealizado,foramfeitasdiversasanálisesapresentadasnos gráficosabaixo: 7.1ParticipantesInstitucionais a)tipodeinstituição O gráfico acima demonstra uma predominância equilibrada de instituições públicas e privadas sem fins lucrativos(44% cada), sendo que o setor privado comfinslucrativosrepresentaomenorpercentual(12%)dosparticipantes. b)distribuiçãoporestado O gráfico abaixo demonstra a distribuição dos membros institucionais por UnidadedaFederação: 13

14 Observa se que o DF e SP estão predominantemente representados, o que demonstraumforteinteresseentreosrepresentantesdogovernofederaledo Estado de São Paulo. Em seguida, vêem MG e ES, com representação praticamenteequivalente,seguidosde2estadosdaregiãonordeste. Umaanáliseporregião,demonstraumarepresentatividadedaregiãosudestede 49%,docentro oestede36%edaregiãonordestede15%. c)interesseemáreasdomonitoramentoeavaliação Quandosubmetidosàquestãoabaixo: "Em quais das seguintes áreas do Monitoramento e Avaliação sua organização tem especial interesse? (é possível selecionar mais de uma alternativa) Diagnósticos: bases de dados e pesquisas que baseiem formulação de políticas, planos, programas e projetos (como pesquisas de amostras de domicílios) Avaliação ex ante: modelos lógicos e desenhos estratégicos de políticas, planos, programas e projetos Sistemas e indicadores de monitoramento Estrutura para Acompanhamento e Avaliação Avaliação de processos ou avaliação intermediária Avaliações de Resultado Avaliações de Impacto Feed backs a partir de resultados de avaliação Estratégias de comunicação em avaliações Desenhos de contratações externas de avaliações (elaboração de termos de referência e editais e orientação em processos licitatórios) " 14

15 As respostas foram as seguintes: d)expectativassobreoconteúdodarede Aoseremsubmetidosàseguintequestão: " Que tipo de conteúdo gostaria de ver na Rede? Informações e notícias em geral sobre M&A de Políticas, Programas e Projetos Públicos Informações e notícias em geral sobre M&A de Programas e Projetos do Terceiro Setor Registros de Experiências em M&A Publicações e estudos sobre M&A Eventos na área de M&A Cursos e Capacitações na área de M&A no Brasil Cursos e Capacitações na área de M&A no exterior Outros (explicar)" As respostas foram as seguintes: 15

16 16 7.2ParticipantesIndividuais a)formação Os resultados demonstram que 62% dos membros individuais têm pós graduacão, sendo que, dentre eles, o maior grau obtido está apresentado no gráficoabaixo:

17 b)áreadeatuação O gráfico acima demonstra uma predominância da área pública entre os membros individuais. No entanto, a área privada tem considerável representação.émuitosaudáveltambémapresençadeestudantes,indicadorde potencialinteresseemdesenvolvimentodecapacidades. 17

18 c)distribuiçãoporestado O gráfico abaixo demonstra a distribuição percentual dos membros individuais porunidadedafederação: Observa se que o MG e DF estão predominantemente representados (72%), o quedemonstraumforteinteresseentreosrepresentantesdogovernofederale do Estado de Minas Gerais, onde se misturam representantes do governo do Estado,daPMdeBeloHorizonteedasuniversidadesmineiras.Emseguida,vêem RSeSP,comrepresentaçãopraticamenteequivalente(8%),seguidosdeRN,ESe RJ. Há também uma representação internacional com origem no Chile e nos EstadosUnidos. Uma análise regional resulta numa representação predominante da região sudeste(60%)seguidadaregiãocentro oeste(22%). d)interesseemáreasdomonitoramentoeavaliação Quandosubmetidosàquestãoabaixo: "Em quais das seguintes áreas do Monitoramento e Avaliação sua organização tem especial interesse? (é possível selecionar mais de uma alternativa) Diagnósticos: bases de dados e pesquisas que baseiem formulação de políticas, planos, programas e projetos (como pesquisas de amostras de domicílios) Avaliação ex ante: modelos lógicos e desenhos estratégicos de políticas, planos, programas e projetos Sistemas e indicadores de monitoramento Estrutura para Acompanhamento e Avaliação 18

19 Avaliação de processos ou avaliação intermediária Avaliações de Resultado Avaliações de Impacto Feed backs a partir de resultados de avaliação Estratégias de comunicação em avaliações Desenhos de contratações externas de avaliações (elaboração de termos de referência e editais e orientação em processos licitatórios) " As respostas foram as seguintes (em número de ocorrências): d)expectativasdeconteúdodarede Aoseremsubmetidosàseguintequestão: " Que tipo de conteúdo gostaria de ver na Rede? Informações e notícias em geral sobre M&A de Políticas, Programas e Projetos Públicos Informações e notícias em geral sobre M&A de Programas e Projetos do Terceiro Setor Registros de Experiências em M&A Publicações e estudos sobre M&A Eventos na área de M&A Cursos e Capacitações na área de M&A no Brasil Cursos e Capacitações na área de M&A no exterior Outros (explicar)" 19

20 As respostas foram as seguintes: Ográficoacimamostraque,antesdetudo,osmembrosqueremestarinformados sobreoestadodaartedomonitoramentoeavaliaçãonosetorpúblico.mostra também um grande interesse em desenvolver capacidades no tema, pelo alto númeroderespostasnasopções"publicaçõeseestudos","eventos"e"cursose capacitaçõesnobrasil". e)áreasdeinteresseespecíficas Quando perguntados sobre o interesse em um setor específico, as respostas foramasrepresentadasnográficoaseguir: 20

21 Osresultadosdemonstramumacoincidênciaentreosdoissetoresmaiscitados (educação e saúde) e os setores mais desenvolvidos no Brasil em termos de avaliação. Este fator é positivo à medida em que aumenta as possibilidades de ofertapelarededeinformaçõesnessessetoresespecíficos. Além disso, é interessante analisar em conjunto os setores que podem ser considerados como "sociais" (iluminados em azul marinho). A soma de seus percentuais resulta em 63%, caracterizando a demanda da rede como uma demandadaáreasocialeambiental(9%). 21