Sessão 4: Avaliação na perspectiva de diferentes tipos de organizações do setor sem fins lucrativos

Transcrição

1 Sessão 4: Avaliação na perspectiva de diferentes tipos de organizações do setor sem fins lucrativos Avaliação Econômica como instrumento para o aprimoramento da gestão das ações sociais 26/09/2013

2 Fundação Itaú Social Responsável pelo Investimento Social Privado do Banco Itaú Desde 1993 desenvolvimento de tecnologias que contribuem para melhoria de políticas públicas. Estrutura de Governança: Comissão Executiva e Grupo Orientador Foco em resultados: objetividade; mensuração; instrumentos; métodos.

3 Áreas de atuação Educação Integral Gestão Educacional Avaliação de Projetos Sociais Mobilização Social Programas Missão: Formular, implantar e disseminar metodologias voltadas para melhoria de políticas públicas na área educacional e para avaliação econômica de projetos sociais

4 Avaliação Importante instrumento para gestão refletido na própria missão Verificação de resultados escolhas internas disseminação organizações governamentais e não governamentais Paradigma do investimento social Resultado Retorno Impacto das ações Eficiência no uso dos recursos

5 Avaliação Econômica de Projetos Sociais Avaliação de Impacto Avaliação de Retorno Econômico Metodologia quantitativa Relações causais: ações do projeto e indicadores de interesse. Efeitos sobre público alvo: intencionais ou não-intencionais(externalidades) Efeitos foram REALMENTE resultado do projeto ou ocorreriam de qualquer forma. Grupo Tratamento participou do projeto Grupo Controle - formar grupos de não-participantes (na linguagem de avaliação de não-tratados), que tenham as mesmas características dos participantes (tratados). Retorno do programa em termos monetários para a sociedade. Custos do projeto e benefícios gerados para as pessoas atendidas pelo programa. Benefícios - ciclo de vida das pessoas ou alguns anos. Custos x resultados alcançados? Efetividade do programa x alternativas?

6 Programa de Avaliação Econômica de Projetos Sociais Desde 2004 Focos de Atuação: Ampliar a disseminação de conceitos sobre avaliação econômica de projetos sociais Incentivar e contribuir para a prática da avaliação econômica Consolidar os conhecimentos relacionados à avaliação econômica de projetos sociais Frentes Planejamento 2013 Cursos Oficinas Seminários Encontros Temáticos Público Alvo: Terceiro setor Servidores públicos Universitários Rede de Avaliação Avaliações

7 Curso de Avaliação Econômica de Projetos Sociais Curso para Gestores 72 horas Atividades teóricas e práticas Início 2005: São Paulo e Rio de Janeiro A partir de 2009: expansão para outros estados 1800 participantes 2005 a 2013 Necessidade da verificação dos resultados alcançados: Os exalunos: Haviam aprendido sobre esta metodologia de avaliação? Haviam mudado as práticas avaliativas em suas instituições? Estavam realizando a avaliação econômica de seus projetos para reorientação ou aprimoramento das ações desenvolvidas?

8 Avaliação do Curso de Avaliação Econômica Avaliação Econômica Avaliação do impacto sobre quatro aspectos: i) Condições para avaliação ii) Prática das avaliações iii) Gestão de projetos iv) Uso das avaliações para gestão e dos projetos. Avaliação Qualitativa Aprofundamento e qualificação dos resultados Influência nas organizações Alteração de práticas Impactos poderiam ir além da prática de avaliação i. Insumos para avaliação ii. Aspectos de gestão iii. Planejamento das ações e acompanhamento de metas Vantagens e benefícios da complementaridade de metodologias

9 Sobre avaliação Programas sociais simples podem ter grandes impactos, mas precisamos saber exatamente quais programas e qual o seu impacto real, se quisermos realizar a maior mudança possível no mundo Karlan(2011) Diferentes tipos de avaliação estão diretamente ligados ao i) momento em que são realizadas (antes durante e depois); ii) objeto do estudo; objetivos do estudo; técnicas que empregam; pela relação que estabelece com a política (ou projeto) FRANCO e COHEN (1998)

10 Avaliação Econômica cursos em 14 cidades Amostra: São Paulo, Rio de Janeiro e Belo Horizonte 547 Grupo tratados 250 Grupo controle 14 turmas 68% inscrições 91% lista de espera Perfil Organizações majoritariamente do terceiro setor Áreas de atuação variadas, mas com alta concentração em assistência e educação Organizações que participam em média são maiores (mais projetos e beneficiários) do queasdalistadeespera Características, em geral, são muito variadas

11 Avaliação Econômica: resultados Não identificou impacto em diversos indicadores analisados Participar do Curso não está associado a maior prática de avaliação Apontou que as organizações atribuem valor relevante para o Curso, contudo, não refletem sobre o aumento da prática de avaliação nas organizações Mais de 90% das organizações, independente da participação no Curso, declararam realizar avaliações periódicas de seus projetos, sem especificar a metodologia utilizada Com relação a avaliação de impacto, principal método abordado no Curso, mais de 90% das organizações que ficaram em lista de espera declaram praticar este tipo de avaliação, contra menos de 80% das instituições que efetivamente participaram do Curso

12 Retorno econômico Benefícios para organizações que participaram do Curso, não sobre seus beneficiários Disposição a Pagar -Alternativa a análise de retorno econômico O grupo que fez o Curso -R$1.877 O grupo não participante - R$ Valorizam igualmente Benefícios valorizados -não captados pelo instrumento usado na parte de impacto da avaliação econômica.

13 Avaliação Qualitativa 20 entrevistas (1h30) em profundidade com gestores de projetos sociais. Roteiro semi-estruturado para aprofundamento Exploração das principais hipóteses levantadas pela avaliação econômica do Curso Público-alvo: participantes e não participantes do Curso; 4 entrevistas (São Paulo) foram conduzidas em salas de espelho para acompanhamento e refinamento do roteiro; Além das cidades incluídas na avaliação de impacto, a pesquisa qualitativa incluiu participantes em Recife.

14 Resultados da Avaliação Qualitativa Razões para não realizar a avaliação de impacto Despreparo para colocar os conhecimentos em prática; Dificuldade na implementação; Falta de apoio político dentro da instituição; Sobrecarga de trabalho, priorizando outras atividades em detrimento da avaliação econômica. Principais benefícios do curso Maior utilização de indicadores sistemáticos para o monitoramento dos projetos Indicadores subjetivos ou adaptados/híbridos Informações mais organizadas, porém nem sempre fáceis de se obter

15 Uso dos resultados: aprimoramento das ações -objetivos

16 Apesar de bilhões de dólares serem gastos todos os anos com projetos sociais, muito pouco se sabe do seu impacto sobre beneficiários e sua viabilidade econômica Banco Mundial