Panorama da avaliação de programas e projetos sociais no Brasil. Martina Rillo Otero

Transcrição

1 Panorama da avaliação de programas e projetos sociais no Brasil Martina Rillo Otero 1

2 Sumário Objetivos da pesquisa Metodologia Quem foram as organizações que responderam à pesquisa? O que elas pensam sobre avaliação e sobre o avaliador? Que avaliações estão se realizando na prática? O que tudo isso nos diz sobre o campo da avaliação? 2

3 Pesquisa IBOPE/ 2009 Objetivos Realizada no âmbito do Projeto Avaliação, com apoio do Instituto Paulo Montenegro e IBOPE, com o objetivo de: Mapear quanto e como as ONG s* brasileiras realizam avaliação de seus projetos e programas sociais Conhecer motivações, desafios e tendências da avaliação de projetos e programas sociais no Brasil. * Nesta pesquisa o ONG se refere às organizações da sociedade civil, sem fins lucrativos, que atuam com projetos sociais. 3

4 Metodologia Pesquisa Quantitativa por amostragem Metodologia Coleta de dados via web, através de aplicação de questionário estruturado de auto-preenchimento on-line; Público-alvo Organizações privadas sem fins lucrativos com atuação no Brasil Área Abrangência nacional Realização do campo Julho a Setembro de 2009 Processo de coleta 1º: Construção de um cadastro de organizações dentro do perfil desejado (a partir de filtragem e cadastros existentes). 2º envio do questionário. Total de entrevistas 363 questionários respondidos, que cobriu adequadamente todos os segmentos previamente considerados como fundamentais (porte, região e natureza jurídica), com um número de respostas por segmento que permitiu uma ponderação pequena, apenas de ajuste, para os resultados. 4

5 Perfil da Amostra Região (%) Nordeste 14% Centro Oeste 8% Norte 4% Sul 21% Sudeste 53% Porte em número de colaboradores de 20 até 49 11% de 50 até 99 4% 100 ou mais 5% de 10 até 19 17% Até 9 63% 5 Base: Amostra (363) Em qual UF ela está sediada?

6 Perfil da Amostra (%) Tempo de atuação Antes de Financiadora e executora 40% Tipo de atuação em projetos Somente financiadora 2% Somente executora 58% 6

7 Resultados Concepções e práticas de avaliação... 7

8 Valor atribuído à avaliação 91% das organizações consideram ter feito a avaliação de algum de seus projetos nos últimos 5 anos. Importância Média 9,49 Nota Nota Escala 1 a10 1 = Pouco importante 10 = Muito Importante Pretendem realizar avaliações no futuro? 4 Sim 96 Não 8

9 A importância da avaliação parece consolidada. O discurso das organizações valoriza essa ação. Não parece mais fundamental advogar pela necessidade de fazer avaliação de projetos sociais entre as ONGs que atuam no Brasil... 9

10 Concepções sobre o sentido da avaliação 40 (%) Avaliação como desperdício de tempo/recurso Avaliação como obrigação formal e burocrática Avaliação como ferramenta de promoção dos projetos Avaliação como ferramenta estratégica Não existe conhecimento ou competências para realizar avaliações de qualidade. A quantia de tempo e dinheiro investidos não compensam. Os recursos investidos desviam o projeto de seu foco principal. É uma obrigação imposta pelos financiadores É uma formalidade Não consegue refletir os resultados do trabalho realizado por uma organização Resultados utilizados para atrair financiadores e recursos. É feita para que as organizações e projetos se promovam positivamente Ajuda a melhorar a qualidade dos serviços Os resultados devem ser utilizados para tomar decisões Ajuda a fazer escolhas estratégicas É parte essencial dos processos de planejamento estratégico 10 Base: Amostra (363)

11 Apesar de não ser necessário mais advogar pela importância da avaliação... Qual o sentido que as organizações enxergam nessa atividade? Para quê ela é realizada? A avaliação como ferramenta de promoção dos projetos é legítima e importante, mas é só isso? 11

12 Papel do Avaliador Análise Fatorial & Cluster Foco no resultado 57% Foco no processo 43% Tem profundo conhecimento sobre o tema do projeto Emite julgamentos sobre o projeto. Garante a comunicação dos resultados. Conhece método científico. Dá respostas Envolve as pessoas na discussão da avaliação Constrói instrumentos para levantar informações Descreve como determinados elementos do projeto causam geram seus resultados. Gera espaços de reflexão e aprendizagem Base: Amostra (363) 12

13 Os dados mostram que as ONGs enxergam o papel do avaliador (ou da equipe de avaliação) como multifuncional, não restrito a uma tarefa única. Tampouco espera-se que o avaliador tenha apenas uma habilidade específica. E em ambas as imagens de avaliador está presente o componente técnico-metodológico. 13

14 Houve uma correlação entre: a visão do avaliador com foco no processo e a concepção da avaliação como ferramenta estratégica a visão do avaliador com foco nos resultados e a concepção de avaliação como promoção dos projetos ou como uma atividade burocrática-formal. De quem é a responsabilidade pela incorporação dos resultados da avaliação? Avaliação é sinônimo de pesquisa científica? Como ela pode se transformar efetivamente numa ferramenta de gestão? Como o processo de avaliação pode ajudar a equipe a aprofundar sua relação com seu próprio projeto? 14

15 Práticas de avaliação 91% das organizações consideram ter feito a avaliação de algum de seus projetos nos últimos 5 anos. Amostra de 574 projetos: Área de atuação Educação 29 Abrangência territorial Assistência Social 25 Local 52 Cultura e Arte 16 Regional 22 Meio Ambiente 10 Estadual 16 Saúde 6 Esporte e recreação 5 Nacional 9 Serviços legais / defesa de direitos civis 5 Internacional 2 Desenvolvimento e moradia 4 15

16 Desenho da avaliação Coleta de dados (%) Sobre o público beneficiado ao final do ciclo do projeto 70 Sobre o público beneficiado durante a realizaç ão do projeto 70 Sobre o público beneficiado no início do projeto 64 Sobre um público não beneficiado ao final do ciclo do projeto, para comparação 13 Sobre um público não beneficiado no início do projeto, para comparação Sobre um públic o não benefic iado durante a realização do projeto para comparação Índ. Mult. 2,40 16 Base: Fez avaliação (574)

17 Origem e viabilização da demanda (%) Necessidade das avaliações Financiamento A própria organização 54 Utilizamos os recursos internos da organização 43 Ambos 35 O recurso para avaliação estava incluído no orçamento do projeto 34 Órgão financiador 9 Não houve custos para as atividades de avaliação 22 Recebemos doações específicas para a avaliação 5 Recursos Municipais e Federais 1 17

18 Equipe de avaliação (%) Análise dos resultados da avaliação 77 Avaliador da equipe do projeto 85 Decisão encaminhamentos/ações após resultados Coleta de dados Avaliador externo Avaliador da equipe da organização financiadora Avaliador independente Universidade/ Instituto de pesquisa ligado à ONG Empresa Decisão sobre o foco de avaliação Decisão sobre a metodologia a ser utilizada Decisão sobre a escolha da equipe de avaliação Base: Fez avaliação (574) Base: Fez avaliação (574) Base: Fez avaliação com avaliador externo (130) 18

19 Competição com outras atividades (%) Alta competição Baixa competição Média 2,48 05 (5) 04 (4) 03 (3) 02 (2) 01 (1) Nota Nota Escala 1 a 5 5= Competiu muito com outras atividades do projeto 1 = Não competiu em nada com outras atividades do projeto Base: Fez avaliação (574) 19

20 Utilidade da avaliação Ajudou a fazer mudanças no projeto Ajudou a estabelecer objetivos e metas para o projeto Para desenvolver novos projetos Orientou decisões sobre a equipe Apoiou o planejamento estratégico do projeto ou organização Para tomar decisões financeiras Para reportar aos financiadores Para reportar ao conselho gestor da organização Ajudou na comunicação e marketing do projeto e/ ou organização Ajudou a conseguir novos financiadores Ajudou a influenciar alguma decisão relacionada a uma política pública Ajudou a decisão de descontinuar o projeto Não usamos os resultados das avaliações 2 Base: Fez avaliação (574) P14. Qual ou quais dessas alternativas refletem o uso que foi feito dos resultados da avaliação em cada um dos projetos? Índ. Mult. 6,68 20

21 Comunicação dos resultados Comunicação dos resultados Públicos (%) PARA FINANCIADORES DO PROJETO/ DA ORGANIZAÇÃO Para equipe diretamente envolvida no projeto Sim Para pessoal interno diretamente envolvido na avaliação Não Para todo o pessoal da organização e do projeto Para o público-alvo/ comunidade-alvo do projeto Para parceiros externos 52 Para governos/ prefeituras/ administração pública 48 Base: Fez avaliação (574) P13. Os resultados das avaliações foram comunicados para alguém? P13a. Quem? Para outras organizações/ em eventos/ fóruns Para a sociedade em geral/ publicações/ imprensa Mult 5,06 Base: Os resultados foram comunicados (532) 21

22 Desafios enfrentados na avaliação (%) Construir indicadores 48 Envolver os públicos do projeto na avaliação 40 Desenvolver instrumentos 36 Coletar informações 33 Analisar os resultados 31 Captar recursos para a avaliação 27 Encontrar profissional qualificado 24 Tomar decisões orientadas pela avaliação 23 Técnica Comunicar os resultados 13 Gestão Nenhuma 2 Resultados Base: Fez avaliação (574) P16. Quais foram as principais dificuldades encontradas nessas avaliações? 22

23 Os desafios apontam para: Por um lado houve um grupo de organizações preocupado com questões de qualificação técnica das avaliações. Outro grupo especialmente desafiado pela questão da gestão da participação. E finalmente um grupo que se sente desafiado com a gestão dos resultados... O que (tudo) isso revela do campo? 23

24 O que tudo isso revela do campo? Uma divisão de grupos com diferentes posicionamentos dentro do campo da avaliação? Um grupo que compreende a avaliação como uma ferramenta de promoção de projetos, que busca avaliadores focados no resultado, que prioriza questões técnicas? Um grupo que compreende a avaliação como ferramenta estratégica de gestão, que busca avaliadores que foquem o processo de avaliação e que prioriza a negociação e participação? Duas compreensões que podem se complementar em cada caso, a cada avaliação? 24

25 Projeto Avaliação 25