Relatório de Pesquisa Avaliação de Projetos Sociais de ONGs

Transcrição

1 Relatório de Pesquisa Avaliação de Projetos Sociais de ONGs Preparado por Ibope Inteligência e Instituto Fonte com apoio da Fundação Itaú Social do Instituto Paulo Montenegro

2 Índice 1. Histórico e Objetivos 2. Considerações Metodológicas e Perfil das ONGS 3. Percepção: qual a concepção e visão geral das ONGs sobre Avaliação de Programas e Projetos? 4. Prática: Quais as principais características metodológicas de avaliações realizadas por ONGs? Quem decide sobre a avaliação e como se dão as relações de poder? Quais os principais desafios e dificuldades que as ONGs encontram na realização de avaliações? 5. Perspectivas: De que maneira as avaliações realizadas por ONGs respondem às suas necessidades organizacionais? 2

3 3 1. Histórico e Objetivos

4 Histórico Instituto Fonte desenvolve ações no campo da avaliação de programas e projetos sociais: consultoria, articulação, produção e disseminação de conhecimento e formação. Fundação Itaú Social enfoca a questão da Avaliação Econômica de Projetos, dissemina a cultura de avaliação, realiza avaliações e veicula um banco de consultores que atua na área. Projeto avaliação: nasce da parceria entre as duas organizações, com o intuito de contribuir com o desenvolvimento do campo da avaliação de programas e projetos sociais, através da produção e disseminação de conhecimento, promoção de formações e debates sobre temas relacionados. Em 2008 o projeto pesquisou a visão e as práticas de avaliação de programas e projetos de investidores privados. 4

5 Objetivos Mapear quanto e como as ONG s* brasileiras utilizam as diversas ferramentas e metodologias de Avaliação de Projetos Sociais no seu dia a dia. Entender quais as motivações e dificuldades encontradas para a prática de Avaliação de seus projetos. * Nesta pesquisa utilizamos o termo ONG nos referindo de maneira ampla às organizações da sociedade civil, sem fins lucrativos, que atuam com projetos sociais. 5

6 6 2. Considerações Metodológicas

7 Metodologia Pesquisa Quantitativa por amostragem Metodologia Coleta de dados via web, através de aplicação de questionário estruturado de auto-preenchimento on-line; Público alvo Organizações privadas sem fins lucrativos com atuação no Brasil Área Abrangência nacional Realização do campo Julho a Setembro de

8 Amostra Seleção da Amostra A amostra foi selecionada considerando-se as variáveis abaixo: Região Número de colaboradores regulares Natureza jurídica (Fundação/Instituto, Organização Social, Oscip ou Outras formas. Total de entrevistas 363 entrevistas realizadas, com a seguinte distribuição: PORTE CENTRO OESTE NORDESTE NORTE SUDESTE SUL TOTAL GERAL 1 A A A MAIOR 100 TOTAL GERAL

9 Amostra Representividade da Amostra Considerando-se a inexistência de um cadastro unificado de ONG s no país, o planejamento do estudo partiu de um levantamento prévio sobre o perfil desejado da amostra, com base na FASFIL* 2005 e na RAIS. Em um segundo momento, houve um grande esforço para obtenção e sistematização de diversos cadastros disponíveis na internet e no Instituto Fonte, assim como uma etapa de cadastramento de organizações para a pesquisa (mailing de pessoas jurídicas sem fins lucrativos). Esses cuidados e esforços estão refletidos no perfil da amostra obtida, que cobriu adequadamente todos os segmentos previamente considerados como fundamentais (porte, região e natureza jurídica), com um número de respostas por segmento que permitiu uma ponderação pequena, apenas de ajuste, para os resultados. O comparativo entre perfil conhecido do universo pesquisado e perfil da amostra obtida é apresentado nas páginas a seguir, assim como os fatores de ponderação utilizados. *Pesquisa sobre Fundações e Associações Privadas Sem Fins Lucrativos no Brasil, desenvolvida a partir da parceria entre IBGE, IPEA, ABONG e GIFE. 9

10 Porte Universo % Entrev. Realizadas % 1 a % % 10 a % % 50e % 59 16% Total % % Representividade da Amostra Fonte: Fasfil 2005 Amostra Região Universo % Entrev. Realizadas % Norte % 9 2% Nordeste % 66 18% Sudeste % % Sul % 53 15% Centro-Oeste % 12 3% Total % % Fonte: Fasfil 2005 Natureza Jurídica Universo % Entrev. Realizadas % Fundações Privadas % 17 5% Org. Social + Oscip % 68 19% Outras Formas de Associações % % Total % % Fonte: RAIS 2005 Porte Universo % Entrev. Realizadas % 1 a % % 10 a % % 50e % 59 16% Total % % Fonte: Fasfil Região Universo % Entrev. Realizadas % Norte % 9 2% Nordeste % 66 18%

11 Ponderação Ponderação Os resultados foram ponderados, considerando-se porte e região da instituição respondente, tendo como base os dados da Fasfil Porte Região Fator 1 a 9 Norte 1, e+ Norte 1, a 9 Nordeste 1, a 49 Nordeste 0, e+ Nordeste 0, a 9 Sudeste 1, a 49 Sudeste 0, e+ Sudeste 0, a 9 Sul 3, a 49 Sul 0, e+ Sul 0, a 9 Centro-Oeste 7, a 49 Centro-Oeste 0, e+ Centro-Oeste 2,

12 Processo de Coleta Construção do cadastro de s A primeira etapa da coleta de dados consistiu na construção de um cadastro de organizações que estivessem dentro do perfil desejado. Para isso, dois procedimentos foram realizados: 1º.) Um foi enviado para milhares de PJ s solicitando o cadastramento para participarem da pesquisa. Nesse formulário estavam programados os filtros automáticos que excluíram as organizações com perfil inadequado ao universo definido. 2º.) Consolidação de cadastros já existentes de organizações privadas sem fins lucrativos e posterior envio de com formulário que continha filtros automáticos que excluíram as organizações com perfil inadequado ao universo definido. Número de contatos disparados por para cadastro Número total de cadastros iniciados Mailing PJ s Mailing consolidado (de cadastros já existentes de organizações sem fins lucrativos) % 7% Número de cadastros iniciados e não finalizados % 25 5% Número de cadastros finalizados fora do perfil definido % % Número de cadastros finalizados e dentro do perfil definido % 61% 12 De acordo com a experiência do Ibope Inteligência em estudos web, consideram-se altas as taxas de 5 e 7% de resposta aos s enviados.

13 Processo de Coleta Convite para a pesquisa A segunda etapa consistiu no envio da pesquisa somente para as organizações cadastradas e dentro do perfil definido: Número de contatos disparados por e- mail para cadastro Número total de cadastros iniciados (não necessariamente finalizados) Número de cadastros finalizados e dentro do perfil definido Mailing PJ s Mailing consolidado (de cadastros já existentes de organizações sem fins lucrativos) Número de s enviados com o convite para participação na pesquisa Questionários iniciados Questionários completos % 10 89% Amostra final Foram feitos disparos de re-convites para incentivar a participação, além de comunicação nos sites do Ibope e Instituto Fonte.

14 Processo de Coleta Sub-produto: Mailing consolidado, limpo e atualizado de organizações sem fins lucrativos = contatos. Total de contatos contatos Listagem de PJ s 14

15 Bases dos resultados Os dados apresentados a seguir estão na base amostra (363) e base projetos realizados (574) para o bloco aplicado para a avaliação dos projetos realizados. Nota: cada entrevista poderia responder sobre um ou dois projetos. As bases apresentadas são as reais não ponderadas. 15

16 16 Perfil das ONGS

17 Perfil da Amostra (%) Natureza Jurídica 74 Associação sem fins lucrativos OSCIP 21 Fundação ou Instituto Empresarial 1 4 Outros 17 Base: Amostra (363) Natureza Jurídica: Qual é a natureza jurídica da sua organização?

18 Perfil da Amostra (%) Região Nordeste 14% Centro Oeste 8% Norte 4% Sul 21% Sudeste 53% 18 Base: Amostra (363) Em qual UF ela está sediada?

19 Perfil da Amostra (%) Porte em número de colaboradores de 20 até 49 11% de 50 até 99 4% 100 ou mais 5% de 10 até 19 17% Até 9 63% 19 Base: Amostra (363) Porte em número de colaboradores

20 Perfil da Amostra (%) Tempo de atuação (amostra do estudo) Tempo de atuação (FASFIL 2005) Antes de , , ,3 *Até Base: Amostra (363) Tempo de atuação: Desde que ano sua organização desenvolve seus projetos e ações sociais?

21 Perfil da Amostra (%) Tipo de atuação Somente financiadora 2% Financiadora e executora 40% Somente executora 58% Base: Amostra (363) De que forma a sua organização atua com projetos sociais? (RESPOSTA ÚNICA)

22 Projetos Avaliados As organizações que consideraram já ter avaliado algum de seus projetos (91% da amostra) foram solicitadas a escolher até 2 projetos avaliados e responder esse bloco sobre os mesmos. Assim, a base de análise nesse bloco passa a ser o total de projetos avaliados escolhidos pelas organizações da amostra. Foram 574 projetos em 363 organizações, ou seja, menos de 2 projetos por organização. 22

23 (%) Características dos projetos avaliados Área de atuação Abrangência territorial Educação 29 Local 52 Assistência Social 25 Regional 22 Cultura e Arte 16 Estadual 16 Meio Ambiente 10 Nacional 9 Saúde 6 Internacional 2 Esporte e recreação 5 Serviços legais / defesa de direitos civis 5 Desenvolvimento e moradia 4 Base: Fez avaliação (574 BASE PROJETOS AVALIADOS) 23 P6bTOT. Qual foi a área de atuação do projeto avaliado? / P6d._1 Qual a abrangência territorial do projeto?

24 Desafios institucionais Captação de recursos (%) 85,4% Estrutura física Comunicação Relações com governo Mobilização comunitária Planejamento estratégico Avaliação de projetos Formação da equipe Participação em redes Atuação do conselho Análise de contexto sócio-econômico e político Transição de lideranças Planejamento de atividades/ projetos Análise da legislação da área de atuação Relações internas Análise de contexto ambiental Outros 37,7% 35,2% 33,6% 33,3% 30,3% 28,1% 27,6% 23,7% 20,4% 19,1% 18,2% 16,7% 14,4% 13,8% 9,5% 5,8% Base: Amostra (363) Quais os principais desafios que a organização enfrenta atualmente? (aceita mais de uma resposta).

25 Análise fatorial O que é análise fatorial? Muitas vezes temos um número muito grande de atributos/frases nas perguntas, o que dificulta a análise e até a identificação do que realmente é importante. Freqüentemente, estes atributos/frases ainda se sobrepõem e apresentam significados muito similares para o entrevistado. A proposta da análise fatorial é reduzir o número de atributos/frases ao agrupar todos aqueles que possuem significado parecido. Como fazemos análise fatorial? Inicialmente fazemos a correlação* de todos atributos entre si, para identificar quais estão mais relacionados diretamente. Depois checamos várias possibilidades de agrupamento: agrupar atributos em 2, 3, 4, 5, 6, 7... grupos. Para cada possibilidade de número de grupos é formada uma composição / um agrupamento diferente de atributos. Avaliamos analiticamente qual das possibilidades geradas faz mais sentido, melhor representa o que conhecemos do objeto de estudo e o que os outros dados indicam. 25 *análise que compara o padrão de resposta de duas informações para checar se esta relação existe ou não

26 Análise de Cluster Em um segundo momento, a partir dos fatores encontrados classificamos as organizações da amostra, com uma Análise de Clusters. Essa classificação posiciona a organização entre os fatores, verificando de qual deles ela mais se aproxima, comparativamente à média da amostra. O fato de uma organização ser classificada em um Cluster não significa que sua percepção seja totalmente pautada por ele, mas sim que sua percepção está mais nessa direção do que a média da amostra. 26

27 Situação e desafios institucionais Análise Fatorial & Cluster Recursos e infra-estrutura Planejamento e avaliação Mobilização política Análise de cenário Gestão interna 30% 20% 20% 16% 13% Captação de recursos Infra-estrutura física Formação equipe Planejamento estratégico Planejamento de atividades do projeto Avaliação Comunicação Relações comunitárias Formação da equipe Participação em redes Relações com o governo Análise do contexto ambiental Análise da legislação Participação em redes Atuação do conselho Transição de lideranças Relações internas Base: Amostra (363) Quais os principais desafios que a organização enfrenta atualmente? (aceita mais de uma resposta).

28 Situação e desafios institucionais As mais antigas declaram ter mais fortemente o desafio relacionado com Gestão interna (conselho, transição de liderança e relações internas) As fundadas na década de 90, descrevem como seu principal desafio, o de mobilização comunitária e relações com o governo, assim como planejamento e avaliação. As fundadas mais recentemente declaram mais fortemente o desafio dos recursos e da Infra-estrutura e também, com menos intensidade, gestão interna e análise de contexto e participação em redes. Também são as de menor porte em número de colaboradores. Não há diferenças significativas nos desafios institucionais enfrentados por Financiadoras e Executoras e apenas Executoras. 28

29 3.Percepção: Qual a concepção e visão geral das ONGs sobre Avaliação de Programas e Projetos? 29

30 Lugar da Avaliação de projetos Importância... Maior entre ong s do NE e N/CO (97%) Menor OSCIP (70%) Menor Somente Financiadora (70%) (%) Média 9,49 Nota Nota Escala 1 a10 1 = Pouco importante 10 = Muito Importante Pretendem fazer no futuro? 4 Sim 96 Não Base: Amostra (363) 30 P2. Para sua organização, você diria que a avaliação de projetos e ações é algo: P20. Pensando em todas as suas experiências com avaliações de projetos, você tem a intenção de realizar avaliações em projetos futuros?

31 O que pensam sobre avaliação? Avaliação como processo que: > freqüência apóia a gestão, a tomada de decisão ajuda a corrigir rumos, identificar erros e acertos verifica realização de objetivos identifica resultados no público do projeto gera credibilidade ao projeto é um processo difícil < freqüência Base: Amostra (363) 31 P1. Para começar, gostaríamos de conhecer a visão da sua organização sobre a avaliação de seus projetos e ações. O que vocês pensam sobre esse tema da Avaliação? Quando se fala em Avaliação que opiniões e idéias surgem na sua organização?

32 Atributos positivos sobre avaliação (%) Média É uma parte essencial dos processos de planejamento estratégico ,45 Ajuda a melhorar a qualidade dos serviços prestados pelo projeto ,50 Os resultados da avaliação devem ser utilizados para tomar decisões sobre a organização ou o programa ,49 Ajuda a fazer escolhas estratégicas sobre o futuro da organização ,48 Faz parte integralmente de nossas práticas de gestão ,39 Financiadores se interessam muito por avaliação ,98 É feita p/ que as organiz. e projetos se promovam positivamente frente a financiadores, comunidade e outros interessados no projeto ,95 Os resultados da avaliação são utilizados para atrair financiadores e recursos ,14 Escala 1 a10 1 = Discorda Totalmente 10 = Concorda Totalmente Nota Não sabe Nota 32 Base: Amostra (363) P3) Gostaríamos de saber o que você pensa sobre avaliação. Apresentamos a seguir uma série de frases para que você aponte o quanto concorda ou discorda com cada uma delas

33 Atributos negativos sobre avaliação (%) Média 6 Programas são avaliados porque financiadores requisitam ,86 Não existe conhecimento ou competência para se realizar avaliações de projetos com qualidade ,56 São uma formalidade, e não conseguem refletir os resultados do trabalho realizado por uma organização ,60 Avaliar programas serve apenas para responder a um requisito que os financiadores colocam ,48 A quantia de tempo e dinheiro gasta em avaliação não compensa ,35 O tempo e o dinheiro dedicados para a avaliação desviam o projeto de seu objetivo central ,25 Escala 1 a10 1 = Discorda Totalmente 10 = Concorda Totalmente Nota Não sabe Nota 33 Base: Amostra (363) P3) Gostaríamos de saber o que você pensa sobre avaliação. Apresentamos a seguir uma série de frases para que você aponte o quanto concorda ou discorda com cada uma delas

34 Aprendizado A importância da avaliação está consolidada, não há mais necessidade de advogar pela relevância da Avaliação de Projetos Sociais, entre as ONGs que atuam no Brasil. 34

35 35 Posturas em relação à Avaliação

36 Modelo* para posturas em relação à avaliação Avaliação como ferramenta estratégica ajuda afazer escolhas estratégicas. ajuda no planejamento estratégico ajuda a melhorar os serviços prestados orienta decisões programáticas integra as práticas de gestão Avaliação como ferramenta de promoção dos projetos é apenas uma exigência dos financiadores fazemos porque financiadores solicitam fazemos para melhorar nossa imagem e conseguir financiadores ajuda a nos promover frente a financiadores e a comunidade Avaliação como desperdício de recursos não vale a pena o investimento é simbólico não temos conhecimento suficiente desvia o projeto de sua principal razão de ser 36 * Carman, Joanne G. & Fredericks, Kimberly A. (2008). Nonprofits and evaluation: Empirical evidence from the field. New Directions For Evaluation. P

37 Posturas em relação à avaliação Análise Fatorial & Cluster (%) Avaliação como desperdício de tempo/recurso Avaliação como obrigação formal e burocrática Avaliação como ferramenta de promoção dos projetos Avaliação como ferramenta estratégica Não existe conhecimento ou competências para realizar avaliações de qualidade. A quantia de tempo e dinheiro investidos não compensam. Os recursos investidos desviam o projeto de seu foco principal. É uma obrigação imposta pelos financiadores É uma formalidade Não consegue refletir os resultados do trabalho realizado por uma organização Resultados utilizados para atrair financiadores e recursos. É feita para que as organizações e projetos se promovam positivamente Ajuda a melhorar a qualidade dos serviços Os resultados devem ser utilizados para tomar decisões Ajuda a fazer escolhas estratégicas É parte essencial dos processos de planejamento estratégico 37 Base: Amostra (363)

38 Posturas em relação à avaliação Análise Fatorial & Cluster (%) Avaliação como desperdício de tempo/recurso Avaliação como obrigação formal e burocrática Avaliação como ferramenta de promoção dos projetos Avaliação como ferramenta estratégica + OSCIP + Fundação/ Instituto Empresarial E + OSCIP + Norte/Centro- Oeste + Associação sem fins lucrativos E + com mais de 100 colaboradores 38 Base: Amostra (363)

39 Aprendizado Apesar de não ser necessário mais advogar pela importância da avaliação, parece ser importante observar para quais finalidades ela tem sido utilizada. A avaliação como ferramenta de promoção dos projetos é legítima e importante, mas esse uso não corresponde a todo o benefício que pode oferecer para o desenvolvimento dos projetos. 39

40 40 Papel do avaliador

41 E qual o papel do avaliador? (%) Gerar espaços de reflexão e aprendizagem sobre o projeto Média ,17 Garantir que os resultados da avaliação sejam comunicados para todos os envolvidos no projeto ,82 Construir instrumentos para levantar informações sobre o projeto ,88 Fazer recomendações para o projeto ,66 Envolver o máximo de pessoas na discussão sobre a avaliação ,28 Descrever como determinados elementos do projeto causam/ geram seus resultados ,46 Ter profundo conhecimento sobre o tema do projeto ,38 Dar respostas sobre os resultados atribuídos ao projeto ,00 Conhecer profundamente métodos científicos de pesquisa ,68 Emitir julgamento sobre o projeto ,06 Escala 1 a10 1 = Discorda Totalmente 10 = Concorda Totalmente Nota Nota Base: Amostra (363) 41 P04) A seguir temos uma série de frases sobre o papel do(a) avaliador(a) e gostaríamos que você apontasse o quanto concorda ou discorda com cada uma delas

42 Modelo* para posturas do avaliador Guba e Lincoln Quatro gerações de Avaliação e diferentes papéis do avaliador embutidos 1ª geração - Medição 2ª Geração descrição (ou dos objetivos) 3ª geração Julgamento 4ª geração Construtivista e responsiva Desenvolver e aplicar instrumentos de mensuração Descrever relações entre pontos fortes e fracos de programas - em relação a determinados objetivos. Atribuir um valor, julgar programas. Facilitar o diálogo e negociações entre interessados. * Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills, CA: Sage. 42

43 Habilidades do avaliador Educador Gera espaços de reflexão e aprendizagem Garante a comunicação dos resultados Juiz Especialista Conhece profundamente a área do projeto Emite pareceres e recomendações Técnico-cientista Sabe metodologia Sabe construir instrumentos 43 * Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills, CA: Sage.

44 Papel do Avaliador Análise Fatorial & Cluster Foco no resultado 57% Foco no processo 43% Tem profundo conhecimento sobre o tema do projeto Emite julgamentos sobre o projeto. Garante a comunicação dos resultados. Conhece método científico. Dá respostas Envolve as pessoas na discussão da avaliação Constrói instrumentos para levantar informações Descreve como determinados elementos do projeto causam geram seus resultados. Gera espaços de reflexão e aprendizagem Base: Amostra (363) A seguir temos uma série de frases sobre o papel do (a) avaliador (a) e gostaríamos que você apontasse o quanto concorda ou discorda com cada uma delas. Para isto pense em uma escala de 1 até 10, onde 1 significa que você Discorda totalmente da frase e 10 significa que Concorda totalmente com a frase. Você pode também utilizar qualquer número entre 1 e 10 para expressar a sua opinião.

45 Papel do Avaliador Análise Fatorial & Cluster Foco no resultado 57% Foco no processo 43% + com mais de 100 colaboradores + com até 9 colaboradores Base: Amostra (363) A seguir temos uma série de frases sobre o papel do (a) avaliador (a) e gostaríamos que você apontasse o quanto concorda ou discorda com cada uma delas. Para isto pense em uma escala de 1 até 10, onde 1 significa que você Discorda totalmente da frase e 10 significa que Concorda totalmente com a frase. Você pode também utilizar qualquer número entre 1 e 10 para expressar a sua opinião.

46 Aprendizado Os dados mostram que as ONGs enxergam o papel do avaliador (ou da equipe de avaliação) como multifuncional, não restrito a uma tarefa única. Tampouco espera-se que o avaliador tenha apenas uma habilidade específica. E em ambas as imagens de avaliador está presente o componente técnico-metodológico. Educador Juiz Especialista Técnicocientista 46

47 4. Prática: Quais as principais características metodológicas de avaliações realizadas por ONGs? Quem decide sobre a avaliação e como se dão as relações de poder? Quais os principais desafios e dificuldades que as ONGs encontram na realização de avaliações? 47

48 Realização de avaliações Realiza? (%) Razões para não realizar 9 Sim Não tínhamos equipe Não Falta de conhecimento sobre avaliação Não tínhamos recursos financeiros Falta de tempo para dedicar á avaliação 34 Somos uma equipe/ não há necessidade 23 + entre ong s do NE e N/CO + Porte 100 ou mais colaboradores + Somente financiadora Não encontramos um avaliador para o trabalho 17 Não acredita na utilidade de uma avaliação Resistência da equipe 8 7 Ind. Mult 3,12 Base: Amostra (363) Não desenvolvemos projetos próprios 6 Confiam nas organizações que realizam o projeto 2 Base: Não realizou nenhuma avaliação (33) 48 P6. - Em relação aos últimos 5 anos, você considera que a sua organização fez avaliação de seus programas ou projetos? P6a. Por quais motivos sua organização não realizou nenhuma avaliação dos projetos nos últimos 5 anos?

49 Conhecimento sobre outras avaliações + Somente financiadora + desafio institucional de planejamento e avaliação Sim Não + Fundação/Instituto Empresarial + Porte 100 ou mais colaboradores Base: Amostra (363) 49 P18. Sua organização conhece avaliações de projetos de outras organizações?

50 Formação em avaliações Sim Não + Porte 100 ou mais colaboradores Base: Amostra (363) 50 P19. Você ou algum outro colaborador regular da organização tem ou fez algum tipo de formação para avaliação de projetos?

51 Aprendizado A questão não parece ser SE realizamos avaliação, mas COMO a realizamos e o quanto estamos COMPARTILHANDO os resultados e as aprendizagens envolvidas nelas. 51

52 Atividades realizadas (%) Média Prestação de contas para os financiadores ,70 Acompanhamento do orçamento do projeto ,73 Acompanhamento das atividades realizadas no projeto ,72 Produção de relatórios sobre o projeto para financiadores de parceiros Verificação se os objetivos do projeto estão sendo alcançados ,49 4,51 Debates com a equipe sobre o andamento do projeto ,52 Levantamento dos resultados do projeto ,47 Publicação dos resultados do projeto ,81 Auditoria financeira ,43 Visitas dos financiadores e/ ou parceiros ao projeto ,76 Sempre (5) Quase sempre (4) Ás vezes (3) Raramente (2) Nunca (1) Base: Amostra (363) 52 P5) Com que frequência sua organização realiza as seguintes atividades:

53 Tipos de atividades Atividades de acompanhamento interno Atividades de prestação de contas a financiadores Atividades de prestação de contas ao público amplo + frequente - frequente 53

54 Desenho da avaliação Coleta de dados... (%) Sobre o público beneficiado ao final do ciclo do projeto 70 Sobre o público beneficiado durante a realizaç ão do projeto 70 Sobre o público beneficiado no início do projeto 64 Sobre um público não beneficiado ao final do ciclo do projeto, para comparação 13 Sobre um público não beneficiado no início do projeto, para comparação Sobre um públic o não benefic iado durante a realização do projeto para comparação Índ. Mult. 2,40 54 Base: Fez avaliação (574) P11. De maneira geral, qual das alternativas abaixo caracterizou a coleta de dados das avaliações destes projetos?

55 Aprendizado Uma nova Análise Fatorial sobre as práticas de coleta de dados para as avaliações realizadas aponta que: a grande maioria das organizações opta por desenhos que realizam a coleta de informações sobre o grupo beneficiado ANTES, DURANTE e DEPOIS de sua participação no projeto. há um grupo específico que faz o levantamento de informações sobre grupos controle ( não beneficiados ). 55

56 Duração das avaliações Duração (avaliação) Média 10 meses Variação é grande: 29% Até 3 meses 15% de 4 a 6 meses 06% de 7 a 11 meses 24% 12 meses 06% mais de 12 meses 20% não souberam estimar 56 Base: Fez avaliação (574) de uma avaliação para cada um dos projetos? // P8. Qual foi a duração aproximada (em meses) da avaliação?

57 Origem da demanda (%) Necessidade das avaliações A própria organização 54 + financiadoras e executoras Ambos 35 + Executoras Órgão financiador 9 Base: Fez avaliação (574) P7. Agora vamos pensar sobre como surgiu a necessidade das avaliações em cada um destes projetos.quem solicitou ou sugeriu a realização 57

58 Financiamento das avaliações (%) Utilizamos os recursos internos da organização 43 + financiadoras e executoras O recurso para avaliação estava incluído no orçamento do projeto 34 + Executoras Não houve custos para as atividades de avaliação 22 Recebemos doações específicas para a avaliação 5 Recursos Municipais e Federais 1 Base: Fez avaliação (574) P9. De onde veio, na sua maioria, o financiamento para a avaliação? 58

59 Equipe de avaliação Realizou avaliação (%) Avaliador da equipe do projeto 85 Avaliador externo Avaliador da equipe da organização financiadora Avaliador independente Universidade/ Instituto de pesquisa ligado à ONG 17 Empresa 17 Base: Fez avaliação (574) P10. Quem realizou a avaliação dos projetos? Voce pode selecionar mais de um tipo de avaliador, caso tenha ocorrido para algum dos projetos P10a. De que tipo? Base: Fez avaliação com avaliador externo (130) 59

60 Participação da organização nas decisões sobre a avaliação (%) Análise dos resultados da avaliação Decisão encaminhamentos/ações após resultados Especialmente financiadoras e executoras + avaliação como ferramenta estratégica Coleta de dados 71 Decisão sobre o foco de avaliação 68 Decisão sobre a metodologia a ser utilizada 63 Especialmente financiadoras e executoras + avaliação como autopromoçao Decisão sobre a escolha da equipe de avaliação 53 Base: Fez avaliação (574) P12. Agora pensando no processo de avaliação desses projetos como um todo, em quais momentos sua organização participou ativamente? Índ. Mult. 4,09 60

61 Aprendizado Os dados contrapõem a imagem do senso comum, de que avaliações são demandas de financiadores: As próprias ONGs têm sido o agente a levantar a necessidade de avaliar. Não apenas têm percebido a necessidade, como as próprias ONGs viabilizam a avaliação, a partir de rubricas específicas no orçamento projeto e o envolvimento da equipe interna. 61

62 Que usos foram dados à avaliação Ajudou a fazer mudanças no projeto Ajudou a estabelecer objetivos e metas para o projeto Para desenvolver novos projetos Orientou decisões sobre a equipe Apoiou o planejamento estratégico do projeto ou organização Para tomar decisões financeiras avaliação como ferramenta estratégica Para reportar aos financiadores 57 + executoras Para reportar ao conselho gestor da organização Ajudou na comunicação e marketing do projeto e/ ou organização financiadoras e executoras + avaliação como promoção Ajudou a conseguir novos financiadores 39 + financiadoras e executoras + avaliação como promoção Ajudou a influenciar alguma decisão relacionada a uma política pública 37 Ajudou a decisão de descontinuar o projeto 10 + executoras Não usamos os resultados das avaliações 2 Base: Fez avaliação (574) P14. Qual ou quais dessas alternativas refletem o uso que foi feito dos resultados da avaliação em cada um dos projetos? Índ. Mult. 6,68 62

63 Comunicação dos resultados Fez comunicação? (%) Para quem? PARA FINANCIADORES DO PROJETO/ DA ORGANIZAÇÃO 74 7 Sim Para equipe diretamente envolvida no projeto Não Para pessoal interno diretamente envolvido na avaliação Para todo o pessoal da organização e do projeto Para o público-alvo/ comunidade-alvo do projeto 56 Base: Fez avaliação (574) P13. Os resultados das avaliações foram comunicados para alguém? P13a. Quem? Para parceiros externos Para governos/ prefeituras/ administração pública Para outras organizações/ em eventos/ fóruns Para a sociedade em geral/ publicações/ imprensa 30 Base: Os resultados foram comunicados (532) 63

64 Desafios enfrentados na avaliação (%) Construir indicadores 48 + avaliador com foco em resultados Envolver os públicos do projeto na avaliação 40 Desenvolver instrumentos 36 Coletar informações 33 + avaliação como ferramenta estratégica Analisar os resultados 31 Captar recursos para a avaliação 27 Encontrar profissional qualificado 24 + avaliação como promoção Tomar decisões orientadas pela avaliação 23 Técnica Comunicar os resultados 13 Gestão Nenhuma 2 Resultados Base: Fez avaliação (574) P16. Quais foram as principais dificuldades encontradas nessas avaliações? 64

65 5. Perspectivas: De que maneira as avaliações realizadas por ONGs respondem às suas necessidades organizacionais? 65

66 Competição com outras atividades (%) Média 2,48 05 (5) 04 (4) 03 (3) 02 (2) 01 (1) Nota Nota Escala 1 a 5 5= Competiu muito com outras atividades do projeto 1 = Não competiu em nada com outras atividades do projeto Base: Fez avaliação (574) P15. Pense no envolvimento da organização no processo de avaliação dos projetos. O quanto este envolvimento na avaliação competiu com outras atividades do próprio projeto? Escolha uma nota de 1 a 5 de acordo com a escala descrita 66

67 Avaliação da experiência (%) + financiadoras e executoras + executoras Média 4,69 05 (5) 04 (4) 03 (3) 02 (2) 01 (1) Nota Nota Escala 1 a 5 1 = Totalmente negativa 5 = Totalmente positiva Base: Fez avaliação (574) P17. Pensando agora na experiência da avaliação de um modo geral, para a organização, o quanto foi positiva ou negativa em cada projeto? Escolha uma nota de 1 a 5 de acordo com a escala descrita. 67

68 Aprendizados e reflexões 1) A importância da avaliação está consolidada, não há mais necessidade de advogar pela relevância da Avaliação de Projetos Sociais, entre as ONGs que atuam no Brasil. 2) A predisposição para avaliação já existe: tanto nas concepções positivas, como na solicitação concreta e viabilização de avaliações pelas ONGs. 3) Apesar disso, é importante observar para quais finalidades ela tem sido utilizada. A avaliação como ferramenta de promoção dos projetos é legítima e importante, mas esse uso não corresponde a todo o benefício que pode oferecer para o desenvolvimento dos projetos. 4) Teoricamente o potencial benefício da avaliação depende principalmente: do foco de atuação do avaliador (independentemente dele ser interno ou externo) do envolvimento da equipe do projeto no processo de avaliação em si 5) Ao assumir um processo de avaliação, o avaliador focado no resultado prioriza a entrega um produto no final. A incorporação dos resultados seria de responsabilidade da equipe do projeto. Se a equipe não se apropriar desses resultados, o produto poderá servir apenas para promoção dos projetos. 68 Avaliação não é apenas pesquisa, os resultados devem ser apreendidos pelas pessoas, para serem incorporados nos projetos.

69 Aprendizados e reflexões 6) Nesse sentido, o avaliador focado no processo potencializa o uso da avaliação, ao compartilhar saberes e delegar o processo de gestão da avaliação. Com isso, o avaliador responsabiliza e dá autonomia à equipe envolvida no projeto. Dessa forma, a equipe incorpora, durante o processo de avaliação, os próprios resultados e tem mais facilidade de implementar mudanças, porque aprendeu. 7) Finalmente, quando o foco é no processo e a equipe se envolve, a avaliação gera todos os seus potenciais benefícios. 8) A pesquisa confirma esse entendimento teórico, pois organizações que buscam um avaliador com foco no processo tendem a enxergar mais na avaliação o seu potencial estratégico, enquanto as organizações que buscam um avaliador com foco nos resultados tendem a se aproximar mais da percepção de avaliação como promoção dos projetos ou como uma atividade burocrática-formal. 69

70 70 Anexos

71 Nossa amostra x perfil ABONG Tempo de atuação - Associadas ABONG Até , , ,6 depois de ,5 * Retirado de ONGs no Brasil - Perfil das associadas à Abong ( 71

72 Nossa amostra x perfil ABONG Região de localização da Sede - ABONG Centro-Oeste 6,9% Norte 6,4% Sul 8,4% Nordeste 39,6% Sudeste 38,6% * Retirado de ONGs no Brasil - Perfil das associadas à Abong ( 72