Instrutor: Fábio Rocha

Transcrição

1 W O R K S H O P A V A L I A Ç Ã O E I N I D C I A D O R E S D E P R O J E T O S S O C I A I S Instrutor: Fábio Rocha

2 AVALIAÇÃO DE PROJETOS COMO INSTRUMENTO DE GESTÃO O contexto da avaliação LILIANE G. DA COSTA REIS A avaliação de projetos é tema extenso, prestando-se a várias abordagens, principalmente quando se trata de projetos sociais. Podemos dizer que, de maneira implícita ou explícita, sempre realizamos algum tipo de avaliação, ou mais precisamente, algum julgamento de valor sobre um projeto. A partir de tal julgamento, tomamos decisões a respeito de sua continuidade, modificações, ou mesmo sobre sua extinção. A forma como isto é realizado é que faz diferença quando se trata de tomar decisões a respeito de projetos existentes. Para que a avaliação se torne um instrumento efetivo de gestão, é preciso que se analise em que contexto é realizada. Trata-se de uma prestação de contas a financiadores e parceiros externos? É uma rotina de caráter meramente burocrático, para cumprir requisitos internos, sem maiores implicações institucionais? Nestes casos, a avaliação pode servir como instrumento gerencial, mas estará condicionada por fatores que, eventualmente, trazem poucas contribuições à organização como um todo. Em termos genéricos, pode-se dizer que este tipo de avaliação serve como justificativa para a existência e manutenção de um projeto e, como tal, é um exercício que pouco acrescenta ao conhecimento que a organização já possui sobre suas realizações e dificuldades. O melhor sentido da avaliação é que seja utilizada como meio de melhorar os projetos existentes, aprimorar o conhecimento sobre sua execução e contribuir para seu planejamento futuro, tendo como pano de fundo sua contribuição aos objetivos institucionais. Neste sentido, é um exercício permanente e, acima de tudo, comprometido com as repercussões de um projeto ao longo de sua realização. Uma dificuldade sempre presente neste processo é o próprio caráter dos projetos sociais, cujos aspectos qualitativos tendem a prevalecer sobre aspectos quantitativos. Num campo que abrange temas amplos, como, por exemplo, qualidade de vida, conquista de direitos, formação de uma nova cultura política, promoção da cidadania e, em última análise, um ambiente social mais justo e democrático, determinar parâmetros de julgamento adequados é um primeiro desafio. Enfrentá-lo, no entanto, pode se revelar um processo de aprendizagem sobre a organização, seus métodos e recursos. Outro desafio é a escolha de instrumentos de avaliação. Além de servirem como registro das conclusões a que a organização chegou sobre um projeto num dado momento, podem ser utilizados para que esta informação seja socializada junto a outras áreas da organização, parceiros e públicos direta ou indiretamente envolvidos. Por fim, a criação de uma cultura institucional onde a avaliação não paire como ameaça, mas seja encarada como um aspecto que auxilia na tomada de decisões que beneficiem tanto a organização quanto outros atores envolvidos nos projetos. 2

3 O que é avaliação Em seu livro Avaliação de programas e projetos sociais, Aguilar e Ander-Egg fornecem uma definição bastante detalhada sobre este tema: "A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa (tanto na fase de diagnóstico, programação ou execução), ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão, com o propósito de produzir efeitos e resultados concretos; comprovando a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para uma tomada de decisões racional e inteligente entre cursos de ação, ou para solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao êxito ou ao fracasso de seus resultados" (p ). Em linhas gerais, pode-se dizer que os objetivos da avaliação são conhecer, através de comprovação objetiva e sistemática, o andamento de um projeto, se os objetivos e metas estão sendo alcançados e se a situação-problema está sendo modificada. Esta concepção pode ser desdobrada nos seguintes objetivos específicos: a. Estabelecer o grau de pertinência, idoneidade, efetividade/eficácia e eficiência/rendimento de um programa, projeto ou serviço. b. Determinar as razões dos êxitos e fracassos. c. Facilitar o processo de tomada de decisões para melhorar e/ou modificar o programa ou projeto. d. Analisar outros objetivos que podem ser alcançados. O que avaliar Basicamente, a avaliação deve estar atenta as três etapas de um projeto: planejamento, processo e resultados. Desta forma, cada uma delas deve ser objeto de julgamento por parte da organização e não somente ao final do projeto. Esta abordagem também esclarece que a avaliação não se resume a mensurar resultados; a mensuração permite coletar dados que serão importantes para compor a avaliação, mas não a substitui. A avaliação do plano e conceitualização do projeto comporta a avaliação do estudopesquisa, do diagnóstico e do plano e concepção do projeto. Projetos com propósito de intervenção social devem ser precedidos por um diagnóstico do problema a ser enfrentado, fruto, por sua vez, de um estudo-pesquisa. Este estudo deve ter estabelecido a natureza do problema, sua magnitude e características básicas, o contexto em que está inserido, assim como os recursos e meios operacionais que podem ser utilizados para solucionar a situação-problema. Sendo esta etapa a base determinante para as posteriores, é necessário realizar a avaliação ainda na fase de formulação e planejamento do projeto. 3

4 Portanto, quando se fala de avaliar a concepção do projeto, avalia-se o modelo de intervenção proposto para a situação colocada: suas estratégias, atividades, métodos, técnicas e procedimentos a utilizar. Deve ficar claro que paradigma ou modelo é subjacente ao projeto proposto. Durante a execução do projeto, pode ser necessário avaliar como ele está funcionando, sendo abordados os seguintes aspectos: a. Avaliação de cobertura - até que ponto o público beneficiário está sendo atingido (até que ponto conhece o projeto, se há barreiras ou se o projeto é acessível, se é aceito pela população) e até que ponto a área de atuação é coberta. b. Avaliação da implementação - julga se os instrumentos planejados para a implementação são necessários, suficientes, idôneos (no sentido de ter capacidade de cumprir as metas estabelecidas), potentes e eficazes. c. Avaliação do ambiente organizacional - se a organização responsável pelo projeto, em seus aspectos internos, favorece ou dificulta seu andamento. d. Avaliação do rendimento pessoal, onde importa considerar se os indivíduos envolvidos na implementação possuem habilidades e atitudes que favoreçam o desempenho das tarefas, se são capazes de aplicar seus conhecimentos e de sistematizar a própria experiência, assim como de organizar o trabalho e solucionar problemas concretos. Na avaliação da eficácia, analisa-se até que ponto estão sendo alcançados os resultados previstos e mesmo se os resultados previstos são pertinentes. Esta avaliação é feita em relação aos beneficiários do projeto e a seu impacto esperado. Este é, sem dúvida, o aspecto central a avaliar, estando os demais a serviço de alcançar resultados que efetivamente produzam efeitos sobre o problema colocado. A avaliação da eficiência refere-se à rentabilidade econômica que, em alguns casos, deve ser considerada dentro da avaliação. Diz respeito ao custo do projeto em relação aos resultados obtidos. Quando avaliar? Antes, durante e depois de realizado um projeto ou atividade. A avaliação realizada antes de um projeto ter início serve para determinar sua pertinência, viabilidade e eficácia potencial, para que se possa decidir sobre a conveniência de realizá-lo. Os aspectos a serem levados em conta são a coerência entre as soluções propostas e a realidade que se pretende modificar; a relação entre recursos e objetivos, objetivos gerais, específicos e metas e entre o diagnóstico e as proposições. A avaliação realizada durante a execução fornece informações sobre o andamento do projeto para ponderação de resultados, com o objetivo de estabelecer até que ponto a proposta inicial está sendo cumprida. Não se trata do controle operacional do projeto, pois a avaliação permite fazer um juízo sobre os pressupostos do projeto e decidir por sua manutenção ou não. Permite, ainda, que se decida se os objetivos e procedimentos operativos devem ser reformulados ou mantidos. A avaliação expost é a que se realiza após a conclusão do projeto, no sentido de determinar seu impacto sobre a situação inicial, assim como sua execução e funcionamento, a partir do que se pode aprender para aplicação em outros projetos. 4

5 Que funções a avaliação deve cumprir A avaliação pode ser somativa ou formativa. Por somativa, entende-se a avaliação que permite determinar em que medida foram alcançados objetivos ou produzidos os efeitos pretendidos, o valor do projeto em relação às necessidades dos beneficiários, julgando se o mesmo deve ou não ser mantido. A avaliação formativa refere-se ao processo de execução, servindo para melhorar seu funcionamento. São modalidades complementares a serem utilizadas de acordo com cada situação concreta. Tendo em vista que a organização está sujeita às turbulências e incertezas do ambiente, em muitos casos não seria possível estabelecer metas estáveis e permanentes. Isto faz com que a avaliação somativa seja de aplicação mais difícil, sendo mais viável uma avaliação que se adapte constantemente às situações que surgem, integrando no processo tanto os que decidem quanto os destinatários da informação. Sua função seria, mais precisamente, a de proporcionar decisões a partir de critérios de "satisfação suficiente", onde reduzir a incerteza e a turbulência tem prioridade sobre otimizar ou maximizar a ação proposta. Quem avalia A avaliação pode ser externa, interna, mista ou auto-avaliação. A externa recorre a avaliadores não vinculados à instituição executora do projeto. A interna tem como avaliadores pessoas da própria instituição, mas não diretamente responsáveis pela execução do projeto. Na avaliação mista, recorre-se a uma combinação das duas anteriores. Finalmente, a auto-avaliação é realizada pelas próprias pessoas encarregadas da execução do projeto. Cada uma desta opções possui vantagens e desvantagens. A avaliação interna tem como desvantagens à possibilidade de que aspectos negativos sejam minimizados, sendo ressaltados somente os positivos. Por outro lado, pode servir de instrumento em disputas internas entre grupos em conflito. Sua principal vantagem é o conhecimento sobre o quê está sendo avaliado, inclusive seus fatores históricos. A avaliação externa tem a vantagem de não estar envolvida nem com o objeto a ser avaliado nem com possíveis grupos em conflito. Por sua vez, podem escapar aos avaliadores externos vários aspectos que são familiares aos executores. Em vista disso, a conveniência de uma avaliação mista deve ser considerada como uma forma de equilibrar os aspectos relativos à objetividade e ao conhecimento necessário à avaliação. Qualquer que seja a escolha da organização a este respeito, deve-se levar em consideração como o público beneficiário avalia o projeto em que está envolvido. O conhecimento produzido por este público sobre um projeto tem grande valor: possibilita novos entendimentos sobre razões de êxitos, dificuldades e possíveis soluções em seu encaminhamento, serve para que este público possa posicionar-se sobre novas ações e decisões, além de promover maior integração com a organização. 5

6 Valores das organizações Por fim, um elemento que não se pode deixar de considerar na avaliação são os valores que pautam a ação das organizações que conduzem projetos sociais. Observa-se que esta ação é orientada para duas dimensões: uma individual, referida à auto-realização, que pode ser definida como concretização de potencialidades e satisfação, e outra coletiva, que se refere ao entendimento que cada organização desenvolve na direção de responsabilidade e satisfação sociais. Neste sentido, qualificar os valores que direcionam o trabalho da organização é um passo significativo quando se trata de conceber, acompanhar e avaliar projetos. O que ela entende por participação social, justiça, cidadania, por exemplo, deve ser sistematicamente revisto, de forma que possa analisar as mudanças no contexto onde está inserida e as possibilidades e limites de sua atuação. Desta forma, pode-se definir que valor um projeto deve ter e a partir de que parâmetros deverá ser avaliado. 6

7 COMO AVALIAR O DESEMPENHO DAS PESSOAS EM ORGANIZAÇÕES DO TERCEIRO SETOR Falando em avaliação... LILIANE G. DA COSTA REIS Os critérios podem ser claros ou não, os objetivos podem estar implícitos ou explícitos: de uma maneira ou de outra, o desempenho das pessoas é sempre avaliado numa organização. Portanto, aqui não se discute a necessidade ou não de avaliar o desempenho das pessoas; trata-se de ter ou não um sistema formalizado, por mais simples que seja, mas que sirva aos propósitos de cada organização. A nosso ver, um sistema formal tem grandes vantagens sobre critérios individuais de cada responsável por uma equipe ou grupo de pessoas: esclarece a todos os critérios utilizados pela organização, permite críticas e contribuições ao seu aprimoramento e amplia a capacidade da organização em estimular o desenvolvimento de seus colaboradores. Por outro lado, tal sistema só terá utilidade se for condizente com os valores da organização. Então, a primeira coisa a explicitar é: o que é importante para nós? Se o mais importante para uma organização for, por exemplo, a capacidade de articular parcerias em torno de seus projetos, este é o primeiro critério a ser utilizado na avaliação do desempenho das pessoas. Na área empresarial, os departamentos de Recursos Humanos são responsáveis por elaborar e desenvolver sistemas de avaliação e, mais recentemente, por capacitar os gerentes de várias áreas a se responsabilizarem por sua aplicação no dia-a-dia. No caso das organizações sem fins lucrativos, raramente há um departamento com esta finalidade específica e a questão tende a ser colocada em segundo plano, em relação a diversas outras prioridades. Desta forma, é um desafio a ser enfrentado pelas pessoas responsáveis pela gestão da organização. O que é avaliação de desempenho Aqui estamos falando sobre o desempenho de uma pessoa no cargo que ocupa: avaliar o desempenho significa fazer uma apreciação sistemática sobre o que cada pessoa realiza. No entanto, não se restringe ao presente ou ao passado; deve indicar, principalmente, como ela deve se desenvolver em relação ao futuro. É um processo dinâmico, que envolve o avaliado e seu gerente na solução de problemas, melhoria do trabalho e na consecução dos objetivos da organização. Pouco ou nada se aproveita de uma avaliação de desempenho se for caracterizada por um processo unilateral, onde somente o gerente tem o poder de decidir sobre o destino do avaliado. Por fim, deve ser encarada como um meio para melhorar os resultados das pessoas na organização. Não é um fim em si mesma. Deve permitir conhecer o potencial de cada pessoa em relação a novos desafios, ajuda a determinar necessidades de treinamento específico, proporciona oportunidades de crescimento profissional e de participação na organização, além de identificar problemas de supervisão em uma determinada área. 7

8 Passos importantes Para ser um processo que proporcione este tipo de resultado, exige algumas medidas que devem estar em consonância com o espírito da avaliação: Objetivos consensuais e compromisso Dentro dos objetivos organizacionais é possível estabelecer metas pessoais, negociadas entre o avaliado e seu gerente. Negociar metas tem a vantagem de fazer com que o acordo firmado se realize, uma vez que o compromisso é intimamente assumido. Observa-se que o desempenho melhora quando objetivos específicos são estabelecidos. Meio e recursos necessários Para que metas sejam atingidas, devem ser definidos os recursos a utilizar: equipamentos, o trabalho de outras pessoas ou da equipe, investimentos na qualificação e desenvolvimento profissional. Comparação entre resultados e objetivos A medição de resultados ajuda a caracterizar o desempenho, uma vez que torna claro o andamento das tarefas e fornece uma medida para o esforço do avaliado. Feedback Significa proporcionar informação e suporte na comunicação. O avaliado precisa saber como está caminhando em seus esforços e se está no rumo dos resultados acordados. É importante dar ao avaliado a oportunidade de discutir pontos fortes e fracos, estabelecendo novos objetivos. Quando avaliar Propomos aqui que a avaliação de desempenho deve ser contínua; não é necessário aguardar um momento específico para ser realizada. Deve ser encarada, principalmente pela gerência, como contribuição ao aprimoramento de cada pessoa em relação aos objetivos que deseja alcançar. Quanto mais próximo se puder dar e receber feedback sobre uma tarefa ou projeto, melhor. Isto facilita o entendimento da situação que se está vivendo e permite modificações. A tendência mais atual é manter a avaliação não estruturada e flexível, através do contato direto entre superior e avaliado, sem depender de relatórios e longos processos de busca e análise de informação. Levam em consideração as pessoas, equipes e a organização como um todo, proporcionando espaço para o surgimento de inovações em vários de seus processos. Este tipo de avaliação, com ênfase nos resultados permite também a avaliação "para cima", onde a equipe avalia o gerente e seu papel na gestão dos recursos disponíveis para o trabalho, abrindo perspectivas para relações de trabalho mais eficazes. Objetivos e indicadores de avaliação Em primeiro lugar, é preciso definir para que serve a avaliação de desempenho; serve-se a um propósito único ou a vários objetivos. Como é muito difícil eleger indicadores que sirvam a múltiplos propósitos (revisão de salários, manutenção de empregados, relação com resultados obtidos etc.), o melhor é que a cada objetivo correspondam indicadores adequados. Alguns objetivos são: 1. permitir o conhecimento sobre como o desempenho é visto com relação aos objetivos da organização e sobre áreas de aperfeiçoamento; 2. estabelecer a relação entre desempenho e decisões sobre salários; 8

9 3. informar decisões sobre promoções, transferências, desligamentos; 4. identificar necessidades de treinamento; 5. melhorar a seleção de novos empregados. Indicadores sistêmicos: Atualmente, busca-se apontar indicadores que expressem os objetivos da organização, como um todo, ligados ao planejamento estratégico, à visão da organização, ao público que pretende servir. Então, é necessário definir quais são os indicadores relevantes para cada organização. Conforme no exemplo inicial, é o caso de se perguntar "Em que medida cada uma das pessoas contribui para obter, desenvolver e manter parcerias relevantes para a organização?" Outros indicadores podem estar ligados à satisfação dos públicos atingidos, qualidade dos serviços oferecidos, impactos dos projetos, inovações, novos métodos de trabalho. O trabalho em organizações do terceiro setor Se considerarmos as características do trabalho em organizações do terceiro setor, observa-se a estruturação em torno do desenvolvimento de programas e projetos; possuem estrutura enxuta e horizontal; vêem-se na tensão entre responder a novas demandas externas e realizar o planejado; mantêm intenso diálogo interno e com o público que atendem; dão preferência a relações não hierarquizadas; a troca de informações é constante; possuem forte sentido de responsabilidade quanto à missão; ocorre debate intenso para obter consensos; estabelecem relações com outras, em redes formais e informais. Podemos dizer que, neste caso, são dois os objetivos principais da avaliação de desempenho: melhorar o que as pessoas fazem e manter a organização em dia com seu universo de ação. Tais características ensejam que a prática de avaliação de desempenho como um processo dinâmico e participativo, longe de tornar-se um problema, pode ser, além de fator de motivação e aprimoramento, uma alavanca para tornar a organização mais dinâmica e atualizada quanto a novos desafios. 9

10 INDICADORES DE RESULTADOS DE PROJETOS SOCIAIS O contexto do debate LEANDRO LAMAS VALARELLI A idéia da construção de indicadores de resultados para projetos vem ganhado força entre dirigentes e técnicos dos vários tipos de organizações do terceiro setor, seus financiadores e doadores, assim como junto ao público beneficiado, órgãos governamentais, parlamentares, imprensa etc. Principalmente a partir da Conferência Rio 92, que deflagrou intenso debate sobre o impacto do terceiro setor na sociedade, na esteira da visibilidade das ongs e do surgimento de inúmeras novas organizações. Em grande parte, a motivação para a avaliação mais precisa de resultados e impactos dos projetos tiveram origem nas agências doadoras e financiadores da cooperação internacional. Além de preocupadas em saber os efeitos e resultados de tantos anos de apoio a organizações do Terceiro Mundo, se viram pressionadas por seus governos e contribuintes a apresentar os resultados efetivos da cooperação não governamental. As perguntas eram e continuam sendo: a ajuda ao Terceiro Mundo está revertendo os quadros de pobreza, miséria, desigualdade social e ausência de direitos básicos? A reação de muitas organizações a esta demanda se deu como crítica à utilização das noções de eficiência e eficácia na mensuração de processos complexos, por expressar uma visão economicista e mecânica da realidade. Ou seja, que esta lógica já trazia, de início, uma concepção discutível. Por exemplo, estabelecer indicadores e avaliar se um projeto de fato contribui para a democratização ou para a cidadania, para o fortalecimento da sociedade civil ou para o combate à miséria e à pobreza implica em clarear a noção que cada um tem destes conceitos e estabelecer a relevância de aspectos econômicos, políticos, culturais que incidiriam e deveriam ser objeto da ação dos projetos. Na prática, o que se gerou foi à recusa ou resistência a construir um sistema de indicadores. O debate não é falso. No seu interior estão presentes visões às vezes bastante distintas, opostas até, sobre qual deveria ser o papel e, portanto, o impacto dos projetos das organizações do terceiro setor. Mas a saída não está em jogar fora à criança junto com a água do banho. É possível, além de útil e necessário, construir um sistema com parâmetros e critérios de avaliação de projetos e organizações que expressem, de modo claro e compreensível, os pressupostos de cada um na escolha e priorização de um conjunto de indicadores. Deste modo, é possível abrir um diálogo com os outros grupos na sociedade brasileira e da cooperação internacional. Atualmente, passado o estágio inicial, há um rico processo no qual muitas organizações admitem a necessidade e se percebem motivadas a desenvolver um sistema de indicadores de resultados que lhes seja adequado. Querem elas mesmas ter condições de avaliar até que ponto os objetivos a que se propõem estão sendo alcançados e porque, visando melhorar sua atuação. E o que é melhor: este processo ocorre cada vez menos como imposição e mais como diálogo entre diversas visões e interesses dos vários sujeitos envolvidos. O que são e para que servem 10

11 Em projetos sociais, indicadores são parâmetros qualificados e/ou quantificados que servem para detalhar em que medida os objetivos de um projeto foram alcançados, dentro de um prazo delimitado de tempo e numa localidade específica. Como o próprio nome sugere, são uma espécie de "marca" ou sinalizador, que busca expressar algum aspecto da realidade sob uma forma que possamos observá-lo ou mensurá-lo. A primeira decorrência desta afirmação é, justamente, que eles indicam, mas não é a própria realidade. Baseia-se na identificação de uma variável, ou seja, algum aspecto que varia de estado ou situação, variação esta que consideramos capaz de expressar um fenômeno que nos interessa. Na medicina, por exemplo, a temperatura corporal é uma das muitas variáveis para se avaliar se uma pessoa está doente ou não. Uma temperatura acima do normal - a febre - não é a própria doença, mas mostra que o organismo está combatendo alguma infecção. A partir da variável temperatura, construiu-se o indicador: uma escala que mede sua variação, na qual a temperatura de 36,5 graus Celsius é considerada a normal, quando medida por um período de três minutos. Acima disso, considera-se que a pessoa está com febre, em graus progressivos. Assim, a doença é o estado ou situação que pretendemos avaliar; a temperatura é a variável utilizada; a escala em graus Celsius que define o que é normal e o que é febre é o indicador; o termômetro é o instrumento ou o meio de verificação. Em se tratando de projetos sociais, lidamos com realidades complexas nas quais muitos fatores e sujeitos intervêm e moldam as relações e processos. Um projeto baseia-se na intenção de atuar nesta complexidade, perseguindo objetivos de mudança numa situação considerada como problema ou necessidade. Com suas atividades, relacionando-se com a ação dos demais sujeitos na sociedade, pretende produzir resultados que, no conjunto, contribuam para modificar aquela situação. Por isso, os resultados de um projeto social nunca são uma certeza, mas um investimento, uma aposta na possibilidade de alcançá-los. Não havendo certezas, é preciso construir meios de verificação que auxiliem a perceber o rumo das mudanças que se consegue produzir. Vejamos um exemplo hipotético. Imaginemos um projeto que pretenda reduzir a mortalidade infantil numa comunidade. Após analisar os fatores e causas envolvidos, estabeleceu-se como objetivo que as famílias adotem melhores comportamentos e hábitos ligados à maternidade e à saúde infantil: realização de exames pré-natais, valorização da amamentação, adoção de cuidados de higiene e saúde infantil etc. Um resultado pretendido é elaborar um sistema de orientação e apoio baseado em agentes comunitários de saúde atuando junto às famílias quanto a novos procedimentos. 11

12 As atividades são seleção e capacitação de agentes, realização de visitas a famílias, cursos e campanhas na comunidade. Além do acompanhamento das atividades, é importante desenvolver meios e instrumentos para responder às seguintes perguntas: a. Os resultados do projeto estão sendo atingidos? Os agentes comunitários estão realmente capacitados e orientando adequadamente a população da comunidade? b. O objetivo do projeto está sendo alcançado? Os moradores da comunidade estão utilizando o conhecimento e orientação dos agentes comunitários, adotando novos comportamentos? c. O objetivo geral do projeto, a redução na mortalidade infantil, está sendo alcançado? Esta redução (ou não) pode ser, de fato, atribuída às ações do projeto ou são resultantes de outros fatores? Para que as respostas a estas perguntas não sejam apenas opiniões ou impressões, é necessário utilizar indicadores, que devem ser definidos logo na fase de planejamento, e não ao final. Assim, viabilizam o monitoramento, permitem reorientações de rumo e possibilitam o aprendizado sobre a realidade na qual intervém o projeto. Tipos e características de indicadores Os indicadores podem ser utilizados para medir ou revelar aspectos relacionados a diversos planos da vida social: individual e familiar, coletivo e associativo, das relações sociais, políticas, econômicas e culturais da sociedade. Podem, por exemplo, medir a disponibilidade de bens, serviços e conhecimentos e o acesso que determinados grupos têm a eles; a relevância que possuem na vida das pessoas e instituições; a qualidade e o grau de utilização de algo. Além disso, podem também captar processos, em termos de intensidade e sentido de mudanças. Dizemos, então, que os indicadores se referem a aspectos tangíveis e intangíveis da realidade. Tangíveis são os facilmente observáveis e aferíveis quantitativa ou qualitativamente, como renda, escolaridade, saúde, organização, gestão, conhecimentos, habilidades, formas de participação, legislação, direitos legais, divulgação, oferta etc. Já os intangíveis são aqueles sobre os quais só podemos captar parcial e indiretamente algumas manifestações: consciência social, autoestima, valores, atitudes, estilos de comportamento, capacidade empreendedora, liderança, poder, cidadania. Como são dimensões complexas da realidade, processos não lineares ou progressivos, demandam um conjunto de indicadores que apreendam algumas de suas manifestações indiretas, "cercando" a complexidade do que pretendemos observar. 12

13 Na construção de indicadores, considera-se a diferença e a coerência que guardam entre si a variável a observar, o indicador utilizado e o meio ou fonte de verificação. É comum tomar-se um pelos outros. Pretende-se avaliar as mudanças na qualidade de vida de um grupo geradas por meu projeto, posso escolher uma ou muitas variáveis dentre diversas possibilidades: renda familiar, posse de bens materiais, condições de moradia, saúde, escolaridade etc. Após escolher a variável renda familiar, inicia-se o trabalho de construção do indicador, como por exemplo: Porcentagem de famílias do grupo alvo cuja renda aumentou nos últimos 24 meses; Porcentagem de famílias do grupo alvo com aumento de renda superior ao daquelas não atingidas pelo projeto, nos últimos 24 meses. Cada um fornece ângulos diferentes da realidade. O primeiro pode ser enganador, pois se a porcentagem de famílias do grupo alvo com aumento de renda for igual ou próxima da que ocorre com famílias não atingidas pelo projeto, o indicador nos induziria a pensar que o projeto contribuiu para isto, quando na realidade não teria gerado mudança significativa. Portanto, além de construir os indicadores de forma precisa e adequada ao que pretendemos detectar, eles devem ser capazes de revelar mudanças efetivamente atribuídas às ações do projeto. O meio ou fonte de verificação também são muito importantes. Além de definir entre uma pesquisa ou levantamento, qual a freqüência e número de pessoas consultadas e se através de pesquisa domiciliar, estatísticas existentes ou depoimentos de famílias em reuniões. É fácil perceber que cada indicador e meio de verificação exigirá do projeto procedimentos e quantidade de recursos (humanos, materiais, financeiros e tempo) distintos. Além disso, os indicadores podem ser quantitativos ou qualitativos. Quantitativos quando procuram focar processos satisfatoriamente traduzíveis em termos numéricos, tais como valores absolutos, médias, porcentagens, proporções etc. Qualitativos quando relacionados a processos onde é preferível utilizar referências de grandeza, intensidade ou estado, tais como forte/fraco, amplo/restrito, frágil/estruturado, ágil/lento, satisfatório/insatisfatório e assim por diante. Utilizando o exemplo acima, podemos dizer que um bom indicador possui as seguintes características: Variável: renda familiar mensal. O quê: porcentagem das famílias do grupo alvo que tiveram aumento de renda superior à média da renda das famílias não atingidas pelo projeto. Quem: 50% famílias que têm participado das atividades do projeto e amostra aleatória com 5% das demais famílias da comunidade. Variação esperada (da quantidade ou qualidade): 10% na situação atual (dado já levantado), 40% ao final de 12 meses e 80% após 24 meses. Tempo: últimos 24 meses, mês a mês. Lugar: Comunidade X É atribuível ao projeto? Sim. Compara as mudanças no grupo alvo com as da população não atingida pelo projeto. 13

14 Meio ou fonte de verificação: Tabelas mensais elaboradas pelos voluntários da faculdade de economia, a partir de questionários aplicados às famílias selecionadas para acompanhamento. Viabilidade: Não mobiliza recursos do projeto e a presença dos estudantes foi garantida em acordo com o diretor e professores da faculdade. Eficiência, eficácia, efetividade e impacto A escolha dos indicadores em um projeto também ocorre em função dos ângulos que se quer avaliar: sua eficiência, eficácia, efetividade ou impacto. Eficiência diz respeito à boa utilização dos recursos (financeiros, materiais e humanos) em relação às atividades e resultados atingidos. Por exemplo, atividades planejadas X realizadas, custo total X pessoas atingidas, quantidade de cursos X pessoas capacitadas. Eficácia observa se as ações do projeto permitiram alcançar os resultados previstos. Um programa de capacitação permitiu aos seus participantes adquirir novas habilidades e conhecimentos? A criação de uma cooperativa realmente implicou em melhorias na produção e comercialização de produtos? Efetividade examina em que medida os resultados do projeto, em termos de benefícios ou mudanças gerados, estão incorporados de modo permanente à realidade da população atingida. Por exemplo, se um grupo mantém no tempo novos comportamentos e atitudes ou se a assessoria a um grupo permitiu que ele se mantivesse por iniciativa e motivação própria. Impacto diz respeito às mudanças em outras áreas não diretamente trabalhadas pelo projeto (temas, aspectos, públicos, localidades, organizações etc.), em virtude de seus resultados, demonstrando seu poder de influência e irradiação. Por exemplo, se um programa de orientação de saúde gerou na população ações de reivindicação e negociação com a prefeitura para obras de saneamento básico na comunidade; se o trabalho junto a um grupo portador de deficiência animou-os a se organizarem e provocou mudanças no comportamento da comunidade em relação a eles; se os resultados positivos de um programa de capacitação de empreendedores fizeram com que o seu modelo fosse adotado e reproduzido em outros locais. Sistema de indicadores Qual a combinação mais adequada de indicadores quantitativos e qualitativos, tangíveis e intangíveis, diretos e indiretos? Dar mais ênfase à eficiência, eficácia ou efetividade? Quantos indicadores são necessários para fornecer uma base confiável de informação para o monitoramento e a avaliação? Um conjunto de fatores interfere nestas decisões e por isso falamos, mais propriamente, de sistema de indicadores. Dentre estes fatores, destacamos: 14

15 a) Concepções, interesses e enfoques das organizações envolvidas Um sistema de indicadores é sempre resultado do processo de diálogo e negociação entre os diferentes sujeitos envolvidos. Cada organização tem uma leitura dos problemas sociais, de suas causas e possíveis soluções; possui valores próprios e atribui para si uma missão ou papel na resolução destes problemas. Adota um enfoque sobre que dimensões o projeto deve abordar e cria expectativas sobre o ganho e o aprendizado que terá com ele. Voltando ao exemplo utilizado, dentre as organizações responsáveis pela implementação das ações, uma tem a visão de que o projeto deve gerar maior grau de interesse e participação da comunidade na solução de seus problemas mais gerais. Portanto, prioriza indicadores qualitativos e indiretos que captem resultados em termos de aumento da participação social e política na comunidade. Outra organização considera que o projeto também deve contribuir para mudar a divisão tradicional de papéis entre homens e mulheres no cuidado com os filhos, priorizando indicadores quantitativos e qualitativos que demonstrem em quantas famílias os homens passaram a dividir as tarefas de acompanhamento da saúde dos filhos. Uma terceira deseja testar a metodologia de capacitação de agentes comunitários e quer indicadores qualitativos de eficácia destas atividades. Um financiador dá ênfase à eficiência e prefere avaliar a relação custo do projeto X número de famílias atingidas. Outro valoriza o objetivo de influenciar as políticas municipais de assistência à saúde e, por isso, defende o uso de indicadores indiretos, qualitativos e quantitativos, que captem que iniciativas do governo e da sociedade foram estimuladas a partir do projeto. A associação de moradores, por sua vez, com interesse central na rápida redução da mortalidade infantil, propõe indicadores quantitativos ligados à efetividade do mesmo. Na fase do planejamento do projeto, é fundamental explicitar francamente as diferentes visões e expectativas envolvidas. Deve-se considerar também que algumas agências e fundações já possuem sistemas de indicadores estruturados, que guardam estreita relação com a visão que possuem sobre os objetivos estratégicos de um projeto social. Portanto, construir indicadores que traduzam concretamente os objetivos e resultados do projeto, bem como negociar a prioridade de cada um, ajudará a tornar mais nítidas as posições em jogo, aumentando o consenso em torno do que se pretende alcançar e diminuindo as chances de conflito no futuro, pois estabelece previamente que parâmetros serão utilizados na avaliação. b) O contexto Cada projeto requer um sistema de indicadores próprio. Mesmo que o conjunto de variáveis utilizadas seja semelhante aos de outros projetos, os indicadores deverão retratar as condições específicas de cada realidade. O grau de conhecimento sobre uma situação, bem como a quantidade e qualidade de informações já existentes e disponíveis, determinam se o projeto utilizará dados facilmente acessíveis ou se deverá produzi-los por sua própria conta. Por isso, muitos projetos iniciam pela realização de diagnósticos e pesquisas, para obter informações mais precisas sobre a realidade, configurando a situação inicial ou os pontos de partida para a construção dos indicadores. As características políticas, sociais, econômicas, históricas e culturais podem determinar a possibilidade ou não do uso de alguns indicadores. Em situações onde 15

16 seja muito delicado, difícil e até mesmo indesejável produzir informações a partir de levantamentos e perguntas diretas, devido à resistência da população a esta abordagem, poderá ser mais adequado um indicador indireto, menos preciso e baseado em observações qualitativas. A trajetória de cada grupo e região pode apontar a importância de se valorizar pequenas mudanças que nada significariam em outras situações mas que, naquele contexto particular, assumem outra proporção e significado. c) O modo de gestão Um projeto cuja gestão prioriza a dimensão do controle tenderá mais facilmente a enveredar para a produção de um sistema de indicadores complexo, muito detalhado, apoiado em planilhas e dados quantitativos enviados ao topo da hierarquia. Por outro lado, uma gestão voltada para o aprendizado e o aperfeiçoamento poderá estar apoiada em um sistema mais simples, com poucos, porém relevantes, indicadores. Os limites dos indicadores podem ser plenamente compensados por discussões envolvendo as várias pessoas e organizações e pela utilização de outras fontes de informação e análise da realidade que permitam ampliar a compreensão sobre outros fatores e processos a considerar. Um bom conjunto de indicadores pode valer muito pouco se não estão bem definidas as responsabilidades pela produção e coleta das informações, pela sua análise e pela tomada de decisões. É comum produzirem-se montanhas de informação, os chamados cemitérios de dados, que ninguém consegue aproveitar ou analisadas por pessoas sem poder de decisão. d) Recursos O tempo estabelecido para a duração do projeto determina também a possibilidade da utilização de indicadores. Alguns indicadores de impacto muitas vezes só nos dizem alguma coisa quando vistos em prazos longos. Por sua vez, a disponibilidade de recursos humanos, materiais e financeiros também condicionam a escolha dos indicadores: alguns parecem "perfeitos", mas o tempo, recursos financeiros ou atividades exigidos superam as possibilidades existentes. Grandes projetos, ao contrário, podem requerer unidades especificamente orientadas para a coleta e produção de informações do sistema de indicadores. Características de um bom sistema de indicadores Um bom sistema de indicadores para monitoramento e avaliação de resultados apresenta as seguintes características: É coerente com a visão e com a concepção que as organizações envolvidas têm sobre os objetivos centrais e as dimensões que um projeto deve considerar e resulta da negociação transparente e não impositiva dos diferentes interesses e expectativas; 16

17 Considera as particularidades do contexto e foi desenvolvido a partir de um bom conhecimento da realidade na qual se vai intervir; Define indicadores que captam os efeitos atribuíveis às ações, serviços e produtos gerados pelo próprio projeto; Tem indicadores bem definidos, precisos e representativos dos aspectos centrais da estratégia do projeto, sem ter pretensão de dar conta da totalidade; Está orientado para o aprendizado, estimulando novas reflexões e a compreensão pelos vários envolvidos sobre a complexidade dos fatores que podem determinar ou não o alcance dos objetivos; Prevê e especifica os meios de verificação que serão utilizados, bem como os responsáveis pela coleta de informação, pela análise e tomada de decisões; Combinam, de modo adequado à natureza do projeto, indicadores relativos à eficiência, eficácia e efetividade; É simples, capaz de ser compreendido por todos, e não apenas por especialistas, sem ser simplista; É viável do ponto de vista operacional e financeiro; Fornece informações relevantes e em quantidade que permite a análise e a tomada de decisão; Aproveita as fontes confiáveis de informação existentes, poupando recursos, tempo e energia do projeto. 17