VISÃO GERAL Breve resumo Esse pacote de ferramentas lida com os elementos básicos para se inserir e utilizar um sistema de avaliação e monitoramento para um projeto ou uma organização. Ele esclarece o que monitoramento e avaliação são, como planejar a sua execução, como desenhar um sistema de monitoramento e como criar um processo de avaliação que associe tudo isso de uma maneira útil. Ele analisa como coletar informações, evitando que você se afogue numa análise de dados relativamente descabida ou excessiva em informações desnecessárias. Por fim, este pacote suscita e tenta aplicar diretamente sua fórmula a alguns dos tópicos a serem revigorados com base no que foi ensinado. Por que um pacote detalhado de ferramentas para monitoramento e avaliação? Se você não se importa com a maneira como conduz seu trabalho ou qual o impacto têm suas atitudes, por que se importar com qualquer outra coisa? Avaliação e monitoramento possibilitam analisar a qualidade e o impacto de seu trabalho em relação ao seu plano de ação e seu plano estratégico. Para que a avaliação e o monitoramento sejam realmente válidos, você precisa ter planejado corretamente. Um planejamento correto é tratado com detalhes em outros pacotes de ferramentas nesta mesma página da internet. Quem deve se utilizar deste pacote de ferramentas? Este pacote será útil ao leitor e leitora interessados na eficiência, na eficácia e no impacto de seus trabalhos em um projeto ou em uma organização. Quando este pacote será útil? Este pacote será útil quando: Você estiver estruturando sistemas para a coleta de dados durante as fases de planejamento de um projeto ou uma organização; Você quiser analisar os dados coletados através de um processo de monitoramento; Você estiver interessado em descobrir como está a eficiência e a eficácia de seu trabalho; Você atingir um estágio de seu projeto ou um período na vida da sua organização, no qual imagine ser útil avaliar o tamanho do impacto do trabalho que está obtendo; Doadores solicitam uma avaliação externa de sua organização e/ou trabalho. Ainda que haja uma tendência de enxergar em organizações de sociedade civil uma avaliação como algo que acontece quando um doador insiste em ter uma, de fato, uma avaliação e um monitoramento são ferramentas imprescindíveis de trabalho. Sem uma noção de como se está caminhando em relação a indicadores e metas, os recursos terminam sendo desperdiçados e não modificam a situação inicialmente identificada. O monitoramento e a avaliação habilitam para que se faça essa análise corretamente. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 1
VISÃO GERAL Pg. 1 PRINCÍPIOS BÁSICOS Pgs. 2-40 MELHORES PRÁTICAS Pgs. 41-46 RECURSOS Pg. 49 GLOSSÁRIO Pgs. 50-52 Exemplos Exemplos de indicadores pgs. 42-43 Estudo de Caso: Desenhando um sistema de Monitoramento pgs. 44-46 Formato do Relatório de Campo pgs. 47-48 O que é Monitoramento e Avaliação? Pgs. 3-4 Por que fazer Monitoramento e avaliação? Pgs. 4-5 Mais informações a respeito de monitoramento e avaliação o que está envolvido e suas diferentes ligações pgs. 6-10 Planejamento para Monitoramento e Avaliação pg. 11 O que queremos saber? pg. 12-15 Tipos diferentes de informação quantitativa e qualitativa pg. 16 Como obteremos a informação? pg. 17 Quem deve estar envolvido? Pg. 18 Indicadores Estruturando um processo de monitoramento e/ou avaliação pg. 19 Monitoramento pg. 20-22 Avaliação pg. 23 Propósito pg. 24 Coletando Informações p. 27 Questões centrais para a avaliação pg. 25 Metodologia pg. 26 Diretrizes e controles de dano pg. 28-29 Métodos pgs. 30-33 Analisando Informações pg. 35 Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 2 Tomando atitudes pgs. 36 Relatório pg. 37 Aprendendo pg. 39 Tomada de decisões eficazes pg. 40 Lidando com contrariedades pg. 41
PRINCÍPIOS BÁSICOS O que é monitoramento e avaliação? Por mais que a expressão monitoramento e avaliação tenda a ser escrita como se as duas coisas parecessem uma única coisa, monitoramento e avaliação são de fato, duas formas distintas de atividades organizacionais, relacionadas, porém jamais idênticas. O Monitoramento é uma coleta sistemática e uma análise da informação de como um projeto progride. É criado para melhorar a eficiência e a eficácia de um projeto ou organização. É baseado em metas e atividades dirigidas durante as fases de planejamento do trabalho. Auxilia a manter o trabalho em sua linha geral e possibilita ao gerenciamento identificar quando as coisas não estão andando corretamente. Se utilizado corretamente, torna-se uma ferramenta inestimável para um bom gerenciamento e fornece uma base de avaliação muito útil. Habilita saber se os recursos estão sendo bem utilizados e se serão suficientes para o que está sendo feito; se sua capacidade de trabalho é suficiente e apropriada; e se você está realizando aquilo que planejou fazer (verifique também o pacote de ferramentas para o planejamento de ações). A Avaliação é a comparação do real impacto do projeto em relação ao planejamento estratégico estudado anteriormente. Averigua o que foi formulado para ser realizado com o que foi feito e como isso foi alcançado. Pode ser formativa (sendo elaborada ao mesmo tempo em que ocorre o projeto ou existe a organização, com a intenção de melhorar a estratégia ou a forma do funcionamento de um projeto ou organização). E pode também ser resumida (aferindo aspectos de ensinamentos para um projeto finalizado ou uma organização que deixou de existir). Uma vez, uma pessoa descreveu a diferença entre os dois como sendo a diferença entre uma avaliação médica geral e uma autópsia! O que a avaliação e o monitoramento têm em comum é que ambos são estruturados durante o aprendizado do que se está fazendo e como se está fazendo, focalizando: Eficiência Eficácia Impacto A Eficiência diz que o insumo empreendido em seu trabalho é apropriado em termos de resultados. Isso pode ser insumo em termos de dinheiro, tempo, equipe, equipamento e assim por diante. Quando você trilha um projeto e está preocupado com sua replicabilidade, ou com a maneira como ele se desenvolverá numa projeção de escala (veja o Glossário), então, é muito importante que se tenha o elemento de eficiência corretamente. Eficácia é a medida de extensão do qual um programa de desenvolvimento ou projeto alcança com os objetivos específicos que traçou para si. Se, por exemplo, foi traçado melhorar as qualificações de todos os professores de segundo grau de uma determinada área, nós conseguimos? Impacto diz se o que você realizou fez ou não alguma diferença em relação ao problema da situação que você tentou solucionar. Em outras palavras, sua estratégia foi útil? Houve uma melhora, ao final de contas, na taxa de aprovação dos alunos no final do ano quando se assegurou uma maior qualificação dos professores? Antes de se decidir por crescer ou Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 3
duplicar o projeto você precisa estar certo de que o que está sendo realizado está fazendo sentido nos termos do impacto que se quer atingir. A partir disso, deveria estar claro que o monitoramento e avaliação são mais bem realizados quando foi estruturado previamente um planejamento que vislumbre seus alcances e progressos. Existem três pacotes de ferramentas que lidam diretamente com relação a isso a visão geral de planejamento, um planejamento estratégico e um planejamento de ação. Nesta seção, analisamos com mais profundidade por que fazer uma avaliação e um monitoramento? e mais a respeito de monitoramento e avaliação, e o que isso envolve. Isso inclui uma discussão das diferentes abordagens de monitoramento e avaliação e o que pensar a respeito de quando se utiliza um avaliador externo. POR QUE FAZER MONITORAMENTO E AVALIAÇÃO? O monitoramento e a avaliação habilitam que se averigúe o ponto fundamental (consulte o Glossário) de um desenvolvimento de trabalho: Não, estamos tendo lucro?, mas estamos fazendo a diferença?. Através de monitoramento e avaliação, pode-se: Revisar o progresso; Identificar os problemas em planejamento e/ou implementação; Promover ajustes para que se possa mais fortemente fazer a diferença. Em muitas organizações, monitoramento e avaliação é alguma coisa vista mais como uma requisição de doadores do que uma ferramenta de gerenciamento. Doadores certamente têm todo o direito de saber se seu dinheiro está sendo gasto de maneira apropriada e se está sendo bem gasto. Porém, primariamente (e muito mais importante) o uso da avaliação e monitoramento deve ser feito para a própria organização ou projeto saber como está andando em relação aos seus objetivos, se está tendo um impacto, se está se trabalhando com eficiência e para aprender a ser melhor. Planos são essenciais, mas não são feitos de concreto (fixados de forma totalmente inflexível). Se não estão funcionando, ou se as circunstâncias mudaram então os planos também devem sofrer mudanças. O monitoramento e avaliação são ferramentas que ajudarão um projeto ou organização a perceber quando seus planos não estão funcionando ou quando as circunstâncias sofreram mudanças. Eles fornecem ao gerenciamento a informação necessária para tomadas de decisões a respeito do projeto e da organização das mudanças que se mostrem necessárias em relação aos planos ou a própria estratégia. Através disso, as constantes permanecem como pilares da rede estratégica: a análise de problemas, a visão e os valores da organização ou do projeto. Tudo o mais pode ser renegociável (veja também o pacote de planejamento estratégico). Fazer algo errado não é um crime. Falhar e não mostrar que aprendeu com erros do passado por não ter feito um monitoramento e avaliação, é. O efeito do monitoramento e avaliação pode ser visto no ciclo a seguir. Observe que você monitorará e ajustará diversas vezes antes que esteja preparado para fazer uma avaliação e possa planejar novamente. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 4
Implementar Avaliar/aprender / decidir Planejar Refletir/aprender /decidir/ajustar Implementar Monitorar Implementar Refletir/ aprender/ decidir/ajustar Monitorar É importante reconhecer que o monitoramento e a avaliação não são varinhas de condão que podem ser simplesmente usadas como um passe de mágica, solucionando problemas, ou remediando dificuldades, ou fazendo mudanças miraculosas, sem uma boa dose de trabalho duro sendo feito para a realização do projeto ou organização. Em si mesmos, eles não são soluções, mas são ferramentas valiosas. O monitoramento e a avaliação podem: Ajudar a identificar problemas e suas causas; Sugerir soluções possíveis para problemas; Levantar questões quanto à estratégia e às previsões realizadas; Levar você a refletir para onde está indo e de como você está chegando lá; Providenciar informações e aspectos internos; Encorajá-lo a agir a respeito dessas informações e aspectos; Aumentar suas possibilidades de acerto que farão uma diferença de desenvolvimento positiva. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 5
MAIS INFORMAÇÕES A RESPEITO DE MONITORAMENTO E AVALIAÇÃO Monitoramento envolve: Estabelecer indicadores (consulte o Glossário) de eficiência, de eficácia e de impacto; Estabelecer sistemas para coleta de informações, relacionando estes indicadores; Coletar e gravar a informação; Analisar a informação; Utilizar a informação para informar ao gerenciamento diariamente. O monitoramento é uma função interna em qualquer projeto ou organização. Avaliação envolve: Avaliar o que o projeto ou a organização pretendem atingir qual diferença quer fazer? Qual impacto quer ter? Reconhecer seu progresso com relação ao que almejava, suas metas de impacto. Examinar a estratégia de um projeto ou organização. Houve uma estratégia? Houve eficácia em se seguir a estratégia proposta? A estratégia funcionou? Se não, por que não? Examinar como as coisas funcionaram. Houve um uso eficiente dos recursos? Quais foram os custos de oportunidade (veja o Glossário) com a maneira que se optou por trabalhar? Quão sustentável é a forma pela qual o projeto e a organização trabalham? Quais são as implicações para os diversos agentes envolvidos pelo modo com que a organização trabalha? Numa avaliação, avaliamos eficiência, eficácia e impacto (consulte Glossário). Existem muitos tipos diferentes de se fazer uma avaliação. Alguns dos termos mais comuns com que você poderá se deparar são: Auto-avaliação: Isso requer uma organização ou projeto que segure um espelho diante de si mesmo e analise o que faz, como uma forma de prática para melhoramento e aprendizagem. Exige que se tenha uma organização muito honesta e auto-reflexiva para fazer isso de forma eficaz, contudo isso pode ser uma experiência de aprendizagem muito importante. Avaliação participatória: Esta é uma forma de avaliação interna. A intenção é reunir o maior número de pessoas possível que tenham participação direta no trabalho que está sendo realizado. Isso pode significar beneficiários e equipe do projeto trabalhando em conjunto nesta avaliação. Se alguém de fora for chamado será para agir como facilitador do processo, não avaliador. Estimativa Participatória Rápida: Originalmente utilizada em áreas rurais, a mesma metodologia pode, na verdade, ser aplicada na maioria das comunidades. Este é uma forma qualitativa (consulte o Glossário) de se fazer avaliações. É conduzida e semi-estruturada por um time interdisciplinar e levada por um curto período de tempo. É utilizada como base de início para se entender uma situação local e é uma maneira rápida, útil e barata de se armazenar informações. Envolve o uso de revisões de dados secundárias (consulte o Glossário), observação direta, entrevistas semi-estruturadas, informantes chave, entrevistas de grupos, jogos, diagramas, mapas e Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 6
calendários. Em um contexto de avaliação, ele permite que se obtenham dados valorosos daqueles que supostamente estão se beneficiando do trabalho de desenvolvimento. É flexível e interativo. Avaliação externa: É uma avaliação feita por um time de fora ou alguém externo cuidadosamente escolhido. Avaliação interativa: Isso requer uma interação muita ativa entre o avaliador ou time externo e a organização ou projeto sendo avaliado. Às vezes, alguém de dentro pode ser incluído no time de avaliação. Para mais informações de vantagens e desvantagens das avaliações internas e externas, veja a próxima página. Para maiores informações a respeito de um avaliador externo, vá para a página 9. Para maiores informações de diferentes tipos de abordagens para avaliação, vá para a página14. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 7
Ξ VANTAGENS E DESVANTAGENS DE AVALIAÇÕES INTERNAS E EXTERNAS Avaliação interna Avaliação Externa (feita por um time ou pessoa sem interesses especiais pelo projeto em questão) Vantagens Os avaliadores têm muita familiaridade com o trabalho, com a cultura organizacional e com seus objetivos e metas. Algumas vezes as pessoas sentem-se mais à vontade em falar com pessoas de dentro da organização do que com pessoas de fora. Uma avaliação interna é muito claramente uma ferramenta gerencial e de auto-correção bem menos ameaçadora que uma avaliação externa. Essa forma torna muito mais simples para todos os envolvidos aceitar certas críticas e sugestões e opiniões a respeito do trabalho sendo realizado. Uma avaliação interna custará muito menos que uma avaliação externa. A avaliação tende a ser muito mais objetiva, já que os avaliadores mantêm-se distantes do trabalho sendo realizado. Os avaliadores possuem geralmente uma grande variedade de habilidades e experiências de avaliação. Algumas vezes, as pessoas preferem relatar coisas a pessoas de fora ao invés de pessoas internas a organização. Gera-se muito mais credibilidade a opiniões e sugestões utilizando-se um avaliador externo, especialmente no caso de sugestões positivas. Desvantagens O time de avaliação possuirá um interesse especial em alcançar conclusões positivas com relação ao projeto ou organização. Por esta razão inclusive, se desenvolve o motivo para que doadores prefiram uma avaliação externa. O time pode não ser especializado ou treinado especificamente para realizar uma avaliação. A avaliação tomará uma considerável quantia de tempoenquanto poderá custar menos deixar que uma avaliação externa ocorra, em termos de custo de oportunidade (consulte o Glossário). Dessa forma, pode ser mais elevado que simplesmente contratar uma avaliação externa. Alguém de fora da organização ou projeto pode não entender a cultura ou até mesmo o trabalho que se pretende alcançar. Aqueles que estão diretamente envolvidos podem se sentir ameaçados pelos avaliadores externos e podem ter menos propensão a falar abertamente e cooperar com o processo. Uma avaliação externa pode ser muito custosa. Um avaliador externo pode interpretar mal o que você deseja e pode não fornecer o que você precisaria. Se você decidir ter uma avaliação externa, você encontrará algumas sugestões de critérios a serem utilizados na escolha de um avaliador externo na próxima página. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 8
Ξ SELECIONANDO UM AVALIADOR EXTERNO OU UM TIME DE AVALIAÇÃO Qualidades para serem levadas em conta quanto à escolha de um avaliador ou time de avaliação externa: Uma boa compreensão de assuntos de desenvolvimento. Uma boa compreensão de assuntos organizacionais. Experiência na avaliação de desenvolvimento de projetos, programas ou organizações. Um bom histórico que possa ser averiguado com relação a clientes anteriores. Grandes habilidades de pesquisa. Um compromisso com qualidade. Um compromisso com datas de trabalhos a serem cumpridos. Objetividade, honestidade e justiça. Lógica e facilidade em operar sistematicamente. Forte habilidade em se comunicar tanto escrevendo como verbalmente. Um estilo e abordagem que se encaixe com a personalidade de sua organização. Valores que sejam compatíveis com aqueles que sua organização tenha. Preços razoáveis (custo), comparáveis com os de outras empresas no mercado. Como você descobre tudo isso? Formulando uma grande quantidade de perguntas! Quando você decide utilizar um avaliador externo: Confira as referências de quem seja. Reúna-se com os avaliadores antes de tomar a decisão final. Comunique o que você deseja claramente bons Termos de Referência (veja o Glossário) são fundamentais para uma boa relação contratual. Negocie um contrato que forneça uma previsão do que acontecerá se o calendário e os resultados esperados, em termos de compromissos, não forem alcançados. Peça por um plano de trabalho com resultados e datas afixadas. Mantenha contato peça por relatórios intermediários nesse ínterim como parte do trabalho a ser realizado seja verbalmente ou por escrito. Estruture esse acompanhamento formalmente e combine quando isso deverá ser entregue a você. Não espere que todo avaliador seja completamente objetivo. Essa pessoa terá opiniões e visões você não está procurando alguém que seja um robô! Entretanto, suas opiniões devem estar claramente estabelecidas como tais, e não devem desviar ou serem colocadas como fatos. É bastante importante também ter uma noção de quais serão as abordagens que esse avaliador utilizará para fazer a avaliação. A próxima página traz mais informações quanto a diferentes tipos de abordagens para avaliação. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 9
Ξ DIFERENTES ABORDAGENS PARA AVALIAÇÃO Abordagem Propósito principal Possíveis questionamentos em foco Baseadas em metas Compreender o alcance de metas e objetivos. As metas foram alcançadas? Eficientemente? Foram essas as metas corretas? Tomadas de decisões Fornecer informação. O projeto foi eficaz? Deve continuar? Como deve ser modificado? Com objetivos livres Julgamento de especialistas Compreender a variedade dos efeitos do projeto pretendidos ou imprevistos. Utilização de um especialista. Quais foram todos os resultados relacionados? Que valor eles possuem? Como um profissional externo a este projeto pode avaliá-lo? Metodologia análoga Comparar a linha de base (veja o Glossário) e as informações de progresso (veja o Glossário); encontrando maneiras de definir indicadores. Compreender a variedade de opções relacionadas com o contexto do projeto, resultados, processos, e o produto. Estabelecer algum tipo de consenso quanto à tomada de decisões. Determinação independente de necessidades e padrões para julgar a validade do projeto. Técnicas qualitativas e quantitativas que descubram quaisquer resultados possíveis. Revisão crítica baseada na experiência, pesquisa informal e reflexões internas. Em nossa opinião, os melhores avaliadores se valem de uma combinação de todas essas abordagens. Uma organização pode pedir para que uma delas seja enfatizada, mas é importante não excluir qualquer descoberta ou conclusão, e não fazer uso de uma abordagem diferente. (Agradecimentos à PACT s Evaluation Sourcebook, 1984, por muito do que foi escrito aqui.) Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 10
Planejamento para Monitoramento e Avaliação O monitoramento e a avaliação devem ser parte de seu processo de planejamento. É muito mais complicado retornar e estabelecer os sistemas de monitoramento e avaliação uma vez que as coisas já tenham começado a acontecer. A necessidade de se começar a coletar informações de desempenho em relação a suas metas é importante desde o primeiro instante de atividades. A primeira informação coletada deve ser feita, na verdade, quando se estruturam as primeiras necessidades de documentação (consulte, no pacote de ferramentas de visão geral de planejamento, a seção a respeito do trabalho de base). Ele fornecerá a informação necessária quanto ao alcance em relação a melhoramentos com o decorrer do tempo. Quando você realiza seu processo de planejamento, você define indicadores (veja o Glossário). Estes indicadores fornecem a rede que possibilita seu sistema de monitoramento e avaliação. Eles informam o que você deseja saber e os tipos de informação cuja coleta será útil. Nesta seção examinaremos: O que queremos saber? Isso inclui examinar indicadores de ambos os assuntos, externos e internos (Confira também os exemplos de indicadores mais adiante neste pacote de ferramentas.) Tipos diferentes de informação. Como obteremos a informação? Quem deve estar envolvido? Não há um único modo de planejamento para monitoramento e avaliação. As sugestões incluídas nos pacotes de ferramentas de planejamento, planejamento estratégico e planejamento de ações lhe auxiliarão no desenvolvimento de uma rede dinâmica para seu sistema de monitoramento e avaliação. Se você possui uma familiaridade com uma rede de análise lógica e já a utiliza em seu planejamento, esta abordagem traz em si mesma uma forma de planejar um sistema de avaliação e monitoramento. (Consulte também no pacote de ferramentas a respeito da visão geral de planejamento, a seção de ferramentas de planejamento visão geral.) Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 11
O QUE QUEREMOS SABER? O que queremos saber está relacionado com o que pensamos ser importante. No trabalho de desenvolvimento, o que pensamos ser importante está relacionado com nossos valores. A maioria do trabalho está envolvida por uma rede de valores. É esta rede que determina os padrões de aceitação no trabalho que fazemos. Os valores centrais, nos quais a maioria do trabalho de desenvolvimento é feito, são: Servir a pessoas carentes; Favorecer os desprotegidos; Mudar a sociedade, não simplesmente com a ajuda individual; Sustentabilidade; Uso eficiente de recursos. Então, a primeira coisa que precisamos saber é: O que estamos fazendo e como estamos agindo está auxiliando para o favorecimento destes valores? Para responder a esta questão, nosso sistema de monitoramento e avaliação deve nos fornecer informações a respeito de: Quem está se beneficiando do que fazemos? O quanto estão se beneficiando? Os beneficiados recebem de uma forma unilateral e passivamente ou o processo auxilia para que eles possam assumir algum controle de suas vidas? Existem quaisquer ensinamentos que possam trazer um maior impacto além deste que está acontecendo com nosso projeto? Isso que estamos fazendo tem alguma possibilidade de se sustentar a longo-termo, ou cessará assim que partirmos? Estamos alcançando o máximo dos melhores resultados possíveis para os problemas apresentados? Queremos nos concentrar no produto ou no processo que está sendo desenvolvido? O trabalho de desenvolvimento deve ser avaliado em termos de processo (a forma com que o trabalho está sendo desenvolvido) ou o produto (o que o trabalho produz)? Geralmente, essa discussão é feita mais para se desculpar desempenhos inadequados que discutir realmente algo que deve ser levado a sério. O produto e o processo não estão separados em um trabalho de desenvolvimento. Aquilo que alcançamos e a maneira como alcançamos são geralmente a mesma coisa. Se o objetivo é desenvolvimento, baseando-se em valores desenvolvimentistas, então cavar um poço sem transferir a habilidade para manter e manusear o poço não é suficiente. Dizer: Iria demorar muito dessa forma, não podíamos esperar que eles agissem por si mesmos. Dissemos que iríamos cavar um poço e o fizemos não é suficiente. Mas também não é suficiente dizer: Não tem importância que o poço não tenha acontecido ainda. O importante é que a população foi instruída. Ambos os processos e produtos devem ser parte de um sistema de avaliação e monitoramento. Mas como podemos tornar o processo, o produto e tais valores mensuráveis? A resposta se encontra no estabelecimento de indicadores, e este assunto é abordado na subseção a seguir. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 12
O QUE QUEREMOS SABER? Indicadores Indicadores são também abordados na visão geral de planejamento, na seção a respeito de monitoramento e avaliação. Indicadores são sinais tangíveis ou mensuráveis de que algo foi feito ou alcançado. Em alguns estudos, por exemplo, o aumento de antenas de televisão numa comunidade foi utilizado como indicador de que o padrão de vida da comunidade aumentou. Um indicativo de maior organização comunitária pode ser um aumento da freqüência de membros da comunidade nos encontros periódicos. Se alguém está interessado no impacto da participação em relação ao gênero, pode-se utilizar envolver especial atenção e maior tempo em projetos de desenvolvimento a uma maior participação feminina como um indicador. Indicadores comuns que apontam para o estado de saúde geral de uma comunidade são taxas de mortalidade de bebês/crianças/ mães, taxas de natalidade, status nutricional e peso de bebês ao nascerem. Podem-se analisar indicadores menos diretos, como extensão de imunização, extensão de água potável disponível, e assim por diante. (veja maiores exemplos de indicadores mais adiante). Os indicadores são uma parte essencial de um sistema de monitoramento e avaliação, pois eles são o que você vai poder medir e/ou monitorar. Através de indicadores você pode perguntar e responder questões como: Quem? Quantos? Com qual freqüência? Quanto custa? Entretanto, você precisa decidir anteriormente quais indicadores vai utilizar para que comece a coletar informações imediatamente. Você não pode querer se utilizar de um indicativo como o número de antenas de televisão como sinal de melhora de padrão da comunidade se você não sabe quantas havia no começo do processo. Algumas pessoas argumentam que o problema com indicadores mensuráveis é que outras variáveis (fatores) podem ter um impacto sobre eles também. Mais membros da comunidade podem estar participando nos encontros comunitários simplesmente por haver um maior número de pessoas com um passado ativo, e mudado simplesmente para aquela área. As mulheres podem ter mais tempo para projetos de desenvolvimento porque os homens da vila participaram de um seminário para questões de gênero e decidiram dividir e ajudar mulheres em algumas tarefas tradicionalmente realizadas por mulheres possibilitando assim que se ocupem de outras atividades. E assim por diante. Ainda que isso seja verdade, é possível identificar outras variáveis e levá-las em conta. É também muito importante notar que, se nada está se modificando, se não se pode averiguar nem um melhoramento na mensuração dos indicadores-chave escolhidos, é sinal de que sua estratégia não está funcionando e precisa ser repensada. Para estudar um método de desenvolvimento de indicadores, veja a próxima página. Para consultar exemplos de indicadores, vá para exemplos. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 13
Ξ DESENVOLVENDO INDICADORES 1º Passo: Identifique o problema que você está tentando resolver. Ele pode ser: Situação econômica (desemprego, baixos salários, etc.). Situação social (moradia, saúde, educação, etc.). Situação cultural ou religiosa (perda do uso de línguas tradicionais, pouca freqüência em serviços religiosos, etc.). Situação política ou organizacional (governo local ineficiente, lutas de facções, etc.). Pode haver outras situações também. (consulte a seção de análise de problemas em seu pacote a respeito da visão geral de planejamento, na seção que trata do trabalho de base). 2º Passo: Desenvolva uma visão de como você gostaria que estas áreas fossem ou parecessem (consulte, no pacote de planejamento estratégico, a seção a respeito de visão). Isso lhe fornecerá indicadores de impacto. O que lhe mostraria que sua visão foi alcançada? Que sinais você identificaria e que possam ser medidos que provariam que sua visão foi alcançada? Por exemplo, se sua visão foi a de que as pessoas em sua comunidade seriam mais saudáveis, então você pode usar indicadores de saúde para averiguar como está avançando. A mortalidade infantil sofreu uma queda? Menos mulheres estão falecendo durante o parto? A taxa de contaminação pelo vírus da AIDS tem sido reduzida? Se você pode dizer sim a estas questões, então algum progresso foi alcançado. 3º Passo: Desenvolva uma visão progressiva de como você quer que as coisas sejam atingidas. Isso lhe fornecerá indicadores de processo. Se, por exemplo, você quer atingir seus resultados através da participação da comunidade e de seus próprios esforços, então sua visão de processo pode incluir coisas como trabalhadores de saúde da comunidade treinados e que ofereçam um serviço de qualidade para todos; eventos organizados regularmente pela comunidade para limpeza geral, e assim por diante. 4º passo: Desenvolver indicadores para eficácia. Por exemplo, se você acredita que pode aumentar a taxa de alunos aprovados no ensino secundário, melhorando o nível de seus professores, então precisará de indicadores que mostrem que você obteve sucesso quanto à melhora destes professores, p.ex. evidências de uma pesquisa em escolas, comparando com a pesquisa de base inicial. 5º passo: Desenvolver indicadores para metas de eficiência. Aqui você pode estabelecer indicadores, tais como: seminários planejados devem ocorrem junto com o tempo pré-estabelecido, custos para os seminários são mantidos em 2.50 dólares por pessoa, no máximo, não se deve utilizar mais de 160 horas com a organização de uma conferência; sem reclamações quanto à organização da conferência, etc. Com a estrutura colocada em seu devido lugar, você estará apto a monitorar e avaliar eficiência, eficácia, e o impacto disso tudo (Veja o Glossário). Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 14
TIPOS DIFERENTES DE INFORMAÇÃO QUANTITATIVA E QUALITATIVA A informação utilizada para monitorar e avaliar pode classificada como: Quantitativa; ou Qualitativa. A medida quantitativa lhe diz quanto ou quantos?. Quantas pessoas assistiram ao seminário, quantas pessoas foram aprovadas em seus testes finais, quanto custa uma publicação, quantas pessoas foram infectadas pelo vírus da AIDS, quantas pessoas precisam se deslocar para conseguir água ou madeira para o fogo, e assim por diante. A medida quantitativa pode ser expressa em números absolutos (3241 mulheres da amostra estão infectadas) ou com percentual (50% das residências nesta área possuem antenas de televisão). Pode também ser expressa por razões (uma a cada 30000 pessoas). De uma maneira ou de outra, você terá uma informação quantitativa (número) por contar ou medir. A medida qualitativa indica como as pessoas se sentem a respeito de alguma situação ou como as coisas são feitas, ou como as pessoas se comportam. Então, por exemplo, ainda que você descubra que 50% dos professores da escola estão insatisfeitos com o critério selecionado, isso ainda é considerado uma informação qualitativa, não uma informação quantitativa. Consegue-se a informação qualitativa perguntando, observando e interpretando. Algumas pessoas consideram a informação quantitativa confortante ela parece confiável, sólida e objetiva. Elas consideram a informação qualitativa subjetiva e pouco convincente. É um erro, porém dizer que a informação quantitativa fala por si mesma. A informação quantitativa está sujeita a interpretações tanto quanto a informação qualitativa. Pode ser um fato que o ingresso de meninas em escolas de alguns países em desenvolvimento está caindo a contabilidade disso pode nos mostrar tal fato, mas não nos dirá coisa alguma a respeito das causas ou motivos desses dados. Para se alcançar esse entendimento, será necessário sair e perguntar a respeito de tais razões ou seja, ponderar informações qualitativas. A escolha de indicadores é também algo subjetivo, seja a partir de métodos quantitativos ou qualitativos para a mensuração real. Os pesquisadores escolhem medir o ingresso de meninas para a escola porque eles acreditam que isso diga algo a respeito de como as mulheres são tratadas ou vistas na sociedade. Para que uma boa compreensão seja alcançada, o processo de monitoramento e avaliação necessita de uma combinação de informações qualitativas e quantitativas. Por exemplo, precisamos saber quais são os dados de quantas meninas vão para a escola, assim como precisamos saber qual o motivo para que seus pais permitam ou não que freqüentem a escola. Talvez as taxas de matrícula para meninas sejam mais altas porque nesta comunidade considera-se que ir para a escola seja um luxo e prefira-se treinar meninos em tarefas mais práticas e tradicionais, como tomar conta de animais, por exemplo. Neste caso, um ingresso maior de meninas na escola não necessariamente indica uma maior valorização de meninas. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 15
COMO OBTEREMOS A INFORMAÇÃO? Isso é tratado com detalhes no pacote do planejamento de ações, na seção de monitoramento, coletando informações à medida que se progride no planejamento. Seus métodos de coleta de informação precisam ser construídos dentro de seu planejamento de ações. Você deve estar apto a manter um canal de informações firmes correndo em seu projeto ou organização a respeito do trabalho e de como está sendo realizado, sem sobrecarregar ninguém. A informação que é coletada deve significar alguma coisa: não colecione informações para manter-se ocupado, somente o faça para encontrar o que precisa saber, e depois arquive a informação de uma forma que possa ser simples consultála. Geralmente, você pode utilizar relatórios, minutas, registros de presença e declarações financeiras que são parte de seu trabalho como fontes de monitoramento e informação de avaliação. Entretanto, às vezes você precisa utilizar-se de ferramentas especiais que são simples, mas úteis para adicionar à informação básica coletada em seu curso natural de trabalho. Algumas das ferramentas mais conhecidas são: Estudos de caso Avaliação gravada Diários Análise e gravação de incidentes importantes (chamado análise de incidente crítico ) Questionários estruturados Entrevistas face a face Grupos focais Pesquisas de amostras Revisão sistemática de estatísticas relevantes oficiais. Consulte a seção métodos para mais informações a respeito de maneiras de coletar informação. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 16
QUEM DEVE ESTAR ENVOLVIDO? Quase todos da organização ou projeto estarão envolvidos de alguma forma na coleta de informações que possa ser usada para monitorar e avaliar. Isso inclui: O administrador, que guarda minutas de uma reunião, ou prepara e distribui o registro de presença; Os trabalhadores de campo, que escrevem relatórios de suas visitas de campo; O arquivador, que registra rendas e gastos. Para que sejam maximizados seus esforços, a organização ou projeto precisa: Preparar relatórios que incluam a mensuração quantitativa ou qualitativa de indicadores importantes. Por exemplo, se você quer saber a respeito da participação da comunidade em atividades, ou da participação feminina especificamente, construa um relatório que possibilite que os trabalhadores de campo possam tecer comentários a respeito disso, sustentando observações com os fatos. (Veja um tipo de relatório de trabalho de campo, mais adiante neste pacote). Prepare tipos de relatórios que incluam a mensuração quantitativa ou qualitativa de indicadores importantes. Por exemplo, se você deseja saber quantos homens e quantas mulheres participaram da reunião, inclua uma coluna que especifique o gênero de sua lista de presença. Armazene a informação de uma forma que seja possível manejar o que se precisa saber. Por exemplo, se você precisa saber se um projeto é sustentável financeiramente, e quais elementos são mais dispendiosos, então certifique-se de que seus arquivos de gravação averigúem essa informação relevante. É um princípio muito útil olhar para cada atividade e dizer: O que necessitamos saber desta atividade, ambos os processos (como está sendo feito) e produtos (o que se pretende atingir), e qual é a maneira mais fácil de encontrar e gravar isso à medida que caminhamos? Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 17
Estruturando um processo de monitoramento e/ou avaliação Como existem diferenças entre como desenhar um sistema de monitoramento e um processo de avaliação, lidaremos aqui com os dois separadamente. Sob monitoramento, avaliaremos o processo que uma organização pode atravessar para construir um sistema de monitoramento. Sob avaliação, avaliaremos: Motivo Questões de avaliação chave Metodologia. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 18
MONITORAMENTO Quando você estrutura um sistema de monitoramento, você está estabelecendo um ponto de visão formativo e criando um sistema que lhe providenciará informação útil de uma base corrente para melhorar o que fazer e como fazer. Na próxima página, você encontrará um processo sugerido para criar um sistema de monitoramento. Para um estudo de caso que mostra como uma organização se saiu elaborando um sistema de monitoramento, vá à seção com exemplos e veja o exemplo: criando um sistema de monitoramento. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 19
Ψ CRIANDO UM SISTEMA DE MONITORAMENTO Logo abaixo, mostramos passo a passo o processo de criação de um sistema de monitoramento para sua organização ou projeto. Para o caso de estudo de como uma organização conseguiu implantar seu sistema de monitoramento, veja a parte de exemplos. 1º passo: Um seminário com equipe e/ou voluntários, liderado por você ou por um consultor: Introduza os conceitos de eficiência, eficácia, e impacto (veja o glossário). Explique que um sistema de monitoramento precisa cobrir todos os três. Faça uma lista de indicadores para cada um dos três aspectos. Esclareça quais variáveis (consulte o glossário) precisam ser conectadas. Então, por exemplo, você quer criar uma relação entre a idade dos professores com suas qualificações para poder responder a pergunta: Existe a tendência de professores mais velhos terem mais qualificações? Esclareça quais informações o projeto ou organização já está coletando. 2º passo: Inclua os dados e comentários do seminário em um breve resumo de questões, colocando seu sistema de monitoramento. Dependendo do quão complexo forem seus requisitos, e de qual é sua capacidade, você talvez decida ter uma base de dados computadorizada ou manual. Se você quer poder relacionar muitas variáveis através de muitos casos (e.g. participantes, escolas, envolvimento dos pais, recursos, urbano e rural, etc.) você talvez precise de uma linha computadorizada. Se você possui poucas variáveis, você pode provavelmente fazer isso manualmente. A coisa mais importante é começar descobrindo as variáveis e manter os dados nestas variáveis. Conexão e análise podem ser feitos posteriormente. (Estes conceitos são complicados. Ajudará ler o estudo de caso nos exemplos da seção do pacote de ferramentas). Deste seminário, você saberá o que quer monitorar. Você terá os indicadores de eficiência, eficácia e impacto que precisarão ser priorizados. Você então escolherá as variáveis que auxiliarão a responder as questões que pense serem importantes. Então, por exemplo, você pode ter um indicador de impacto que seja opções de sexo mais seguras foram escolhidas como um indicador de que pessoas mais jovens agora estão fazendo escolhas de vida mais maduras. As variáveis que podem influenciar o indicador são: Idade Gênero Religião Região Urbana/rural Categoria Econômica Ambiente familiar Extensão de exposição para suas iniciativas de projeto. Número de seminários assistidos. Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 20