A quem interessa avaliar? Cristina Câmara 1 Este número da Revista Eletrônica Portas trata de um tema que nem sempre foi (ou é) visto com bons olhos: a Avaliação de Projetos e Programas Sociais. Apesar disto, este instrumento já se tornou um componente essencial na caixa de ferramentas de organizações da sociedadade civil (OSC), governos e setor privado. Prática ainda tímida, o tema da avaliação não é tão recente, como o leitor poderá conferir. Entretanto, a partir dos anos 90, há avanços visíveis sobre o lugar, ou lugares, que as avaliações vão ocupando. O fato de às vezes ser considerada como obrigatória faz da avaliação um tema ligado a pelo menos dois fatores. O primeiro, uma chegada de fora para dentro, muitas vezes sem apresentação, associada a exigências de resultados e prestação de contas. O segundo, o entendimento de que é preciso acompanhar e, principalmente, intervir nas mudanças sociais. Especialmente para as OSC, a primeira aproximação e a imagem criada em torno da avaliação, parece estar associada a uma exigência do financiador e a uma certa fiscalização sobre seu trabalho e a organização como um todo. Além disto, a avaliação também é vista como um momento liminar, que pode significar a continuidade ou não do financiamento de projetos ou ações. Para completar, há instrumentos para realizá-la, que precisam ser aprendidos e nem sempre há pessoas disponíveis e interessadas por vários motivos no assunto. Por sua vez, também não se pode deixar de reconhecer que muitas OSC já incorporaram em sua dinâmica de trabalho a necessidade de avaliar e a importância da avaliação ser realizada desde o começo do projeto ou programa. É neste campo não-governamental, que o debate sobre processos participativos envolvendo a população diretamente atingida pelo projeto ou programa está mais presente. Por isto mesmo, gradativamente, as OSC têm interferido nas formas de se avaliar e percebido que isto lhes interessa. Primeiro, porque realmente pode significar renovações de apoio financeiro, mas além disto também pode gerar uma visibilidade positiva sobre seu trabalho e sua capilaridade social, atraindo até mesmo novos financiadores. Entretanto, não somente os financiadores constituem os interlocutores privilegiados das OSC na dinâmica da avaliação. Seu público alvo é imprescindível, pois a partir dos resultados de uma avaliação, o reconhecimento social e o lugar referencial da organização na resposta a um determinado tema podem ser ampliados, além das melhorias e avanços conseguidos supostamente reverterem positivamente para este público. Devido a esta dupla face, também já é possível observar que a avaliação passa a ser um tema mais disseminado, não restrito a um grupo de experts no assunto e os processos participativos têm contribuído para isto. É claro que a realização de uma avaliação depende de determinado domínio, mas não se trata de algo inatingível ou incompreensível e, como bem afirma Domingos Armani, 1 Socióloga, Doutora em Ciências Humanas (PPGSA/IFCS/UFRJ) e Coordenadora da Acicate: Análises Socioculturais
maior complexidade ou sofisticação metodológica não são necessariamente sinônimos de excelência. Quando o ponto de partida está referido pela prática, os formulários a serem preenchidos podem ganhar vida e o trabalho sistemático ganhar sentido. Se eles não puderem ser lidos de forma a abarcarem a dinâmica social e para isto precisam ser entendidos tornar-se-ão uma mera obrigação formal realizada às vésperas do prazo da entrega de um relatório ou da visita do financiador do projeto, ou mesmo de um consultor que o esteja avaliando. Neste sentido, a necessidade de atender à dinâmica organizacional e à intervenção social remete ao par da avaliação: o monitoramento. O monitoramento é o par da avaliação, na medida em que garante a coleta e a qualidade dos dados recolhidos. Dados, quantitativos e qualitativos, pouco sistemáticos ou que não propiciem comparações e aproximações limitam o alcance da avaliação, por isto os temas monitoramento e avaliação (M&A) têm sido abordados conjuntamente. Do mesmo modo, o fato de M&A poderem contribuir na revisão de planos, projetos e programas, também os associa ao planejamento (P). Entretanto, é importante notar que, como mostra o artigo de Armani, nem sempre foi assim. As três letrinhas P M A traçaram percursos diferentes antes de se encontrarem de forma articulada. Buscando atender ao propósito de focalizar um mesmo tema a partir de perspectivas diferentes, este número da Revista Eletrônica Portas oferece algumas reflexões e experiências sobre como o tema da avaliação tem sido abordado por OSC, governo e setor privado. Com este intuito, foram reunidos três artigos, uma entrevista, uma resenha e um leque de sugestões referentes ao tema que o leitor poderá acessar através da Internet. Cabe notar que grande maioria dos recursos online está em inglês. Por sua vez, também é possível conhecer algumas referências em português e espanhol, inclusive a partir das utilizadas e sugeridas pelos autores. Os dois primeiros artigos focalizam o tema no âmbito da sociedade civil: Monitorando & avaliando mudanças, de Domingos Armani; e, La evaluación y su aporte para desarrollo de las Organizaciones de la Sociedad Civil, de Olga Nirenberg. Um exemplo de necessária avaliação, no âmbito governamental, é trazido pelo artigo Avaliação da implantação do teste rápido para diagnóstico do HIV no Estado do Amazonas, de Mie Okamura e colaboradores. O foco no setor privado é o tema da entrevista com Fernando Rossetti, secretário-geral do GIFE (Grupo de Institutos, Fundações e Empresas). Por sua vez, Rogério Renato Silva contribui com o aporte teórico, contextualizando o livro de Blaine Worthen, James Sanders e Jody Fitzpatrick Avaliação de Programas: concepções e práticas (Ed. Gente, 2004) -, que continua sendo uma das referências nesta área. Por fim, abrindo portas, os recursos disponíveis na Internet oferecem meios interessantes de acesso a informações, como o blogspot - Rick on the road - e os mini-cursos gratuitos, além de artigos, entrevistas, revistas e sugestões de links. Os sites das Sociedades de Avaliação também oferecem inúmeras oportunidades de novos enlaces e fontes. Em Monitorando & Avaliando Mudanças, Domingos Armani traz referências históricas sobre o que se tornou conhecido como PMA nas organizações não-governamentais (ONG) e como foi sendo introduzido na América Latina e, especialmente, no Brasil. O autor aborda a necessidade de se envolver os beneficiários e os stakeholders, construir processos participativos internos e 6
externos, considerar a crescente necessidade de diálogos interdisciplinares e os marcos do debate (PES, MAPP, ZOPP, quadro lógico etc.). Estes são alguns dos aspectos abordados por Armani. Apesar dos avanços, segundo o autor, também há uma contínua resistência com relação ao tema. Seja por questões culturais que marcam o ativismo nas ONG, seja pela importação de modelos anglo-saxônicos às vezes difíceis de serem adaptados à nossa cultura. Por fim, o autor oferece algumas sugestões às organizações que pretendem melhorar seus sistemas de PMA. O segundo artigo também está dirigido às organizações da sociedade civil, ainda que a própria autora considere que o mesmo pode vir a ser útil para governos e empresas que atuam na área da responsabilidade social. La evaluación y su aporte para desarrollo de las Organizaciones de la Sociedad Civil, da argentina Olga Nirenberg oferece um olhar por dentro da dinâmica organizacional e apresenta a avaliação como um componente do aprendizado organizacional. Neste sentido, segundo a autora, ela pode gerar aprendizagem, trocas e melhorar continuamente a gestão. A avaliação deveria ser um processo contínuo e integrado à execução de projetos. O artigo de Nirenberg é bastante abrangente. Os aspectos centrais são: o significado da avaliação e como a prática avaliativa pode contribuir para o fortalecimento organizacional. Segundo a autora, o processo da avaliação transforma a informação coletada em um novo conhecimento e se realiza em situações compartilhadas de aprendizagem entre aqueles que avaliam e os protagonistas da ação. Neste sentido, há uma valorização da experiência e do empoderamento - o que permite às pessoas e aos grupos terem controle sobre seus próprios rumos - e, por isto, também é importante compartilhar o processo e os achados da avaliação com os atores sociais envolvidos. Neste sentido, o momento da devolutiva não se reduz a uma volta ou a um retorno a estes atores, mas, segundo Nirenberg: se trata es de difundir, socializar y someter a crítica y a nuevas discusiones por parte de actores significativos los nuevos conocimientos alcanzados a partir de la actividad evaluativa. Forma-se uma espécie de espiral criadora de conhecimento, que é sempre interativa. Do mesmo modo, a autora atribui um papel central à participação nas intervenções sociais e afirma que toda participação deve ser voluntária. É preciso considerar os fatores contextuais que facilitam ou não a participação, entender em que momento o processo começa a ser participativo e como criar uma cultura de participação. O artigo de Nirenberg pontua etapas e as segue em detalhes. Se o leitor acompanhar sua lógica paulatinamente, verá que o artigo também se constitui em um espécie de guia, inclusive sugerindo passos a seguir. Além dos aspectos mencionados anteriormente, são caracterizados os tipos de triangulação para ampliar o alcance da avaliação, os tipos de avaliação e quem avalia, diferenciando processos externos e internos, assim como são pontuados aspectos na gestão organizacional que podem vir a ser avaliados. Por fim, a autora assinala alguns imperativos éticos que deveriam ser observados na gestão social, inclusive nos processos avaliativos. No caso da avaliação no âmbito governamental, o artigo que compõe este número da Revista Eletrônica Portas aborda o setor saúde e mais especificamente a temática do HIV/aids. O artigo 7
Avaliação da implantação do teste rápido para diagnóstico do HIV no Estado do Amazonas, de Mie Okamura e colaboradores, demonstra que interessa ao governo avaliar. Segundo seus autores: Incorporar a avaliação como prática nos serviços proporciona aos gestores informações para definir estratégias de intervenção, buscando a melhoria de desempenho dos serviços e do programa. Foram investigados aspectos individuais e organizacionais que influenciaram na implantação do teste rápido para o diagnóstico do HIV em dez serviços de saúde do Estado do Amazonas. As características do Amazonas apontavam para os desafios da implantação de um novo procedimento em uma área geograficamente vasta, com limites de trânsito para a população, assim como limites dos serviços de saúde oferecidos. Havia uma confluência de fatores que, de certo modo, contribuiu para o processo da avaliação: a implantação de um novo procedimento; questões técnicas a serem consideradas; treinamento de profissionais de saúde; e, a percepção dos mesmos sobre o novo serviço. A avaliação da implantação do teste rápido para HIV baseou-se em três dimensões: adequação, aceitabilidade e satisfação do usuário. Para as empresas, interessa avaliar porque há uma atenção primordial aos resultados e ao retorno do investimento realizado. Em Avaliação de projetos sociais no setor privado, Fernando Rossetti destaca duas áreas de interesse técnico centrais para o setor privado: a avaliação e a necessidade de se ter instrumentos para trabalhar com grandes projetos, ou seja, em larga escala. No caso da avaliação, há empresas que têm investido em metodologias e transferido seu conhecimento para outras. Segundo Rossetti, este é o caso do Itaú Social, que está desenvolvendo uma avaliação econômica de investimento social em educação. Apesar de Armani arriscar dizer que o processo de incorporação cultural da lógica dos sistemas de PM&A só está consolidado, ainda que de forma mutante, no setor privado, a partir da entrevista com Rossetti pode-se perceber lacunas neste setor. Segundo o secretário-geral do GIFE, a participação dos beneficiários ainda é pequena e este tem sido um aspecto sobre o qual o Grupo vem trabalhando, além da atenção aos aspectos qualitativos da avaliação. No que diz respeito aos aspectos teórico-metodológicos, a resenha de Rogério Renato Silva ressalta a importância do livro Avaliação de Programas: concepções e práticas, de autoria de Blaine Worthen, James Sanders e Jody Fitzpatrick. Ainda que a base pedagógica dos autores seja, de certa forma, tradicional - teoria e exercícios de aplicação -, as questões orientadoras são bastante úteis e esta publicação é considerada a mais importante introdução à avaliação disponível em português. Entretanto, como lembra o autor da resenha, é preciso considerar que a publicação original foi há mais de dez anos e que, por isto mesmo, deve-se contextualizá-la e buscar leituras atualizadas sobre o livro e o tema da avaliação propriamente dito. Isto sem perder de vista que, de acordo com os autores, alguns processos vão além de qualquer campo ou disciplina e, neste sentido, a partir da definição de Scriven (1967 apud Worthen et al., 2004), a avaliação é um processo de determinação de valor, mérito ou qualidade atribuído a um objeto delimitado. O fato de ser uma publicação de referência pode não ser novidade para aqueles que trabalham com avaliação, mas, por sua vez, espera-se que esta leitura possa instigar uma atenção diferenciada ao livro, e ao tema, por parte de estudantes, ativistas e novos profissionais. 8
Em síntese, as contribuições dos autores deste número da Revista Eletrônica Portas oferecem concepções diferentes e mutáveis sobre avaliação, que na prática vêm adquirindo lugar(es) e forma(s) em diversos setores. Gradativamente as metodologias e fontes de coleta de dados têm sido ampliadas. A relevância da análise do contexto e as possibilidades de se trabalhar a partir de vários pontos de referência, assim como a triangulação de métodos e fontes têm ampliado a perspectiva dos avaliadores e dos atores sociais sobre o objeto a ser avaliado. A avaliação, além de uma necessidade, tornou-se um fato. Não por acaso, cada vez mais, tem sido um aspecto considerado relevante na lista de requisitos para a contratação de gerentes de projetos. Entretanto, garantir vitalidade e renovação à lógica da avaliação dependerá de se e como os protagonistas das ações participarão dos processos de elaboração e gestão da mesma. O que vai depender de quem coordena o processo, mas também do interesse dos atores sociais envolvidos no mesmo. 9