CONSTRUÇÃO DE SISTEMA DE MONITORAMENTO E AVALIAÇÃO COMO ESTRATÉGIA DE GESTÃO DE UMA ORGANIZAÇÃO SOCIAL: CASO REDE DE TECNOLOGIA SOCIAL Vanessa Maria Brito de Jesus (UFSCar) vmbjesus@yahoo.com.br Targino de Araújo Filho (UFSCar) targino@power.ufscar.br As organizações, sejam oriundas da iniciativa privada ou terceiro setor, têm buscado aprimorar seus mecanismos e ferramentas de gestão estratégica como forma de garantir ou potencializar seus resultados. O caso aqui apresentado trata da Redde de Tecnologia Social (RTS), organização do terceiro setor que possui uma estrutura organizacional em formato de rede, da qual participam organizações públicas, privadas e sem fins lucrativos, que buscam potencializar a difusão e reaplicação de tecnologia social. Nesse sentido, o objetivo deste artigo é apresentar os resultados preliminares em termos de percurso metodológico desenvolvido para implantação de um sistema de monitoramento e avaliação, enquanto uma ferramenta de gestão que lhe garanta aferir os resultados das articulações e investimentos em tecnologia social. Palavras-chaves: Estratégia de Gestão, Ferramentas de Gestão, Monitoramento e Avaliação
1. Introdução As organizações, sejam oriundas da iniciativa privada ou terceiro setor, têm buscado aprimorar seus mecanismos e ferramentas de gestão estratégica como forma de garantir ou potencializar seus resultados. O caso aqui apresentado trata da Rede de Tecnologia Social (RTS), organização do terceiro setor que possui uma estrutura organizacional em formato de rede, da qual participam organizações públicas, privadas e sem fins lucrativos, que buscam potencializar a difusão e reaplicação de tecnologia social. Nesse sentido, o objetivo deste artigo é apresentar os resultados preliminares em termos de percurso metodológico desenvolvido para implantação de um sistema de monitoramento e avaliação, enquanto uma ferramenta de gestão que lhe garanta aferir os resultados das articulações e investimentos em tecnologia social. Como ponto de partida, tomou-se como referência o diagnóstico realizado utilizando o método ZOPP, que indicou a necessidade do desenvolvimento de um instrumento gerencial com as características acima mencionadas. Para tal, firmou-se parceria com o Fórum de Pró-Reitores das Universidades Públicas Brasileiras (FORPROEX) para desenvolvimento de um sistema de monitoramento e avaliação das ações da RTS. Por meio da construção de indicadores quanti-qualitativos que possibilitem a avaliação da eficácia, eficiência e efetividade das ações empreendidas, o desenvolvimento da proposta, ao implicar na concepção de um modelo a ser adotado para projetos diferentes e para as ações de difusão de tecnologia social, tem requerido uma organização minuciosa e detalhada de todo o processo, de forma que a RTS corrija desvios e alcance seu propósito de estimular a adoção de tecnologias sociais como políticas públicas, além a apropriação pelas comunidades das tecnologias sociais reaplicadas e o desenvolvimento de novas tecnologias, nos casos em que não existirem tecnologias sociais para reaplicação. O método desenvolvido previu a integração de diferentes momentos e envolvidos, visto que foi solicitado que o sistema se construísse em bases participativas. Assim, o percurso metodológico foi elaborado para ser gerido em conjunto com a instituição demandante, além da comunidade que reaplica tecnologia social em diferentes momentos, isto é, em momentos de concepção da proposta e em pilotos executados em três grandes áreas: Amazônia Legal, periferia de Grandes Centros Urbanos e Semi-Árido (sertão do São Francisco). A implantação de tal ferramenta de gestão concentra esforços para a criação de uma cultura que, acompanhada dos recursos necessários, possa favorecer a adoção do Sistema de Monitoramento e Avaliação por, no mínimo, 70% dos projetos/programas desenvolvidos na RTS, até 2010. 2. Panorama das Ações da RTS Diferentes entidades e níveis de governo têm financiado iniciativas de relativo êxito utilizando tecnologia social como estratégia para a promoção de desenvolvimento social. Entre os anos de 2005-2006, os financiamentos foram de aproximadamente 27 milhões de reais em reaplicação de tecnologias sociais em três grandes regiões do Brasil: Amazônia Legal, Semi-Árido e Grandes Centros Urbanos (RTS, 2006). O conhecimento advindo de tais tecnologias ainda é pouco sistematizado e embora não existam dados oficiais sobre o impacto das tecnologias sociais no país, sabe-se que não são desenvolvidas ou reaplicadas em escala ideal e sua articulação com políticas públicas ainda são de caráter compensatório. A Rede de Tecnologia Social RTS, organização não governamental sem fins lucrativos, se propõe a dar escala a reaplicação de tecnologias sociais e gerar sinergia entre a ação de diversos atores 2
sociais. Criada 2005, a RTS tem por objetivo reunir, organizar, articular e integrar um conjunto de instituições com o propósito de promover o desenvolvimento sustentável mediante a difusão e a reaplicação em escala de tecnologias sociais. Considera tecnologia social os produtos, técnicas e metodologias de caráter reaplicável que são desenvolvidas por meio de um processo interativo com as comunidades e podem propiciar transformações sociais (RTS, 2004). Embora apresentado o entendimento sobre TS defendido pela RTS, este ainda é um conceito em disputa, em pleno debate, principalmente por se tratar de um tema contemporâneo. Rutkowski (2005) coloca que as tecnologias sociais podem ser consideradas sucessoras das tecnologias apropriadas, em contraponto às tecnologias convencionais, que é desenvolvida e utilizada em sua maioria por empresas privadas, privilegiando interesses particulares e não se colocando como adequada para auxiliar no enfrentamento de problemas sociais e econômicos de países pobres. Enquanto a RTS considera tecnologia social os produtos, técnicas e metodologias de caráter reaplicável que são desenvolvidas por meio de um processo interativo com as comunidades e podem propiciar transformações sociais, o Instituto de Tecnologias Sociais as define como um conjunto de técnicas, metodologias transformadoras, desenvolvidas e/ou aplicadas na interação com a população e apropriadas por ela, que representam soluções para inclusão social e melhoria de condições de vida (2004, p. 130). Outra instituição que vem apoiando e financiando reaplicação de tecnologias sociais, a Fundação Banco do Brasil, afirma que tecnologias sociais são todo produto, método, processo ou técnica criados para solucionar algum tipo de problema social e que atendam aos quesitos de simplicidade, baixo custo, fácil aplicabilidade e impacto social comprovado. Assim, é possível perceber que o conceito de tecnologia social ainda está em definição. Percebe-se, entretanto, que a criação da RTS foi motivada pela percepção de vários atores que a compõem de que era necessário o surgimento de uma organização com legitimidade institucional suficiente para articular e potencializar não somente o debate, mas também a identificação e reaplicação de tecnologias sociais já existentes no país. Assim, seu surgimento converge para a afirmação tecida pelos autores por Borgatti e Foster quando estes colocam que, sob a ótica das redes, vem crescendo o consenso de que alianças e relações interorganizacionais possuem ou podem criar impacto significativo e positivo sobre organizações emergentes, aprendizado organizacional e inovação (BORGATTI, FOSTER, 2003). A própria definição de rede delineada pela RTS evidencia essa questão: sistema organizacional capaz de conectar indivíduos e instituições, de forma democrática e participativa, em torno de objetivos e/ou temáticas comuns, funcionando com estrutura flexível, que se movimenta por meio de relações horizontais, interconexas, nas quais todos os sujeitos são, ao mesmo tempo, atores principais e coadjuvantes (RTS, 2005). Atualmente, existem filiadas 587 organizações, integradas numa estrutura de governança configurada em Fórum Nacional, da qual participam todas as organizações pertencentes à rede, Comitê Coordenador, do qual pertencem organizações mantenedoras, até quatro representantes de articuladores de redes sociais e um representante de instituições de ensino e pesquisa convidados pelos mantenedores. No total, treze organizações compõem o Comitê Coordenador, dos quais oito são mantenedores. A RTS possui, ainda, uma secretaria executiva, composta por quatro pessoas contratadas para administrar os processos da rede. Em termos de reaplicação, seu conceito é definido pela RTS como processo por meio do qual se estabelece uma relação de troca de conhecimentos populares e científicos, visando a apropriação e recriação da tecnologia social pelos sujeitos, utilizando metodologias 3
participativas. Prevê, necessariamente, atividades de mobilização, sensibilização, educação, formação e adequação da tecnologia às especificidades locais (RTS, 2005). As instituições reaplicadoras são majoritárias na rede, e entre o período de 2006-2007, os mantenedores financiaram onze grandes projetos de reaplicação de tecnologia social. 3. Método para construção do Sistema de Monitoramento e Avaliação da RTS A proposta teórico-metodológica preliminar se pautou na revisão bibliográfica acerca do tema, da qual se destacou para embasamento teórico as obras de autores como Ander-Egg (1994), Franco e Cohen (1993), Januzzi (20044), Belloni e Magalhães (2000), dentre outros. Além disso, foi realizada pesquisa documental e entrevistas com organizações que compõem o Comitê Coordenador da RTS. Após cruzamento da literatura consultada e analises dos dados coletados, foi possível construir um percurso metodológico para formação de indicadores, composto por fases, que levaram em consideração as especificidades da organização. Como mencionado anteriormente, o inicio do delineamento do método se pautou em um diagnóstico organizacional realizado em 2005 e que utilizou o método ZOPP para estruturação de problemas. Esse diagnóstico verificou, em termos de raízes do problemas e possíveis soluções, as seguintes questões: Causa (em blocos) Raízes do Problema Recursos finitos Produtos Decorrentes Recursos suficientes disponibilizados Imprecisão dos conceitos utilizados Base conceitual consolidada Base conceitual não consolidada Conhecimento superficial acerca das Conhecimento adequado e atualizado das exigências dos órgãos fiscalizadores exigências da fiscalização, da diversidade Conhecimento superficial acerca das das ações e das distintas metodologias. diversas ações da Rede Conhecimento superficial acerca das metodologias distintas de A&A já adotadas Dados insuficientes para construir uma avaliação da RTS efeitos e impactos Sistemas de dados adequados implantados adequadamente Informação insuficiente sobre a execução de projetos Cultura de avaliação inconsistente Cultura da avaliação consistente e disseminada Falta de metodologia de elaboração de projeto Política de qualificação e elaboração de projetos implantada Ação antecede o planejamento e formas de avaliação do projeto Falta de previsão das formas de devolução dos resultados à sociedade e aos beneficiários Falta de previsão de mecanismos de interação entre equipes de monitoramento e de execução Distanciamento/desconhecimento da comunidade onde reaplicamos as TS Acompanhamento distante e predominantemente financeiro/quantitativo Fonte: Documento Interno RTS Avaliação global e local qualitativa e participativa implantada Tabela 1 Raízes dos Problemas e Soluções Decorrentes RTS 4
À esses resultados somou-se entrevistas com representantes da rede durante o I Fórum Nacional da RTS em 2006, que geraram materiais de base para delimitar diretrizes que embasassem o percurso metodológico: 1) a avaliação, como pesquisa social aplicada, é um exercício pedagógico e um imperativo ético que possibilitam o controle sobre as ações de interesse público, pois identificam, obtém e propiciam informações válidas e confiáveis para reflexão e redimensionamento das ações; 2) As dimensões quanti-qualitativas resguardam especificidades e são complementares, devendo integrar o processo avaliativo; 3) a avaliação é um processo que deve ser construído de forma coletiva e participativa; 4) A publicização dos resultados obtidos com a pesquisa avaliativa é condição sine qua non para fortalecer a transparência e a democracia. Verifica-se que o cerne das diretrizes concentra-se na ação avaliar, expressa pelos entrevistados como ação fundamental para auxiliar na tomada de decisão acerca de futuros investimentos. Após ratificação dessas diretrizes com a RTS, foi possível definir um conceito de sistema de avaliação e monitoramento. Tal opção metodológica visou garantir que as compreensões tivessem uma base minimamente comum. Assim, considera-se um sistema de monitoramento e avaliação: sistema integrado de informações detalhadas, coletadas, armazenadas e atualizadas, de forma adequada e periódica, que possibilita monitorar, analisar e avaliar um conjunto de ações em diferentes fases de seu desenvolvimento (inicial, intermediária e final). (PROJETO MARTS, 2006). Com base no exposto acima, foi possível organizar o projeto em nove fases, as quais estão sendo desenvolvidas desde 2006 e, atualmente, se encontram em fases finais. Esquematicamente, as fases consistem: PROJETO MARTS FINALIZADO FASE 9 Sugestões e Recomendações para a realização da Avaliação de Impacto FASE 6 Apresentação do banco de dados à instituição responsável pela elaboração do Sistema de Monitoramento e Avaliação FASE 7 Execução do Projeto Piloto (préteste) construção do Plano Amostral por projeto FASE 8 Análise do projeto piloto (ajustes e correções) e Conclusão do Sistema de Monitoramento e Avaliação FASE 4 FASE 5 Realização das Oficinas Ampliadas Qualificação do banco de dados para a estruturação do Sistema de Monitoramento e Avaliação FASE 1 Categorização dos 11 macro projetos FASE 2 Definição de indicadores, elaboração das variáveis (quanti-qualitativa) e dimensões que compõem os indicadores FASE 3 Diretrizes operacionais preliminares para a construção do banco de dados Figura 1 Percurso Metodológico A fase um, teve por objetivo categorizar os projetos a partir de onze macro projetos de reaplicação da RTS, seus objetivos e respectivos projeto(s) vinculado(s), fase a qual já foi 5
concluída e obteve como produtos o Glossário RTS, que explica o conceitos que permearam a construção do sistema, Caderno Técnico, com a literatura revisada e fichada, e Sistematização dos Projetos, como todos os dados dos projetos de reaplicação de tecnologia social. A fase dois foi o momento de definição de indicadores e elaboração das respectivas dimensões e variáveis (quanti-qualitativas), tomando-se como referência critérios como universalização e constância dos macro-projetos da RTS, pertinência e consistência, clareza de significado e viabilidade operacional e financeira. Abaixo, é apresentada figura esquemática do método de formação de indicadores: Eixo Estruturante Ações da RTS Objetivo Indicador Variável Questão Resultados Relatórios Figura 2 Formação de Indicadores Caso RTS Tem-se, nessa figura, que o Eixo Estruturante, ou seja, a base dos indicadores são as próprias ações da RTS: reaplicação, difusão e articulação de tecnologia social. As ações estruturantes possuem objetivos distintos, os quais permitiram a definição de indicadores, que são expressos em classes de variáveis e variáveis singulares, coletadas por meio de questões específicas. Os resultados da obtenção das respostas das questões são compilados em relatórios, que, por sua vez, alimentam com dados quanti-qualitativos os eixos estruturantes. Esse esquema encontra-se integrado a um sistema de informação que possui componentes inter-relacionados que coletam (entrada), manipulam e armazenam (processo), disseminam (saída) os dados e informações, fornecendo um mecanismo de feedback: 6
Feedback necessidade e uso da informação Entrada Processamento Saída Padronização de linguagem conceitos Instrumentos de coleta de dados Registro da informação ato de sua geração Manipulação relacionamento e cálculos Transformação Classificação catalogação e indexação Armazenamento arquivamento Recuperação da informação Indicadores, variáveis e relatórios Figura 3 Sistema de informação do Sistema de M&A - RTS A fase três delimitou diretrizes operacionais básicas para a construção de um banco de dados que armazenará as informações coletadas acerca das ações da RTS. Nesse sentido, firmou-se que os projetos serão monitorados e avaliados ao longo de seu início, desenvolvimento e conclusão; alimentado pelo executor, de acordo com a etapa específica em que se encontra; o histórico do projeto será rigorosamente preservado para possibilitar análises comparativas e relatórios específicos; seu conteúdo como resultado de um processo coletivo de discussão e aprimoramento, envolvendo os diferentes envolvidos; e, por fim, o preenchimento do sistema de M&A será realizado a partir de um conjunto de informações contidas num Manual Específico de Orientação (EQUIPE FORPROEX, 2007). Essa fase está concluída e como resultado, foi construído um instrumental de coleta dos dados, que está sendo informatizado. Considerada uma das fases mais importantes do projeto, a fase quatro constitui-se da organização de Oficinas Regionais, as quais tiveram por objetivo consolidar a perspectiva de rede por meio da difusão, articulação, aprimoramento e pactuação da proposta do Sistema de Monitoramento e Avaliação da RTS, com ênfase na interação da tríade Organizações/Universidades/RTS, além da identificação de limites e potencialidades de sinergia da RTS. Por meio desse momento de interação com reaplicadores de tecnologia social financiados pela rede, buscou disseminar a cultura de monitoramento e avaliação, desmistificando o caráter punitivo que muitas ações de monitoramento e avaliação possuem em outros ambientes. A dinâmica da fase centrou-se na apresentação e discussão de proposta preliminar do sistema de monitoramento e avaliação da RTS, visando obter subsídios consistentes para estruturação e ratificação de elementos que deveriam constar no sistema, percebidos pela equipe contratada. Além disso, foram eleitos representantes de projetos de reaplicação de tecnologia social para acompanhar com regularidade a construção do Sistema de Monitoramento e Avaliação da RTS (SMARTS) e participar ativamente da fase sete. As oficinas foram realizadas no final de 2007 e inicio de 2008, sendo a primeira sediada pela Região Nordeste e a segunda pela Região Norte do país. No momento, o projeto se encontra em sua fase cinco, a qual faz a qualificação e a estruturação do Sistema de Monitoramento e Avaliação e o desenho operacional do sistema. As demais fases são, a saber: fase seis, apresentação do desenho do sistema à instituição responsável pela elaboração do sistema informatizado de monitoramento e avaliação; fase sete, execução do projeto piloto (pré-teste) com grupo eleito nas Oficinas Ampliadas; fase oito, análise do projeto piloto (ajustes e correções) e formatação final do sistema e; fase nove - finalização do Projeto e Recomendações para a realização da Avaliação de Impacto. 7
4. Conclusões O conteúdo aqui apresentando buscou oferecer um breve panorama acerca da formação de um percurso metodológico que permita implantar um sistema de monitoramento e avaliação em uma organização do terceiro setor. A socialização dos resultados metodológicos, mesmo que parcialmente, são esforço em produzir determinado tipo de conhecimento que deve beneficiar diferentes tipos de organização, em especial, àquelas que não possuem uma ferramenta de gestão integrada que lhe permita avaliar, monitorar e, por conseguinte, planejar suas ações. Outro fator motivador deve-se a ausência de literatura que discorra sobre os passos metodológicos para a construção de sistemas de monitoramento e avaliação em organizações do terceiro setor, em especial que considerem grande número de atores sociais. O elemento participação tornou complexo o delineamento do percurso metodológico tendo em vista que são quinhentas e oitenta e sete organizações filiadas a RTS, constitui-se como desafio. Nesse sentido, observar e registrar sistematicamente as interações de diferentes saberes na construção de uma ferramenta de gestão reforça, em alguma medida, a importância de verificar o tratamento metodológico que será dado ao processo, com vistas a sua reaplicação em organizações semelhantes. 5. Referências ANDER-EGG, E.; AGULIAR, M. J. Avaliação de serviços e programa sociais. Petrópolis, RJ: Vozes, 1994. BELLONI, I. MAGALHÃES, H., SOUZA, L. Metodologia de Avaliação em Políticas Públicas. São Paulo: Cortez, 2000. BORGATTI, S.P. FOSTER, P.C. The network paradigm in organizational research: a review and typology. Journal of Management, 2003 PROJETO MARTS. Projeto Monitoramento e Avaliação RTS: um processo coletivo. Fórum de Pró-Reitores das Universidades Públicas Brasileiras, 2006. FBB. www.tecnologiasocial.org.br/bts, acesso em 25/06/2007. ITS. Reflexões sobre a construção do conceito de tecnologia social. In: RTS. Tecnologia Social: uma estratégia para o desenvolvimento. FBB: Rio de Janeiro, 2004. JANNUZI, P. M. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicações. Campinas, São Paulo: Editora Alínea, 2004. RTS. Documento de constituição da Rede de Tecnologia Social. Documento interno, 2004.. Tecnologia Social uma estratégia para o desenvolvimento. FBB: Rio de Janeiro, 2004.. Relatório Bienal. Documento interno, 2006. RUTKOWSKI, J. Sustentabilidade de empreendimentos solidários: que papel espera-se da tecnologia In: LIANZA, S.; ADDOR, F. (org). Tecnologia e Desenvolvimento Social e Solidário. Porto Alegre: UFRGS Editora, 2005, v., p. 27-46. 8