AVALIAÇÃO PARA O INVESTIMENTO SOCIAL PRIVADO: DEFINIR O CAMINHO METODOLÓGICO MAIS ADEQUADO 2º e 3º Encontros: Durante
SUMÁRIO 4 8 12 18 46 APRESENTAÇÃO OS ENCONTROS DO ANTES AO PRINCIPAIS ELEMENTOS DO 19 39 43 Orientadores do Desenho Metodológico 19 Não há métodos a priori 25 Cada projeto tem seu perfil e sua avaliação 28 São diferentes os modelos de impacto existentes 33 Existem múltiplas conjugações possíveis entre qualitativo e quantitativo Atenções ao Processo Avaliativo Apontando para um Depois BIBLIOGRAFIA
5 A avaliação de programas e projetos sociais é hoje considerada um dos pilares para o fortalecimento e ampliação da legitimidade do investimento social privado brasileiro, figurando entre as agendas estratégicas do Grupo de Institutos e Fundações Empresariais GIFE, ao lado das práticas de governança e transparência, comunicação, alinhamento com políticas públicas, alinhamento ao negócio, negócios de impacto social, doação e fortalecimento das organizações da sociedade civil. Tal movimento demonstra a crescente preocupação com os efeitos do investimento social privado em agendas sociais, ambientais e culturais. Em tempos de desafios sociais, econômicos e políticos para toda a sociedade, muitos investidores sociais têm utilizado a avaliação como forma de assegurar que suas ações estejam cada vez mais em linha com a produção de bens públicos. Nas construções que vêm sendo empreendidas nos últimos anos nessa área, observa-se um caminho que projeta a avaliação como etapa fundamental para o desenvolvimento de estratégias organizacionais. APRESENTAÇÃO A Fundação Itaú Social acredita nas avaliações como instrumentos favorecedores da tomada de decisão e do planejamento de ações. Nesse sentido, utiliza e dissemina a metodologia de avaliação econômica, aliada a métodos complementares, desenvolvendo estudos que geram informações relevantes para a gestão de programas. São organizadas também formações sobre avaliação econômica, voltadas para gestores sociais, e sobre o uso de resultados de avaliações externas, voltadas para professores e gestores públicos. A Fundação Roberto Marinho institucionalizou a avaliação como diretriz estratégica de sua atuação, reconhecendo-a como fonte de aprendizados e meio estruturante para planejar, monitorar e mensurar resultados e impactos. Além de realizar avaliações de seus projetos e programas, fomenta espaços de diálogos internos e externos sobre diferentes elementos que compõem o ato de avaliar. A instituição ressalta a utilidade das avaliações para atender as necessidades sociais, assim como manter a credibilidade junto a parceiros e a sociedade em geral. Neste sentido é que o GIFE, em parceria com a Fundação Itaú Social e a Fundação Roberto Marinho, promove este Ciclo de Encontros de Avaliação: antes, durante e depois. Esta proposta segue em linha com os quatro seminários internacionais realizados entre 2012 e 2015 sobre a relevância da avaliação para o investimento social privado. Em atenção ao interesse dos associados GIFE e ao desenvolvimento do tema da avaliação no âmbito da atuação das organizações da
6 sociedade civil, este ciclo de encontros se propõe a promover espaços de estudos e trocas em torno de perguntas fundamentais àqueles que querem se desenvolver em avaliação: por que fazer avaliação? Como se organizar para isso? Como fomentar a cultura de avaliação numa organização? Quais os desenhos avaliativos possíveis? Como melhor utilizar seus resultados? Como melhor relacionar avaliação e estratégia organizacional? Quanto investir? Reunindo investidores, gestores, parceiros de implementação, pesquisadores e avaliadores, os encontros concentram-se em diferentes etapas dos processos avaliativos, incluindo o antes de avaliar, relacionado às condições necessárias à avaliação; o durante, relacionado aos diversos aspectos em torno da investigação da realidade, do desenho metodológico à sua implementação; e o depois de avaliar, concentrado em aprendizagem e usos estratégicos. A fim de assegurar a continuidade da produção sobre avaliação que tem sido incentivada e promovida pelo GIFE, Fundação Itaú Social e Fundação Roberto Marinho, buscou-se produzir e publicar a sistematização dos conteúdos apresentados e debatidos nestes encontros. Um primeiro material fora já preparado e publicado com este fim, articulando as falas dos diferentes especialistas que analisaram os principais elementos do antes na avaliação, em diferentes perspectivas. Apresenta-se aqui a segunda publicação do ciclo, englobando conteúdos e debates ocorridos nos dois encontros dedicados à reflexão sobre o durante na avaliação. Assim como na sistematização do primeiro encontro, foram incluídas no texto referências aos seminários internacionais sobre avaliação anteriormente realizados e consolidados em três importantes livros sobre o tema 1, de forma a proporcionar aos leitores um material não apenas atual como consistente. Esperamos que o Ciclo de Encontros de Avaliação seja mais um passo nesta agenda e que os relatos, saberes e sugestões de leitura articulados neste material alcancem os diversos interessados nesta temática. A intenção é favorecer o adensamento da cultura avaliativa do investimento social privado, ampliar e democratizar o acesso a conteúdos de relevância teórica e prática. 1 São eles : FUNDAÇÃO ITAÚ SOCIAL, FUNDAÇÃO ROBERTO MARINHO & MOVE (Org.). A relevância da avaliação para o investimento social privado. São Paulo: Fundação Santillana, 2012; Idem. Avaliação para o investimento Social Privado: metodologias. São Paulo: Fundação Santillana, 2013; Idem. Investimento social privado: estratégia organizacional. São Paulo: Fundação Santillana, 2015. José Marcelo Zacchi Secretário-Geral do GIFE Angela Cristina Dannemann Superintendente da Fundação Itaú Social Mônica Rodrigues Dias Pinto Gerente de Desenvolvimento Institucional da Fundação Roberto Marinho
9 os encontros O segundo e o terceiro eventos do Ciclo de Encontros de Avaliação 2016-2017 reuniram avaliadores, gestores e diferentes profissionais do terceiro setor para refletir e debater sobre os principais aprendizados e pontos de atenção que caracterizam o durante na avaliação de iniciativas sociais, voltando-se principalmente ao desafio que se coloca nas escolhas que envolvem o desenho metodológico da avaliação. O segundo encontro do ciclo, que aconteceu na manhã do dia 21 de fevereiro de 2017, contou com a presença de Daniel Santos, avaliador e professor de economia da Universidade de São Paulo de Ribeirão Preto, com reflexões em torno das vantagens e limitações da avaliação de impacto e dos métodos experimentais; Thomaz Chianca, avaliador e sócio-gerente da COMEA Avaliações Relevantes, que abordou a avaliação segundo perspectiva dos métodos mistos, orientada por rubricas e construção de valores; e Eduardo Marino, gerente da área de Conhecimento Aplicado da Fundação Maria Cecília Souto Vidigal, que abordou a importância dos processos avaliativos e da definição dos métodos estarem orientados para conceder subsídios a tomadas de decisão. OS ENCONTROS O terceiro encontro, ocorrido na manhã do dia 04 de maio de 2017, iniciou propondo às mesas um debate sobre três dos casos avaliativos previamente enviados por organizações participantes do encontro e selecionados pela curadoria do evento. Os participantes dispostos nas mesas foram convidados a debater sobre as questões que envolvem a eleição de métodos avaliativos, formulando perguntas que poderiam ser discutidas pelos palestrantes convidados. Após o trabalho nas mesas, iniciou-se um painel de especialistas composto por Thereza Penna Firme, professora adjunta da UFRJ e coordenadora do Centro de Avaliação da Fundação Cesgranrio, que enfatizou aspectos de uma avaliação qualitativa e sensível à escuta de crianças e jovens; Ana Hermeto, pesquisadora do Centro de Desenvolvimento e Planejamento Regional da Universidade Federal de Minas Gerais, que abordou questões e desafios no desenho de avaliações de projetos com diferentes perfis, possibilidades e necessidades avaliativas; e Mônica Pinto, gerente de desenvolvimento institucional da Fundação Roberto Marinho, que procurou explicitar os principais aspectos que o gestor de investimento social privado deve considerar ao longo de uma avaliação. Após a fala de cada uma, o público pôde fazer perguntas e contar com as reflexões das palestrantes.
10 Estas duas manhãs tiveram seus conteúdos aqui sistematizados com o objetivo de registrar o caminho e aprofundar o debate sobre avaliação no investimento social privado, favorecendo trocas e aprendizagens na continuidade do Ciclo de Encontros de Avaliação: antes, durante e depois.
DO ANTES AO
l o processo avaliativo: antes, durante, depois. o antes o durante o depois d e s e n v o l v e r c u l t u r a Quais os desafios? c o n s t r u d e i r a v a a i r d e fi n Variadas formas de pensar a avaliação Diferentes culturas avaliativas em jogo Múltiplas necessidades e práticas avaliativas Qual a pergunta a ser respondida? i a ç ã o p e r g u n t a s l fi n a i d a d e Por que avaliar? r e d a e n v o a v a l e v a n t e s l v e r l i a ç ã o o s d i f e r e n t e s Quem deve participar? Subsidiar o pensamento estratégico Tomar decisões Melhorar a prática cotidiana Gerar aprendizados a t o r e s Quais decisões precisam ser tomadas para avaliar? c o n t e x t o d o p r o j e t o p e r fi Pactuação da finalidade e foco da avaliação Definição das perguntas avaliativas Mapeamento dos indicadores e evidências Equação entre o ideal e o possível Objetivos Duração m o d e l d o Abrangência geográfica Público-alvo Orçamento l o p r o d e j e t o Quais dimensões do projeto influenciam? Resultados esperados i m p a c t o d o Qual o conceito de impacto do projeto e da avaliação? p r o j e t o atenções ao processo avaliativo a b o r d a g e n s q u a Exercício do diálogo e negociação Manejo dos desafios e imprevistos Ajustes entre o desejável e o possível Sensibilidade ao inesperado l i Zelo pela comunicação da avaliação Responsabilidade no uso dos resultados x q u a n t i Definição de qual das múltiplas abordagens ou conjugações possíveis entre qualitativo e quantitativo é a mais adequada para o projeto e seu contexto Diferentes atores com diferentes perguntas Importância de ater-se ao essencial Resultados esperados como orientadores Cada ator é importante com suas leituras e demandas Existem diferentes formas de participação A participação favorece o uso da avaliação Medição do efeito da intervenção Efetividade social do projeto social Mudança de valores Mudança relevante na realidade social... +
16 No primeiro encontro deste ciclo, marcado por contribuições de diferentes atores do campo social avaliadores, implementadores, gestores e investidores, foi destacado um conjunto de elementos que caracteriza o momento anterior à avaliação, configurando algumas das condições necessárias e ideais para se avaliar uma iniciativa social. Dentre esses elementos, ressaltou-se a importância da construção permanente de uma cultura de avaliação nas organizações e no campo social. Ao mesmo tempo em que o investimento e a realização de avaliações fomentam e contribuem para a cultura de avaliação, um processo avaliativo que ocorre dentro de um contexto organizacional no qual já está instalada uma cultura de avaliação, pode ser mais potencializado e otimizado, desenvolvendo-se de maneira orgânica às necessidades do projeto e da organização. Outro elemento destacado envolve a importância de ter clara e bem definida a finalidade da avaliação, estando orientada fundamentalmente para seu uso, tendo em vista as necessidades avaliativas do projeto e de seus atores. Uma vez clara a finalidade, as perguntas avaliativas oferecerão um importante contorno para a avaliação, orientando todo o processo posterior de maneira a colher informações que sustentem respostas consistentes às perguntas e sirvam à finalidade da avaliação previamente pactuada. Por fim, um quarto elemento debatido no primeiro encontro refere-se à importância do envolvimento dos diferentes atores relacionados ao projeto, tanto como meio de fomento à cultura de avaliação, quanto para potencializar a própria avaliação ao alinhar compreensões, objetivos e expectativas em relação a ela e ao projeto. Uma vez conscientes desses elementos que caracterizam o início de um processo avaliativo, quais seriam as principais questões que se instalam no durante da avaliação? Quais aspectos envolvem um desenho metodológico? Quais variáveis se colocam na definição de uma abordagem? O quanto o gestor precisa ter clareza das opções existentes e o quanto o avaliador precisa conhecer o projeto para bem defini-las? Como a avaliação pode responder de maneira adequada às demandas e aos limites de cada iniciativa? Existe uma concepção de impacto mais adequada do que outra? Existe uma abordagem melhor do que a outra? Quais as questões que se colocam na gestão de uma avaliação? Como, afinal, assegurar a melhor escolha metodológica tendo em vista a utilidade e a finalidade da avaliação? Considerações sobre essas e outras questões são aqui colocadas em discussão a partir das contribuições dos oradores convidados e do público presente no segundo e terceiro eventos do Ciclo de Encontros de Avaliação.
19 PRINCIPAIS ELEMENTOS DO Orientadores do Desenho Metodológico PRINCIPAIS ELEMENTOS DO A escolha metodológica para avaliar um projeto ou programa social envolve uma série de aspectos que desafiam avaliadores e gestores. Dentre esses aspectos destaca-se o reconhecimento de que a eleição da abordagem e o desenho do modelo avaliativo devem levar em conta fatores prévios tanto relacionados ao projeto quanto a seu contexto. De maneira mais específica, as escolhas metodológicas devem levar em conta o perfil e as características do próprio projeto, orientando um desenho ajustado à realidade investigada. Outro aspecto comum às escolhas metodológicas, que se mostrou relevante para os palestrantes, refere-se à própria concepção de impacto cuja definição não partilha de consenso no campo da avaliação. Ainda, a discussão sobre características de abordagens qualitativas e quantitativas, bem como sobre suas possíveis complementaridades e conjugações em abordagens mistas, contribuiu para jogar luz a esse importante aspecto que envolve o desenho do modelo de uma avaliação. Todos esses aspectos componentes do desenho metodológico serão a seguir abordados. Não há métodos a priori: O conjunto de oradores converge na ideia de que a abordagem avaliativa pode ser mais adequadamente desenhada após bem delimitado o objeto a ser investigado pela avaliação. A eleição da abordagem ou do modelo avaliativo é, portanto, consequência de um conjunto de escolhas relativas ao projeto e seu contexto, tais como: alinhamento das diferentes percepções e intencionalidades existentes sobre o projeto e o processo avaliativo, com pactuação da finalidade e foco da avaliação; definição das perguntas avaliativas; mapeamento dos indicadores, evidências e informações necessárias para responder às perguntas e assim alcançar a finalidade da avaliação. Será também crucial estabelecer uma equação equilibrada entre a avaliação possível, dada pelo contexto, e a aproximação necessária e suficiente com a realidade a ser investigada. A clareza sobre esses enquadres pode contribuir para um desenho metodológico da avaliação ajustado ao contexto e à realidade da intervenção. Os diferentes atores envolvidos e suas expectativas Dentre os diferentes atores envolvidos em um projeto ou programa, existem múltiplas percepções e expectativas sobre o próprio projeto e, principalmente, sobre a avaliação. Nesse sentido, para a gestora Mônica Pinto, não apenas é fundamental ter consciência e clareza da diversidade de intenções em jogo num A abordagem avaliativa deve ser definida após a clara definição do que é necessário investigar, sendo consequência de um conjunto de escolhas relativas ao projeto e seu contexto. É fundamental ao gestor estar ciente da diversidade de intenções em jogo numa avaliação, saber manejá-las e garantir o foco sobre o que é necessário e relevante.
20 21 PRINCIPAIS ELEMENTOS DO processo avaliativo, mas também manejar essas múltiplas intencionalidades de forma adequada. A gestora ressalta a dificuldade e a importância de garantir o foco sobre o que é realmente relevante em meio a tantos desejos e intenções distintos. Existem mantenedores a perguntar por resultados a fim de orientar seus investimentos, há gestores públicos que necessitam conhecer resultados para ajustar programas e demonstrar avanços, há técnicos que demandam informações, implementadores com suas reflexões e dilemas do cotidiano, além das necessidades e expectativas dos públicos com quem e para quem se trabalha. Segundo Mônica Pinto, é sempre necessária a aproximação com os participantes diretos dos projetos. Porém, maiores avanços nessa aproximação ainda devem ser buscados junto aos investidores. De um lado há o tempo estendido das mudanças sociais e das pessoas que atuam e participam dos projetos, de outro há o tempo das decisões sobre os recursos, sempre a operar num passo mais acelerado. Esses dois tempos têm que ser, de ambos os lados, melhor compreendidos, com maior partilha e empatia, tendo em vista o benefício da própria intervenção. O desafio de focar no essencial Após reconhecida a multiplicidade de intenções sobre a ação social que se quer avaliar, instalado e enfrentado o desafio do diálogo, do alinhamento e do processo de pactuação entre os diferentes atores, um foco deve ser buscado de maneira consistente. O importante é, afirma Mônica Pinto, em função de objetivos e foco definidos, ater-se ao essencial e ao que é relevante para tomar decisões que respondam às necessidades do projeto e que gerem seu aprimoramento. Circunscrever o processo avaliativo ao que é essencial ao projeto não é tarefa fácil. Além de lidar com a variedade de expectativas, outro passo desafiador é definir as perguntas que possam orientar adequadamente o processo avaliativo dada a multiplicidade possível de indagações existentes em torno de um projeto social. Segundo o avaliador Thomaz Chianca, é ampla a gama de questões que podem ser levantadas: o que se está fazendo é relevante? Está atendendo a uma necessidade? O desenho do projeto é adequado para atender essa necessidade? A implementação do projeto está se dando da melhor maneira possível e corresponde ao que se propõe? Está sendo buscada sinergia para potencializar ações de outras pessoas e organizações que estão atuando no mesmo campo? O que se está fazendo é sustentável? Quais as aprendizagens geradas com o projeto até aqui? Os projetos sempre geram muitos questionamentos, dada A busca por um foco na avaliação exige ater-se ao essencial, circunscrever com clareza o objeto a ser investigado e orientar-se por perguntas relevantes. a natureza complexa de uma ação social. O desafio de um processo avaliativo está em bem delimitar as perguntas dentro do universo do projeto e da clareza sobre o que a avaliação, em um determinado momento do projeto, do programa e da organização, precisa informar. O avaliador Daniel Santos considera que um primeiro passo no processo avaliativo é saber circunscrever o que é necessário e possível estimar, para assim medir o que de fato será útil e que consiga responder adequadamente à pergunta da avaliação. Em sentido semelhante, Thomaz Chianca ressalta a importância de ter claras as perguntas avaliativas e de construí-las de maneira estratégica, evitando a tentação de construir uma lista infindável de perguntas cujas respostas correm o risco de se perder em detalhes, perdendo-se também a relevância da avaliação. O caráter orientador dos indicadores Caminhando um passo além das perguntas avaliativas, a avaliadora Ana Hermeto considera que o maior desafio de uma avaliação é criar indicadores que orientem a busca por informações de maneira consistente. Uma vez criados os indicadores, o próximo passo é a definição da metodologia a ser empregada, cabendo a esta gerar as informações e evidências previstas nos indicadores, sejam elas qualitativas ou quantitativas. Uma vez desenhada a metodologia e iniciada a avaliação, novos indicadores podem ser construídos e outros revistos, como parte inerente de um processo avaliativo que se adapta ao processo de investigação. A avaliação ideal e a possível Cada um dos profissionais enfatizou a importância de haver um elemento orientador do desenho metodológico, seja o foco ou finalidade, as perguntas avaliativas ou os indicadores. Outro aspecto ressaltado refere-se à busca de um equilíbrio entre uma avaliação possível de ser realizada, dadas as circunstâncias, e a aproximação necessária da realidade, dadas as necessidades avaliativas em jogo. Retomando a fala da gestora Mônica Pinto, um desafio que se coloca é chegar a um desenho metodológico que garanta a complexidade e a riqueza necessárias a um processo avaliativo sem simplificar ou dispersar a análise, chegando a uma abordagem que, dadas as condições, seja exequível e que de fato se aproxime da complexidade de uma ação social e de sua avaliação. Um gestor, segundo Eduardo Marino, necessita de informações fundamentalmente voltadas à tomada de decisão, informações O maior desafio de uma avaliação é criar indicadores que orientem a busca por informações de maneira consistente. O desenho metodológico deve ser construído de maneira a buscar, em dado contexto, uma aproximação possível e suficiente com a realidade investigada, tendo em vista as informações e evidências necessárias para tomada de decisões.
22 23 PRINCIPAIS ELEMENTOS DO que podem ser de diferentes formatos, buscadas em diferentes momentos, em função da necessidade. Independentemente da natureza da evidência que virá informar ou responder à sua pergunta se quantitativas ou qualitativas o que um gestor precisa é da melhor aproximação possível com o que aconteceu naquela realidade, naquela intervenção ou naquele programa. A decisão sobre o modelo mais adequado para avaliar deve ser tomada em função da pergunta a ser respondida, da clareza sobre quem irá utilizar a informação e para quê será utilizada: se para a equipe, se para o conselho, se para aprender, se para prestar contas, etc. Esta aproximação ideal e possível com a realidade, tendo em vista a pergunta e a necessidade de informação do gestor, irá orientar a definição do desenho metodológico, não havendo portanto, segundo sua perspectiva, opções metodológicas que possam ser definidas a priori. Instala-se, assim, um desafio para o gestor que se depara com a necessidade de tomar a decisão sobre os modelos em função das necessidades e do desenho do próprio programa. Para Eduardo Marino, as diferentes abordagens oferecem precisões distintas em função dos aspectos a serem avaliados. Modelos experimentais podem servir para gerar certas evidências de natureza quantitativa que informam certas decisões, por exemplo, relativas ao investimento. Outras podem ter ênfase mais participativas, gerando insumos qualitativos com forte orientação, por exemplo, para fins de aprendizagem. A primeira pode ser uma avaliação externa. A segunda interna. Pode ainda, haver uma articulação consciente entre uma e outra, em diferentes fases da avaliação. Em meio a um universo de conjugação e desenhos metodológicos possíveis, estes devem, portanto, estar sempre a serviço de gerar informações para a tomada de decisão necessária em determinado contexto. O tripé da viabilidade: política, temporal e financeira Ao mesmo tempo que se busca a melhor aproximação da realidade, tal busca deve encontrar um balanço com a viabilidade. Segundo Eduardo Marino, três dimensões de viabilidade devem ser analisadas. A primeira é a viabilidade política, questionando se é viável politicamente implementar uma avaliação. A segunda é a viabilidade temporal, questionando se há tempo viável para aplicar um determinado modelo e se este faz sentido dado o contexto em que a avaliação se insere. Em articulação com os dois anteriores, a viabilidade financeira é determinante para definir a melhor opção a partir do que é exequível em termos de recursos. É viável politicamente implementar uma avaliação? Há tempo suficiente para aplicar determinado modelo avaliativo? Quanto custa a precisão necessária e suficiente da informação, de maneira a subsidiar a contento a tomada de decisão? Ou seja, quanto custa a precisão necessária e suficiente da informação, de maneira a subsidiar a contento a tomada de decisão? Por vezes, pondera Eduardo Marino, uma determinada aproximação com a realidade é inviável quanto ao custo, sendo necessário o ajuste do modelo para que este possa ser capaz de tirar uma fotografia da realidade investigada de maneira a informar, mesmo que não da maneira mais precisa possível, o que precisa ser informado. A conjugação entre custo, viabilidade e tipo de informação necessária deve ser bem cuidada: afinal, qual dado é necessário? O que é possível, dadas as circunstâncias? Quão suficiente é o possível? A tentação de definir o método antes do objeto Como afirma a avaliadora Thereza Penna Firme, as pessoas querem saber como fazer avaliações para poder aprimorar suas práticas e o método deve ser construído em função do contexto da intervenção e da avaliação, tendo em vista a utilidade da investigação que se quer realizar. Thereza Penna Firme insiste na inexistência de um método que possa ser considerado melhor do que outro por definição e não por contexto e adequação à intervenção. Não existe sentido, por exemplo, em decretar, tal como ocorrera nos EUA há alguns anos, que todos os estudos educacionais devem ser experimentais. A American Evaluation Association (AEA), em contraposição a essa decisão, manifestou-se reconhecendo a importância dos estudos experimentais pela sua atribuição científica, mas defendeu a importância equivalente, no campo avaliativo, das demais abordagens como as quasi-experimentais e as qualitativas, explicitando não haver sentido em definir de antemão uma metodologia como a mais adequada para qualquer contexto. Em sentido semelhante, o avaliador Thomaz Chianca resume três mensagens importantes. A primeira delas sugere resistir à tentação de falar primeiro e apenas de mensuração, sendo cuidadoso dar um passo atrás, compreender o que é necessário, analisar o contexto de maneira complexa e então definir o desenho metodológico. Nesse sentido, deve-se enfrentar a complexidade de um projeto social e de seu contexto para construir a melhor abordagem possível dentro das limitações existentes. Por fim, considera importante a abertura para conjugar diferentes abordagens, considerando essa mistura um caminho potente para as avaliações. A parceria entre gestor e avaliador Uma avaliação é marcada por uma cadeia de decisões, sendo fruto de uma construção coletiva que deve envolver as pessoas Não existe um método que possa ser considerado melhor do que outro por definição e não por contexto e adequação à intervenção. A complexidade do projeto social e de seu contexto deve ser enfrentada para desenhar uma avaliação que seja relevante.
24 25 PRINCIPAIS ELEMENTOS DO certas nos momentos certos, desde especialistas e implementadores, até os participantes do projeto. No momento do desenho metodológico, uma importante relação a ser cuidada é aquela entre o gestor e o avaliador. Do ponto de vista do gestor Eduardo Marino, o esforço de construir informações úteis à tomada de decisão e de fazer uso dessas informações cabe tanto ao gestor quanto ao avaliador. Para ele, há uma relação de corresponsabilidade quando um avaliador é contratado por um gestor, sendo mútuo o compromisso de construção de informação útil e de partilha e uso das informações geradas, mesmo que os resultados da avaliação não tragam as melhores notícias. Em sentido semelhante, Mônica Pinto afirma que a relação do gestor com o avaliador, seja este último interno ou externo, necessita ser cuidada de maneira a bem articular e alinhar as diferentes intencionalidades do projeto, os objetivos pactuados e o desenho metodológico da avaliação. A gestora ressalta a importância e o desafio de conjugar adequadamente, na relação com o avaliador, o repertório de métodos e técnicas do especialista com a justa compreensão do projeto e dos objetivos da avaliação. Um duplo afinamento de lentes seria aí desejável: de um lado ter afinada a compreensão do avaliador sobre o que é o projeto, de outro a capacidade do gestor de compreender e validar o desenho metodológico e os instrumentos propostos. *Dica de Leitura Em meio às indagações existentes sobre os desenhos metodológicos em avaliações e com o objetivo de auxiliar na elaboração de respostas, Rogério Silva e Daniel Brandão em artigo 1 oferecem reflexões sobre seis variáveis-chave que se colocam nessa escolha. São elas: 1 Reconhecimento da natureza do objeto de estudo como fundamento para não se supor que um método pode ser escolhido à revelia do objeto. 2 Consideração das posições e preferências teóricas dos principais interessados em uma avaliação uma vez que sua utilização está diretamente relacionada com sua legitimação e validade perante seus interessados. 3 Compreensão da cultura organizacional em que um estudo se dá uma vez que oferece elementos importantes para o delineamento do sentido e do potencial de uma avaliação em contexto organizacional específico. Entre gestor e avaliador deve haver uma relação de corresponsabilidade e mútuo compromisso na construção de informação útil, na partilha e no uso das informações geradas. De um lado cabe ao avaliador afinar sua compreensão sobre o que é o projeto, de outro cabe ao gestor compreender e validar o desenho metodológico e os instrumentos propostos. 1 SILVA, Rogério; BRANDÃO, Daniel. A escolha dos métodos para fazer avaliação. In: FUNDAÇÃO ITAÚ SOCIAL, FUNDAÇÃO ROBERTO MARINHO & MOVE (Org.). Avaliação para o investimento Social Privado: metodologias. São Paulo: Fundação Santillana, 2013. 4 Clareza da viabilidade econômica é fator fundamental no desenho da avaliação, pois o volume de recursos financeiros, temporais e estruturais alocados em uma avaliação está proporcionalmente relacionado com seu desenho metodológico. 5 Atenção ao enquadre gerencial uma vez que diferentes perguntas avaliativas e diferentes métodos podem ser elegidos a depender do momento do ciclo de gestão em que o projeto ou programa se encontra. 6 As posições ético-políticas de gestores e avaliadores são, com maior ou menor consciência, importantes variáveis na determinação dos métodos avaliativos, sendo fundamental tê-las claras. Cada projeto tem seu perfil e sua avaliação É evidente e conhecida a diversidade de perfis de projetos existentes no campo social. A partir de uma análise realizada, pela curadoria do evento, sobre um conjunto de programas sociais cujos dados foram partilhados por associados GIFE especialmente para este encontro, pôde-se observar entre eles uma variedade pulverizada de áreas de atuação, tipos de ação, tempo de existência, abrangência e perfil de beneficiários. No que diz respeito à avaliação desses projetos, variados também foram os objetivos da avaliação, as abordagens e instrumentos utilizados, bem como, variadas foram as faixas de investimento nela realizadas. Ou seja, em meio a essa variedade, a análise do perfil de cada projeto pode contribuir para o ajuste adequado entre a intervenção e o desenho metodológico para avaliá-la. Nesse sentido, a avaliadora Ana Hermeto, que trabalha há muitos anos com avaliações de políticas públicas e projetos de grandes dimensões, reflete sobre essa variedade, sobre a ausência de receita única para realizar avaliações e sobre as diferenças metodológicas que se apresentam no contraste entre avaliações de grandes programas sociais e aquelas realizadas em projetos de pequeno ou médio porte. Considera ser fundamental a análise do perfil dos projetos para o desenho de uma avaliação sob medida e oferece uma visão das dimensões que influenciam este desenho: objetivos existentes, durações dos projetos, coberturas geográficas, públicos-alvo, recursos disponíveis e resultados esperados. Caracterizando os objetivos do projeto No que se refere aos objetivos do projeto, Ana Hermeto aborda as diferentes naturezas existentes. Existem objetivos originais e É importante analisar o perfil do projeto para desenhar uma avaliação sob medida. Quais as naturezas dos objetivos do projeto que se quer avaliar: originais e derivados, gerais e especificos, únicos ou múltiplos, imediatos ou mediatos, etc.?
26 27 PRINCIPAIS ELEMENTOS DO objetivos derivados, o que evidencia a dinâmica própria dos projetos sociais que se iniciam a partir de um conjunto de objetivos originais e, no decorrer do caminho, alguns novos surgem derivados e outros se transformam. Existem objetivos mais gerais e outros mais específicos. Existem objetivos únicos ou bem focados, mas existem objetivos múltiplos e abrangentes que tornam desafiadora a construção de indicadores. Além dessas características, os objetivos podem ser imediatos ou mediatos, marcados por tempos diferentes. Ou seja, é fundamental no processo avaliativo ter clareza da existência de diferentes tempos para diferentes objetivos, alguns a serem alcançados de maneira mais imediata, no curto prazo, outros mediados, no médio e longo prazos. Tal consideração impacta na análise dos dados, sendo importante considerar o momento do projeto em que o alcance de determinado objetivo pode ser dar. Caracterizando a duração do projeto Nesse sentido, a duração do projeto é outra dimensão importante para compor uma análise do perfil, uma vez que a compreensão do ciclo do projeto e de sua extensão é fundamental para desenhar uma avaliação conectada com a lógica da intervenção. No caso da avaliação do Programa Escola Integrada da Secretaria Municipal de Belo Horizonte, por exemplo, realizada pela avaliadora Ana Hermeto, o primeiro efeito constatado foi a diminuição do desempenho dos alunos participantes ou aumento da repetência. Este dado isolado, sem uma devida análise que considere a duração do projeto e a dimensão temporal de seus objetivos, pode resultar numa conclusão equivocada com péssimas consequências. Uma análise mais detida evidencia que esse resultado é consequência direta da diminuição da evasão escolar alcançada no curto prazo. Os jovens, de baixo desempenho, que estariam fora da escola, agora estão nas escolas, gerando uma queda imediata no desempenho. No curto prazo, portanto, tem-se a diminuição da evasão como objetivo alcançado, seguido de queda consequente no desempenho médio. No entanto, no médio e longo prazo, o objetivo do programa é a melhora do desempenho geral. Qual a duração do projeto que se quer avaliar: curta, media, longa? especialmente útil o acesso a uma base de dados já existente. Já em um projeto no qual a cobertura é mais focalizada, segundo Ana Hermeto, avaliações mais qualitativas podem ser mais adequadas. Caracterizando o público-alvo do projeto Além dos objetivos, durações e coberturas geográficas distintos, o público-alvo é outra dimensão importante a ser considerada no desenho de uma avaliação. Em grandes projetos e políticas públicas, o público abrangido é extenso e pode ser tratado por meio de uma abordagem estatística consistente. Por vezes, no entanto, em grandes projetos nem sempre é claro o público de abrangência, ou ainda, não está claro o alcance a beneficiários indiretos resultantes de transbordamentos ou efeitos do projeto não esperados. Mas haverá também, segundo Ana Hermeto, situações em que o público-alvo é bem circunscrito e pode oferecer condições para uma abordagem qualitativa consistente e suficiente. Apesar da tendência de grandes projetos com amplo público serem tratados com abordagem estatística e pequenos projetos valerem- -se de abordagens qualitativas, o desenho metodológico de cada projeto dependerá de uma série de fatores. Caracterizando o orçamento do projeto Outra importante dimensão do projeto social a ser considerada é o seu volume orçamentário e os recursos financeiros disponíveis para a avaliação, o que é um importante elemento de realidade. Por exemplo, uma avaliação de impacto de abordagem experimental, com grupo controle e tratamento, pode ser almejada para um determinado projeto, mas por ter um custo maior do que o próprio projeto, torna-se inviável. Ainda como exemplo, pode ser ideal construir no início do projeto uma linha de base, mas se o recurso disponível não corresponde a essa necessidade, pode ser mais viável uma avaliação ao final da implementação, recuperando-se a situação de início do projeto a partir da percepção dos participantes. O ideal não necessariamente corresponde ao possível e na prática uma importante restrição da avaliação são os recursos financeiros. Qual o público-alvo do projeto que se quer avaliar: é indefinível na totalidade, é abrangente, é bem circunscrito, existem beneficiários indiretos ou transbordamentos? Qual o recurso financeiro existente para avaliar um projeto? Qual a melhor equação entre o ideal e o possível? Caracterizando a abrangência geográfica do projeto Outra dimensão importante a ser considerada para o desenho da avaliação é a cobertura geográfica do projeto. Essa consideração impacta na escolha das técnicas a serem empregadas. Ao tratar de um projeto que atua em muitos municípios ou diversas escolas, pode-se optar, por exemplo, por uma técnica econométrica que controla o conjunto por características, valendo-se de hierarquias e de uma análise de contexto quantificada. Neste caso, pode ser Qual a abrangência geográfica do projeto que se quer avaliar: extensa ou focalizada? Caracterizando os resultados esperados Por fim, outra importante dimensão a ser analisada no perfil dos projetos, segundo Ana Hermeto, são os resultados esperados. A avaliação, segundo ela, deve sempre estar orientada para pensar as metas e os resultados do programa, mantendo-se sensível para a captura dos resultados que não estavam previstos. No Quais os resultados esperados pelo projeto? Como se manter sensível aos resultados não esperados?
28 29 PRINCIPAIS ELEMENTOS DO que diz respeito aos resultados especificamente, a clareza sobre as mudanças almejadas na realidade social e sobre o modelo de impacto da intervenção exercem forte influência sobre o desenho metodológico da avaliação. São diferentes os modelos de impacto existentes O debate em torno das diferentes concepções de impacto no campo da avaliação segue pertinente quando o tema são as escolhas metodológicas. Como não há consenso em torno do sentido do termo, este pode ser utilizado de diferentes maneiras e em diferentes contextos avaliativos, ser associado a abordagens avaliativas específicas ou receber um sentido mais genérico associado a mudanças observadas. As chamadas avaliações de impacto, por exemplo, marcadas por abordagens experimentais que buscam isolar o efeito da intervenção, valem-se do termo impacto para distinguir-se das demais, mas não esgotam os múltiplos sentidos válidos que o termo pode adquirir em outros contextos. Dada a natureza da avaliação que, por excelência, busca compreender a intervenção e seus efeitos na realidade social, torna-se importante, para bem desenhá-la, ter clareza sobre o modelo de impacto que orienta o projeto social a ser avaliado e os conceitos de impacto oferecidos pelas diferentes abordagens avaliativas. Impacto como medição experimental do efeito da intervenção Dentre os conceitos de impacto em disputa no campo da avaliação está aquele associado à avaliação de impacto entendida como uma metodologia específica. Segundo Daniel Santos, docente e pesquisador experiente em avaliações dessa natureza, a pergunta de fundo de uma avaliação de impacto seria: sabendo-se que uma intervenção foi feita, conhecendo-se um fragmento da realidade do que teria sido sem a intervenção, como estão hoje as pessoas que participaram da intervenção? Com o objetivo de medir o impacto de uma intervenção de maneira convincente, segundo sua perspectiva, torna-se necessário reconstruir o cenário caso as pessoas não tivessem participado da intervenção ou dela se beneficiado. A partir do contraste entre a medida do que aconteceu com essas pessoas depois da intervenção (grupo tratamento), e o que, a partir de uma simulação da realidade teria acontecido com as pessoas sem a intervenção (grupo controle), que se pode aferir o impacto. Esta abordagem avaliativa tem a vantagem de conseguir medir com relativa precisão estatística a diferença entre o efeito no grupo tratamento e no grupo controle, denominando-se tal Não há consenso em torno do termo impacto, podendo ser utilizado de diferentes maneiras e em diferentes contextos avaliativos, ser associado a abordagens avaliativas específicas ou receber um sentido mais genérico associado a mudanças observadas. Impacto pode ser entendido como a medida da diferença entre o que aconteceu com as pessoas depois da intervenção (grupo tratamento), e o que, a partir de uma simulação da realidade teria acontecido com as pessoas sem a intervenção (grupo controle). diferença de impacto. É capaz de responder, segundo o avaliador, a todas as perguntas que derivam desse tipo de raciocínio, sendo sem dúvidas útil, a depender da pergunta avaliativa que se quer responder. Apesar dessa abordagem ter o mérito de definir se houve ou não impacto a partir do projeto, medindo o acréscimo realizado nas pessoas pela intervenção, ela não é capaz de oferecer, sozinha, subsídios para a atribuição de valor à intervenção, nem clareza das relações causais em jogo, nem caminhos para generalizações em outros contextos, conclui Daniel Santos. Segundo o avaliador, uma avaliação de impacto de natureza experimental mede o efeito no topo de algo que já existia, mas não define necessariamente se a intervenção foi importante ou não na vida das pessoas e da sociedade. Além de não conseguir necessariamente oferecer subsídios para uma avaliação valorativa do projeto, programa ou política, uma avaliação de impacto de abordagem experimental tem dificuldades de definir as relações causais subjacentes ao impacto aferido. Apesar de conseguir isolar e medir o impacto, não é capaz de jogar luz sobre o que teria gerado o impacto ou sobre quais das várias alavancas mobilizadas pela intervenção social fizeram de fato diferença. A realidade social apresenta sua especificidade, diferenciando- -se da realidade investigada por outras ciências, como as ciências médicas e biológicas. No campo da medicina, exemplifica Daniel Santos, o efeito da oportunidade do tratamento é igual ao efeito do tratamento, pois ambos os grupos, tanto o controle, quanto o tratamento tomam, por exemplo, uma pílula. O primeiro, recebe o placebo, o segundo, recebe o medicamento com o princípio ativo. A diferença entre os resultados gerados no grupo controle e os resultados no grupo tratamento resulta na medição exata do efeito do tratamento. No contexto social, uma abordagem experimental acaba por estar influenciada pelo efeito da oportunidade de pertencer ao grupo tratamento, que não é igual ao grupo controle. Ou seja, diferentemente da situação em que ambos os grupos tomam a pílula, na avaliação de impacto, seria como se apenas o grupo tratamento recebesse a pílula e isso influencia na sua própria percepção sobre o tratamento, tendo em vista a oportunidade de tê-lo recebido e de dele vir a se beneficiar. No caso social, portanto, a oportunidade de receber a intervenção exerce influência sobre os efeitos aferidos, sendo difícil medir o efeito puro da intervenção. Existem, segundo Daniel Santos, exercícios mais rebuscados para superar esta barreira, mas segue sendo difícil ter plena clareza dos fatores influentes nos resultados. A avaliação de impacto de abordagem experimental tem a vantagem de medir com relativa precisão estatística a diferença entre o efeito da intervenção social no grupo tratamento e no grupo controle. A avaliação de impacto não é capaz de oferecer, sozinha, subsídios para atribuir valor positivo ou negativo ao efeito medido. A abordagem experimental em contexto social apresenta dificuldades para definir as relações causais subjacentes ao impacto aferido.
30 31 PRINCIPAIS ELEMENTOS DO Dada a dificuldade de traçar as relações causais e a especificidade complexa do contexto social, uma outra limitação da avaliação de impacto apontada por Daniel Santos é a dificuldade de transpor a conclusão da avaliação para outros contextos. Existe, portanto, o desafio da extrapolação sobre qual teria sido o efeito da intervenção se as condições fossem outras ou se a implementação tivesse se dado de outra maneira. A avaliação de impacto, portanto, não permite generalizações nem conjecturas sobre outras variáveis possíveis para o alcance dos efeitos medidos. A dificuldade de construir generalizações e transpor as conclusões para outros contextos é outra limitação da avaliação de impacto. Impacto como mudança de valores Diferentemente de uma visão clara e específica do que é o impacto, tal como aportada pelos profissionais do campo da economia, para Thomaz Chianca, a partir de sua experiência, a noção de impacto no contexto da realidade de um projeto e de sua avaliação apresenta-se de maneira confusa, difícil e distorcida. Isso, pois diversos acontecimentos estão se dando ao mesmo tempo numa intervenção, envolvendo um conjunto diverso de pessoas, em diferentes momentos, com distintas intensidades. Pode haver três níveis de impacto: mudanças observáveis no público-alvo mudanças não previstas profundas mudanças de valores, mais difíceis de avaliar. Impacto como efetividade social da intervenção A afirmativa de impacto se limita a essa aferição de diferença ou pode encontrar outros sentidos no campo da avaliação? Ao apresentar sua concepção de impacto, Ana Hermeto, especialista em avaliações econométricas, identifica impacto com a efetividade social da intervenção, diferenciando-o dos resultados relacionados à efetividade do próprio projeto. Ou seja, a avaliadora diferencia o que são construções intermediárias de um projeto, relacionadas aos resultados e mudanças geradas no decorrer do processo de implementação de uma intervenção, do impacto desses resultados na realidade social. Em um projeto educacional, exemplifica a avaliadora, no qual o objetivo é a mudança de práticas pedagógicas e de gestão escolar, pode-se perguntar: uma vez alcançada a meta do projeto e modificadas as práticas pedagógicas e de gestão escolar, é possível afirmar que isso é impacto? Ou seria de fato impacto o que vem depois da adoção dessas novas práticas pedagógicas? Segundo a avaliadora, aquele objetivo não é de impacto, mas de eficiência do próprio projeto, o que é diferente de ter eficiência social, pensando em impacto social de maneira mais ampla. Uma avaliação, sem dúvidas, pode avaliar a mudança de práticas mas, segundo a avaliadora, o impacto da mudança das práticas seria um passo adiante nesse processo avaliativo. Ainda exemplificando, por mais que o objetivo de um projeto ou programa seja a mobilização da comunidade, a mudança no ambiente escolar ou nos processos de aprendizagem, esses são caminhos para se chegar a um impacto posterior em termos de efetividade social. Afinal, segundo Ana Hermeto, de maneira mais concreta, impacto são as mudanças na vida das pessoas e no bem estar coletivo e individual. Do ponto de vista da avaliação, essas são mudanças percebidas e aferidas por meio de instrumentos diversos, dentro das possibilidades existentes. Impacto pode ser associado à efetividade social da intervenção, relacionado às mudanças geradas para a sociedade de maneira ampla, o que é diferente de medir a efetividade do próprio projeto expressa por resultados intermediários. Para ele, existem diferentes níveis de impacto a serem observados. Um primeiro nível de impacto, no caso de um projeto social, envolve mudanças observáveis naqueles diretamente impactados pelo projeto. Outro nível de impacto seria aquele não necessariamente previsto ou esperado, mas que pode acontecer a partir da intervenção, para além de seus participantes diretos. Mas existe ainda aquele mais difícil de acessar que se refere à mudança de valores produzida pela intervenção, compreendido como o mais profundo e transformador dos três. De qualquer maneira, uma vez buscando-se compreender quais mudanças estão sendo geradas com a intervenção, cabe necessariamente à avaliação, segundo Thomaz Chianca, avaliar a relevância dessas mudanças. Impacto como mudança relevante na realidade social Em sentido semelhante, Thereza Penna Firme entende que a concepção de impacto varia conforme o especialista, o programa e a situação, não existindo um consenso em torno da definição. Impacto é por ela entendido como algo que impressiona, que transforma, que modifica. É um efeito de algo, um efeito ou mudança gerada a partir de uma ação recebida, estando diretamente relacionado à relevância. Ou seja, não basta ter a intervenção reconhecido o seu mérito. Não basta, por exemplo, ter sido bem feita. Para de fato assumir o alcance de um impacto, a intervenção deve ter apresentado relevância, contribuindo para a sociedade. Tendo em vista sua concepção de impacto, a avaliadora considera que não existe uma abordagem específica que possa medir o impacto mais adequadamente do que outras. Especialista em abordagens qualitativas, Thereza Penna Firme entende que, assim como outras avaliações podem compreender os impactos gerados, uma avaliação participativa e qualitativa também pode ser capaz de apreender, de maneira sensível, mudanças geradas por intervenções em realidades sociais. Sobre a possibilidade de estabelecer relações causais diretas entre a intervenção e a mudança avaliada, a avaliadora questiona a possibilidade efetiva de Impacto pode ser entendido como algo que impressiona, que transforma, que modifica; um efeito ou mudança gerada a partir de uma ação recebida, estando diretamente relacionado à relevância da mudança.
32 33 PRINCIPAIS ELEMENTOS DO isolar e excluir variáveis influentes na observação pura do impacto, independentemente da abordagem, dada a complexidade da realidade social que é meio de intervenção de um projeto. Isso porque diferentemente de realidade física ou médica, na realidade social não é possível supor controle pleno sobre as variáveis de uma relação causal, sendo fundamental ter clareza de que a busca pelas possíveis causas dos efeitos verificados não será tão precisa quanto seria em um estudo naquelas áreas do saber. Isso não significa que se deve desistir de buscar as causas das mudanças observadas, sendo importante, útil e relevante o exercício de explicar a causalidade existente numa intervenção, para assim aprimorá-la. Enfatiza que no campo social dificilmente se chega à precisão absoluta, sendo sempre uma aproximação da realidade, uma aproximação possível, dadas todas as condições. Qual o modelo de impacto do projeto que se quer avaliar? Como as diferentes concepções de impacto podem ajudar a pensar outras formas de compreender o impacto gerado pelos projetos sociais? Dadas as diferentes concepções de impacto em disputa, é fundamental, segundo Thomaz Chianca, que o projeto tenha clareza do modelo de impacto que orienta a intervenção. Tal modelo envolve o desenho da intervenção, o conhecimento que se tem da realidade social em que se intervêm e o acúmulo de saber sobre outros projetos de semelhante natureza e estudos existentes sobre o tema. Envolve ainda a clareza sobre os alcances possíveis da intervenção e sobre seu desencadeamento lógico e estratégico, permitindo delinear as possíveis causas em jogo. O modelo de impacto definido poderá contribuir para um desenho metodológico mais ajustado à realidade do projeto ou programa social. Nesse sentido, tendo em vista a variedade de concepções existentes sobre impacto, ter clareza sobre o modelo de impacto que orienta um projeto ou programa social pode contribuir para a definição de escolhas a serem feitas em torno do desenho metodológico da avaliação. *Dica de Leitura Em interessante artigo 2 sobre o tema das avaliações de impacto, Miguel Skékely considera que o uso dos métodos experimentais depende do contexto específico, do tempo oportuno e da situação que prevalece no momento em que se mostra necessário gerar evidências sobre os efeitos de um projeto ou programa Ter clareza sobre o modelo de impacto que orienta um projeto ou programa social pode contribuir para a definição de escolhas a serem feitas em torno do desenho metodológico da avaliação. 2 SZÉKELY, Miguel. Vantagens e complexidades das avaliações de impacto. In: FUNDAÇÃO ITAÚ SOCIAL, FUNDAÇÃO ROBERTO MARINHO & MOVE (Org.). Avaliação para o investimento Social Privado: metodologias. São Paulo: Fundação Santillana, 2013. social. Esta é uma opção metodológica complexa em termos técnicos, havendo incentivos e resistências distintas dos diversos atores envolvidos. O autor reconhece a limitação da avaliação de impacto de abordagem experimental na aproximação dos efeitos das ações tendo em vista as incertezas que envolvem o comportamento e as reações dos indivíduos e do contexto social. Dentre as complexidades da mensuração do impacto de intervenções sobre o desenvolvimento humano, Skékely apresenta quatro aspectos que tornam desafiadora uma avaliação de impacto. São eles: 1 A heterogeneidade das preferências individuais e valores inerentes às posições e funções sociais oferecem incertezas na medição das reações a uma dada intervenção, mesmo que uma média seja traçada. 2 O contexto, com o qual interagem os indivíduos, geram respostas específicas, não sendo possível, portanto, extrapolar uma equivalência do comportamento dos indivíduos para outro ambiente, não sendo generalizável. 3 A multidimensionalidade do efeito medido é um desafio, pois não é passível de ser capturada totalmente pela avaliação de impacto, devido ao escopo limitado da análise. 4 A temporalidade é outro desafio das avaliações de impacto uma vez que a maioria dos efeitos das intervenções para o desenvolvimento são intertemporais, não podendo ser observados imediatamente, mas no longo prazo. 5 Outro desafio é a identificação das causas, pois mesmo sendo possível medir os efeitos, as avaliações raramente apresentam condições de identificar os mecanismos precisos mediante os quais o resultado é gerado. Existem múltiplas conjugações possíveis entre qualitativo e quantitativo Outro aspecto importante no desenho metodológico é a clareza quanto às diferenças e complementaridades entre as abordagens qualitativas e quantitativas. Nem sempre as conjugações, denominadas de métodos mistos, atribuem igual relevância a uma e outra abordagem no desenho de um processo avaliativo. As equações entre qualitativo e quantitativo podem ser diversas, podem estar balanceadas, podem ser conjugadas de maneira ajustada à finalidade da avaliação, ou podem ter uma orientação quantitativa auxiliada por coletas qualitativas ou, ao contrário,