Discussão Metodológica sobre a Avaliação de Programas Sociais Luciana Mourão - Universidade Salgado de Oliveira UNIVERSO - Mestrado em Psicologia luciana.mourao@empconsulting.com.br Resumo O presente trabalho tem por objetivo apresentar uma reflexão teórica sobre questões metodológicas na avaliação de programas sociais. A necessidade de avaliação de programas públicos é defendida por vários autores como forma de tornar mais eficazes os processos de decisão sobre as políticas públicas, o que tem originado maior interesse pelas técnicas de avaliação aplicadas aos programas sociais. Em países em desenvolvimento como o Brasil, em que os problemas sociais são numerosos e graves e os recursos reduzidos, a avaliação torna-se obrigatória. Sulbrandt (1993) sugere que o interesse por avaliação de programas se deve a uma combinação de fatores e circunstâncias: (a) a aguda crise social com alto percentual de pobreza; (b) a pressão de uma parte significativa da população por projetos sociais; (c) o dever do Estado de enfrentar esta situação; (d) o aumento do interesse na eficiência e no impacto do gasto social. Diante dessas circunstâncias, a avaliação adquire importância primordial, pois se supõe que ela assegure o correto emprego dos recursos e o máximo de eficiência e efetividade. Na América Latina tem sido crescente a preocupação com a avaliação de programas sociais. Documentos preparados por autores latino-americanos sistematizam técnicas de avaliação e elaboram criticamente alguns enfoques. Porém, em que medida esse aumento de interesse e a publicação de novos trabalhos configuram uma evolução no processo e na metodologia de avaliação? Em que medida as avaliações de programa levam em conta o sujeito, o que mudou em sua vida e na da comunidade? O crescente número de programas sociais que são avaliados tem representado também um aumento na participação de psicólogos nas equipes responsáveis pelo processo de avaliação? Quais as metodologias poderiam ser utilizadas na avaliação de programas sociais e em que situações é indicada uma metodologia ou outra? O presente trabalho pretende discutir essas e algumas outras questões, pois, o avanço dos delineamentos e da análise de dados nas pesquisas na área de Psicologia Social no Brasil representa relevante contribuição, de natureza metodológica, dos psicólogos para a atividade de avaliação de programas sociais.
O Estado tem determinadas funções sociais com destaque, sobretudo, para as relativas à educação, saúde, segurança, proteção aos desamparados e responsabilidade na geração das condições que impedem a manutenção e o crescimento da pobreza. A experiência dos países desenvolvidos ensina que nem a sociedade civil e nem os mercados foram capazes de reduzir a pobreza. O ator principal da promoção de uma sociedade mais justa nos países do primeiro mundo, sobretudo a partir da Segunda Guerra Mundial, foi o Estado. Para cumprir suas funções sociais, o Estado estabelece políticas públicas que são executadas por meio de projetos e programas, para os quais são estabelecidos objetivos e metas. Mas será que esses objetivos e metas estão sendo atingidos? Em que medida os programas e projetos estão sendo de fato eficientes e eficazes? É possível demonstrar a sua efetividade social e o impacto que esses programas estão gerando? Para cada uma dessas perguntas é necessário que sejam estabelecidos indicadores e critérios e que sejam escolhidos os melhores procedimentos de análise de dados. Os indicadores são definidos como medidas explícitas e objetivamente verificáveis de mudanças induzidas. Pode-se dizer que os indicadores seriam formas de capturar os resultados e também de poder comunicá-los. Enquanto os objetivos devem responder à pergunta O que mudou? ; os indicadores, à pergunta Como se sabe que mudou?. São exemplos de indicadores: número de pessoas treinadas, número de desistentes, resultados de avaliações de aprendizagem; novos serviços ou produtos gerados. Existem vários critérios que servem para levar a cabo as avaliações, tais como: a eficiência, a eficácia, a efetividade, a equidade, o impacto social, o custo-benefício, o custo-efetividade, a satisfação dos beneficiários, o acatamento das normas e regras legais em sua implementação e outros. Cada um desses critérios tem perguntas centrais a serem respondidas e requer um enfoque diferente para conduzir a investigação. Atualmente, em praticamente todo o mundo, existe um renovado interesse pela avaliação de programas sociais. A pesquisa de avaliação tem se expandido consideravelmente e tem sido aplicada em diversos programas governamentais e privados. Tanto no Brasil como no cenário mundial, supõe-se que a pesquisa avaliativa fornece subsídios que permitem que os recursos sejam empregados com o máximo de eficiência e que, ao mesmo tempo, ela assegura um alto grau de efetividade dos programas. Nesse sentido, a avaliação tem sido considerada um poderoso instrumento para melhorar o desempenho dos programas sociais e também uma instância de aprendizagem que permite redesenhar e melhorar esses programas em novos ciclos da
política social. Em muitos casos, os agentes financiadores têm considerado a avaliação de programas atuais como condição necessária à liberação de recursos para investimentos em programas futuros e exigem rigor nos procedimentos metodológicos de coleta e de análise dos dados. Tem sido cada vez maior a atenção destinada a avaliação de programas no Brasil e no mundo. Mas quais as opções metodológicas de análise de dados para mensurar os resultados de um programa social? Como medir o seu grau de êxito? O Brasil tem pouca tradição na avaliação de programas sociais, mas é preciso mudar esse cenário. É preciso discutir delineamentos e procedimentos metodológicos para que os resultados das avaliações tenham validade científica e possam contribuir para a sociedade. Este estudo discute os delineamentos de pesquisa mais apropriados para avaliação de programas sociais, a triangulação de percepções e opiniões de diferentes stakeholders, a utilização de indicadores quantitativos (sociais e econômicos) e qualitativos e a análise de explicações alternativas. Também são discutidas as vantagens e desvantagens de alguns procedimentos de análise de dados, como ANOVA com escores de pré e pós-teste, ANOVA com escores de ganho, ANOVA depois da categorização dos sujeitos no pré-teste (blocking), ANCOVA e análise de séries temporais. A proposta é debater sobre qual o melhor método para diferentes programas e contextos que permita avaliar o real aproveitamento do investimento social realizado. Finalmente, a revisão da literatura especializada mostra que a avaliação de programas, sobretudo os sociais, é um campo à parte, com ampla literatura e desenvolvimento teórico e metodológico, mas que a Psicologia tem muito a contribuir com essa área (Fernandez-Ballesteros, Vedung, e Seyfried,1998). Entre as contribuições metodológicas que a Psicologia pode oferecer está o uso sistemático de procedimentos de pesquisa científico-sociais na avaliação de programas sociais, pois a causa do sucesso ou fracasso desses programas muitas vezes está associada ao comportamento humano. Além disso, a Psicologia pode oferecer contribuições teóricas ligadas à compreensão de processos cognitivos de aprendizagem e julgamento e contribuições específicas a respeito de treinamento e desenvolvimento e tantas outras. Eixo do XIV Encontro em que se insere: Histórias, teorias e metodologias.
Em países em desenvolvimento como o Brasil, em que os problemas sociais são numerosos e graves e os recursos reduzidos, a avaliação torna-se obrigatória. Sulbrandt (1993) sugere que o interesse por avaliação de programas se deve a uma combinação de fatores e circunstâncias: (a) a aguda crise social com alto percentual de pobreza; (b) a pressão de uma parte significativa da população por projetos sociais; (c) o dever do Estado de enfrentar esta situação; (d) o aumento do interesse na eficiência e no impacto do gasto social. Diante dessas circunstâncias, a avaliação adquire importância primordial, pois se supõe que ela assegure o correto emprego dos recursos e o máximo de eficiência e efetividade. O presente trabalho tem por objetivo apresentar uma reflexão teórica sobre questões metodológicas na avaliação de programas sociais. A necessidade de avaliação de programas públicos é defendida por vários autores como forma de tornar mais eficazes os processos de decisão sobre as políticas públicas, o que tem originado maior interesse pelas técnicas de avaliação aplicadas aos programas sociais. 1. Contextualização Atualmente, em praticamente todo o mundo, existe um renovado interesse pela avaliação de programas sociais. A pesquisa de avaliação tem se expandido consideravelmente e tem sido aplicada em diversos programas governamentais e privados. Na América Latina tem sido crescente a preocupação com a avaliação de programas sociais. Documentos preparados por autores latino-americanos sistematizam técnicas de avaliação e elaboram criticamente alguns enfoques. Porém, em que medida esse aumento de interesse e a publicação de novos trabalhos configuram uma evolução no processo e na metodologia de avaliação? Em que medida as avaliações de programa levam em conta o sujeito, o que mudou em sua vida e na da comunidade? O crescente número de programas sociais que são avaliados tem representado também um aumento na participação de psicólogos nas equipes responsáveis pelo processo de avaliação? Quais as metodologias poderiam ser utilizadas na avaliação de programas sociais e em que situações é indicada uma metodologia ou outra? O presente trabalho pretende discutir essas e algumas outras questões, pois, o avanço dos delineamentos e da análise de dados nas pesquisas na área de Psicologia Social no Brasil representa relevante contribuição, de natureza metodológica, dos psicólogos para a atividade de avaliação de programas sociais.
Tanto no Brasil como no cenário mundial, supõe-se que a pesquisa avaliativa fornece subsídios que permitem que os recursos sejam empregados com o máximo de eficiência e que, ao mesmo tempo, ela assegura um alto grau de efetividade dos programas. Nesse sentido, a avaliação tem sido considerada um poderoso instrumento para melhorar o desempenho dos programas sociais e também uma instância de aprendizagem que permite redesenhar e melhorar esses programas em novos ciclos da política social. Em muitos casos, os agentes financiadores têm considerado a avaliação de programas atuais como condição necessária à liberação de recursos para investimentos em programas futuros e exigem rigor nos procedimentos metodológicos de coleta e de análise dos dados e na definição dos indicadores do Programa. O Estado tem determinadas funções sociais com destaque, sobretudo, para as relativas à educação, saúde, segurança, proteção aos desamparados e responsabilidade na geração das condições que impedem a manutenção e o crescimento da pobreza. A experiência dos países desenvolvidos ensina que nem a sociedade civil e nem os mercados foram capazes de reduzir a pobreza. O ator principal da promoção de uma sociedade mais justa nos países do primeiro mundo, sobretudo a partir da Segunda Guerra Mundial, foi o Estado. Para cumprir suas funções sociais, o Estado estabelece políticas públicas que são executadas por meio de projetos e programas, para os quais são estabelecidos objetivos e metas. Mas será que esses objetivos e metas estão sendo atingidos? Em que medida os programas e projetos estão sendo de fato eficientes e eficazes? É possível demonstrar a sua efetividade social e o impacto que esses programas estão gerando? Para cada uma dessas perguntas é necessário que sejam estabelecidos indicadores e critérios e que sejam escolhidos os melhores procedimentos de análise de dados. 2. Mensuração do Impacto de Programas Sociais As análises de impacto permitem exatamente determinar se um programa surtiu os efeitos propostos. Essas análises podem ser realizadas em qualquer etapa do programa, desde a definição de suas políticas antes da implementação até o planejamento, delineamento e término da implementação. Rossi e Freeman (1989) consideram que a avaliação de impacto é de suma importância para os programas sociais e que elas são especialmente recomendadas quando: (a) os debates políticos giram em torno das probabilidades de eficácia de uma política ou programa proposto; (b) é necessário provar a forma mais efetiva de desenvolver e integrar os diferentes
elementos do programa; (c) eles puderem sofrer modificações, sejam elas radicais ou apenas de ajustes. Oskamp (1981) relata uma ampla revisão realizada nos Estados Unidos, há quase três décadas, que contemplou a avaliação dos efeitos de um grande número de programas públicos de inovações médicas e sociais. A revisão permitiu concluir que somente 20% dos programas analisados produziram efeitos claros e positivos, outros 20% foram ligeiramente positivos e o restante não produziu ou os efeitos eram danosos (Oskamp apud Gilbert, Light e Mosteller, 1975). Essa conclusão alertou para a necessidade de pesquisas de avaliação de impacto de programas sociais. Um problema crítico da avaliação de impacto está na seleção das melhores medições e fontes para a coleta de dados. Rossi e Freeman (1989) consideram que a validade das medições depende de sua aceitação pelos stakeholders (pessoas envolvidas no programa ou por ele afetadas), incluindo os membros da comunidade científica. Na mesma linha, Taschereau (1998) alerta que os elaboradores devem ter claro os objetivos e a pretensão do programa. Para a autora, o estabelecimento do foco da avaliação envolve três aspectos: (a) o esclarecimento da proposta de avaliação e os seus usuários; (b) a identificação de quem necessita ser envolvido, quando e como; e (c) a revisão dos objetivos, estratégias e dos impactos pretendidos pelo programa ou pela atividade. Os indicadores são definidos como medidas explícitas e objetivamente verificáveis de mudanças induzidas. Pode-se dizer que os indicadores seriam formas de capturar os resultados e também de poder comunicá-los. Enquanto os objetivos devem responder à pergunta O que mudou? ; os indicadores, à pergunta Como se sabe que mudou?. São exemplos de indicadores: número de pessoas treinadas, número de desistentes, resultados de avaliações de aprendizagem; novos serviços ou produtos gerados. Existem vários critérios que servem para levar a cabo as avaliações, tais como: a eficiência, a eficácia, a efetividade, a equidade, o impacto social, o custo-benefício, o custo-efetividade, a satisfação dos beneficiários, o acatamento das normas e regras legais em sua implementação e outros. Cada um desses critérios tem perguntas centrais a serem respondidas e requer um enfoque diferente para conduzir a investigação. Os autores Rossi e Freeman (1989) consideram que duas possibilidades básicas de delineamento servem como um marco de referência comum a todas as avaliações de impacto: os grupos-alvo devem ser comparados tão rigorosamente quanto possível aos grupos de controle e, na ausência de grupos de controle, a informação sobre o comportamento pós-intervenção pode ser comparada com as medições de um período
anterior ou com os resultados e conjecturas que teriam ocorrido sem a intervenção. Os autores explicam que o modelo do experimento ou quase-experimento depende da comparação de um ou mais grupos experimentais ou de tratamento, com um grupo controle. As características e peculiaridades dos experimentos e quase-experimentos são discutidas por Campbell e Stanley (1979). Autores como Oskamp (1981), Cronbach (1983) e Posavac e Carey (1997) alertam para a necessária preocupação com a questão metodológica em avaliação de programas sociais. Eles ponderam que é necessário o rigor no delineamento, uso correto das medidas e a discussão da validade das análises estatísticas, revelando que apesar dos significativos avanços na área, sobretudo nos países mais desenvolvidos, a avaliação de programas ainda apresenta uma série de questões que carecem de debate mais aprofundado por cientistas e profissionais que atuam na área. Assim, serão discutidas a seguir algumas possibilidades de análise de dados estatísticos que permitam identificar se houve ou não impacto em determinado programa social, considerando a existência de um grupo de tratamento e um grupo controle. 3. Análises estatísticas para a mensuração do impacto de Programas Sociais Para a análise da ocorrência de impactos de programas sociais, considerando-se a realização de estudos quase-experimentais, pode-se utilizar basicamente quatro procedimentos: ANOVA dos resultados do pré e pós-teste, ANOVA com escores de ganho, ANCOVA e ANOVA depois da categorização dos sujeitos no pré-teste (blocking). A seguir serão apresentados um a um esses procedimentos e a conveniência de utilizá-los. 3.1 Análise de Variância (ANOVA) com os valores de pré e pós-teste A ANOVA com utilização dos níveis fatoriais do pré e do pós-teste só pode ser utilizada quando há dados do pré e do pós-teste pareados. Antes de se realizar esse tipo de procedimento de análise é preciso se certificar do grau de fidedignidade dos valores do pré e pós-teste. Para realizar esse tipo de ANOVA, o banco de dados precisa ser dividido nos grupos de tratamento (grupo experimental e grupo controle). Aconselha-se que, inicialmente, sejam analisadas as médias e os desvios-padrão das variáveis no grupo do experimento e no grupo controle e checada se há boa dispersão das variáveis e se a condição de normalidade na distribuição dos dados foi satisfeita. Deve-se realizar
uma ANOVA com utilização dos níveis fatoriais do pré e do pós-teste para cada variável dependente do estudo. Porém, há que se considerar que uma ANOVA de mensuração repetida (delineamento pré e pós-teste) é um procedimento problemático, pois o pressuposto da ANOVA é de que os níveis fatoriais são randômicos entre os sujeitos é violado. Pois, nesse caso, como salientam Dugard e Todman (1995), os níveis fatoriais são o pré e o pós-teste que não são randômicos porque sua ordem é ditada pelo tempo de obtenção das medidas. Para evitar o problema de mensuração repetida, alguns autores sugerem que seja utilizada a ANOVA com os escores de ganho, que é o que será apresentado a seguir. 3.2 Análise de Variância (ANOVA) com escores de ganho A ANOVA com escores de ganho é calculada considerando-se os escores resultantes da diferença entre o pós-teste e o pré-teste. Uma questão a ser considerada é que geralmente a fidedignidade de um escore de ganho é, em geral, muito menor do que a fidedignidade do pré ou pós-teste. Quanto a fidedignidade vai diminuir depende da correlação entre o pré e o pós-teste. Assim, para cada variável dependente, é preciso calcular a fidedignidade do escore de ganho 1. Para que o impacto do programa seja confirmado é necessário que os resultados encontrados na ANOVA com escores de ganho aponte para diferença significativa entre as médias dos grupos de tratamento e de controle. Porém, foi mostrado por Maxwell e Howard (1981), conforme citado por Dugard e Todman (1995), que uma análise ANOVA com escores de ganho dá exatamente os mesmos resultados que a análise de ANOVA com escores de pré e pósteste. Segundo os autores, o objetivo de remover o efeito dos escores do pré-teste nos escores de ganho pode não ser alcançado. Para saber se o efeito do pré-teste foi ou não anulado, é preciso verificar a correlação entre os escores de ganho e os escores do préteste. Uma correlação baixa indica que o escore de diferença conseguiu reduzir consideravelmente a influência inicial dos escores antes do tratamento. Porém, Dugard e Todman (1995) avaliam que, mesmo nos casos em que não há problemas de correlação alta entre os escores de ganho e os escores iniciais, a ANCOVA é o procedimento de análise de dados mais indicado. Para os autores, a 1 A fórmula para calcular a fidedignidade do escore do ganho é: [½(α1 + α2) r12] / (1 - r12)], onde α1 representa a fidedignidade do pré-teste, α2 a fidedignidade do pós e r a correlação entre pré e pós-teste.
preferência pela ANOVA decorre mais do costume de alguns pesquisadores com a mesma que de argumentos baseados em resultados melhores com a opção pela ANOVA. 3.3 Análise de Covariância (ANCOVA) Segundo Dugard e Todman (1995), há cinco pressupostos para que possa ser realizada a ANCOVA (homogeneidade da variância nos escores residuais do pós-teste, linearidade na relação pré e pós-teste, homogeneidade das linhas de regressão, independência entre o tratamento e covariante, mensuração do covariante sem erro). O pressuposto da independência entre o tratamento e o covariante é um dos mais difíceis de ser atendido, já que a maioria dos programas sociais não apresenta possibilidade de designação randômica dos sujeitos participantes (modelo experimental). Essa dificuldade decorre de o sorteio aleatório não ser um critério facilmente colocado em prática para selecionar os cidadãos que participarão ou não de um programa. Na análise de covariância de um programa social é preciso verificar se, para cada variável dependente, são significativos no modelo tanto o tratamento como os escores de pré-teste. Nos casos em que há violação do pressuposto da independência entre o tratamento e covariante, não basta olhar para a significância desse tratamento, pois é preciso verificar se houve diferença significativa entre os grupos de tratamento (grupo experimental e grupo controle) considerando-se as médias ajustadas, ou seja, as médias se todos os grupos tivessem o mesmo escore no pré-teste (Estimated Marginal Means). Nesse caso, o resultado dessa análise deve ser analisado considerando-se os parâmetros estimados para as médias, de acordo com o intervalo de confiança (que no caso é de 95%). Se as médias estimadas, considerando os valores do intervalo de confiança, não se cruzarem entre os grupos de tratamento, então é sinal de que realmente o programa social em análise teve resultados, pois são compensadas as diferenças entre os valores do pré-teste. Porém, quando o pressuposto da independência entre o tratamento e o covariante é violado recomenda-se, além da análise das médias ajustadas acima descrita, a utilização do blocking (Feldt, 1958), como será descrito na próxima seção. 3.4 Análise de Variância (ANOVA) depois da categorização dos sujeitos no préteste (Blocking)
Os pressupostos para que possa ser realizada a ANOVA com categorização (blocking) são: homogeneidade da variância nos escores residuais do pós-teste, linearidade na relação pré e pós-teste e homogeneidade das linhas de regressão. Para a realização dessa análise, a amostra do pré-teste precisa ser dividida em dois grupos que separem aqueles que apresentam a pior situação ou a melhor situação, considerando-se os indicadores estabelecidos pelo programa social. Ou seja, se o programa visa melhorar a nutrição de crianças carentes, deve-se dividir os participantes em dois grupos sendo um com as crianças em pior situação de desnutrição e o outro com as crianças que apresentam uma situação mais favorável em relação à nutrição. Caso o programa fosse de aumento de renda, os grupos deveriam ser forçosamente divididos entre os que têm menos renda e os que têm mais renda dentre os participantes do programa. A separação dos grupos em block (categorização do pré-teste) permite, assim, verificar se os resultados obtidos decorrem da diferença já identificada entre o grupo de controle e o grupo experimental ou se eles podem de fato ser atribuídos ao programa social. Ou seja, se as crianças que tiveram sua nutrição melhorada apresentaram esses resultados porque participaram do programa ou porque já tinham antes do mesmo uma condição inicial superior ao das crianças que compõem o grupo controle. Para que os resultados do programa sejam confirmados é necessário que o resultado da análise de variância (ANOVA) depois da categorização dos sujeitos no préteste (blocking) não seja significativa. Evidentemente, mesmo nos casos de quaseexperimento, se não houver violação do pressuposto da independência entre o tratamento e o covariante, não há porque realizar a análise de variância por blocking. Conclusão Tem sido cada vez maior a atenção destinada a avaliação de programas no Brasil e no mundo. Mas quais as opções metodológicas de análise de dados para mensurar os resultados de um programa social? Como medir o seu grau de êxito? O Brasil tem pouca tradição na avaliação de programas sociais, mas é preciso mudar esse cenário. É preciso discutir delineamentos e procedimentos metodológicos para que os resultados das avaliações tenham validade científica e possam contribuir para a sociedade. A revisão da literatura especializada mostra que a avaliação de programas, sobretudo os sociais, é um campo à parte, com ampla literatura e desenvolvimento teórico e metodológico, mas que a Psicologia tem muito a contribuir com essa área (Fernandez-Ballesteros, Vedung, e Seyfried,1998). Entre as contribuições
metodológicas que a Psicologia pode oferecer está o uso sistemático de procedimentos de pesquisa científico-sociais na avaliação de programas sociais, pois a causa do sucesso ou fracasso desses programas muitas vezes está associada ao comportamento humano. Além disso, a Psicologia pode oferecer contribuições teóricas ligadas à compreensão de processos cognitivos de aprendizagem e julgamento e contribuições específicas a respeito das áreas de alguns programas sociais relacionados a educação, saúde, trabalho, gênero e tantos outros temas. Este estudo discutiu os delineamentos de pesquisa mais apropriados para avaliação de programas sociais, considerando a utilização de indicadores quantitativos. Também foram discutidas as vantagens e desvantagens de alguns procedimentos de análise de dados, como ANOVA com escores de pré e pós-teste, ANOVA com escores de ganho, ANOVA depois da categorização dos sujeitos no pré-teste (blocking), ANCOVA. Do ponto de vista da análise estatística para avaliar o impacto dos programas sociais, é preciso considerar o que Dugard e Todman (1995) ponderam: a ANCOVA dá ao pré-teste seu status correto de covariante em vez de um status de uma variável de maior importância em si mesma. Ou seja, a ANCOVA tem mais poder, isto é, consegue captar mudanças pequenas não registradas com o uso da ANOVA. Cabe, contudo, registrar que não há prescrições para a melhor abordagem metodológica ou técnica de coleta de dados. O foco deve estar na seleção do método que responda da melhor forma possível as questões de avaliação dos tomadores de decisão, considerando os recursos e o tempo disponível. Assim, a ênfase deve estar na credibilidade da abordagem e das técnicas escolhidas e no quanto elas são apropriadas para responder as principais questões da avaliação de impacto. Finalmente, é importante que novos trabalhos de natureza metodológico sejam desenvolvidos para ampliar o debate sobre quais os melhores métodos para diferentes programas e contextos que permitam avaliar o real aproveitamento dos investimentos sociais realizados. Referências bibliográficas CAMPBELL, D. T.; STANLEY, J. C. Delineamentos experimentais e quaseexperimentais de pesquisa. São Paulo, SP: EPU, EDUSP, 1979. CRONBACH, L. J. Designing evaluations of educational and social programs. San Francisco: Josey-Bass, 1982.
DUGARD, P.; TODMAN, J. Analysis of Pre-test-Post-test Control Group Designs in Educational Research. Educational Psychology, 15, 181-198, 1995. FELDT, L.S. A comparison of the precision of three experimental designs employing a concomitant variable. Psychometrika, 23, 335-353, 1958. FERNANDEZ-BALLESTEROS, R; VEDUNG, E.; SEYFRIED, E. Psychology in Program Evaluation. European Psychologist, 3, pp. 143-154, 1998. OSKAMP, S. Applied Social Psychology. Washington, D.C.: Prentice-Hall, 1981. POSAVAC, E.J.; CAREY, R.G. Program Evaluation: methods and case studies. New Jersey: Prentice-Hall. Upper Saddle River, 1997. ROSSI, P.; FREEMAN, H. Evaluácion: un enfoque sistemático. New York: Sage Publications Inc. Capítulo V: Estrategias para análisis de impacto, 1989. SULBRANDT, J. La evaluación de los programas sociales: una perspectiva crítica de los modelos usuales. Centro Latinoamericano de Administración para el Desarrollo - CLAD. pp. 309-350, 1993. TASCHEREAU, S. Evaluating the impact of trainning and institutional development programs: a collaborative approach. Washington, D.C.: Economic Development Institute of The World Bank, 1998.