Aula 3 Introdução à Avaliação de Impacto

Avaliação de Impacto Identifica se o projeto social afetou um ou mais indicadores de impacto

Plano de Aula Conceito de Mensuração e Causalidade; Conceito de Contrafactual e Grupo Controle; Formas de seleção: autoseleção e viés de seleção; Instrumento de coleta de informações e como transformá-las em banco de dados.

Conceito de Mensuração e Causalidade

Avaliação de Impacto Objetivo: determinar se o projeto causou mudança no bem-estar dos indivíduos que pode ser atribuída a um determinado projeto. Mensuração: não apenas saber se houve mudança, mas também medir essa mudança. Causalidade: garantir que o projeto causou essa a mudança.

Mensuração Mede o quanto o indicador de impacto variou devido ao projeto. O indicador tem que ser numérico, pois mede-se a sua variação. Usa-se indicadores de impacto relação direta com os objetivos.

Causalidade É o principal problema da avaliação de impacto. Como assegurar que outros fatores não provocaram o impacto observado? O que aconteceria com os beneficiários se não tivessem participado do projeto? Resposta: o contrafactual

Conceito de Contrafactual e Grupo Controle

O contrafactual Ideal: comparar o indicador de impacto dos tratados com e sem o projeto no mesmo momento do tempo. Essa é a única maneira de ter certeza de que a variação no indicador de impacto resultou da participação no projeto. Infelizmente, é impossível observar alguém em duas situações ao mesmo tempo. O contrafactual não existe na prática. Solução: procura-se alguém que represente o contrafactual Grupo Controle

Grupo Controle O grupo controle representa como o tratado estaria se não fosse beneficiário do projeto. Idéia: formar grupos de não-participantes (na linguagem de avaliação de não-tratados), que tenham as mesmas características dos participantes (tratados). Encontram-se pessoas que não participaram do projeto e que tenham as mesmas características daqueles que participaram.

Em resumo Em geral, os projetos não conseguem atender todo público alvo. Definição: Grupo Tratado: pessoas do público alvo que o projeto beneficia. Grupo Controle: pessoas do público alvo com características similares aos beneficiários, mas que o projeto não atende.

Não pode-se avaliar o antes e o depois do grupo tratado sem usar o controle? A resposta é NÃO. A evolução no tempo apenas dos indicadores do grupo tratado NÃO garante a causalidade.

Proporção de crianças que participaram do programa e que exercem trabalho infantil

Proporção de crianças que exercem trabalho infantil

Projeto de transporte escolar

Forma de seleção: autoseleção e viés de seleção

Formas de Seleção Nem sempre é fácil encontrar um bom grupo controle devido às formas de seleção dos tratados. Autoseleção : participar. as pessoas que participam do projeto escolhem Exemplo: projeto de oficinas em contraturno escolar para jovens. Os jovens que se inscrevem em oficinas no contraturno escolar devem diferir dos que não se inscrevem. Suas características podem ser observáveis (número de irmãos, nível de renda familiar) ou não-observáveis (motivação, determinação ou pré-disposição).

Formas de seleção Viés de seleção: o grupo de participantes pode diferir do restante da sociedade, justamente pelo fato de o projeto ter um público-alvo específico. Exemplo: projetos sociais universais utilizam a renda per capita como critério de elegibilidade Bolsa Família, Minha Casa Minha Vida. Só podem participar do projeto indivíduos que tenham renda familiar per capita menor ou igual a um valor de corte. Nesse caso, os tratados, em média, têm menos renda que os nãotratados e isso caracteriza o viés de seleção.

A autoseleção e o viés de seleção fazem com que o grupo tratado se diferencie da média da sociedade. As diferenças entre as características dos grupos tratado e controle antes do projeto dificulta a determinação da causalidade.

Hora de praticar

Forma de obter informações para avaliação e como transformá-las em banco de dados.

Fontes Cadastro do projeto; Pesquisa de campo; Fontes externas de dados.

Cadastro do projeto O cadastro do projeto é uma das fontes de informação mais importantes para a avaliação de impacto. De acordo com o desenho da avaliação, inclui-se no cadastro inicial informações do grupo tratado e controle. Quais informações devem constar do cadastro inicial? Não existe uma única resposta a essa pergunta. As informações relevantes para um cadastro dependem do objetivo de cada projeto.

Exemplo 1: Projeto de Contraturno Escolar. Cadastro Nome do estudante Idade Gênero Cor ou raça Série em que estuda Escolaridade da mãe Renda familiar Número de componentes da família Indicação se o aluno trabalha

Caso os beneficiários estudem em escolas diferentes, incluir questões sobre a escola Escola que freqüenta Nº de horas-aula da escola Nível educacional do corpo docente da escola Número de alunos por sala Instalações da escola: computadores, acesso à internet, laboratórios, bibliotecas, quadras, etc.

Exemplo 2: Projeto para Nutrição Infantil Identificação da mãe e da criança Idade da mãe e da criança Tempo de amamentação Número de filhos Se a mãe trabalha Rendimentos da mãe (da família) Número de horas trabalhadas Criança na creche

Cadastro ATENÇÃO: Precisa constar no cadastro a informação referente aos indicadores de impacto. Exemplo 1. Projeto de contraturno escolar Idade da criança e a série que frequenta Indicador idade/série. Freqüência escolar Indicador percentual de frequência. Nota da prova de matemática Indicador proficiência em Matemática. 2. Projeto para nutrição infantil Peso e altura da criança Indicador peso/altura.

Questionário O cadastro do projeto nada mais é do que um questionário com informações que os beneficiários preenchem quando fazem sua inscrição no projeto. Caso o desenho de avaliação defina o grupo de controle como aqueles que se inscreveram e não foram beneficiados, pode-se já no cadastro inicial ter informação sobre os tratados e os controles. Basta que a ficha de inscrição (preenchida por todos os inscritos) contenha as informações constantes no cadastro do projeto.

Pesquisa de campo Para a avaliação de impacto é necessário obter as informações sobre o indicador de impacto dos tratados e dos controles após o projeto. Muitas vezes, precisa-se ir a campo para obter essas informações diretamente com os indivíduos

Formulação das questões Cada questão da pesquisa precisa ter uma razão de ser deve estar vinculada à análise de impacto que se deseja fazer. Exemplos de perguntas relevantes: Sobre os indicadores de impacto; Relacionadas à participação no projeto e ao indicador de impacto; Várias formas para localização posterior endereço, endereço de um parente, telefone, celular, email, rede social, etc..

Formulação das questões Existe uma tendência de coletar mais e mais dados. Entretanto, mais dados implicam em custos de tempo e de recursos. Elimine questões do tipo é bom saber porque não são essenciais. Elimine questões ambíguas. Siga os passos abaixo para guiar a formulação das questões: 1. Pense em quais informações são necessárias. 2. Formule questões para obtê-las. 3. Teste se as respostas a essas questões realmente fornecem as informações necessárias pré-teste do questionário.

Dicas de como escrever as questões Use palavras simples não complique. Seja breve não seja redundante. Seja específico não seja vago. Não conduza o respondente. Não use abreviações ou jargões científicos. Não use questões subjetivas. Prefira opções de resposta fechadas. Digitar e codificar respostas como textos pode tomar muito tempo. Cuidado com questões retroativas - elas devem contar com a memória dos entrevistados. Assim sendo, temos que formulá-las de modo a facilitar o processo retrospectivo).

Dicas de como escrever as questões Evite fazer hipóteses sobre o perfil/tipo do entrevistado. Exemplo: Qual sua remuneração em seu trabalho principal? Nessa pergunta, você assumiu que o entrevistado trabalha. Prefira: 1. Você trabalha?" a. Sim b. Não (pule para pergunta 3) 2. Qual sua remuneração no emprego?

Dicas de como escrever as questões Muitas vezes os respondentes não querem ou não sabem responder uma questão. Inclua como uma das opções de resposta NR/NS (não respondeu/não sabe) Inclua também a opção NA (não se aplica). Precisa-se diferenciar as pessoas para as quais a pergunta não se aplica daquelas que não quiseram ou não sabiam responder. Exemplo: 1. Qual sua faixa de renda? a. 0; b. Até 1 salário mínimo; c. De 1 a 3 salários mínimos; d. Mais de 3 salários mínimos; e. NS/NR. f. NA

Dicas de como escrever as questões IMPORTANTE!! Antes de aplicar o questionário no seu grupo de tratamento ou controle, faça um aplicação teste (pre-teste) em um grupo de pessoas parecidas com o seu público alvo. Testar o questionário pode ser muito útil para corrigir questões ambíguas, mal formuladas ou mesmo incluir questões faltantes.

Dicas de como escrever as questões Problemas comuns com questionários: Questionários muito longos Faltaram perguntas importantes Faltam opções de resposta Problemas de fluxo (pulos ou perguntas incoerentes) Diferença de interpretação das perguntas entre entrevistado e entrevistador Diferença de interpretação das perguntas entre entrevistadores treine todos os entrevistadores juntos antes da aplicação

Do Papel para a Base de Dados. Para avaliar utiliza-se bancos de dados numéricos. As informações precisam estar em formato numérico. Veja um exemplo: nome identificador idade nota (%) sexo escol. Mãe projeto João 1 16 50 0 1 0 Maria 2 17 100 1 4 0 Julia 3 16 80 1 2 0 Rafael 4 18 70 0 3 1 Antonio 5 19 55 0 5 1 Marina 6 17 70 1 1 1

Do Papel para a Base de Dados. Cada indivíduo corresponde a uma linha Cada informação (indicador) corresponde a uma coluna Todas as informações precisam estar em formato numérico Crie um código único para cada indivíduo. Lembre-se que duas pessoas podem ter o mesmo nome, pode haver erro de digitação, diferentes grafias para o mesmo nome, ou seja, identificar pessoas pelo nome pode ser muito complexo! É preciso ter informação sobre os participantes e não participantes. Não esqueça de identificar quem participou do projeto.

Do Papel para a Base de Dados. Para serem usadas as informações precisam estar em formato de banco de dados. Formulários em papel precisam ser digitados, o que pode ser muito custoso! Logo, procure coletar as informações em forma digital ou de forma que possam ser digitadas facilmente.

Hora de praticar

Fontes externas de dados São dados de pesquisas e avaliações realizadas usualmente por órgãos governamentais. Essas informações podem ser úteis para a formação de grupo controle. Compara-se as características do público alvo do projeto com as de um conjunto de indivíduos de alguma fonte externa de dados.

Alguns Exemplos Pesquisa Nacional por Amostra de Domicílios PNAD; Censo Demográfico; Pesquisa de Orçamento Familiar POF; Sistema Nacional de Avaliação da Educação Básica SAEB; Exame Nacional do Ensino Médio ENEM; Banco de dados do Sistema Único de Saúde DATASUS; Pesquisa mensal de emprego e desemprego PME; IPEADATA.

Comentários Finais Nessa aula: discutiu-se os conceitos de mensuração e causalidade, a importância do grupo controle para a avaliação de impacto, os problemas de seleção. Além disso, vocês aprenderam o processo de coleta de informação e sua transformação em base de dados. Próxima aula: metodologias de avaliação de impacto

Apoio aos exercícios

Avaliação econômica do projeto Valorização Profissional Questionário: 1. Qual o seu nome? 2. Qual a data de nascimento? 2.1. Dia: 2.2. Mês: 2.3. Ano: 3.Quantos anos você tem?

Questionário (continuação): 4. Você freqüentou a escola? 1. Sim 2. Não (pular para questão 6) 5. Qual a última série que você concluiu? 6. Você exerce alguma função remunerada? 1. Sim 2. Não (encerrar) 7. Qual a sua renda mensal? Encerrar o questionário agradecendo.

Avaliação econômica do projeto Raízes e Asas No exemplo a base de dados utilizada foi secundária. Não foi necessário questionário. Entretanto, se não fosse possível acessar essa base vocês poderiam visitar escolas e criar questionário. Atente para o fato de que nesse caso o tratado é a escola e não os alunos. Portanto, as informações têm que ser referentes às escolas.

Avaliação econômica do projeto Verde Novo Nesse caso não tem entrevista. Um técnico vai ao local e preenche as questões 1.Número de identificação da área 2. A área é tratada? 1. Sim 2. Não 3. Contar o número de árvore na área

Questionário (continuação): 4. A área é cercada? 1. Sim 2. Não 5. A área possui agricultura? 1. Sim 2. Não 6. A área pegou fogo a menos do que um ano? 1. Sim 2. Não

Questionário (continuação): 7. A área possui capim branquearia? 1. Sim 2. Não 8. Qual o número de animais de pasto na área? 9. Qual a distância (em quilômetros) do centro urbano mais próximo? (Medir a quilometragem quando for de carro para a área). 10. Qual a renda per capita média da região em que a área se situa? (preencher com informação proveniente do Censo Demográfico 2010).

Comentários Finais Tópicos das diretrizes do trabalho individual: II. A avaliação b. Grupos de tratamento e controle ii. Quem será? ii. Como foram escolhidos os controles? iii. Quantos serão? III. Dados a. Instrumentos de coleta b. Informações coletadas i. Como os dados serão coletados? i. Quais variáveis serão coletadas? ii. Porque essas variáveis foram escolhidas?