Monitoramento e avaliação como instrumentos complementares para o desenho e operação de políticas públicas eficazes Ricardo Paes de Barros - SAE Roo de Janeiro, 20 de Março de 2013
Construindo um Sistema de Monitoramento e Avaliação para Etapas na Construção de um Sistema de Promover a Maior Efetividade das Políticas para as Monitoramento e Avaliação Juventudes Medir Monitorar Avaliar
I. Sobre a relação entre monitoramento e avaliação e o desenho de programas públicos eficazes
Ferramentas para o desenho de uma política pública baseada em evidência Análise descritiva Monitoramento Condições Sociais Programas Sociais Acompanhamento das Melhores Práticas Análises das Causas Avaliação de Programas Sociais Relações Causais Desenho Desenho de Programas Sociais
Construindo um Sistema de Monitoramento para Promover a Maior Efetividade das Políticas para as Juventudes Focalizados naqueles com necesidades mais prementes Convenientemente localizado e disponível quando são mais demandados Desehados de forma adequada e flexível de forma a satisfazer as necessidades das juventudes Provisão de serviços de qualidade Grau adequado de utilização dos serviços oferecidos Efetividade
Mensurando a magnitude das necessidades e monitorando os graus de focalização e cobertura Monitoramento das necessidades dos beneficiários potenciais e dimensionamento da população alvo Monitoramento do grau de focalização (porcentagem dos benefícios que vão a população alvo) Monitoramento do grau de cobertura (porcentagem das população alvo atendida pelo programa) Monitoramento da presença e acesso a programas equivalentes e complementares
Monitorando do grau de utilização Monitoramento do número de beneficiários/participantes Monitoramento da frequência com que os serviços são utilizados pelos que o utilizam Monitoramento da duração média de cada utilização/participação
Monitorando da adequação dos serviços às necessidades locais Monitoramento da distância dos participantes ao local do programa e do tempo de espera para atendimento Monitoramento de quando (horários e dias de funcionamento) os serviços são oferecidos Monitoramento do grau de adequação dos serviços oferecidos às necessidades da população local Monitoramento da heterogeneidade das necessidades da população local e dos serviços oferecidos
Monitorando da quantidade e qualidade dos serviços oferecidos Monitoramento da disponibilidade de insumos e recursos humanos Monitoramento da qualidade dos insumos e recursos humanos disponíveis Monitoramento da quantidade de serviços oferecidos Monitoramento da qualidade dos serviços oferecidos
II. Sobre as unidades tipicamente utilizadas no monitoramento
Monitoramento de quem ou do quê? (unidade de monitoramento) Monitoramento individualizado das necessidades ou do desenvolvimento Monitoramento de grupos socioeconômicos (population based monitoring) Monitoramento das unidades de atendimento Monitoramento de serviços ou programas Operados pelo gestor Contratados pelo gestor (PPP, OS) Regulados/regulamentados pelo gestor Monitoramento de políticas sociais ;
III. Sobre os objetivos do monitoramento
Objetivos e cuidados na utilização do monitoramento individualizado Objetivos Triagem Diagnóstico Referência e encaminhamento Atendimento e seguimento Cuidados na utilização Sigilo das informações Possibilidade de estigmatização Possibilidade de segregação Necessidade de avaliar o impacto de um sistema de monitoramento individualizado
Monitoramento populacional Monitoramento das condições familiares (ambiente socioeconômico, estrutura familiar) de acesso a oportunidades (transporte, alimentação, etc. ) Monitoramento do acesso efetivo a oportunidades para adquirir ou desenvolver habilidades utilizar de forma produtiva e criativa as habilidades adquiridas ou desenvolvidas
Monitoramento do grau de utilização e aproveitamento destas oportunidades grau de utilização grau de aproveitamento taxa de conclusão Monitoramento populacional Monitoramento das habilidades efetivamente adquiridas ou desenvolvidas Monitoramento da utilização produtiva das habilidades adquiridas ou desenvolvidas e inserção no mundo do trabalho Monitoramento dos processos de formação e dissolução de famílias e de formação de redes sociais
Monitoramento das unidades de atendimento Contínuo (diário/semanal) Verificar funcionamento cotidiano Incentivos, premiações e punições Sistemático Diagnóstico das condições da unidade Plano de desenvolvimento da unidade Gestão por resultados Necessidade de avaliar o impacto da utilização de um sistema de incentivos diagnósticos, plano estratégicos de desenvolvimento gestão por resultados
Monitoramento de serviços sociais operados diretamente pelo gestor Necessidade de monitorar a disponibilidade e o fluxo de recursos Necessidade de monitorar o processo de aquisição de insumos (seleção de fornecedores e preços praticados) Necessidade de monitorar o processo de produção. Monitoramento das diversas formas de eficiência. Necessidade de monitorar o processo de entrega dos serviços. Os serviços estão efetivamente sendo entregues nos momentos combinados? Necessidade de monitorar a qualidade, adequação, focalização e cobertura
Monitoramento de programas sociais cuja provisão é contratada pelo gestor O monitoramento do funcionamento, operação e entrega dos serviços deve ser realizado pelo próprio provedor Necessidade de monitorar o processo de seleção das instituições contratadas a disponibilidade e o fluxo de recursos Necessidade de monitorar o processo de entrega dos serviços. Os serviços estão efetivamente sendo entregues nos momentos e locais contratados? Necessidade de monitorar a qualidade e adequação dos; serviços, e os graus de focalização e cobertura
Monitoramento de programas sociais cuja provisão é apenas coordenada e regulamentada pelo gestor O monitoramento da disponibilidade de recursos, funcionamento, operação e entrega dos serviços deve ser realizado localmente ou por secretarias específicas Necessidade de monitorar a disponibilidade, qualidade e adequação dos serviços e os graus de focalização e cobertura
Monitoramento de políticas sociais Qualidade, eficácia e funcionamento de cada programa específico deve ser tratado como função do órgão responsável por sua gestão Necessidade de monitorar as condições de vida e necessidades da população alvo Necessidade de monitorar a oferta de serviços (quantidade, variedade, qualidade e adequação) Necessidade de monitorar o casamento entre as necessidades da população alvo e a oferta de serviços
Em resumo, os objetivos do monitoramento são: 1. Triagem, diagnóstico, encaminhamento, atendimento e seguimento 2. Identificação das necessidades e percepções da população 3. Mensuração do grau de cobertura, qualidade e adequação dos serviços 4. Mensuração do grau de utilização e conclusão 5. Mensuração dos resultados alcançados 6. Facilitar ou mesmo permitir que avaliações possam ser realizadas 7. Contribuir para o desenho de políticas mais efetivas baseadas em evidência
IV. Avaliação o quê é e para que serve?
Avaliação: o que é? Toda avaliação deve mensurar o desempenho do programa que, por sua vez, significa isolar e quantificar sua contribuição Toda avaliação deve identificar os determinantes do desempenho do programa e mensurar sua importância relativa. O objeto da avaliação pode ser subjetivo Os resultados obtidos a partir da aplicação de um dado método não devem depender da subjetividade do pesquisador (replicabilidade).
Avaliação: para que serve? Toda avaliação deve contribuir para melhorar o desenho do programa ou aperfeiçoar seu funcionamento. Estas contribuições devem alimentar um plano de desenvolvimento do programa. A avaliação não deve ser um veredicto.
Principais interessados e utilidades da avaliação Congresso/Planejamento/Fazenda: Alocação de recursos entre programas (plano de desenvolvimento do programa). Sociedade civil: Prestação de contas com quem paga os impostos. Beneficiários e participantes: Empoderamento, Qual a eficácia? Gestores: Aprimorar desenho e funcionamento.
Avaliação interna versus externa Totalmente interna: falta de imparcialidade. Totalmente externa: falta de adaptação às preocupações mais prioritárias do gestor. Equilíbrio: o máximo de imparcialidade e o máximo de utilidade.
Avaliações ex ante Utiliza bases secundárias para conhecer o impacto e o custo potencial do programa. Geralmente realizada antes do programa existir, embora técnicas também possam ser utilizadas em programas já em andamento. Utilidade: o que esperar do programa?
Avaliações ex post Utiliza informações primárias ou secundárias para conhecer o impacto e o custo potencial do programa. Realizadas no programa propriamente dito. Usa informações do programa Permite aprimorar o desenho em todas as etapas do ciclo de vida do programa (piloto, expansões até a extinção) São mais custosas que as avaliações ex ante Podem ficar muito oneradas quando o programa não conta com um sistema de monitoramento adequado
V. Isolando o impacto de um programa social
Adoption rate (%) 65 Estimating the impact on the adoption of a given agricultural practice 60 55 50 Reflexive control group Ex post treated 45 40 Impact of program and all other factors 35 35 30 25 Ex ante treated 20 15 10 5 0 Before the program After the program
Adoption rate (%) 65 Estimating the impact on the adoption of a given agricultural practice 60 55 50 45 40 Cross-section analysis Impact of program and all other differences between treated and untreated groups Treated 25 35 Untreated 30 25 20 15 10 5 0 Before the program After the program
Adoption rate (%) 65 Estimating the impact on the adoption of a given agricultural practice 60 55 50 Longitudinal analysis with comparison group 15 Impact of program 45 40 35 30 20 Impact of all other factors Heterogeneity bias 10 25 Treated 20 15 Untreated 10 5 0 Before the program After the program
VI. Sobre a importância de poder contar com uma pesquisa contínua de propósitos múltiplos
Desafios para o sistema de monitoramento e avaliação e missões para a pesquisa contínua 1. Monitoramento contínuo das condições de vida da população e do seu acesso a programas sociais 2. Monitoramento espacialmente desagregado das condições de vida da população e do seu acesso a programas sociais 3. Monitoramento detalhado de aspectos específicos das condições de vida da população
Desafios para o sistema de monitoramento e avaliação e missões para a pesquisa contínua 4. Arquivos administrativos Avaliação da qualidade das informações Complementação com informações socioeconômicas de qualidade 5. Apoiar, facilitar e promover avaliações de impacto de programas sociais
VII. Exemplo do Desenho de um Sistema de Monitoramento
Desenho de um Sistema de Monitoramento para as Juventudes Entrevistas com funcionários nos pontos de atendimento Efetiva utilização dos serviços disponíveis Condições para utilizar os serviços disponíveis Condições para se desenvolver Observações nos pontos de atendimento Qualidade dos serviços disponíveis Acesso aos serviços disponíveis Pesquisas domiciliares Convívio familiar e participação social Habilidades cognitivas Entrevistas com usuários Adequação dos serviços disponíveis Condições de saúde Violação de direitos Avaliações das habilidades cognitivas e não cognitivas Habilidades nãocognitivas Georeferenciamento da oferta Disponibilidade de serviços Registros administrativos Inserção produtiva Aspirações, sonhos, perspectivas e visões de futuro Atitudes e valores