Monitoramento e avaliação como instrumentos complementares para o desenho e operação de políticas públicas eficazes. Ricardo Paes de Barros - SAE

Transcrição

1 Monitoramento e avaliação como instrumentos complementares para o desenho e operação de políticas públicas eficazes Ricardo Paes de Barros - SAE Roo de Janeiro, 20 de Março de 2013

2 Construindo um Sistema de Monitoramento e Avaliação para Etapas na Construção de um Sistema de Promover a Maior Efetividade das Políticas para as Monitoramento e Avaliação Juventudes Medir Monitorar Avaliar

3 I. Sobre a relação entre monitoramento e avaliação e o desenho de programas públicos eficazes

4 Ferramentas para o desenho de uma política pública baseada em evidência Análise descritiva Monitoramento Condições Sociais Programas Sociais Acompanhamento das Melhores Práticas Análises das Causas Avaliação de Programas Sociais Relações Causais Desenho Desenho de Programas Sociais

5 Construindo um Sistema de Monitoramento para Promover a Maior Efetividade das Políticas para as Juventudes Focalizados naqueles com necesidades mais prementes Convenientemente localizado e disponível quando são mais demandados Desehados de forma adequada e flexível de forma a satisfazer as necessidades das juventudes Provisão de serviços de qualidade Grau adequado de utilização dos serviços oferecidos Efetividade

6 Mensurando a magnitude das necessidades e monitorando os graus de focalização e cobertura Monitoramento das necessidades dos beneficiários potenciais e dimensionamento da população alvo Monitoramento do grau de focalização (porcentagem dos benefícios que vão a população alvo) Monitoramento do grau de cobertura (porcentagem das população alvo atendida pelo programa) Monitoramento da presença e acesso a programas equivalentes e complementares

7 Monitorando do grau de utilização Monitoramento do número de beneficiários/participantes Monitoramento da frequência com que os serviços são utilizados pelos que o utilizam Monitoramento da duração média de cada utilização/participação

8 Monitorando da adequação dos serviços às necessidades locais Monitoramento da distância dos participantes ao local do programa e do tempo de espera para atendimento Monitoramento de quando (horários e dias de funcionamento) os serviços são oferecidos Monitoramento do grau de adequação dos serviços oferecidos às necessidades da população local Monitoramento da heterogeneidade das necessidades da população local e dos serviços oferecidos

9 Monitorando da quantidade e qualidade dos serviços oferecidos Monitoramento da disponibilidade de insumos e recursos humanos Monitoramento da qualidade dos insumos e recursos humanos disponíveis Monitoramento da quantidade de serviços oferecidos Monitoramento da qualidade dos serviços oferecidos

10 II. Sobre as unidades tipicamente utilizadas no monitoramento

11 Monitoramento de quem ou do quê? (unidade de monitoramento) Monitoramento individualizado das necessidades ou do desenvolvimento Monitoramento de grupos socioeconômicos (population based monitoring) Monitoramento das unidades de atendimento Monitoramento de serviços ou programas Operados pelo gestor Contratados pelo gestor (PPP, OS) Regulados/regulamentados pelo gestor Monitoramento de políticas sociais ;

12 III. Sobre os objetivos do monitoramento

13 Objetivos e cuidados na utilização do monitoramento individualizado Objetivos Triagem Diagnóstico Referência e encaminhamento Atendimento e seguimento Cuidados na utilização Sigilo das informações Possibilidade de estigmatização Possibilidade de segregação Necessidade de avaliar o impacto de um sistema de monitoramento individualizado

14 Monitoramento populacional Monitoramento das condições familiares (ambiente socioeconômico, estrutura familiar) de acesso a oportunidades (transporte, alimentação, etc. ) Monitoramento do acesso efetivo a oportunidades para adquirir ou desenvolver habilidades utilizar de forma produtiva e criativa as habilidades adquiridas ou desenvolvidas

15 Monitoramento do grau de utilização e aproveitamento destas oportunidades grau de utilização grau de aproveitamento taxa de conclusão Monitoramento populacional Monitoramento das habilidades efetivamente adquiridas ou desenvolvidas Monitoramento da utilização produtiva das habilidades adquiridas ou desenvolvidas e inserção no mundo do trabalho Monitoramento dos processos de formação e dissolução de famílias e de formação de redes sociais

16 Monitoramento das unidades de atendimento Contínuo (diário/semanal) Verificar funcionamento cotidiano Incentivos, premiações e punições Sistemático Diagnóstico das condições da unidade Plano de desenvolvimento da unidade Gestão por resultados Necessidade de avaliar o impacto da utilização de um sistema de incentivos diagnósticos, plano estratégicos de desenvolvimento gestão por resultados

17 Monitoramento de serviços sociais operados diretamente pelo gestor Necessidade de monitorar a disponibilidade e o fluxo de recursos Necessidade de monitorar o processo de aquisição de insumos (seleção de fornecedores e preços praticados) Necessidade de monitorar o processo de produção. Monitoramento das diversas formas de eficiência. Necessidade de monitorar o processo de entrega dos serviços. Os serviços estão efetivamente sendo entregues nos momentos combinados? Necessidade de monitorar a qualidade, adequação, focalização e cobertura

18 Monitoramento de programas sociais cuja provisão é contratada pelo gestor O monitoramento do funcionamento, operação e entrega dos serviços deve ser realizado pelo próprio provedor Necessidade de monitorar o processo de seleção das instituições contratadas a disponibilidade e o fluxo de recursos Necessidade de monitorar o processo de entrega dos serviços. Os serviços estão efetivamente sendo entregues nos momentos e locais contratados? Necessidade de monitorar a qualidade e adequação dos; serviços, e os graus de focalização e cobertura

19 Monitoramento de programas sociais cuja provisão é apenas coordenada e regulamentada pelo gestor O monitoramento da disponibilidade de recursos, funcionamento, operação e entrega dos serviços deve ser realizado localmente ou por secretarias específicas Necessidade de monitorar a disponibilidade, qualidade e adequação dos serviços e os graus de focalização e cobertura

20 Monitoramento de políticas sociais Qualidade, eficácia e funcionamento de cada programa específico deve ser tratado como função do órgão responsável por sua gestão Necessidade de monitorar as condições de vida e necessidades da população alvo Necessidade de monitorar a oferta de serviços (quantidade, variedade, qualidade e adequação) Necessidade de monitorar o casamento entre as necessidades da população alvo e a oferta de serviços

21 Em resumo, os objetivos do monitoramento são: 1. Triagem, diagnóstico, encaminhamento, atendimento e seguimento 2. Identificação das necessidades e percepções da população 3. Mensuração do grau de cobertura, qualidade e adequação dos serviços 4. Mensuração do grau de utilização e conclusão 5. Mensuração dos resultados alcançados 6. Facilitar ou mesmo permitir que avaliações possam ser realizadas 7. Contribuir para o desenho de políticas mais efetivas baseadas em evidência

22 IV. Avaliação o quê é e para que serve?

23 Avaliação: o que é? Toda avaliação deve mensurar o desempenho do programa que, por sua vez, significa isolar e quantificar sua contribuição Toda avaliação deve identificar os determinantes do desempenho do programa e mensurar sua importância relativa. O objeto da avaliação pode ser subjetivo Os resultados obtidos a partir da aplicação de um dado método não devem depender da subjetividade do pesquisador (replicabilidade).

24 Avaliação: para que serve? Toda avaliação deve contribuir para melhorar o desenho do programa ou aperfeiçoar seu funcionamento. Estas contribuições devem alimentar um plano de desenvolvimento do programa. A avaliação não deve ser um veredicto.

25 Principais interessados e utilidades da avaliação Congresso/Planejamento/Fazenda: Alocação de recursos entre programas (plano de desenvolvimento do programa). Sociedade civil: Prestação de contas com quem paga os impostos. Beneficiários e participantes: Empoderamento, Qual a eficácia? Gestores: Aprimorar desenho e funcionamento.

26 Avaliação interna versus externa Totalmente interna: falta de imparcialidade. Totalmente externa: falta de adaptação às preocupações mais prioritárias do gestor. Equilíbrio: o máximo de imparcialidade e o máximo de utilidade.

27 Avaliações ex ante Utiliza bases secundárias para conhecer o impacto e o custo potencial do programa. Geralmente realizada antes do programa existir, embora técnicas também possam ser utilizadas em programas já em andamento. Utilidade: o que esperar do programa?

28 Avaliações ex post Utiliza informações primárias ou secundárias para conhecer o impacto e o custo potencial do programa. Realizadas no programa propriamente dito. Usa informações do programa Permite aprimorar o desenho em todas as etapas do ciclo de vida do programa (piloto, expansões até a extinção) São mais custosas que as avaliações ex ante Podem ficar muito oneradas quando o programa não conta com um sistema de monitoramento adequado

29 V. Isolando o impacto de um programa social

30 Adoption rate (%) 65 Estimating the impact on the adoption of a given agricultural practice Reflexive control group Ex post treated Impact of program and all other factors Ex ante treated Before the program After the program

31 Adoption rate (%) 65 Estimating the impact on the adoption of a given agricultural practice Cross-section analysis Impact of program and all other differences between treated and untreated groups Treated Untreated Before the program After the program

32 Adoption rate (%) 65 Estimating the impact on the adoption of a given agricultural practice Longitudinal analysis with comparison group 15 Impact of program Impact of all other factors Heterogeneity bias Treated Untreated Before the program After the program

33 VI. Sobre a importância de poder contar com uma pesquisa contínua de propósitos múltiplos

34 Desafios para o sistema de monitoramento e avaliação e missões para a pesquisa contínua 1. Monitoramento contínuo das condições de vida da população e do seu acesso a programas sociais 2. Monitoramento espacialmente desagregado das condições de vida da população e do seu acesso a programas sociais 3. Monitoramento detalhado de aspectos específicos das condições de vida da população

35 Desafios para o sistema de monitoramento e avaliação e missões para a pesquisa contínua 4. Arquivos administrativos Avaliação da qualidade das informações Complementação com informações socioeconômicas de qualidade 5. Apoiar, facilitar e promover avaliações de impacto de programas sociais

36 VII. Exemplo do Desenho de um Sistema de Monitoramento

37 Desenho de um Sistema de Monitoramento para as Juventudes Entrevistas com funcionários nos pontos de atendimento Efetiva utilização dos serviços disponíveis Condições para utilizar os serviços disponíveis Condições para se desenvolver Observações nos pontos de atendimento Qualidade dos serviços disponíveis Acesso aos serviços disponíveis Pesquisas domiciliares Convívio familiar e participação social Habilidades cognitivas Entrevistas com usuários Adequação dos serviços disponíveis Condições de saúde Violação de direitos Avaliações das habilidades cognitivas e não cognitivas Habilidades nãocognitivas Georeferenciamento da oferta Disponibilidade de serviços Registros administrativos Inserção produtiva Aspirações, sonhos, perspectivas e visões de futuro Atitudes e valores