Metodologias de Avaliação de Programas Sociais

Transcrição

1 Metodologias de Avaliação de Programas Sociais Júnia Quiroga Diretora de Avaliação SAGI/MDS Avaliação no Campo das Políticas Públicas: Institucionalidades e temas emergentes Fortaleza, 18 e 19 de novembro

2 ! " # $! % &' () * +! %

3 , -.!./0, -1,#2!3/! %

4

5 AVALIAR consiste fundamentalmente em aplicar um julgamento de valor a uma intervenção, através de um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre ela ou qualquer um dos seus componentes. Este julgamento pode ser o resultado da aplicação de critérios e normas avaliação normativa ou ser elaborado a partir de um procedimento científico pesquisa avaliativa. (Contrandiopoulos)

6 Avaliação de políticas públicas e avaliação de programas públicos são termos imbricados, mas referem-se a contextos muito diferentes, em amplitude, de análise da intervenção estatal (Jannuzzi) /& 8 9 $1

7 4 % 4: 4 ; 4 < = 4! ; 6 4: 4 < ; / 9 4! >4 ( ;,( 4 & 4: : 4;

8 >: & 1 : 4:? 5 4: &

9 O Ciclo das Políticas e Programas Públicos

10 , 4 1

11 Organograma MDS

12 A criação do MDS, em janeiro de 2004, implicou o aumento significativo dos investimentos em políticas de proteção, assistência e desenvolvimento social que se traduzem em programas e ações de transferência de renda, segurança alimentar e nutricional, assistência social e inclusão produtiva.

13

14 /#/1+H /,,515#G,FG/5#+,1,/F5,.+5I 3,5 1 4 # + $ $1.. 3 / 4: >6% # 54 > = 2 17/! 4!7 /4,#K2 5/ 1 / 4 7./#5+5/#1+ 1, /5J52+/G 1 1A 4/ 9 3B (. 4 C DE $ 5+/ 51 15#+/#5FA G G$! 5=41 = B " /

15 Sistema de Avaliação e Monitoramento Avaliação Condução de pesquisas Definição do objeto Desenho metodológico Contratação Coordenação e execução Análise de resultados Monitoramento Desenvolvimento de Sistemas Operacionais Alimentação de sistemas, com dados de programas Organização, gestão e disponibilização de bases de dados Elaboração de variáveis e indicadores Retroalimentação Aperfeiçoamento dos programas Disseminação e transparência - Publicações - Seminários - Microdados para o Consórcio de Informações Sociais Disponibilidade de informações estratégicas - Assessoria para a alta direção - Preparação de informes e notas técnicas - Apoio na tomada de decisões Formação e Capacitação -Gestão de políticas sociais -Avaliação e monitoramento - Controle Social

16 Rotinas administrativas Quadro síntese do ciclo de avaliação : 1. Discussão 2. Termo de Referência 3. Contratação SAGI/UC Definição da avaliação a ser realizada Relevância do estudo proposto Identificação de parceiros interinstitucionais relevantes 4. Interlocução para operacionalização do estudo SAGI/UC/IE Definição de questões relevantes para o estudo Disponibilização dos dados necessários para a realização da pesquisa SAGI/UC Elaboração do TOR pela SAGI Revisão do TOR pela UC 5. Acompanhamento 6. Resultados Finais SAGI/IE Desenvolvimento dos instrumentos de pesquisa Envolvimento no treinamento de equipes Acompanhamento in loco do trabalho de campo Análise, discussão e aprovação de relatórios parciais e do relatório final SAGI/SAA e/ou Órgão de Cooperação Internacional Aprovação do TOR Elaboração de edital Avaliação de propostas técnicas e comerciais Contratação da instituição executora (IE) SAGI/UC/IE Recomendações da avaliação (IE) Discussões com gestores e parceiros interinstitucionais Retroalimentação dos programas 7. Divulgação dos Resultados 8. Publicações 9. Disponibilização dos microdados SAGI/UC/IE Apresentação dos resultados finais ao MDS Coletivas de imprensa (ou seminários ou outros formatos) abertos ao público externo SAGI Cadernos de estudos Relatórios de pesquisa Livros Multimeios SAGI Disponibilização ao CIS dos microdados desidentificados e documentação pertinente SAGI = Secretaria de Avaliação e Gestão da Informação / SAA=Secretaria de Assuntos Administrativos /UC = Unidade Cliente / IE= Instituição Executora / CIS = Consórcio de Informações Sociais

17 Rotinas administrativas

18 Rotinas administrativas Passo a Passo da Sistemática de Monitoramento

19 / 4

20 4 >4 " 4 8 # 4 % 4

21 MI Social uma estratégia de organização das informações para o monitoramento dos programas, ações e serviços. Disponibiliza informações e indicadores sociais específicos das unidades da federação, municípios e Distrito Federal. Formas de consultas Tabelas Sociais Atlas Social MI Vetor Relatórios de Informações Sociais - RI MDS em Mapas Disponível ao público

22 Informações Gerenciais Acesso web: Sociedade civil; Gestão governamental em todos os níveis.

23 Disseminação Publicações técnicas físicas ; Disponibilização de conteúdo eletrônico por mailing; sitio web do MDS; CD interativo; Realização de seminários internacionais, nacionais e prêmios. Público: Gestores, órgãos da administração pública, instituições de ensino e pesquisa, instâncias de controle social, organismos internacionais.

24 Normativas e regulamentação Portaria MDS n.º 329, de 11 de outubro de 2006 Institui e regulamenta a Política de Monitoramento e Avaliação. Portaria MDS n.º 160, de 09 de maio de 2008 e alterações posteriores, e Portaria MDS nº 99, de 26 de fevereiro de 2010 Tratam do Grupo de Trabalho (GTMA) responsável pela elaboração do Plano Anual de Monitoramento e Avaliação (PAMA). Portaria MDS n.º 255, de 30 de julho de 2008 Estabelece regras e prazos para a disponibilização de dados das pesquisas contratadas pelo MDS.

25 Síntese de experiências e habilidades presentes/necessárias Experiência anterior no serviço público e junto a órgãos do sistema ONU Experiência de docência Experiência com comunidades tradicionais e populações específicas Experiência em análises de dados à luz de perspectiva teórica incluindo os eixos étnico/racial e de gênero Conhecimentos e experiência no uso de metodologias qualitativas e quantitativas de coleta e análise de dados, além de técnicas de análise demográfica Elaboração de projetos de pesquisa Conhecimentos sobre legislação e experiência na condução e acompanhamento de processos licitatórios Conhecimento e condução de processos administrativos Experiências com softwares qualitativos, quantitativos e de goerreferenciamento Conhecimento e atuação anterior nas políticas, programas, serviços e ações afetas ao MDS (segurança alimentar, assistência social e transferência de renda) Conhecimento e experiência em análise de bases de dados sociais (IBGE, MDS e outras) Experiência na redação de conteúdo técnico, inclusive com a publicação de livros e artigos científicos Experiência em processos de formação, capacitação e multiplicação Experiência na construção de ferramentas informacionais Conhecimento de línguas estrangeiras

26 # L

27 Gargalos institucionais Morosidade dos processos de contratação Dificuldades de contratação via organismos internacionais Dificuldades relacionadas à priorização de demandas (necessidade de fortalecimento do GTMA) Rotatividade e precariedade das relações de trabalho Insuficiência de quadros em habilidades especificas Equipamentos insuficientes e/ou inadequados para o atendimento de certas demandas Dificuldades relacionadas à obtenção das bases de dados com o universo das pesquisas Necessidade de nivelamento das unidades clientes em relação aos conceitos de M&A

28 Para que a avaliação e monitoramento deixe de constituir inovação e efetivamente se incorpore à cultura às crenças e práticas do campo das políticas, é preciso garantir sua continuidade.

29 Metodologias de Avaliação de Programas Sociais 2ª Parte Júnia Quiroga Diretora de Avaliação SAGI/MDS Avaliação no Campo das Políticas Públicas: Institucionalidades e temas emergentes Fortaleza, 18 e 19 de novembro

30 Pesquisas de Avaliação Concluídas, por área principal de concentração ( ) Ano Área * Total Bolsa Família M M E M M M D M MN Inclusão Produtiva Assistência Social D D D M M M D MO P D P E N M Q R Q NS SAN D Q MM Q Q Q N N NS Transversais D N N P N P N N MR Total por ano M MD NT MM R MN MN U RR * Até julho de 2011

31

32

33 formacao/disseminacao

34

35

36

37 Exercício de aplicação -Grupos de até 6 participantes; -Análise em conjunto da síntese de pesquisa entregue ao grupo quanto aos seguintes aspectos: -Metodologia de pesquisa; -Principais resultados; -Adequação da metodologia à pergunta avaliativa; -Resultados são relevantes para a construção ou readequação de políticas públicas? Se sim, em que nível? -Como disseminar? (público de interesse, formato, estratégias etc.)

38

39

40

41

42

43

44

45

46

47

48

49

50

51 Obrigada por participar! Júnia Quiroga Diretora de Avaliação SAGI/MDS