Monitoramento e Avaliação em Serviço Social

Monitoramento e Avaliação em Serviço Social Autoria: Paulo Sergio Matoso Tema 04 Questões Metodológicas no Processo de Implementação da Avaliação e Impactos em Programas Sociais

Tema 04 Questões Metodológicas no Processo de Implementação da Avaliação e Impactos em Programas Sociais Autoria: Paulo Sergio Matoso Como citar esse documento: MATOSO, Paulo Sergio. Monitoramento e Avaliação em Serviço Social: Questões Metodológicas no Processo de Implementação da Avaliação e Impactos em Programas Sociais. Caderno de Atividades. Anhanguera Publicações: Valinhos, 2014. Índice CONVITEÀLEITURA Pág. 3 PORDENTRODOTEMA Pág. 4 ACOMPANHENAWEB Pág. 6 Pág. 8 Pág. 11 Pág. 12 Pág. 12 Pág. 13 2014 Anhanguera Educacional. Proibida a reprodução final ou parcial por qualquer meio de impressão, em forma idêntica, resumida ou modificada em língua portuguesa ou qualquer outro idioma.

CONVITEÀLEITURA Este Caderno de Atividades foi elaborado com base no livro Avaliação de Políticas Sociais: uma questão em debate, da autora Elizabeth Melo Rico (org.), Editora Cortez, 2009. Conteúdo Nesta aula, você estudará: As questões metodológicas no processo de implementação da avaliação e os impactos em programas sociais. Sobre o que é o processo de implementação e suas variações existentes. As reflexões em relação à avaliação de processos e de impactos em programas sociais. Habilidades Ao final, você deverá ser capaz de responder as seguintes questões: Quais são as questões metodológicas no processo de implementação da avaliação e os impactos em programas sociais? O que é o processo de implementação de programas sociais? Quais as variações existentes no processo de implementação de programas sociais? Quais são as reflexões em relação à avaliação de processos em programas sociais? Quais as reflexões em relação à avaliação de impactos em programas sociais? 3

PORDENTRODOTEMA Questões Metodológicas no Processo de Implementação da Avaliação e Impactos em Programas Sociais No tema anterior você aprendeu sobre as preocupações dos últimos 50 anos em relação ao sistema educacional, além de perceber os desafios colocados para a construção do Sistema Nacional de Avaliação da Educação Básica, o SAEB e sobre suas bases. Aprendeu também que os princípios e diretrizes do SAEB correspondem aos próprios desafios do sistema, que são: visibilidade social, responsabilidade compartilhada, legitimidade, continuidade, qualidade, equidade e eficiência. Neste tema você vai estudar, com base no Livro-Texto, as questões metodológicas no processo de implementação da avaliação e impactos em programas sociais. Neste estudo há dois novos conceitos: avaliação de impacto e avaliação de processo. De acordo com Perez (2009, p. 65) avaliação de impacto diz respeito aos efeitos do programa sobre a população alvo, e avaliação processual representa chances à monitoração dos processos responsáveis pela produção do efeito esperado. O desenvolvimento dessas pesquisas de avaliação tem início na década de 1950 nos EUA, mas sua expansão se deu apenas na década de 1960. Esse desenvolvimento trouxe dois elementos para o estudo: o entendimento sobre o que é o processo de implementação e suas variações existentes por meio, segundo Perez (2009, p. 67), do tempo, das políticas e das unidades de governo. Inicialmente a ideia de implementação era pautada, como diz o autor, no cumpra-se, depois foi incorporada à dimensão temporal. O estudo vai mostrar como há variação dependendo do tipo da política, de seus formatos, e vai apontar ainda se a tomada de decisão está com apenas uma autoridade ou não. Segundo Perez (2009), nos EUA foi feito por um grupo de especialistas um estudo sobre as características básicas de implementações por um longo período e o resultado foi o seguinte: de 1970 a 1975, as pesquisas de avaliação eram realizadas para identificar os obstáculos à implementação; de 1975 a 1980, o foco eram os atores envolvidos e o processo de descentralização; de 1980 a 1985, foi dado enfoque crítico aos trabalhos, revelando novas possibilidades. Em relação à metodologia foram dados dois enfoques: um da área da fenomenologia e o outro da positivista. A fenomenologia contribuiu com as questões mais relativas, e o positivismo trouxe para a pesquisa as questões mais objetivas. 4

PORDENTRODOTEMA Mesmo diante de tantos estudos e aprofundamentos, segundo o autor, na pesquisa referida foram percebidos muitos problemas: pluralismo teórico, pesquisas muito restritas e ausência de conhecimento acumulado. No Brasil, o processo ainda é inicial e a metodologia utilizada é complexa do ponto de vista analítico e metodológico (PEREZ, 2009). Em relação à avaliação de processos e impactos em programas sociais, Lobo (2009) pondera sobre algumas questões metodológicas e ressalta a importância do acesso garantido à informação, numa relação entre acompanhamento e avaliação, possibilitando estratégias que condizem com os objetivos. Outra questão relevante está relacionada às diferentes metodologias que tratam do impacto e dos processos no desenvolvimento de programas. Os impactos percebidos são aqueles oriundos de uma intervenção do governo sobre o programa, pois determinadas ações são realizadas em um longo espaço de tempo, e o processo de intervenção governamental é realizado em curto prazo (LOBO, 2009). Esses complicadores numa avaliação de impacto podem ser percebidos, segundo Lobo (2009, p. 80), como a capacidade explicativa de um único tipo de intervenção, e, no caso de processos, a avaliação se estrutura de forma que privilegie análises qualitativas. Nesse contexto, definir os atores é de suma importância, pois estes são os interessados nos programas sociais. Outra questão que deve ser levada em conta são as variações em situação pontuais, de determinado programa, ou seja, as questões relacionadas à territorialidade, à localização, à institucionalidade, às questões políticas do ambiente, aos resultados e aos processos. Ou seja, toda metodologia de avaliação tem que ter abertura para as mais variadas participações. De acordo com Lobo (2009, p. 82), desenvolver estratégias que visualizem exclusivamente um só desenho ou uma só técnica de coleta de informações é uma atitude extremamente desacreditada do ponto de vista de sua eficácia. É necessária a interação entre elementos qualitativos e quantitativos nas propostas apresentadas. Outro problema comum enfrentado são as generalizações que ocorrem na maioria das vezes por avaliações fragmentadas, que não contribuem para a garantia das informações levantadas. Isso não tem nenhuma relação com as avaliações nacionais, nas quais há o compromisso com um mínimo de informações. Mas há que se observar também que é necessário um mínimo de informações localizadas no sentido de aprofundar e qualificar a avaliação dos programas sociais. Há aqui um compromisso de mensuração dos problemas de ordem institucional que vão, de certa forma, afetar a implementação de determinados programas. Segundo Lobo (2009, p. 82) isso é uma questão de extrema importância, já que a descontinuidade político-administrativa, traço histórico característico da nossa administração pública, é um deles. E o desafio é de que forma garantir uma avaliação de programa social que não esteja contaminada com impressões pessoais sobre o gestor antecessor? Numa transição, o que fez com que houvesse manipulação nos resultados avaliados de determinado programa social? Essas questões precisam ser consideradas do ponto de vista metodológico. 5

PORDENTRODOTEMA Outro fator institucional pode ser percebido em relação ao acentuado descaso com a capacidade institucional de agentes executores (LOBO, 2009, p. 82). Ou seja, há a informação de que os executores regionais e locais não estão preparados para executar determinada ação, mas o que ocorre é que a legislação é rígida demais, e isso deve ser considerado pelas análises uma vez que poderá afetar os resultados. Segundo a autora, outro fator que pode causar perdas profundas na qualidade da avalição é o atraso, ou mesmo a inexistência de um monitoramento desenhado e implementado desde o início do programa. E por fim. Lobo (2009) salienta que algo que afeta a avaliação e os resultados de um programa é o perfeccionismo, inviabilizando e tornando o processo indesejável. ACOMPANHENAWEB Avaliação de políticas públicas: uma revisão teórica de um campo em construção Leia o artigo Avaliação de políticas públicas: uma revisão teórica de um campo em construção, de Andrei Pittol Trevisan e Hans Michael van Vellen. Esse artigo realiza um resgate teórico da literatura sobre a área de políticas públicas, especificamente sobre avaliação. Disponível em: <http://portal.mte.gov.br/data/files/8a7c812d3adc4216013afafeb2752c3d/avalia%c3%a7%c3%a3odepol%c3%adticasp%c3%bablicas.pdf>. Acesso em: 24 jun. 2014. 6

ACOMPANHENAWEB Avaliação Política e avaliação de políticas: um quadro de referência teórica Leia o artigo Avaliação Política e avaliação de políticas: um quadro de referência teórica, de Marcus Faria Figueiredo e Argelina Maria Cheibub Figueiredo. Esse artigo ampliará seus conhecimentos sobre a revisão sistemática de bibliografia especializada e recente sobre avaliação de políticas públicas e dos estudos de avaliação de políticas sociais no Brasil. Disponível em: <https://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&ved=0ceo- QFjAC&url=http%3A%2F%2Fwww.fjp.mg.gov.br%2Frevista%2Fanaliseeconjuntura%2Finclude%2Fgetdoc. php%3fid%3d151%26arti&ei=6k_wuernlono8qttmoc4dq&usg=afqjcnfkw8fvs_gf0kienr1pp1_ McAUyMQ&sig2=nIBA4Tjb67J_Qr9q8u4hIw>. Acesso em: 24 jun. 2014. Assista ao vídeo Metodologia de avaliação de impactos de projetos de C, T & I O vídeo foi produzido pela FINEP e traz o debate realizado no dia 18 de abril de 2012, com Sérgio Salles, Professor Titular do Departamento de Política Científica e Tecnológica do Instituto de Geociências da Unicamp, Coordenador de Avaliação de Programas da FAPESP e Diretor da Faculdade de Ciências Aplicadas da Unicamp. No debate, são apresentados os desafios metodológicos para os processos de avaliação de impactos de projetos de C, T & I. Disponível em: <http://www.youtube.com/watch?v=m2vhgq33bfo>. Acesso em: 24 jun. 2014. Tempo: 01:22:03 7

Instruções: Agora, chegou a sua vez de exercitar seu aprendizado. A seguir, você encontrará algumas questões de múltipla escolha e dissertativas. Leia cuidadosamente os enunciados e atente-se para o que está sendo pedido. Questão 1 AGORAÉASUAVEZ Com base no conhecimento prévio sobre o conteúdo abordado e principalmente os materiais disponibilizados para a disciplina (Livro-Texto, sites, vídeos etc.), considerando também as experiências que você já presenciou a respeito do assunto, conceitue processo de implementação. Questão 2 No estudo da avaliação do processo de implementação, quando se fala de efeitos do programa sobre a população alvo, conceitua-se que tipo de avaliação? a) Avaliação de impacto. b) Avaliação de processo. c) Avaliação central. d) Avaliação de conclusão. e) Avaliação de decisão. 8

AGORAÉASUAVEZ Questão 3 Segundo Perez (2009), nos EUA, um estudo sobre as características básicas de implementações por um longo período foi feito por um grupo de especialistas um. Sobre o assunto, indique a seguir as alternativas corretas: a) ( ) De 1970 a 1975, as pesquisas de avaliação eram realizadas para identificar os obstáculos à implementação. b) ( ) De 1975 a 1980, o foco eram os atores envolvidos e o processo de descentralização. c) ( ) De 1980 a 1985, foi dado enfoque crítico aos trabalhos, revelando novas possibilidades. d) ( ) No último enfoque abordou-se a metodologia aplicada. e) ( ) Todas as alternativas anteriores estão corretas. Questão 4 Em relação à avaliação de processos e impactos em programas sociais, dentre outras questões, é correto afirmar que: a) ( ) é importante que se garanta o acesso à informação numa relação entre acompanhamento e avaliação, possibilitando estratégias que condizem com os objetivos. b) ( ) em relação a avaliação de processos e impactos em programas sociais, definir os atores não é de suma importância, pois estes não estão interessados nos programas sociais. c) ( ) devem ser levadas em conta as variações em situação pontuais, de determinado programa, ou seja, as questões relacionadas à territorialidade, à localização, à institucionalidade, às questões políticas do ambiente, aos resultados e aos processos. d) ( ) não é necessária a interação entre elementos qualitativos e quantitativos nas propostas apresentadas. e) ( ) Não se deve considerar importante a ocorrência de variações em situações pontuais, o que possibilitaria estratégias que condizem com os objetivos. 9

AGORAÉASUAVEZ Questão 5 Outro fator pode ser percebido em relação ao descaso com a capacidade institucional de, ou seja, há a informação de que os executores e não estão preparados para executar determinada, mas o que ocorre é que a legislação é demais, e isso deve ser considerado pelas análises uma vez que poderá afetar os resultados. Escolha a seguir a alternativa que apresente a sequência de palavras/expressões que completam corretamente as lacunas do parágrafo anterior. a) Regionais, locais, rígida, ação, institucional, agentes executores, acentuado. b) Regionais, locais, ação, rígida, institucional, acentuado, agentes executores. c) Acentuado, institucional, agentes executores, regionais, locais, ação, rígida. d) Institucional, acentuado, agentes executores, regionais, locais, ação, rígida. e) Institucional, agentes executores, acentuado, regionais, locais, ação, rígida. Questão 6 O que representa a avaliação processual no estudo da avaliação do processo de implementação? Questão 7 Sobre o estudo dos processos de implementação, quais elementos surgiram para o debate no desenvolvimento das pesquisas de avaliação, nos anos 1950 e 1960, realizadas pelos EUA? Questão 8 No estudo feito pelos EUA sobre as características básicas de implementações, em relação à metodologia, quais foram as concepções de escolas de estudo utilizadas no período de 1970 a 1985? Qual a contribuição dessas escolas para o estudo? 10

AGORAÉASUAVEZ Questão 9 De acordo com Lobo (2009), qual fator pode causar perdas profundas na qualidade da avaliação de programas sociais? Questão 10 Como é conhecido por Lobo (2009) aquilo que afeta a avaliação e os resultados de um programa? FINALIZANDO Neste tema, você aprendeu sobre as questões metodológicas no processo de implementação da avaliação e os impactos em programas sociais, além de conhecer o conceito do processo de implementação e suas variações existentes. Para finalizar, você compreendeu as diversas reflexões em relação à avaliação de processos e de impactos em programas sociais. 11

REFERÊNCIAS LOBO, Thereza. Avaliação de Processos e Impactos em Programas Sociais: algumas questões para reflexão. In: RICO, Elizabeth M. (org.). Avaliação de Políticas Sociais: uma questão em debate. 6ª ed. Instituto de Estudos Especiais, São Paulo: Cortez, 2009, p. 75-84. PEREZ, José R. R. Avaliação do Processo de Implementação: algumas questões metodológicas, In: RICO, Elizabeth M. (org.). Avaliação de Políticas Sociais: uma questão em debate. 6ª ed. Instituto de Estudos Especiais, São Paulo: Cortez, 2009, p. 65-74. RICO, Elizabeth M. (org.). Avaliação de Políticas Sociais: uma questão em debate. 6ª ed. Instituto de Estudos Especiais, São Paulo: Cortez, 2009. GLOSSÁRIO Condiz: no sentido de estar em harmonia. Crítico: no sentido de estabelecer juízo de valor. Efeitos: no sentido de resultado de uma ação, consequência. Incorporado: no sentido de parte, integrado. Interação: no sentido de ações mútuas entre coisas ou seres. 12

GABARITO Questão 1 Resposta: De acordo com o autor, implementação diz respeito a todo o processo iniciado com a política, a seus impactos ou a uma serie de decisões e ações postas pela autoridade gestora da política. Há ainda aqueles que dizem que para esse processo existem duas fases: formação da política e formulação da política; e outros que delimitam o início da implementação quando a política é transformada em programas. Questão 2 Resposta: Alternativa A. Questão 3 Resposta: Alternativas A, B e C. Questão 4 Resposta: Alternativas A e C. Questão 5 Resposta: Alternativa D. Questão 6 Resposta: A avaliação processual representa chances à monitoração dos processos responsáveis pela produção do efeito esperado. Questão 7 Resposta: Esse desenvolvimento trouxe dois elementos para o estudo: o entendimento sobre o que é o processo de implementação e as variações existentes através do tempo, das políticas e das unidades de governo. 13

Questão 8 Resposta: Em relação à metodologia, foram dados dois enfoques: um da área da fenomenologia e outro da área positivista. A fenomenologia contribuiu com as questões mais relativas e o positivismo trouxe para a pesquisa as questões mais objetivas. Questão 9 Resposta: O atraso e também a inexistência de um monitoramento desenhado e implementado desde o início do programa podem causar perdas profundas na qualidade da avalição de programas sociais. Questão 10 Resposta: Trata-se do perfeccionismo buscado, mas raramente alcançado, dos protagonistas de tarefas desta natureza. 14