Uma Estrutura de Avaliação para Programas de Saúde em Comunidades

Transcrição

1 Uma Estrutura de Avaliação para Programas de Saúde em Comunidades Junho de 2000 The Center for the Advancement of Community Based Public Health 5102 Chapel Hill Boulevard, Durham, North Carolina [Carolina do Norte] 27707

2 Uma Estrutura de Avaliação para os Programas de Saúde da Comunidade Produzido por: Center for the Advancement of Community Based Public Health Quinton E. Baker Denise A. Davis Ron Gallerani Victoria Sánchez Claire Viadro Baseado em: Estrutura para Avaliação de Programas na Área de Saúde Pública (Centros de Controle e Prevenção de Doenças) Caixa de Ferramentas da Comunidade: Uma Estrutura para Avaliação de Programas (University of Kansas) Apoiado em parte pelo Contrato de Cooperação da CDC Nº U48/CCU concedido à University of South Carolina 5102 Chapel Hill Boulevard, Durham, NC [Carolina do Norte] Telefone: Fax: center@cbph.org

3

4 1 Introdução à Estrutura Visão Geral da Avaliação de Programas Etapa 1: Engajar Partes Interessadas Etapa 2: Descrever o Programa Etapa 3: Focalizar o Projeto da Avaliação Etapa 4: Reunir e Analisar Evidências Etapa 5: Justificar Conclusões Etapa 6: Garantir o Uso e Compartilhamento das Lições Aprendidas Glossário Recursos para Avaliação de Programas 66-67

5 Prefácio No Center for the Advancement of Community Based Public Health (CA-CBPH), acreditamos que o envolvimento das comunidades com parceiros totais e partes interessadas no desenvolvimento, implementação e avaliação de programas é vital para a construção da capacidade da comunidade. Nossa crença e comprometimento em construir a capacidade da comunidade estão baseados em princípios que estabelecem que: (1) melhorias na área de saúde são mais bem obtidas através da participação total das comunidades na identificação dos problemas relacionados à saúde e na criação de programas para abordá-los; e (2) nas parcerias entre entidades, tais como organizações baseadas nas comunidades, órgãos de saúde e universidades, cada parceiro oferecendo contribuições de igual valor para que as metas sejam atingidas (por exemplo, criação de comunidades saudáveis). Uma Estrutura de Avaliação para Programas de Saúde da Comunidade pode ser usada por organizações comunitárias e trabalhadores da área de saúde da comunidade para aprimorar sua compreensão da avaliação e para construir sua capacidade para participar de forma mais ativa e agressiva dos esforços de avaliação de seus programas. No entanto, também acreditamos que a estrutura seja apenas um componente na construção da capacidade da comunidade e que esforços adicionais são necessários para encorajar e dar suporte a processo de avaliação mais inclusivos. Esforços adicionais podem se basear nos componentes da Estrutura sobre o desenvolvimento de medidas de "sucesso" do programa que sejam relevantes para todos os parceiros; ao considerar o que é importante que as comunidades e outras partes interessadas saibam sobre seus programas; e ao produzir dados que seja úteis dentro da estrutura das comunidades. Esperamos que você inclua a Estrutura na sua "caixa de ferramentas de programas e que ela encontre aplicação em seu trabalho. Comentários sobre a Estrutura são bem-vindos.

6 Introdução à Estrutura O presente documento apresenta uma estrutura que enfatiza a avaliação de programas como uma forma prática e contínua que envolve a equipe do programa, os membros da comunidade, bem como os especialistas em avaliação. A meta geral da estrutura é ajudar a guiar e informar sobre o processo de avaliação. O documento não é um manual abrangente sobre como conduzir a avaliação de um programa. Já existem muitos recursos excelentes que preenchem os aspectos técnicos da avaliação de programas. Ao invés disso, a estrutura promove uma compreensão comum sobre a avaliação de programas. Ela fornece um mapa conceitual que pode ser acordado para uma variedade de situações e dentro de diversos grupos e comunidades diferentes. A estrutura também pode ajudar pessoas ou grupos com pouco treinamento ou experiência formal na avaliação de programas a entrarem nos processos de tomada de decisão da avaliação, incluindo consulta a avaliadores profissionais. A estrutura tem a função de ajudar aqueles envolvidos na avaliação de programas a abordarem as seis questões a seguir: 1. Para quem é feita a avaliação? 2. Qual programa está sendo avaliado? Questões-Guia para Avaliação de Programas 3. Quais métodos serão usados para conduzir nossa avaliação? Nos trabalhos executados especialmente no nível de organizações comunitárias, a avaliação é inestimável, especialmente se considerarmos as entidades comunitárias ou as comunidades no centro da área de saúde pública e o trabalho que ocorre na arena da saúde pública. A capacidade de possuir habilidades na área de avaliação é realmente determinante. 4. Como reuniremos e analisaremos informações confiáveis e em quais formas? 5. Como justificaremos nossas conclusões? 6. Como garantir que o que aprendemos será usado? Representante de órgão financiador 1

7 A estrutura também aborda a qualidade da avaliação através da pergunta: A avaliação será uma boa avaliação? Em termos de avaliação, os padrões transmitem qualidade e incluem quatro áreas-chave a considerar: Os avaliadores encaram os quatro padrões acima como os instrumentos de medição através dos quais julgam a qualidade dos esforços de avaliação de programas. Como o documento está organizado A estrutura é apresentada em sete seções principais. Apresentamos uma visão geral da avaliação de programas na primeira seção. Em seguida, discutimos a seis etapas na avaliação de programas (ilustrada na página 3) nas seções seguintes. Essas etapas abordam as questões-guia listadas na página 1. Embora no mundo real as etapas possam nem sempre seguir estritamente essa seqüência, conforme é apresentada, cada etapa oferece a base para a próxima. Um glossário e as fontes de informações para avaliação de programas estão incluídos no final do documento. Quatro Padrões de Avaliação de Programas 1. Utilidade (A avaliação é útil?) 2. Exeqüibilidade (A avaliação é viável e prática?) 3. Propriedade (A avaliação é ética?) 4. Precisão (A avaliação está correta?) A discussão de cada etapa inclui: Definição da etapa. Por que a etapa é importante O que está envolvido na conclusão da etapa Aplicação de padrões Questões (aplicação ao seu programa) Símbolos a Observar Caso de Referência da Cidade da Esperança Idéias-chave a anotar e lembrar Questões (aplicação ao seu programa) 2

8 Etapas na Avaliação de Programas Engajar as Partes Interessadas Garantir o Uso e Compartilhamento das Lições Aprendidas Descrever o Programa ETAPAS Justificar Conclusões Focalizar o Projeto da Avaliação Reunir e Avaliar Evidências Utilidade Propriedade PADRÕES Precisão Exeqüibilidade 3

9 Ao longo de cada etapa, um caso de referência de exemplo ilustra a aplicação da estrutura no programa da comunidade. Apenas um exemplo, o caso não é uma ilustração rígida e universal da estrutura de avaliação de programas. Sua principal finalidade é ilustrar os conceitos da estrutura com um problema de saúde específico, em uma situação específica, e com um grupo específico de pessoas. Nos o convidamos a refletir sobre como aplicar os conceitos em seus próprios programas ao considerar as questões no final de cada seção. Visão Geral: A Cidade da Esperança recebeu fundos dos Centros de Controle e Prevenção de Doenças para projetar e implementar uma intervenção baseada na comunidade para reduzir os ferimentos e as mortes de homens jovens em decorrência do álcool. Esse financiamento evoluiu como uma conseqüência da preocupação da comunidade. O problema foi documentado através de uma avaliação da comunidade conduzida por seus residentes, representantes do órgão comunitário, faculdade da universidade e grupos de direito locais. O referido grupo original acreditava que para atingir essa meta, seria necessário um compromisso de longo prazo de diversas pessoas e organizações e formalizou seu comprometimento estabelecendo a coalizão Parceria para Redução de Ferimentos e Mortes Relacionadas ao Álcool (PRAID - Partnership to Reduce Alcohol-related Injury and Death). Problema: Os ferimentos e mortes relacionados ao uso de álcool na Cidade da Esperança são cinco vezes a taxa estadual e duas vezes a taxa das cidades de tamanho e densidade demográfica similares na região. A avaliação revelou um grande número de ferimentos em acidentes automobilísticos relacionados ao uso de álcool em dois locais principais dentro de um raio de três milhas da cidade. Um registro interno revisto pelo departamento de polícia local mostrou que, durante um período de três anos, 70% desses ferimentos envolveu indivíduos do sexo masculino com menos de 21 anos. Um dado estatístico relacionados foi o aumento do número de jovens tratados em virtude de ferimentos relacionados ao álcool ocorridos com veículos motorizados nos finais-de-semana no departamento de emergência dos hospitais. Cidade da Esperança Exemplo de Caso de Referência 4

10 Em suma, a avaliação revelou um número desproporcional de homens jovens entre as idades de 15 e 21 anos que foram feridos ou mortos durante períodos de finais de semana e que uma alta porcentagem desses ferimentos e mortes estavam associados a batidas de veículos motorizados relacionadas ao uso de álcool (MVCs - motor vehicle crashes). Plano de Ação: A coalizão PRAID escolheu uma estratégia de frentes múltiplas para reduzir os ferimentos e mortes relacionados ao uso de álcool experimentados por homens jovens em sua comunidade. Eles propuseram: 1. aumentar as patrulhas em estradas e rodovias, estabelecer pontos de verificação de nível alcoólico durante os finais de semana especialmente em estradas com problemas, e anunciar o cumprimento estrito das penalidades legais e monetárias associadas ao ato de beber e dirigir (dirigir sob a influência). 2. promover programas educacionais relacionados ao uso de álcool em todas as escolas da cidade. 3. exigir que todos os estudantes se matriculem em cursos de educação de motoristas com uma carga horária obrigatória de três horas sobre os riscos associados ao uso de álcool e direção. 4. reduzir o período de venda de bebidas alcoólicas no condado. Plano de Avaliação: A coalizão PRAID usou as seis etapas apresentadas na presente estrutura para refletir sobre a avaliação. Alguns dos membros possuem alguma experiência em avaliação, outros não possuem nenhuma. No entanto, eles têm consciência que o componente de avaliação é importante para documentar seus esforços, bom como para tentar determinar se sua intervenção fez alguma diferença. Cidade da Esperança Exemplo de Caso de Referência 5

11 Visão Geral da Avaliação de Programas Quantas vezes nos ouvimos dizer "Nunca mais eu faço isso!", ou, "Vou tentar e ver como funciona," ou, "Eu realmente gostei mais daquele restaurante do que do outro"? Esses exemplos mostram como usamos a avaliação em nossa vida diária para tomar decisões, testar uma idéia nova ou fazer comparações. Quando refletimos sobre nosso trabalho com comunidades, podemos pensar em avaliação como um processo complexo, formal e difícil. Podemos comparar o processo de avaliação com a necessidade de coletar informações sobre o programa que documentem nosso trabalho ou para comparar um grupo que participa de um programa a um grupo que não participa. Muitas vezes, o valor de uma avaliação não é imediatamente aparente para as pessoas que trabalham para disponibilizar os serviços reais (por exemplo, enfermeiras em um departamento de saúde local) ou para as pessoas que se beneficiam dos programas. Algumas vezes, perdemos de vista os benefícios da avaliação quando os órgãos financiadores enfatizam a documentação do número de pessoas atendidas ou quando os resultados não são compartilhados com as comunidades em virtude das pressões de prazo para que as coisas sejam feitas. No entanto, a avaliação de programas, na verdade, apresenta benefícios para as pessoas que executam os programas para aprimorar a saúde na comunidade. Ao desenvolvermos o presente documento, falamos com indivíduos em todo o país que trabalham diariamente com programas comunitários. Nas páginas que se seguem, eles partilharam suas experiências e idéias sobre os benefícios e aplicações da avaliação de programas. 6

12 Benefícios da Avaliação de Programas Refletir sobre o progresso; visualizar para onde estamos indo e de onde estamos vindo e aprimorar programas A avaliação nos ajudou a focalizar e estudar e enxergar onde estávamos e para onde precisávamos ir para podermos encontrar nossas próprias armas para obter um resultado melhor... Enfermeira da comunidade Algumas vezes nos esquecemos de considerar "Está mesmo funcionando da forma como está?" por não fazermos uma avaliação do programa... Sabemos que está sendo feito de uma forma que realmente está acarretando mudanças? Analista de políticas Influenciar legisladores e financiadores A comunidade precisa falar com os financiadores. Precisamos causar impacto sobre eles... Os benefícios de executar uma avaliação é ser capaz de filtrar e proclamar melhorias, e não apenas ser o beneficiário de algo. Trabalhador da comunidade na área de saúde Construir a capacidade da comunidade e engajá-la... há uma construção de capacidades que passa pelo processo e, não é que vamos transformar todos em pesquisadores, mas estamos elevando a compreensão e capacidade de todos para que realmente se tornem engajados. Diretor do CBO 7

13 Compartilhar o que funciona e o que não funciona com outras comunidades Queremos responder à pergunta: O sucesso de nosso programa tem repercussão em outros lugares, se assim for, quais são as proposições universais que podem ser então utilizadas como informações para o desenvolvimento, planejamento e avaliação de programas em outros locais? Diretor do CBO Garantir financiamento e sustentabilidade A avaliação na verdade trata de pessoas. Mas ela se concretiza em números. E esse números, quando apresentados à pessoa que fornece os fundos, lhe garantem credibilidade. Enfermeira da comunidade Trabalhei com diversos... grupos comunitários pequenos que, como resultado da avaliação, foram capazes de destacar suas conquistas em relatórios anuais ou em seus pedidos para seus financiadores e assim por diante e, como resultado, foram capazes de obter financiamento. Na verdade, um deles conseguiu dobrar a base de seu financiamento a também a quantia que recebia como resultado de um programa bastante sistemático de avaliações que executamos em conjunto. Consultor de avaliação de programas Fortalecer a responsabilidade final Temos diversos conselhos nos quais os consumidores são membros e têm responsabilidades fiduciárias... Existem pessoas que podem não ter muito treinamento no projeto, implementação e avaliação de programas, mas, em última instância, estão bastante cientes e apresentam uma responsabilidade pelo impacto e resultados desses programas. Assim, novamente, acredito ser imperativo que essas pessoas tenham acesso para avaliarem e compreenderem as coisas pelas quais são legalmente responsáveis. Trabalhador da comunidade na área de saúde 8

14 Além dos benefícios identificados por pessoas que trabalham diariamente em comunidades, os planejadores e avaliadores de programas acreditam que a avaliação de programas é importante quando há necessidade de: coletar evidências sobre a eficácia ou impacto de um programa prestar contas para financiadores, voluntários, equipe e conselhos identificar formas de aprimorar o programa: avaliar as necessidades de indivíduos, grupos, comunidades aprimorar a utilidade dos materiais do programa determinar o que funciona, o que não funciona e por quê esclarecer os planos do programa aprimorar a comunicação entre os envolvidos no programa Em suma, a avaliação de programas é benéfica e importante. Ela é um meio de obter feedback e garantir que todos estejam trabalhando para a implementação de um programa bemsucedido. Algumas vezes, a avaliação informal é suficiente. No entanto, quando os riscos são grandes quando há uma quantia razoável de dinheiro e tempo envolvida, quando um financiador exigir ou quando muitas pessoas podem ser afetas pode fazer sentido para sua organização utilizar os procedimentos de avaliação mais formais, visíveis e justificáveis. O que quer dizer avaliação de programas? Até agora já identificamos e discutimos diversos aspectos da avaliação de programas, sem apresentar definições dos termos. Pela nossa definição, programa é uma série de atividades apoiadas por um grupo de recursos com a intenção de atingir resultados específicos entre indivíduos, grupos e comunidades. O termo programa também se refere ao esforço que está sendo avaliado. Ela pode ser aplicada a qualquer ação que busque aprimorar os resultados para comunidades como um todo, para setores mais específicos (por exemplo, escolas, locais de trabalho) ou para subgrupos (jovens, pessoas que sofreram algum tipo de violência ou soropositivos). Exemplos de diferentes tipos de programas incluem: 9

15 Intervenções de serviço diretas (por exemplo, um programa que ofereça café-da-manhã gratuito para melhorar a nutrição para crianças em idade escolar) Esforços de mobilização das comunidades (por exemplo, um esforço para organizar um boicote às uvas da Califórnia para melhorar a situação econômica dos trabalhadores das fazendas) Iniciativas de pesquisa (por exemplo, um esforço para descobrir se as disparidades nos resultados na área de saúde baseados em distinção de raças podem ser reduzidos) Trabalho advocatício (por exemplo, uma campanha para influenciar a legislatura estadual a aprovar a legislação referente ao controle de tabaco) Programas de treinamento (por exemplo, um programa de treinamento de trabalho para reduzir o desemprego nos bairros urbanos) O planejamento e implementação de um programa estão diretamente relacionados à avaliação de programas. A revisão da estrutura é útil para lembrar que cada item faz parte de um ciclo de programa maior e integrado. Assim, enquanto nos concentramos no processo de avaliação de programa, percebemos que a referida avaliação na verdade não está separada dos processos de planejamento e implementação do programa. A avaliação do programa é a coleta, análise e registro sistemáticos das informações sobre um programa para auxiliar na tomada de decisões. Muitos de nós já avaliamos nossos esforços sem necessariamente chamarmos esse processo de avaliação. Avaliamos o valor e impacto de nosso trabalho o tempo todo quando fazemos perguntas, consultamos parceiros, fazemos avaliações com base em feedbacks e, em seguida, usamos esses julgamentos para melhorarmos nosso trabalho. Ao conduzirmos a avaliação de um programa, devemos responder a uma ou mais das seguintes questões: O que fizemos? Quão bem o fizemos? Para quem fizemos? Quanto fizemos? Quão efetivo foi nosso programa? O que poderia ser feito melhor ou de maneira diferente? 10

16 Essas questões se encaixam em um dos três tipos de avaliação de programas: avaliação do processo, avaliação intermediária ou de curto prazo (avaliação de impacto) ou avaliação de longo prazo (resultado). De maneira geral: A avaliação do processo responde a questões sobre como o programa foi implementado e como os resultados do programa foram atingidos. Ela se concentra em questões como: O programa está sendo implementado como planejado? Como o programa está atingindo seus objetivos? Quais atividades foram conduzidas? Quais materiais ou serviços os participantes receberam? Qual foi a experiência das pessoas? Como nossa coalizão está trabalhando? Nós estamos com as partes interessadas "certas"? Além disso, a avalia;'ao de processos rastreia os pontos fortes e fracos do programa e procura identificar quais partes do programa estão funcionando e quais não estão. A avaliação intermediária ou de curto prazo (avaliação de impacto) responde a perguntas sobre os benefícios ou efeitos de curto prazo ou de um programa em oposição aos resultados de longo prazo como ferimentos ou morte. Ela se concentra em questões como: Quais os efeitos apresentados pelo programa? Os efeitos podem ser atribuídos ao programa? Os conhecimentos, atitudes, crenças ou comportamentos dos participantes mudaram como resultado do programa?o programa de treinamento atingiu seus objetivos?o que ocorreu como resultado dos esforços da coalizão? Resumindo, a avaliação intermediária aborda os fatores que se acredita precederem e que estarem vinculados aos resultados de longo prazo. Na Etapa 2 Descrição do Programa descrevemos um processo (isto é, um modelo de lógica) que pode ser usado para ilustrar a relação entre as ações e os resultados do programa. Avaliações de longo prazo (resultado) muitas vezes se concentram nas mudanças nos status de saúde, ferimentos (morbidade), morte (mortalidade) ou sistemas. Em muitos programas de saúde, as metas de longo prazo são tão distantes que sua avaliação encontra-se além do alcance da avaliação do programa específico. As questões de avaliação dos resultados geralmente estão relacionadas à meta do programa como um todo: Quais mudanças ocorreram na incidência de ferimentos ou mortes em decorrência do programa? Qual é a prevalência atual (quantos casos de "x" existem?) ou qual é a incidência atual de "x" (quantos novos casos de "x" ocorreram este ano?)? 11

17 Diferentes profissões e disciplinas acadêmicas usam uma variedade de nomes para descrever os diferentes tipos de avaliação. Alguns avaliadores consideram a avaliação formativa usada para fornecer feedback contínuo para aprimoramento do programa como um sub-conjunto da avaliação do processo. Para os fins do presente documento, concordamos com essa afirmação. Em alguns círculos de avaliação, a avaliação sumativa é usada para descrever processos de avaliação de curto e longo prazo. Alguns consideram o monitoramento do programa como outro tipo de avaliação, embora de maneira geral seu uso seja limitado à medição do progresso do programa. A importância da avaliação se encontra em sua finalidade e não na terminologia específica. Encorajamos que primeiro você pense sobre o que deseja saber sobre seu programa, como as informações serão utilizadas, por quem e para que fins. A resposta a essas questões iniciais servirá para guiar seu processo de avaliação antes de você "nomear" o tipo de avaliação que está usando. Termos adicionais para avaliação de programas usados no presente documento estão incluídos no Glossário. Encorajamos que você adicione suas próprias anotações ou exemplos no glossário para construir sua compreensão. 12

18 Definição Pessoas da comunidade, pessoas de órgãos de saúde e representantes de organizações comunitárias descreveram as partes interessadas como sendo: ETAPA 1 Utilidade Propriedade pessoas com interesse no programa todos os parceiros necessários colaboradores aqueles afetados pelo programa acionistas todos aqueles que partilham do mesmo interesse Engajar as Partes Interessadas Outra forma de encarar as partes interessadas na avaliação é pensar no tipo de parte interessada. indivíduos e grupos de áreas muito diferentes podem ser classificados em três grupos principais de partes interessadas, dependendo de suas funções no processo de planejamento e avaliação. O diagrama a seguir ilustra esses três grupos. PADRÕES Precisão Exeqüibilidade As partes interessadas são? as pessoas que se importam com o conhecimento que será adquirido com a avaliação e o que será feito desse conhecimento. 13

19 Tipos de Partes Interessadas Aqueles envolvidos na implementação do programa membros da comunidade patrocinadores colaboradores parceiros da coalizão autoridades de órgãos de financiamento administradores gerentes equipe Principais usuários da avaliação Os principais usuários de uma avaliação são formados de pessoas de dois outros grupos. Os principais usuários são os indivíduos ou grupos específicos que estão em posição de decidir sobre e/ou fazer algo com os resultados. Uma avaliação bem sucedida apontará seus principais futuros usuários tais como organizações comunitárias, grupos de cidadãos, equipe do programa e financiadores no início do desenvolvimento da avaliação e manterá interação freqüente com os usuários para garantir que a avaliação aborde especificamente seus valores e necessidades. Por que é importante incluir diferentes partes interessadas? A avaliação não pode ser feita no isolamento. Quase todo trabalho realizado no campo de desenvolvimento e saúde de comunidades envolve parcerias alianças entre organizações diferentes, membros de conselho, aqueles afetados pelo problema e outros. Portanto, qualquer esforço real para avalia rum programa Aqueles beneficiados pelo programa clientes membros da família organizações nas proximidades instituições acadêmicas representantes eleitos e indicados grupos de advogados residentes das comunidades 14

20 deve considerar os diferentes valores dos parceiros ou partes interessadas. As partes interessadas devem fazer parte da avaliação, de forma que suas perspectivas exclusivas sejam compreendidas. Quando as partes interessadas não se envolvem de maneira adequada, as descobertas da avaliação podem ser ignoradas, criticadas ou encontrar resistência. Quais os aspectos envolvidos na identificação das partes interessadas? Ao identificar partes interessadas, devemos perguntar: Quem tem interesse no programa? Qual é esse interesse? Quais pessoas apóiam o programa? Quais pessoas não acreditam ou antagonizam abertamente o programa? Abrir uma avaliação para perspectivas oposicionistas e obter a ajuda de potenciais oponentes do programa pode fortalecer a credibilidade da avaliação. Da mesma forma, pessoas ou grupos que poderiam ser afetados de forma adversa ou inadvertida pelas mudanças acarretadas pela avaliação têm o direito de estarem envolvidas. Isso significa incluir aqueles que serão afetados caso os serviços do programa sejam expandidos, alterados, limitados ou encerrados como decorrência da avaliação. A intensidade e tipo de envolvimento das partes interessadas serão diferentes para cada avaliação de programa. Em muitas instâncias, as partes interessadas estarão diretamente envolvidas no projeto e execução da avaliação. Elas podem ser mantidas a par do progresso da avaliação através de reuniões periódicas, relatórios e outros meios de comunicação. Algumas iniciativas da comunidade forma uma equipe de avaliação composta por diversas partes interessadas como parte do processo de planejamento e avaliação como um todo. Enquanto nem todos os membros possuem experiência ou treinamento na avaliação de programas, ao menos alguns membros possuem. Esse tipo de disposição pode funcionar bem quando há um compromisso em construir a capacidade das organizações comunitárias, grupos de advogados locais ou cidadãos interessados em aprender e em participar da avaliação de programas. 15

21 Nos primeiros estágios, um comitê informal de planejamento do projeto se reuniu para planejar o programa e a avaliação. Como sabiam da importância de incluir uma variedade de partes interessadas, identificaram e recrutaram partes interessadas da comunidade (parentes, estudantes e comerciantes locais) nas fases iniciais do projeto através da realização de fóruns públicos, propaganda boca-a-boca e conforme sua avaliação da comunidade foi conduzida. Conforme as referidas partes interessadas que se tornaram membros da coalizão PRAID se conheceram e partilharam idéias, os seguintes interesses surgiram: Primeiras Partes Interessadas Mães Contra Motoristas Bêbados (MADD) Estudantes Contra Motoristas Bêbados (SADD) Departamento de saúde Hospital Colégios de ensino médio Departamento de polícia Representantes municipais Escola de Saúde Pública Depois que equipe do projeto foi montada, foram gastas muitas horas com as partes interessadas em reuniões ou conversas pessoais para entender quais os interesses das referidas partes e para descobrir formas de partilhar essas preocupações com outras partes interessadas. A equipe confiou em meios de comunicação formais e informais para garantir que o maior número possível de interessados fosse ouvido. Conforme o projeto amadureceu, novas partes interessadas se envolveram, incluindo o presidente da associação de restaurantes e um representante do distribuidor de bebidas (álcool) regional. Esses últimos estavam principalmente interessados em equilibrar a imagem negativa do ato de beber e dirigir entre adolescentes com o consumo de bebidas responsável em consumidores responsáveis (por exemplo, adultos). Seus pontos de vista foram importantes para o refinamento do plano do programa e foco da avaliação. Qual Sua Principal Preocupação Redução das mortes e ferimentos entre os jovens Prevenção do uso de álcool entre adolescentes, especialmente relacionado a batidas de veículos motorizados (MVCs) Proteção dos residentes contra MVCs relacionadas ao uso de álcool Redução dos recursos gastos em MVCs Mudança da imagem positiva dos adolescentes sobre o consumo de bebidas alcoólicas Redução dos riscos nas rodovias para a população em geral Mudança da imagem da cidade Melhoria da saúde da comunidade Identificando Partes Interessadas 16

22 Aplicação de padrões A inclusão das partes interessadas no planejamento e implementação da avaliação é uma forma de garantir que uma avaliação de qualidade cumpra com os padrões da avaliação. Os dois padrões que se aplicam de forma mais direta à Etapa 1 Engajar Partes Interessadas são utilidade e propriedade. Conforme esta etapa é desenvolvida, as questões apresentadas na tabela a seguir ajudarão a esclarecer e a atingir os referidos padrões. Padrões da Etapa 1: Engajar Partes Interessadas Questões Foram incluídas pessoas e organizações que serão afetadas pela avaliação no grupo de planejamento? Considerou-se a inclusão de novas partes interessadas conforme a avaliação de programas estiver sendo implementada? Os participantes do grupo de planejamento da avaliação são confiáveis e competentes? os indivíduos sabem claramente o que será feito, como, por quem e quando? Há um acordo por escrito? Foram tomadas medidas para garantir que todas as partes interessadas e a população beneficiada será respeitada e seus valores serão levados em consideração? Os conflitos de interesses foram discutidos para garantir que os resultados ou descobertas não serão comprometidos? Em resumo, a Etapa 1 Engajar Partes Interessadas representa um processo através do qual muitas vozes são ouvidas. Como a primeira etapa, ela torna os benefícios da avaliação claros para todas as partes envolvidas. A conclusão dessa etapa garante que o foco da avaliação e, em última instância, seus resultados apóiem as necessidades das partes interessadas. Padrões Utilidade: Garante que a avaliação seja útil e responde à questões diretamente relevantes para os usuários. Propriedade: Garante que a avaliação será ética, conduzida respeitando os direitos e interesses dos envolvidos. 17

23 Pense em uma avaliação de programas na qual você seja uma parte interessada ou em um programa pelo qual você seria o responsável pela identificação e engajamento de pessoas. As questões a seguir podem ajudar a refletir sobre como abordar a Etapa 1 Engajar Partes Interessadas. Quais são as pessoas que se enquadram nos três tipos de categorias de partes interessadas, ou seja, aquelas envolvidas na implementação do programa, aquelas beneficiadas ou afetadas pelo programa e os principais usuários da avaliação? Como seria possível descobrir quais os interesses de cada parte interessada? Quais estratégias de comunicação poderiam ser utilizadas para garantir que diferentes interesses sejam representados? Quais desafios ou barreiras podem vir a ser enfrentadas na identificação e recrutamento de partes interessadas? Como seria possível lidar com esses desafios e barreiras? 18

24 ETAPA 2 Utilidade Propriedade Definição PADRÕES Precisão Exeqüibilidade Uma descrição do programa: resume o programa que está sendo avaliado Por que é importante descrever o programa? Descrever o Programa explica o que o programa está tentando atingir e como pretende fazer essas alterações ilustra os principais componentes do programa estabelece a capacidade de um programa de realizar mudanças especifica seus estágio de desenvolvimento descreve como o programa se encaixa em um ambiente organizacional e comunitário mais amplo A forma como um programa é descrito estabelece o quadro de referência para todas as decisões futuras sobre sua avaliação. Por exemplo, um programa pode ser descrito como uma "tentativa de reforçar o cumprimento das leis existentes que desencoraje os menores de idade de beberem Outro programa pode ser descrito como "um programa para reduzir o número de adolescentes que dirigem bêbados". O primeiro programa especifica o cumprimento da lei, enquanto o segundo programa é definido mais amplamente como redução do número de motoristas bêbados. Os diferentes 19

25 componentes desses dois programas moldará a direção dos esforços da avaliação. Além disso, a descrição do programa permite que os membros de um grupo de avaliação comparem o programa a esforços similares e facilita a constatação de quais partes do programa surtiram quais efeitos. Diferentes partes interessadas podem ter diferentes idéias sobre quais os objetivos e motivações do programa. Por exemplo, em um programa para redução do índice de gravidez entre adolescentes, algumas partes interessadas podem acreditar que isso signifique ampliar o acesso a métodos contraceptivos, enquanto outros podem acreditar que signifique focalizar a abstinência. Avaliações realizadas sem acordo sobre a definição do programa provavelmente não serão muito úteis. Em muitos casos, o processo de trabalho com as partes interessadas no desenvolvimento de uma descrição clara e lógica do programa trará benefícios muito antes dos dados estarem disponíveis para medição da eficácia do programa.(esse é um bom exemplo do por que é importante identificar as partes interessadas [Etapa 1] antes de dar continuidade às etapas seguintes). Como veremos no próximo capítulo, os membros da coalizão PRAID decidiram concentrar-se a redução de ferimentos e mortes em homens jovens uma meta abrangente. No entanto, os membros da coalizão possuem idéias diferentes sobre como reduzir as taxas de ferimentos e mortes. Os representantes do departamento de polícia tinham certeza de que o aumento das penalidades para aqueles que guiassem bêbados era a chave para a redução de ferimentos e mortes; os administradores das escolar estavam convencidos de que a educação era a chave. Através de um processo de planejamento participativo, os membros da coalizão e outras partes interessadas desenvolveram um plano de longo prazo que incorporou diferentes idéias e prioridades dentro de uma meta abrangente de redução de ferimentos e mortes relacionadas ao consumo de álcool entre homens jovens. A descrição de seu programa explicitou seus planos para atingir essa meta. Descrição do Programa 20

26 Quais os elementos envolvidos na descrição de um programa ou quais são seus elementos? Há sete elementos na descrição de um programa. Uma descrição de programa bem-definida estabelece a base para o foco da avaliação (Etapa 3). 1. Declaração da necessidade 2. Expectativas 3. Atividades 4. Recursos 5. Modelo de lógica 6. Contexto 7. Estágio de desenvolvimento Os primeiros cinco elementos estão relacionados ao desenvolvimento de um programa de forma bastante concreta. Os dois últimos elementos o contexto e o estágio de desenvolvimento do programa são importante, porém são maiores do que o programa em si e estão fora da descrição técnica do programa. Os primeiros quatro elementos são mostrados na seguinte ilustração. Declaração da Necessidade O que precisamos saber para descrever o problema/assunto Incluir: Quem é afetado? Qual a dimensão do problema? Isso está mudando? Como está mudando? Quatro elementos na descrição de um programa Expectativas Atividades Recursos Quais serão nossos resultados Definir: Quais são as nossas expectativas? Quais são as conseqüências imediatas, intermediárias e de longo prazo? Quais são os objetivos, metas, missão e visão de nosso programa? O que precisamos fazer para mudar o problema Identificar: Quais são as ações específicas necessárias a executar? Quais recursos precisamos Determinar: tempo talento equipamento informações dinheiro outros ativos 21

27 Exemplo de Caso de Referência: Elementos do programa da Cidade da Esperança para reduzir ferimentos e morte entre homens jovens Declaração de Necessidade (o problema): Aumento no número de batidas de veículos motorizados (MVCs) relacionadas ao uso de álcool entre homens menores de 21 anos nos últimos três anos Meta: Reduzir número de ferimentos mortes relacionadas ao uso de álcool Objetivo: Em 2005, reduzir em 50% a incidência de MVCs relacionada ao uso de álcool em homens menores de 21 anos Sub-Objectivo A: Expectativas Atividades Recursos Aumentar as sanções legais e o cumprimento das leis para aqueles que conduzirem veículos sob a influência (DUI - driving under the influence) Sub-Objectivo B: Aumentar o conhecimento entre os menores de idade sobre os riscos associados ao ato consumir bebidas alcoólicas e dirigir Sub-Objectivo C: Eliminar a disponibilidade de álcool para menores de 21 anos Sub-Objectivo D: Aumentar a solução colaborativa de problemas entre s partes interessadas da comunidade, órgãos e universidades Aumentar o patrulhamento/cumprimento das leis nas rodovias do condado (por exemplo, pontos de verificação de consumo de álcool) Aumentar as sanções para DUI para homens menores de 21 Aumentar a participação de homens jovens nos programas de educação sobre o consumo de álcool e educação para motoristas Reduzir o horário para venda de bebidas no condado Aumentar as penalidades legais e financeiras para aqueles que venderem para menores de 21 anos Construir uma coalizão sustentável de parte interessadas Financiamento suplementar para pontos de verificação Treinamento das autoridades de cumprimento das leis Currículos de cursos de educação sobre o consumo de álcool Financiamento para programas de educação relacionados ao consumo de álcool e ao motorista Equipe para realizar operações "à paisana" para monitorar vendedores Recursos para disseminar informações sobre o programa para pontos de venda de bebidas alcoólicas Grupos da comunidade, organizações de profissionais e órgãos municipais Equipe do programa 22

28 Um modelo de lógica é um mapa que ilustra graficamente como as atividades de seu programa levarão aos resultados esperados em curto e longo prazo. Um modelo de lógica esclarecerá se o seu programa faz sentido e se os resultados esperados são realistas, dadas as atividades planejadas. Em resumo, o modelo mostra o que seu programa espera atingir e como deve funcionar, com base em uma cadeia esperada de eventos que: Vincula as especificações claras do problema/assunto que está sendo abordado ao Que você acredita ser necessário para alterar o problema (o investimento) para Os procedimentos, atividades e produtos resultantes aos Resultados de curto prazo para As conseqüências finais (resultados de longo prazo) (Adaptado de University of Wisconsin Evaluating Collaboratives: Reaching the Potential, Julho de 1999, G3658-8) O modelo da lógica sintetiza os principais elementos do programa em uma imagem de como o programa deve, supostamente, funcionar. Muitas vezes exibido em um fluxograma, mapa ou tabela, o modelo de lógica retrata a seqüência de etapas que leva aos resultados do programa. Um modelo de lógica simples deve se parecer com o que segue: Problema ou assunto Adolescentes grávidas não estão fazendo uso de serviços prénatal Investimentos Se: Há um investimento de tempo e dinheiro Procedimentos, atividades e produtos para desenvolver um diretório de recursos Resultados de curto prazo (relacionados ao sub-objetivo) assim: as adolescentes serão informadas sobre os serviços disponíveis Necessidades, expectativas e atividades se refletem no desenvolvimento do Modelo de Lógica. Resultados de longo prazo (relacionados à meta do programa) assim: as adolescentes serão capazes de obter acesso aos serviços para satisfazer suas necessidades 23

29 Os modelos de lógica apresentam diversos benefícios. Eles: permitem que as partes interessadas aprimorem e focalizem a direção do programa revelam premissas sobre as condições para efetividade do programa fornecem um quadro de referência para uma ou mais avaliações do programa pode servir como uma base para estimativas dos efeitos do programa em pontos terminais que não sejam diretamente mensurados Um modelo simples para o programa está ilustrado no seguinte: Problema ou assunto Ferimentos e morte relacionados ao uso de álcool em homens menores de 21 anos Investimentos Se: os recursos para cumprimento das leis estão comprometidos os recursos educacionais e para capacitação estão comprometidos as pessoas se reúnem Procedimentos, atividades e produtos fortalecer o cumprimento das leis de DUI fornecer educação relacionada ao uso de álcool e aos motoristas favorecer mudanças na venda de bebidas alcoólicas No "formato de história", o modelo de lógica descreve um programa que diz "Quando os recursos para cumprimento da leis estiverem comprometidos, quando os recursos educacionais e as habilidades estiverem comprometidos e quando as pessoas se juntarem, haverá maior cumprimento das Resultados de curto prazo (relacionados ao sub-objetivo) veremos aumento nas citações aumento no conhecimento dos riscos queda das vendas mudanças no comportamento de quem bebe e dirige Modelo de Lógica Resultados de longo prazo (relacionados à meta do programa) assim: haverá redução de ferimentos e mortes em virtude do uso de álcool 24

30 leis, maior fornecimento de serviços de educação e esforços para alterar as políticas de venda de bebidas alcoólicas. Quando essas atividades estiverem ocorrendo, veremos um aumento nas penalidades por dirigir sob a influência de álcool, aumento nas evidências de conhecimentos sobre os riscos relacionados ao seu consumo e uma queda na venda de bebidas alcoólicas para jovens menores de idade. Essas alterações, em última instância, levam à redução dos ferimentos e mortes relacionadas ao uso de álcool na população masculina menor de 21 anos de idade na nossa área." Uma descrição do contexto de um programa considera os importantes recursos do ambiente no qual o programa funciona. Isso inclui a compreensão do contexto em termos de história situação política geografia condições sociais e econômicas o que as outras organizações possuem Uma avaliação realista e responsiva será sensível a uma ampla gama de potenciais influências sobre o programa. Uma compreensão do contexto permite que os usuários interpretem as descobertas de forma precisa e avaliem seu potencial de generalização. Por exemplo, um programa para melhorara as condições de moradia em um bairro urbano pode ser um sucesso tremendo, mas provavelmente não funcionaria da mesma maneira em uma cidade pequena no outro lado do país sem uma adaptação específica. Quando os membros da coalizão PRAID se reuniram para discutir como poderiam reduzir os ferimentos relacionados ao uso de álcool, primeiro discutiram os esforços anteriores. O divisão local do MADD obteve sucesso ao lutar por novas políticas relacionadas à venda e consumo de álcool no âmbito estadual, mas obteve pouco sucesso com a comissão do condado no passado. No entanto, dois novos comissários foram eleitos recentemente um deles perdeu um sobrinho em uma batida de veículo motorizado relacionada ao uso de álcool um possível aliado para sua iniciativa. As partes Contexto do Programa 25

31 interessadas também discutiram o programa do DARE local e como este fez parte do programa de prevenção do uso de álcool para crianças menores durante vários anos. A coalizão do PRAID sabia que o departamento de polícia havia investido pesado no programa DARE, levantando preocupações de que as estratégias propostas possam ser percebidas como concorrentes dos programas existentes, como o DARE. Finalmente, os membros da coalizão refletiram sobre como tornar os componentes educacionais de seu programa relevantes para uma ampla variedades de estudantes reconhecendo diferenças culturais e também reconhecendo que as pessoas aprendem de diversas formas. Conforme as partes interessadas do the PRAID foram refinando seu programa e a avaliação, perceberam esses aspectos. O estágio de desenvolvimento de um programa também afeta o processo de avaliação. Por exemplo, uma avaliação de um novo programa pode diferir de maneira significativa de uma avaliação de um programa que já existe há alguns anos. Uma forma de visualizar a intenção da avaliação em diferentes estágios é através de diferentes metas de avaliação em três estágios normalmente reconhecidos: Estágio do Programa Planejamento: as atividades do programa não foram testadas Implementação: as atividades do programa estão sendo testadas em campo e modificadas Efeitos ou resultados: transcorreu tempo suficiente para que os efeitos do programa emergem Meta da Avaliação Refinar os planos o máximo possível Ver o que ocorre no "mundo real" e aprimorar as operações Identificar e compreender os resultados do programa, incluindo os não intencionais 26

32 Aplicação de padrões Como na etapa anterior, é possível garantir que a avaliação seja qualitativa através da incorporação de padrões na descrição do programa. Os dois padrões que se aplicam de forma mais direta à Etapa 2 Descrever o Programa são precisão e propriedade. Conforme esta etapa é desenvolvida, as questões apresentadas na tabela a seguir ajudarão a esclarecer e a atingir os referidos padrões. Padrões da Etapa 2: Descrever o Programa Questões A descrição do programa está completa? O contexto do programa foi documentado para que as possíveis influências sobre o programa possam ser identificadas? A avaliação foi completa e justa ao avaliar todos os aspectos do programa, incluindo seus pontos fortes e fracos? Em resumo, a Etapa 2 Descrever o Programa descreve a base para garantir uma avaliação de programa bem concebida. É importante ter mente que a extensão e a profundidade da descrição variarão de acordo com cada avaliação de programas, significando que muitas atividades diferentes podem fazer parte do desenvolvimento da descrição. Diversas fontes de informações podem ser reunidas para construir uma descrição bem concebida. Uma discussão com as partes interessadas pode confirmar a precisão de uma descrição de programa existente. Descrições dos eventos que ocorrem podem comparadas à observação direta de atividades em campo. A abordagem de fatores contextuais (tais como rotatividade da equipe, recursos inadequados, pressões políticas ou forte participação da comunidade) que podem afetar o programa podem ampliar ou reduzir a descrição do programa. Padrões Precisão: Garante que as descobertas possam ser consideradas corretas. Propriedade: Garante que a avaliação será ética, conduzida respeitando os direitos e interesses dos envolvidos. 27

33 Pense a respeito da avaliação de programas na qual está envolvido. As questões a seguir podem ajudá-lo a refletir sobre como abordar a Etapa 2 Descrever o Programa Quais são as metas, objetivos e estratégias definidas do programa? Quais são as atividades, processos e produtos do programa vinculados aos seus recursos? Quais recursos podem estar disponíveis para a implementação do programa? o que mais pode estar acontecendo na sua comunidade que poderia ter um impacto sobre os eu programa? Que outros programas foram tentados e por quem? Seu programa é novo ou existe há um ano ou mais? (Conforme for lendo a próxima etapa, pense sobre como esse aspecto poderia influenciar o foco da sua avaliação.) 28

34 ETAPA 3 Utilidade Propriedade Definição PADRÕES Focalizar o Projeto da Avaliação Por que é importante atribuir foco ao projeto da avaliação? Essa questão envolve a determinação dos usuários e o uso da avaliação. O foco é a finalidade direta da avaliação. Algumas finalidades comuns podem ser: testar a efetividade do programa construir um caso para alterar as práticas do programa avaliar os efeitos de um programa em uma população específica Precisão Exeqüibilidade Focalizar o projeto da avaliação significa: executar o planejamento antecipado sobre o direcionamento da avaliação e quais etapas serão necessárias para chegar lá desenvolver um plano ou estratégia com foco bem definido para aprimorar a utilidade da avaliação para o público-alvo pretendido justificar suporte financeiro ou político contínuo Considerações adicionais incluem certificar-se de que a abordagem escolhida para a avaliação responde às questões levantadas pelas partes interessadas e que o processo fornece feedback contínuo em todos os níveis de operação do programa. É uma condição dentro da concessão ter um plano de avaliação organizado desde começo. É necessário que relatórios periódicos sejam enviados para o financiador relatando o papel da avaliação no processo. Membro da Comunidade 29

35 Quais os aspectos envolvidos no foco do projeto da avaliação? Uma vez que tenha sido determinado para quem e ou para que se destina a avaliação, há varias etapas para estabelecer o foco do projeto de avaliação. Elas incluem: determinar as necessidades de informação das diversas partes interessadas avaliar as melhores técnicas para descrever e medir as atividades de seu programa avaliar quais dados qualitativos e quantitativos podem estar disponíveis para você determinar o método que melhor responde às questõeschave estabelecidas pelas partes interessadas preparar um contrato por escrito que resuma os procedimentos de avaliação e especifique as funções e responsabilidades de todos os envolvidos Há sete tópicos básicos a considerar ao estabelecer o foco de uma avaliação: Os usuários são as pessoas específicas que utilizarão as descobertas da avaliação. Como os usuários experimentam diretamente as conseqüências das escolhas conflitantes que fazem parte de qualquer avaliação, eles têm o direito de participar na escolha do foco da avaliação. Quando os usuários são encorajados a esclarecer os usos futuros e identificar questões prioritárias e métodos preferenciais, é mais provável que o foco da avaliação recaia sobre coisas que informarão e influenciarão ações futuras. 1. Usuários 3. Finalidade 2. Usos 4. Questões 5. Projeto 6. Métodos 7. Contratos 30