Departamento de Saúde Pública

Transcrição

1 Ministério da Saúde Departamento de Saúde Pública Março de 2009

2 1. INTRODUÇÃO 1.1. O porquê de um guia de Monitorização e Avaliação Com o desenvolvimento e a grande diversidade das necessidades em saúde existentes na comunidade sob nossa responsabilidade, os profissionais de saúde pública têm de fixar, a diferentes níveis, a responsabilidade pelo assumir das diferentes actividades dos programas e projectos. Cada vez mais é importante ter informação fiável, periódica e com dados comparáveis, de forma a poder usar esta informação, ao nível local e regional, para o desenvolvimento dos programas. É imprescindível que os gestores e executores dos programas tenham acesso a informação de qualidade, para fazer os ajustes necessários e tomar decisões técnicas e programáticas. Para que isto aconteça pretende-se fornecer aos gestores e utilizadores de programas e projectos das Unidades de Saúde Pública (USP) e Departamento de Saúde Pública (DSP) uma ferramenta de Monitorização e Avaliação (M&A) em que sejam definidos quais os principais serviços fornecidos por um programa/projecto, estabelecidas medições periódicas para conhecer o avanço das intervenções e seleccionados os respectivos indicadores-mestre. Isto implica a criação de uma estratégia local e regional participativa de M&A, fornecendo uma visão global das principais questões a considerar, assim como a necessidade de avaliar, analisar e melhorar, ao longo do tempo, e à medida em que as intervenções vão aumentando, os sistemas de M&A. Este guia faz parte de um trabalho dinâmico, em que periodicamente poderão ser efectuadas modificações para garantir que sejam satisfeitas as necessidades dos utilizadores e se incorporem novos desenvolvimentos técnicos. Não será necessário, nesta primeira fase, desenvolver novos indicadores, mas apenas utilizar os indicadores já existentes e aceites, e que já estão a ser usados. A M&A deve ser uma parte integrante da gestão do programa e não dificultar nem complicar essa gestão; pelo contrário, é uma ajuda para gerir os programas com maior efectividade e aumentar a qualidade da gestão. Os resultados da M&A são informações valiosas para as futuras fases do programa. Ao longo do tempo, os sistemas de M&A devem ser, também eles, analisados, avaliados e melhorados, à medida que as intervenções vão aumentando, para reduzir a morbilidade e mortalidade associadas aos programas em curso. 1

3 1.2. Finalidade do Guia Este guia, desenvolvido pela Unidade de Planeamento em Saúde do DSP da ARSN, (área funcional de Monitorização, Avaliação e Contratualização), foi criado na sequência e como complemento do documento Monitorização e Avaliação dos Programas de Saúde Termos de Referência. Pretende criar um procedimento standard para a administração dos programas de saúde em curso nos Serviços de Saúde Pública a nível local e regional, assim como proporcionar informação sobre como realizar o seguimento dos mesmos, de forma a aumentar a sua eficácia de gestão, facilitar o controlo e permitir uma maior uniformidade na comunicação dos resultados. Este guia de M&A pretende, também, ajudar a redefinir um conjunto de indicadores-mestre, os quais, provavelmente, já fazem parte, dentro dos programas, de um conjunto de dados de rotina, e que irão ser bastante úteis para a gestão dos mesmos A quem se dirige este guia Entre os utilizadores incluem-se os gestores dos programas/ responsáveis de projecto, financiadores, executores, organismos de apoio técnico e outros técnicos que trabalham nas mesmas áreas de saúde. Pretende-se que estes utilizadores possam ter um acesso mais rápido a recursos-chave e a orientações gerais. 2. PREPARAÇÃO DE UM PLANO DE M&A Uma vez elaborado o programa ou projecto, visando uma intervenção num problema de saúde, este deve ser complementado através da elaboração de um plano de M&A, enfocando-se no nível dos resultados esperados, de forma a provar se os mesmos são atingidos, quando são atingidos e de que forma é que são atingidos. Um plano de M&A utiliza-se para planear, administrar e documentar todo o processo de recolha de dados. Determina-se quais os indicadores que devem ser objecto de M&A; especifica-se qual a fonte de dados, o cronograma da sua recolha e identifica-se o responsável pelo processo. Igualmente, deve definir uma estratégia de comunicação da informação, comprometendo-se a uma notificação periódica dos dados. Num plano de M&A deve constar um plano para a obtenção dos dados e um plano de análise, comunicação dos dados e utilização da informação. A elaboração deste plano deve ser participada por todos os intervenientes. 2

4 No plano de obtenção dos dados devem constar os seguintes elementos: indicadores de desempenho e suas definições dados de referência básicos metas de desempenho fontes de dados métodos de recolha de dados frequência e cronograma da recolha de dados responsável pela obtenção dos dados No plano de análise, comunicação dos dados e utilização da informação também devem fazer parte: plano de análise dos dados identificação de necessidades de informação complementar planos para a comunicação e utilização da informação obtida 2.1. Plano de obtenção dos dados Como escolher os indicadores para avaliação do desempenho de um programa Os programas devem ter objectivos claramente definidos. Para se conseguir isto devem ser definidas as áreas de prestação de serviços 1, a partir das quais vão ser seleccionados os indicadores. Estes indicadores devem ser válidos, fiáveis, sensíveis, específicos e mensuráveis de forma periódica. Para a monitorização os indicadores devem definir-se ao nível dos resultados esperados. Os bons indicadores iniciam-se com um enunciado claro dos objectivos e dos resultados esperados. Cada indicador deve ser definido detalhadamente para que estejam especificadas a quantidade, qualidade e tempo. A título de exemplo: num projecto cuja finalidade seja melhorar os serviços de saúde oral, um dos resultados esperados poderá ser Observação, pelos higienistas orais, de mais 10% de crianças por dia e o indicador será o número de crianças observadas. É, também, muito importante a consistência entre os objectivos e os serviços prestados, assim como a capacidade para avaliar a médio prazo o progresso da intervenção no problema de saúde, em termos de impacto e mudança de comportamento. Os objectivos gerais são mais amplos, e entre eles encontramos, por exemplo, a redução da mortalidade relacionada com o VIH ou a redução da prevalência da tuberculose. Para cada objectivo geral devem ser definidos os indicadores de impacto. 1 Ver quadro conceptual (página 2) do documento Monitorização e Avaliação dos Programas de Saúde Termos de Referência 3

5 Os objectivos específicos devem ser claramente definidos de acordo com os objectivos gerais. Um objectivo específico enuncia a intenção de um programa para o qual foi pensado e pode fornecer uma ideia sobre as actividades subjacentes. Como exemplo de objectivos podemos ter: Aumentar as taxas de sobrevivência em pessoas com infecção avançada por VIH ou reduzir a transmissão de TB entre prisioneiros nos estabelecimentos prisionais da região. O passo seguinte será definir quais os serviços-chave a prestar e, para cada um deles, formular os indicadores e as suas metas, que possam medir-se e que evidenciem um progresso regular do programa. Por trás de cada objectivo, os indicadores agrupam-se na respectiva área de prestação de serviço, ou seja, num serviço específico prestado. Um programa pode ter um ou dois objectivos gerais. Cada objectivo geral tem, pelo menos, um objectivo específico, e cada um destes inclui várias áreas de prestação de serviço, e cada uma delas é avaliada através de um ou mais indicadores Dados de referência básicos É praticamente impossível estabelecer metas ou medir progressos, sem saber qual é a situação no arranque do programa. Antes de este se iniciar, devem estar definidos os indicadores de referência básicos, e qual o seu valor no início do programa. Será a partir deste valor que se irá medir a mudança obtida no período de intervenção do programa. Por exemplo, num projecto destinado a aumentar a cobertura de rastreio em testes rápidos de VIH nos doentes com tuberculose, temos de conhecer qual o valor existente (% de doentes tuberculosos com testes rápidos de VIH antes do arranque do projecto) Metas de desempenho As metas representam o nível e a data exacta dos resultados que se esperam alcançar com um projecto. Enquanto o indicador define de que forma se vai medir o desempenho segundo uma determinada dimensão, a meta determina qual o nível definido de resultado que deve ser alcançado num determinado período. Por exemplo, se o resultado esperado é atingir uma cobertura de TOD em 85% dos doentes com TB em três anos, sabendo que, no ano de arranque esta cobertura era de 60%, podem estabelecer-se as seguintes metas provisórias: aumentar para 70% a cobertura TOD no primeiro ano ; aumentar para 80% a cobertura no segundo ano e definir um aumento adicional de 5% para o último ano. Quando o prazo de um programa é demasiado longo, é útil a definição de metas intermédias. Convém usar uma curva cumulativa para observar as metas intermédias e a meta final, pois essa curva será uma base para comparação com o que foi realmente atingido. 4

6 Fontes de dados A fonte de dados é o local onde se encontram os dados e que permitem verificar o estado do indicador. É importante poder usar normalmente a mesma fonte, senão corre-se o risco de erros de interpretação ou incongruências. Se tomarmos como exemplo a mortalidade de crianças até aos 4 anos deve reduzirse em 10% no período de três anos, o indicador será a taxa de mortalidade das crianças dos 0-4 anos e a fonte de dados será as estatísticas de mortalidade do INE Método de recolha de dados Deve ser especificado para cada indicador o método de recolha de dados, assinalando se se trata de recolha de dados primários ou secundários. Para a recolha de dados primários deve-se ter em atenção a unidade de análise, as necessidades de discriminação dos dados (por sexo, idade, local), as técnicas de amostragem e as técnicas ou instrumentos para aquisição dos dados. Para os indicadores baseados em dados secundários devem ser evidenciadas as fontes de informação e a metodologia da utilização dos dados na construção do indicador. É necessário fornecer os detalhes suficientes sobre o método de recolha e tratamento dos dados, para poder repeti-lo sempre que seja necessário Frequência e cronograma de recolha de dados Para se poder medir o progresso de um projecto, os sistemas de monitorização devem recolher periódicamente dados comparáveis. Qual a frequência desta recolha? A resposta não é sempre a mesma. Deve-se ter em atenção os seguintes aspectos: Quanto tempo é necessário para que os indicadores seleccionados evidenciem uma mudança mensurável que resulte da intervenção do programa Com que periodicidade é necessário informar os intervenientes A viabilidade da recolha de dados nos intervalos desejados Quando se planeia a frequência e a metodologia da recolha de dados, os factores mais importantes a ter em atenção são as necessidades da gestão do programa para a tomada de decisão oportuna e os momentos de decisão dentro do ciclo de planeamento. 5

7 Responsabilidades quanto à obtenção de dados A responsabilidade da aquisição oportuna dos dados a partir da sua fonte deve-se atribuir claramente, em função de cada indicador, a uma determinada pessoa, inserida numa equipa ou serviço específico, determinando-se qual a modalidade de registo dos dados Plano de análise de dados Convém planear atempadamente, na medida do possível, não só a recolha de dados, mas também a sua análise, notificação e utilização, com a finalidade de determinar a especificidade das técnicas de análise da informação e as formas da sua apresentação Necessidades de avaliação complementares As avaliações complementares dos programas em curso devem realizar-se apenas quando os resultados da monitorização indicam que existem problemas ou obstáculos importantes que tornam pouco provável atingir-se a finalidade do programa. Por exemplo, se não se conhecem profundamente as causas do não atingimento das metas, é necessário programar avaliações para analisar e investigar o projecto Planos de comunicação e utilização da informação obtida através da M&A O planeamento da forma como vai ser utilizada a informação obtida com a M&A é fundamental para uma gestão eficaz. Basicamente, a informação pode ser utilizada de três formas, ou seja, para: Influenciar as decisões da gestão; Descrever informações sobre o progresso (trimestral, semestral ou anual), dirigido aos superiores, às entidades homólogas ou aos financiadores; e Partilhar a informação com os directamente interessados para a sua discussão e análise. 3. ANÁLISE DOS RESULTADOS DA M&A A análise dos resultados da M&A pressupõe, no essencial, comparar o desempenho real com o que estava planeado, os custos reais com o orçamentado, analisando-se qualquer desvio ou diferença. Pode expressar-se sob a forma de relatório descritivo ou mediante quadros ou diagramas. De uma maneira geral, os quadros ou gráficos são mais fáceis e rápidos de interpretar e dão uma visualização clara das comparações entre o planeado e os resultados. Como exemplo, vemos no Quadro 1, a formação de profissionais de saúde e os respectivos custos. 6

8 Quadro 1: Formação de profissionais de saúde Técnicos Orçamento e custos Nº planeado Nº técnicos formados % Orçamento (Euros) Custos reais (Euros) % % % Neste caso, a execução técnica, ou seja, o número de profissionais de saúde formados, foi apenas de 90% do nível esperado, enquanto que os custos ultrapassaram em 16% o valor previsto. Este aumento nos gastos pode ter razões válidas que o justifiquem e devem ser explicadas, ou então podem existir problemas que obriguem a modificar a organização da formação. As discrepâncias e deficiências detectados num programa podem ser resultado de problemas ou situações inerentes ao mesmo como, por exemplo, a sua organização, o sistema administrativo, a mudança de coordenadores/gestores ou a falta de recursos humanos. Existe, também, a possibilidade de aparecerem resultados decepcionantes, como atrasos ou aumento significativo de custos, que podem ser resultado de mudanças no ambiente externo como, por exemplo, mudanças políticas, desastres naturais, nova legislação ou aumento da inflacção. Embora estes últimos factores que se relacionam com as hipóteses e a avaliação de riscos devam ser equacionados na fase de concepção do programa, devem ser igualmente explicitados nesta fase. 4. PROPOSTAS DE MEDIDAS CORRECTIVAS Em função do resultado da análise dos dados, o gestor do programa pode optar por propor medidas correctivas, melhorar o desenho do mesmo ou rectificar a afectação de recursos. Podem efectuar-se reajustes no quadro operacional e na dotação de responsabilidades. Os resultados da monitorização vão ajudar a justificar essas medidas. 5. RELATÓRIOS DE PROGRESSO E RELATÓRIOS ANUAIS Os resultados da monitorização devem ser incorporados em relatórios periódicos e devem ser considerados quando se formulam novos planos de trabalho. Dos relatórios devem constar dois temas básicos: A execução técnica relacionada com o plano anual e com enfoque no nível de resultados esperados, mais do que nos níveis de actividades e tarefas A execução financeira relacionada com a previsão e, concretamente, com os custos previstos para atingir os resultados esperados e realizar as actividades. 7

9 A evidenciação destes dois aspectos deve ser efectuada simultaneamente, para se poder comparar o grau de execução técnica com a utilização dos fundos de financiamento. O gestor do programa deve cuidar para que se efectue essa correspondência. Os requisitos de apresentação de relatórios financeiros variam quanto à frequência, conteúdos e níveis de detalhe, assim como se o financiamento for interno ou externo. É importante que os relatórios estejam bem estruturados, que sejam concisos e concretos. O objectivo é proporcionar uma visão do avanço do programa, em que medida se atingiram os resultados esperados, quais os problemas que surgiram na execução e relacionados com o mesmo, e sobre as perspectivas para o período seguinte. É conveniente evitar uma descrição excessiva. A estrutura do relatório não deve ser modificada durante o período de tempo em que decorre o programa, mantendo-se o nível e as categorias de informação de forma a facilitar as comparações correspondentes. 6. COMENTÁRIOS FINAIS Para a elaboração deste guia efectuou-se uma revisão bibliográfica e analisaram-se ferramentas de Monitorização e Avaliação em uso ao nível de diferentes áreas (nutrição e alimentação 8, informação em saúde 11, serviços e produtos 10, desempenho 1 ) e pertencentes a organismos distintos (OMS, Banco Mundial, Fundo Global, CDC, USAID, ONUSIDA). Apoiamo-nos, ainda, no trabalho prático e já desenvolvido pelo Gabinete de Estudos e Avaliação da ex-sub-região de Saúde de Setúbal nas áreas da tuberculose, vacinação e saúde oral. Para todos os Serviços de Saúde Pública que queiram iniciar um processo de M&A dos seus programas, de acordo com os princípios e quadro referencial propostos quer neste Guia, quer no documento Monitorização e Avaliação dos Programas de Saúde Termos de Referência, pode ser utilizado o suporte de informação que se encontra em anexo. 8

10 A. Plano de obtenção dos dados I - Escolha dos Indicadores Anexo O Plano de M&A Passo a Passo Objectivo Geral Indicadores QUADRO CONCEPTUAL (Assinalar com X) OUTCOME IMPACTO Objectivos Específicos Indicadores OUTCOME IMPACTO Actividades Indicadores 3.1 INPUT PROCESSO OUTPUT

11 Indicadores Fonte de Dados Método de Recolha de Dados Frequência e Cronograma Responsável Comunicação e Divulgação Não esquecer que o Plano de M&A deve conter ainda: - Análise dos Resultados da M&A Relatório - Proposta de Medidas Correctivas - Relatórios de Progresso Execução Técnica Execução Financeira