Ministério da Saúde 28 Nov 2012 Os Sete Pecados Capitais da Avaliação de Impacto Cesar G Victora Universidade Federal de Pelotas Salvador, 10 Out 2013 1
2H Bosch 7 pecados capitais
São Bernardo de Claraval, 1091-1153 O inferno está cheio de boas intenções 3
Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 4
Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 5
Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 6
AIDPI (IMCI) Suporte ao sistema de saúde Desempenho do profissional de saúde AIDPI: Prática na família e comunidade 7
Bangladesh: efeito do AIDPI sobre a utilização de serviços de saúde IMCI Intervention IMCI Comparison Sick U5 Children per child per year 5 4 3 2 1 0 IMCI Jul Sep Nov Jan Mar May Jul Sep Nov Jan Mar May Jul Sep Nov Jan Mar May Jul Sep Nov Jan Mar May Fonte: Arifeen et al, 2004 8
Implementação do ACSD em Mali Activities EPI + ITN IPTp Facility& Community Facility IMCI Community 2001 Surveys DHS 2002 2003 2004 ACSD-CDC 2005 2006 Key: Bars represent districts in the following order: Kolokani, Bla, Djenné, Banamba, Niono, Koro 2007 DHS 9 Special Survey
Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 10
Modelo de impacto: AIDPI Introdução e Planejamento Melhorias nos sistemas de saúde: medicamentos, vacinas, supervisão, etc Treinamento de trabalhadores de saúde e visitas de seguimento Intervenções nas famílias e comunidades Melhorias na qualidade da atenção nos serviços de saúde Melhorias no manejo domiciliar e na aderência às recomendações Melhorias na busca de cuidados em saúde e aumento da utilização Redução na mortalidade Melhoria do estado nutricional 11
Tipos de indicadores: enfoque passo-a-passo Há oferta adequada de serviços: nas unidades de saúde? na comunidade? A utilização é adequada? Foram atingidas as metas de cobertura? Houve impacto sobre morbi-mortalidade? outros desfechos biológicos ou comportametais? 12
Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 13
Estudos de eficácia A intervenção funciona quando implantada sob condições ideais? Características dos estudos: Implementação integral Qualidade excelente Alta cobertura populacional Incluindo os mais pobres A intervenção é altamente necessária Fatores contextuais são raramente descritos 14
Estudos de efetividade A intervenção funciona na minha comunidade? Características dos estudos: Implementação imperfeita Qualidade média Cobertura parcial Provável exclusão dos mais pobres Necessidade da intervenção pode ser menor do que no local dos estudos de eficácia Fatores contextuais essenciais podem estar ausentes 15
Tipos de inferência em avaliações de impacto 16
Tipos de inferência em avaliações de impacto Adequação (estudos descritivos) As mudanças esperadas estão acontecendo Plausibilidade (estudos observacionais) As mudanças observadas parecem ser devidas ao programa Probabilidade (ensaios randomizados) Estudos randomizados mostram que o programa tem um impacto estatisticamente significativo 17
Avaliações de adequação Os objetivos iniciais foram alcançados? Ex.: reduzir em 20% a mortalidade de menores de 5 anos As tendências nos indicadores de impacto foram na direção esperada? de magnitude adequada? 18
Programa de redução da mortalidade infantil, Pelotas, RS Coef. mortalidade infantil 24 22 20 18 16 14 12 10 8 6 4 2 0 2001 2002 2003 2004 2005 2006 Dados não publicados 19
Programa de redução da mortalidade infantil, Pelotas, RS Metas: Reduzir a mortalidade infantil de 20 para 15 por mil» 15,5 POR MIL Menos de 65 mortes por ano em Pelotas» 66 ÓBITOS 20
Programa de redução da mortalidade infantil, Pelotas, RS Coef. mortalidade infantil 24 22 20 18 16 14 12 10 8 6 4 2 0 Pelotas RS 2001 2002 2003 2004 2005 2006 2007 2008 2009
Fortificação com ferro de farinhas de trigo e milho, Pelotas, 2004-8 Hgb média (mg/dl) 15 14 13 12 11 10 9 8 7 Fortificação 11.3 11.2 11.3 11.1 2004 2005 2006 2008 Ano Assunção et al, 2012 22
Avaliações de plausibilidade É provável que o impacto observado seja devido à intervenção? Requer descartar influência de fatores externos: Necessidade de grupo de comparação Ajuste para fatores de confusão Também denominados de quase experimentos 23
Desempenho do profissional de saúde: 4 estados HABILIDADES DE TRATAMENTO Com AIDPI Sem AIDPI Fonte: Amaral et al, 2005 Prescrição correta de antibióticos para crianças que estão necessitando Não prescrição de antibióticos para crianças que não estão precisando Criança com pneumonia tratada corretamente Administração da 1ª. dose de medicamento na unidade de saúde Aplicação de todas as vacinas necessárias 67% 51% 93% 87% 58% 29% 27% 0% 39% 38% 24
Impacto do AIDPI sobre a mortalidade infantil, 3 estados 8 7 6 Redução anual da mortalidade infantil, 1999-2002 (ajustada para fatores de confusão) 5 % 4 3 2 1 0 SIAB SIM/SINASC Forte Parcial Ausente 25
Diagnóstico e manejo por médicos e enfermeiras treinados em AIDPI 100 80 Desempenho correto (% crianças) % 60 40 20 0 Classificação Manejo Médicos Enfermeiras 26
Avaliações de probabilidade Ensaios controlados randomizados Priorizam validade interna Alocação aleatória reduz viés de seleção e confusão Cegamento reduz viés de informação Essenciais para determinar eficácia de novas intervenções Adequados para cadeias causais curtas Efeito biológico de drogas, vacinas, suplementos nutricionais etc. Geralmente medem eficácia e não efetividade 27
Avaliação da multimistura em creches. Pelotas, 2005 Peso/idade Escore Z médio 1 0,8 0,6 0,4 0,2 0 Linha de base Controle P=0,2 Pós-intervenção Intervenção Assunção et al, no prelo 28
Avaliação da multimistura em creches. Pelotas, 2005 Altura/idade Escore Z médio 0,5 0,4 0,3 0,2 0,1 0-0,1-0,2-0,3-0,4-0,5 Linha de base P=0,9 Pós-intervenção Controle Intervenção Assunção et al, no prelo 29
Avaliação da multimistura em creches. Pelotas, 2005 Hgb (mg/dl) Hgb média 15 14 13 12 10 11 9 8 7 6 5 Linha de base Controle Pós-intervenção Intervenção P=0,9 Assunção et al, no prelo 30
Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 31
Planejamento da Avaliação do AIDPI Brasília, Out 2001 32
Devolução para os gestores Fonte: Amaral et al, 2005 33
Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não disseminar 34
Efeito do AIDPI/IMCI sobre o desempenho de profissionais de saúde 80 60 40 20 0 % children correctly managed100 19 69 56 72 16 65 Non-IMCI IMCI Bangladesh NE Brazil Tanzania Uganda 13 29 Fonte: Paryio et al, 2005 35
Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 36
Cobertura do AIDPI conforme a taxa de pobreza no município, 2000 Mais pobres 3 2 Menos pobres 0% 20% 40% 60% 80% 100% Ausente Parcial Forte Fonte: Victora, Amaral et al, 2006 37
Avaliações em Saúde Plataformas nacionais de avaliação: O futuro?
Marco conceitual: onde se encaixa o programa sendo avaliado? Programa Cobertura Impacto
Moçambique Como avaliar o impacto da USAID? Enfoque tradicional: áreas com programas da USAID e áreas controle (sem o programa da USAID) Fonte: Hilde De Graeve, Bert Schreuder.
Marco conceitual: onde se encaixa o programa sendo avaliado? Fatores socioeconômicos e outros fatores contextuais Programa Serviços de saúde de rotina Outros programas de saúde Intervenções em outros setores Cobertura Impacto
Moçambique Implantação simultânea de múltiplos programas Avaliações separadas, descoordenadas e ineficientes (quando existem) Source: Hilde De Graeve, Bert Schreuder. Incapacidade de comparar um programa com os demais devido a diferenças nos objetivos, metodologia e indicadores
Marco conceitual Fatores socioeconômicos e outros fatores contextuais Programa Programa Programa Programa Serviços de saúde de rotina Outros programas de saúde Intervenções em outros setores Cobertura Impacto
Lancet, 2010 Source: Victora CG, Black RE, Boerma JT, Bryce J. Measuring impact in the MDG era and beyond: A new approach to large-scale effectiveness evaluations. Lancet, published on line 9 July 2010.
Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 46