Os Sete Pecados Capitais da Avaliação de Impacto

Transcrição

1 Ministério da Saúde 28 Nov 2012 Os Sete Pecados Capitais da Avaliação de Impacto Cesar G Victora Universidade Federal de Pelotas Salvador, 10 Out

2 2H Bosch 7 pecados capitais

3 São Bernardo de Claraval, O inferno está cheio de boas intenções 3

4 Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 4

5 Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 5

6 Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 6

7 AIDPI (IMCI) Suporte ao sistema de saúde Desempenho do profissional de saúde AIDPI: Prática na família e comunidade 7

8 Bangladesh: efeito do AIDPI sobre a utilização de serviços de saúde IMCI Intervention IMCI Comparison Sick U5 Children per child per year IMCI Jul Sep Nov Jan Mar May Jul Sep Nov Jan Mar May Jul Sep Nov Jan Mar May Jul Sep Nov Jan Mar May Fonte: Arifeen et al,

9 Implementação do ACSD em Mali Activities EPI + ITN IPTp Facility& Community Facility IMCI Community 2001 Surveys DHS ACSD-CDC Key: Bars represent districts in the following order: Kolokani, Bla, Djenné, Banamba, Niono, Koro 2007 DHS 9 Special Survey

10 Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 10

11 Modelo de impacto: AIDPI Introdução e Planejamento Melhorias nos sistemas de saúde: medicamentos, vacinas, supervisão, etc Treinamento de trabalhadores de saúde e visitas de seguimento Intervenções nas famílias e comunidades Melhorias na qualidade da atenção nos serviços de saúde Melhorias no manejo domiciliar e na aderência às recomendações Melhorias na busca de cuidados em saúde e aumento da utilização Redução na mortalidade Melhoria do estado nutricional 11

12 Tipos de indicadores: enfoque passo-a-passo Há oferta adequada de serviços: nas unidades de saúde? na comunidade? A utilização é adequada? Foram atingidas as metas de cobertura? Houve impacto sobre morbi-mortalidade? outros desfechos biológicos ou comportametais? 12

13 Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 13

14 Estudos de eficácia A intervenção funciona quando implantada sob condições ideais? Características dos estudos: Implementação integral Qualidade excelente Alta cobertura populacional Incluindo os mais pobres A intervenção é altamente necessária Fatores contextuais são raramente descritos 14

15 Estudos de efetividade A intervenção funciona na minha comunidade? Características dos estudos: Implementação imperfeita Qualidade média Cobertura parcial Provável exclusão dos mais pobres Necessidade da intervenção pode ser menor do que no local dos estudos de eficácia Fatores contextuais essenciais podem estar ausentes 15

16 Tipos de inferência em avaliações de impacto 16

17 Tipos de inferência em avaliações de impacto Adequação (estudos descritivos) As mudanças esperadas estão acontecendo Plausibilidade (estudos observacionais) As mudanças observadas parecem ser devidas ao programa Probabilidade (ensaios randomizados) Estudos randomizados mostram que o programa tem um impacto estatisticamente significativo 17

18 Avaliações de adequação Os objetivos iniciais foram alcançados? Ex.: reduzir em 20% a mortalidade de menores de 5 anos As tendências nos indicadores de impacto foram na direção esperada? de magnitude adequada? 18

19 Programa de redução da mortalidade infantil, Pelotas, RS Coef. mortalidade infantil Dados não publicados 19

20 Programa de redução da mortalidade infantil, Pelotas, RS Metas: Reduzir a mortalidade infantil de 20 para 15 por mil» 15,5 POR MIL Menos de 65 mortes por ano em Pelotas» 66 ÓBITOS 20

21 Programa de redução da mortalidade infantil, Pelotas, RS Coef. mortalidade infantil Pelotas RS

22 Fortificação com ferro de farinhas de trigo e milho, Pelotas, Hgb média (mg/dl) Fortificação Ano Assunção et al,

23 Avaliações de plausibilidade É provável que o impacto observado seja devido à intervenção? Requer descartar influência de fatores externos: Necessidade de grupo de comparação Ajuste para fatores de confusão Também denominados de quase experimentos 23

24 Desempenho do profissional de saúde: 4 estados HABILIDADES DE TRATAMENTO Com AIDPI Sem AIDPI Fonte: Amaral et al, 2005 Prescrição correta de antibióticos para crianças que estão necessitando Não prescrição de antibióticos para crianças que não estão precisando Criança com pneumonia tratada corretamente Administração da 1ª. dose de medicamento na unidade de saúde Aplicação de todas as vacinas necessárias 67% 51% 93% 87% 58% 29% 27% 0% 39% 38% 24

25 Impacto do AIDPI sobre a mortalidade infantil, 3 estados Redução anual da mortalidade infantil, (ajustada para fatores de confusão) 5 % SIAB SIM/SINASC Forte Parcial Ausente 25

26 Diagnóstico e manejo por médicos e enfermeiras treinados em AIDPI Desempenho correto (% crianças) % Classificação Manejo Médicos Enfermeiras 26

27 Avaliações de probabilidade Ensaios controlados randomizados Priorizam validade interna Alocação aleatória reduz viés de seleção e confusão Cegamento reduz viés de informação Essenciais para determinar eficácia de novas intervenções Adequados para cadeias causais curtas Efeito biológico de drogas, vacinas, suplementos nutricionais etc. Geralmente medem eficácia e não efetividade 27

28 Avaliação da multimistura em creches. Pelotas, 2005 Peso/idade Escore Z médio 1 0,8 0,6 0,4 0,2 0 Linha de base Controle P=0,2 Pós-intervenção Intervenção Assunção et al, no prelo 28

29 Avaliação da multimistura em creches. Pelotas, 2005 Altura/idade Escore Z médio 0,5 0,4 0,3 0,2 0,1 0-0,1-0,2-0,3-0,4-0,5 Linha de base P=0,9 Pós-intervenção Controle Intervenção Assunção et al, no prelo 29

30 Avaliação da multimistura em creches. Pelotas, 2005 Hgb (mg/dl) Hgb média Linha de base Controle Pós-intervenção Intervenção P=0,9 Assunção et al, no prelo 30

31 Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 31

32 Planejamento da Avaliação do AIDPI Brasília, Out

33 Devolução para os gestores Fonte: Amaral et al,

34 Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não disseminar 34

35 Efeito do AIDPI/IMCI sobre o desempenho de profissionais de saúde % children correctly managed Non-IMCI IMCI Bangladesh NE Brazil Tanzania Uganda Fonte: Paryio et al,

36 Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 36

37 Cobertura do AIDPI conforme a taxa de pobreza no município, 2000 Mais pobres 3 2 Menos pobres 0% 20% 40% 60% 80% 100% Ausente Parcial Forte Fonte: Victora, Amaral et al,

38 Avaliações em Saúde Plataformas nacionais de avaliação: O futuro?

39

40 Marco conceitual: onde se encaixa o programa sendo avaliado? Programa Cobertura Impacto

41 Moçambique Como avaliar o impacto da USAID? Enfoque tradicional: áreas com programas da USAID e áreas controle (sem o programa da USAID) Fonte: Hilde De Graeve, Bert Schreuder.

42 Marco conceitual: onde se encaixa o programa sendo avaliado? Fatores socioeconômicos e outros fatores contextuais Programa Serviços de saúde de rotina Outros programas de saúde Intervenções em outros setores Cobertura Impacto

43 Moçambique Implantação simultânea de múltiplos programas Avaliações separadas, descoordenadas e ineficientes (quando existem) Source: Hilde De Graeve, Bert Schreuder. Incapacidade de comparar um programa com os demais devido a diferenças nos objetivos, metodologia e indicadores

44 Marco conceitual Fatores socioeconômicos e outros fatores contextuais Programa Programa Programa Programa Serviços de saúde de rotina Outros programas de saúde Intervenções em outros setores Cobertura Impacto

45 Lancet, 2010 Source: Victora CG, Black RE, Boerma JT, Bryce J. Measuring impact in the MDG era and beyond: A new approach to large-scale effectiveness evaluations. Lancet, published on line 9 July 2010.

46 Os 7 pecados capitais da avaliação de impacto 1. Não avaliar 2. Iniciar tardiamente a avaliação 3. Avaliar impacto sem avaliar processo 4. Usar um método inapropriado 5. Não envolver os gestores 6. Ignorar o contexto 7. Não avaliar desigualdades 46