Pesquisa avaliativa e epidemiologia: movimentos e síntese no processo de avaliação de programas de saúde

Transcrição

1 REVISÃO R E V I E W 3 7 Pesquisa avaliativa e epidemiologia: movimentos e síntese no processo de avaliação de programas de saúde Evaluative re s e a rch and epidemiology: t rends and synthesis in the health pro g r a m s evaluation pro c e s s Á l va ro Hideyoshi Matida 1 Luiz Antônio Bastos Camacho 2 A b s t r a c t I n t ro d u ç ã o 1 Assessoria de DST/AIDS, C o o rdenadoria de Vigilância Ep i d e m i o l ó g i c a, Superintendência de Saúde C o l e t i va, Se c retaria de Es t a d o de Saúde do Rio de Ja n e i ro, Rio de Ja n e i ro, Bra s i l. 2 De p a rtamento de Epidemiologia e Métodos Qu a n t i t a t i vos em Saúde, Escola Nacional de Saúde P ú b l i c a, Fundação Os w a l d o C r u z, Rio de Ja n e i ro, Bra s i l. C o r re s p o n d ê n c i a Á l va ro Hideyoshi Ma t i d a, Assessoria de DST/AIDS, C o o rdenadoria de Vigilância Ep i d e m i o l ó g i c a, Superintendência de Saúde C o l e t i va, Se c retaria de Es t a d o de Saúde do Rio de Ja n e i ro. Rua Gu s t a vo Sampaio 460, sala 1102, Rio de Ja n e i ro, R J , Bra s i l. a l m a t i d e n s p. f i o c r u z. b r This article focuses on antecedents in the eva l- uation of health pro g rams and highlights the d i versity of theories and methods applied to the field. In order to provide support for eva l u- a t i ve re s e a rch in HIV/AIDS, the article discusses seve ral classical principles in epidemiology, p a rt i c u l a rly the theory of causal inference and its limits for approaching infectious diseases. The article contends that recent debates concerning the logic and applicability of ecological studies establish convergent interests between epidemiology and eva l u a t i ve re s e a rc h, concerned with incorporating contextual va r i- ables into the analytical models. The principles and typologies of contempora ry eva l u a- t i ve re s e a rch are explained with a view tow a rd s defending an analytical model for health-disease processes from the perspective of eva l u a t- ing actions and pro g ra m s. The article concludes by highlighting common proposals and c o n vergent trends in epidemiology and eva l u- a t i ve re s e a rc h, s e rving as the fra m ew o rk for discussion on the limits and potentialities of the proposed model. Ac q u i red Immunodeficiency Sy n d ro m e ; Ca u s a l In f e re n c e ; Eva l u a t i o n Que teoria informa o tratamento e os objetivo s p reconizados pelo pro g rama? Quais os métodos utilizados para avaliar as necessidades do p ro g rama? Qual é a capacidade de resposta do p ro g rama em função das condições do contexto? O que dizem os financiadores do pro g ra m a s o b re os seus resultados? Os grupos alvo estão satisfeitos com os efeitos do pro g rama? Qual o impacto do pro g rama em relação ao pro b l e m a e n f rentado 1, 2, 3? Estas são algumas das perguntas cujas re s- postas interessam a todos os envolvidos no des e n volvimento de pro g ramas voltados para o e n f rentamento de situações-problemas de ordem e natureza diversas que afligem indivíd u o s, grupos ou sociedades. A abordagem destes questionamentos implica considerar quem demanda e que uso se pretende fazer das re s- p o s t a s. Trata-se de medir e fazer um julgamento de valor sobre os efeitos de um c o nj u nto de meios (físicos, h u m a n o s, f i n a n c e i ro s, s i m b ó l i- cos) organizados em um contexto específico, e em um dado momento, p a ra produzir bens e s e rviços com o objetivo de modificar uma situação pro b l e m á t i c a (Co n t a n d riopoulos et al. 1 p. 31). O ponto de partida é a noção de pro g ra m a enquanto uma resposta institucional ou comun i t á ria a uma situação-problema. Além disso, ambos, o problema e o programa, são process o s sociais complexos e dinâmicos que comungam

2 3 8 Matida AH, Camacho LAB de um mesmo contexto que os modifica e por eles é modificado 2. Supõe-se que a demanda por uma ava l i a- ç ã o, por simples que seja, requer não apenas a identificação de perguntas e formulação de hipóteses mas, antes, a verificação do conjunto d e a t o res envo l v i d o s, dos recursos disponíve i s, do g rau de complexidade do problema e das ações e, em part i c u l a r, a concordância de perspectivas entre quem pleiteia a avaliação e quem a executa. Há que se eleger port a n t o, com base nestes parâmetro s, a ciência e as ferra m e n t a s adequadas para mensurar o problema e os e f e i- tos do pro g rama preconizado para modificá-lo, vis-à-vis as va ri á veis contextuais em intera ç ã o sistemática com estes dois fenômenos. Este artigo apresenta uma reflexão sobre a abordagem epidemiológica da avaliação de p rog ramas de saúde, baseada em uma revisão bibliográfica e na interface entre a epidemiologia e a área de avaliação em saúde. Arg u m e n t a - s e que os debates recentes acerca da lógica e aplicabilidade dos estudos de tipo ecológico marcam interesses conve rgentes entre a epidemiologia e a pesquisa ava l i a t i va, preocupada na inc o r p o ração de va ri á veis contextuais nos modelos de análise. Explicitam-se preceitos e tipologias da pesquisa ava l i a t i va contemporânea com vistas à defesa de um modelo de análise de pro c e s s o s de saúde-doença na perspectiva da ava l i a ç ã o de ações e pro g ra m a s. Por fim, sublinham-se o s p ropósitos comuns e movimentos conve rg e n- tes da epidemiologia e da pesquisa ava l i a t i va, que servem de referência à discussão sobre os limites e potencialidades do modelo pro p o s t o. Em b o ra motivada pelas questões suscitadas pela avaliação do pro g rama de controle da AIDS, a análise apresentada pretende enfocar questões comuns a outros pro g ramas de cont role de doenças tra n s m i s s í veis com semelhanças no perfil de transmissão e contro l e. Dimensionamento do programa e seus re s u l t a d o s Nas últimas décadas, o desenvolvimento científico-tecnológico em ritmo acelerado e a cre s- cente responsabilização do Estado no financiamento de pro g ramas sociais gera ram um aumento dramático nos gastos gove rn a m e n t a i s em pro g ramas de educação e de saúde públic o s. In vestimentos para expansão dessas políticas somaram-se àqueles destinados a incorp o ração de novas tecnologias em especial relacionadas aos cuidados à saúde quer em nível do indivíduo, quer no âmbito coletivo. Em contrapartida, a partir dos anos 60, crescem ( e s- pecialmente por parte dos organismos financ i a d o res) movimentos no sentido do diagnóstico e justificação de necessidades e da ra c i o- nalização dos gastos 4. A utilização do método epidemiológico na a valiação de práticas clínicas, presente em diversos textos selecionados em uma antologia publicada pela Organização Mundial da Sa ú d e (OMS) sobre intervenções de saúde 5, emerg e neste contexto reforçando a tendência de asseg u rar aos processos ava l i a t i vos em saúde, cont o rnos de investigação científica. Assim, assumindo características interd i s- c i p l i n a res e instrumentalizando-se cientificam e n t e, os estudos ava l i a t i vos ganham vulto e c o m p l e x i d a d e. A criação de organismos destinados a avaliar tecnologias em saúde é part e i n t e g rante de um conjunto de medidas adotadas pelos Estados Un i d o s, Canadá, França, Au s- trália, entre outro s, para garantir a ra c i o n a l i z a- ção dos gastos e fornecer parâmetros científicos para resposta às crescentes expectativas de i n c o r p o ração das intervenções em saúde e m e r- gentes 1. Esta tendência de focar a avaliação de prog ramas principalmente na responsabilidade fiscal e na demonstração de efeitos se mantém até os dias atuais. A atual política bra s i l e i ra de re e s- t ru t u ração por pro g ra m a s, instituída em 1998 p a ra ser implementada a partir de 2000 e port a n t o, em plena vigência, ressuscita e re v i g o ra esse enfoque 6. In s p i rada nos resultados da ref o rma administra t i va norte americana, essa est ratégia guarda similaridade com as pro p o s t a s de reforma de diversos países desenvolvidos como Gr ã - Bretanha, Canadá, Austrália e Fra n ç a, que enfatizam a administração pública via gestão por resultados 6. Medir os efeitos atri b u íd o s aos pro g ramas sociais é ainda o grande desafio. Somam-se às preocupações teóri c o - m e t o d o l ó- gicas e à crescente complexidade dos pro g ram a s, a necessidade atualmente pri o ridade política e institucional de demonstrar resultados. No Brasil, os desafios contemporâneos que se colocam à avaliação em saúde são ainda m a i o re s. Por um lado identificam-se dificuldades re l a t i vas à estru t u ra e ao modo de pro d u- ção da ciência e da tecnologia em saúde 7, 8 e a incompletude das políticas sanitárias para a consolidação dos princípios e ações do Si s t e- ma Único de Saúde (SUS) 9; por outro, embora sejam reconhecidos os avanços no campo 1 0, evidenciam-se sua curta tra j e t ó ria e suas lacunas 7, 1 1, 1 2, em particular em relação a análises de efeitos e de eficiência 1 3, próprias do estágio ainda incipiente do desenvolvimento do campo da avaliação em saúde no país.

3 PESQUISA AVA L I AT I VA E EPIDEMIOLOGIA 3 9 Em que pesem as barre i ras e dificuldades e s t ru t u rais enfre n t a d a s, emergem na litera t u ra cientifica bra s i l e i ra, especialmente nos últimos a n o s, várias iniciativas de avaliação de serv i ç o s e pro g ra m a s, seja no campo das tecnologias em saúde em geral, seja na área específica das ações de controle e pre venção das DST/HIV/ AIDS. Em relação ao pri m e i ro, vale a re f e r ê n c i a de alguns artigos do início dos anos nove n t a, buscando conformar o campo da avaliação em saúde enquanto área de construção de conhecimentos 1 4, 1 5, 1 6. Edições de Cad e rnos de Saúde Pública 1 0 e de Ci ê ncia & Saúde Coletiva 1 7, dedicados à veiculação de artigos relacionados ao tema e as recentes publicações de títulos nacionais centrados na avaliação em saúde 6, 1 8, 1 9 são alguns exemplos do interesse crescente n e s- ta área. Além disso, estudos enfocando a correlação entre indicadores de acesso e uso de serviços de saúde e a qualidade do sistema de inf o rmações de morbimortalidade poderão fornecer evidências e estimular interlocuções ent re pesquisadore s, pre s t a d o res de serviços e p rofissionais de saúde re s p o n s á veis pela manutenção e apri m o ramento do sistema de inf o rmação de agra vos à saúde. Neste sentido, são extremamente pro m i s s o res os esforços visando a organização e gestão de um s i st em a nacional de informações que articule os dive r- sos tipos de base de dados incluindo as estatísticas vitais, os dados sobre produção de serv i ç o s, e os inquéritos de base populacional (Vi a c a va 2 0 p. 609). Ainda que se leve em conta as limitações da Pe sq u isa Nacional por Am o s t ra de Dom i c í l i o s, edição 1998 (PNAD/1998), em especial aquelas relacionadas ao nível de desagregação (re s t ritas até o nível de Estados), a re v i- são do Suplemento de Saúde PNAD/1998, inc o r p o rando novos dados importantes para a f o rmulação e avaliação de políticas de saúde, as recentes produções científicas decorre n t e s da análise dessas informações por pesquisadores da área de saúde coletiva bra s i l e i ros são ref l e xos deste esforço 2 1. No âmbito das iniciativas nacionais de avaliação das ações voltadas ao controle da epidemia de AIDS, a partir da década de noventa, e em especial com a vigência do Ac o rdo de Empréstimo celebrado entre o Gove rno Fe d e ral e o Banco Mundial, a disponibilização de re c u r- sos extern o s, somados àqueles de contra p a rt i- da nacional (federal, estadual, municipal) e o c o m p romisso multilateral de investi-los especificamente no desenvolvimento de políticas de controle e pre venção em DST/AIDS 2 2, geraram condições para a execução de atividades e p rojetos voltados à implementação dos pro g ramas de DST/AIDS, em todos os níveis do siste- ma de saúde. Há que se considerar contudo, com base na análise sobre gasto público federal em HIV/AIDS, que aqueles re f e rentes ao componente d e s e n volvimento institucional, o n d e, entre outro s, estão localizados os gastos com pesquisa, contemplaram 12,4% e 9,3% do montante de recursos empenhados em 1997 e 1998, re s p e c t i vamente; contrastando com os 73,0% e 60,8% destinados ao componente ass i s- tência 2 3. Ainda assim, no âmbito dos estudos focando a avaliação de serviços e pro g ra m a s, v i s l u m b ram-se desde análises de custos 2 3, 2 4, às investigações sobre o desempenho de tecn o l ogias de assistência aos port a d o res de HIV/ AIDS 2 5, 2 6; sobre acesso a serviços 2 7 e a medicamentos 2 8 e sobre o impacto das políticas de u n i ve rsalização de anti-re t rov i rais na re d u ç ã o da m o rtalidade e aumento da sobrevida dos pacientes 2 9, 3 0. Também merecem re f e r ê n c i a, i n i c i a t i vas como as da Associação Bra s i l e i ra Int e rdisciplinar de AIDS (ABIA), em conjunto com o Mi n i s t é rio da Saúde (MS), na edição e p rodução de material didático 3 1, 3 2 e no desenvolvimento e execução de cursos de ava l i a ç ã o de ações e pro g ramas em HIV/AIDS. Diversidade de conceitos e métodos para medir resultados de pro g r a m a s A grande diversidade de concepções e enfoques metodológicos em avaliação de pro g ramas tem sido apontada por diversos autores 33,34,35. Além d i s s o, concepções como as de Fa i rweather 3 6 c o n f rontadas às de Parlette & Hamilton (a p u d Rundall 3), ilustram bem a falta de consenso na á rea. Se para o pri m e i ro a avaliação implica, em última instância, a realização de um experimento com alocação aleatória de participantes; para os dois últimos autore s, numa avaliação o pesquisador não busca manipular, controlar ou eliminar va ri á veis contextuais, mas toma-as enquanto integrantes do cenário que ele encontra. Em b o ra múltiplo em concepções, o ato de a val i a r um dado objeto sob a ótica do método científico implica inva ri a velmente m ed i r e emitir um j u lg am e nto de valor sobre um objeto d e t e rm i n a d o, com base em um m od elo teórico. No âmbito da teoria sociológica, contri b u i ç õ e s como as de Campbell & Stanley 3 7 e Ca rm i n e s & Zeller 3 8, na revisão e síntese do conceito e de a t ributos e métodos de m ed id a, atendem às m ovimentações no sentido da objetivação e d e- m a rcação dos estudos ava l i a t i vos em outro s campos das ciências. Em última instância, esses autores tratam de relacionar indicadores efeitos observados a conceitos, insistindo no p rincípio fundamental da pesquisa científica:

4 4 0 Matida AH, Camacho LAB associar o empiricamente observado às pro p o- sições teóri c a s. A lapidação de definições e crit é rios de confiabilidade e validade em pesquisa e os esforços de classificação de delineam e n- tos de estudos 3 7, 3 8, integram o processo de sep a rar o julgamento subjetivo daquele ori e n t a- do por um modelo teóri c o. Transposto para o campo avaliação de pro g ra m a s, trata-se de distinguir avaliações baseadas em técnicas daquelas dirigidas por uma análise teórica sobre as relações entre a interve n ç ã o, o contexto e os resultados observados 3 9. Na área de saúde a avaliação assume novo s c o n t o rnos teórico metodológicos a partir dos e x a u s t i vos trabalhos de Donabedian 4 0. Oc u- pando-se pri m a riamente com a avaliação da assistência médica e enfocando o conceito de q u a l i d a d e, o autor sistematiza uma série de a t ributos relacionados aos efeitos do cuidado médico (eficácia, efetividade, impacto); aos custos (eficiência); à disponibilidade e distribuição dos recursos (acessibilidade, equidade) e à percepção dos usuários sobre a assistência recebida (aceitabilidade). Além dos atri b u t o s, Donabedian 4 0 p ropõe as etapas de pro d u ç ã o do cuidado médico explicitando três dimensões para sua avaliação: estru t u ra, processo e re s u l t a d o s. Ainda sob a ótica do método científico, Ru n- dall 3 ( p. 1834) argumenta que o problema em a valiar a efetividade de um pro g rama é idêntico ao de demonstrar que o pro g rama é a causa de alguns efeitos específicos. A avaliação de resultados de uma intervenção exige pro c e d i- mentos para evidenciar a existência de re l a ç ã o de causalidade entre o pro g rama e os efeitos o b s e rva d o s. Re p o rtando-se ao que Campbell & Stanley 3 7 denominam de a m e aças à va l i d a- d e, Rundall 3 re i t e ra os cri t é rios gerais a sere m satisfeitos para demonstrar relação causal. Assumir que as ações do pro g rama são a c a u s a das mudanças observadas implica excluir o u t ras causas igualmente possíve i s. A c o r relação estatística também ocorre se os e f e i- tos condicionam o pro g rama ou se outra va ri á- vel produz interferência tanto no pro g ra m a quanto em seus efeitos. Além disso, o modelo exige a exclusão do acaso e o controle de todas as outras va ri á ve i s, potencialmente consideradas causais, explicativas da associação: a presença de ordenamento temporal entre causas e efeitos e a existência de evidencias, com base em outros estudos, de que os resultados são p l a u s í ve i s. Sem se re f e rir à epidemiologia, Ru n- dall 3 sintetiza nesse enfoque uma conve rg ê n- cia de propósitos e aproxima o objeto de conhecimento da avaliação àquele da pesquisa e p i d e m i o l ó g i c a. A noção de fator de risco como conceito a m- pliado de causa, os recursos estatísticos fundados no princípio da pro b a b i l i d a d e, o contro l e de v i é s e s e de fatores de c o n f u n d i m e n t o s ã o pautas que tra d u zem a forma pela qual a epidemiologia se apro p ria e lida com as a m e aç a s i n e rentes à inferência causal. É nessa persp e c t i va que essa teoria assume centralidade no d e s e n volvimento do método epidemiológico e é, de certa forma, coro l á rio do papel que a epidemiologia vem desempenhando na delimit ação e objetivação do campo da avaliação em s a ú d e. Em b o ra paradigmática, a inferência caus a l vem sendo alvo de múltiplos questionam e n t o s. Nesta dire ç ã o, no próximo segmento, discutem-se limitações inerentes ao modelo, as questões de validade e suas implicações para a a valiação em saúde. Dimensionamento do contexto tendências contemporâneas da epidemiologia e da avaliação em saúde Na última década vislumbram-se dois tipos de enfoques críticos ao modelo de i nf er ê ncia caus a l: um apontando problemas internos à teoria; e outro, de natureza estru t u ral, situando suas lacunas num panorama mais geral de crise da própria saúde pública 4 1 e, em part i c u l a r, da epidemiologia. Na pri m e i ra ve rtente encont ra m - s e, por exemplo, as abordagens re c e n t e s indicando limitações teórico-metodológicas do modelo frente ao monitoramento do risco envo l vendo doenças infecciosas em geral 4 2, 4 3, 4 4 e a epidemia de HIV/AIDS em particular 4 5, 4 6. Esse eixo de discussão evidencia que o pri n c í- pio da independência dos eve n t o s e sua e s- t ru t u ra linear bases da inferência causal s o f rem violação quando se trata de enferm i d a- des infecciosas. Nessa situação a freqüência do e vento d e p e n d e do número de indivíduos já infectados e do padrão de interação entre infectados e não infectados. A segunda ve rtente das análises estru t u- rais é re p resentada por inúmeros tra b a l h o s de autores contemporâneos em diversos país e s. O debate crítico acerca da história e do campo de aplicação da saúde pública imbri c a- do no movimento em torno dos determ i n a n t e s sociais do processo de saúde e doença; a vigência de modelos econômicos excludentes e seu impacto sobre as condições de vida e tra b a l h o g e ram desafios teórico-metodológicos singulares à área na América Latina 4 7, 4 8, 4 9. Esse é o cen á rio que suscitou a emergência da chamada Ep id em i ol ogia Social. Nesta direção as análises

5 PESQUISA AVA L I AT I VA E EPIDEMIOLOGIA 4 1 de Almeida Filho 5 0, Ba rata 5 1, Breilh 5 2, Ay re s 5 3, se somam a de outros ocupados em discutir a c e rca da própria delimitação do objeto e da re n ovação da agenda dessa disciplina. A questão da iniqüidade em saúde e da sua superaç ã o, do ambiente e qualidade de vida e a avaliação do impacto das tecnologias nos níveis de saúde são alguns dos inúmeros temas que sug e rem interfaces da epidemiologia com outra s disciplinas e emergem neste contexto. A explicitação da crise na epidemiologia é também objeto de conhecimento de vários aut o res nort e - a m e ri c a n o s. Análises críticas como as de Krieger 5 4, evidenciando a falta de fundamento teórico da chamada rede multicausal e da produção científica da disciplina, re f l e t e m essa tendência. Susser & Susser 5 5, tra n s i t a n d o de meados do século XIX aos tempos atuais, t ratam da evolução histórica da epidemiologia m o d e rna, demarcando três eras distintas e discutindo as contribuições e limites de seus re s- p e c t i vos paradigmas (a era das estatísticas san i t á rias e a teoria miasmática; a era da epidemiologia das doenças infecciosas e a teoria dos g e rmes e a era da epidemiologia das doenças c r ô n i c a s, a teoria da multicausalidade e o m o- delo da caixa pre t a ). Com base nessa síntese h i s t ó rica e dos argumentos acerca dos limites da teoria adotada em estabelecer as causas das doenças crônicas emergentes a partir da Segunda Gu e r ra, os autores abordam as perspect i vas e compromissos no processo de desenvolvimento de uma nova disciplina a e c o - e p i d e m i o l o g i a e os desafios para a construção de um paradigma correlato o m od elo da caixa chinesa 5 6. Esse último, em contra p o n t o ao modelo da caixa pre t a e em sintonia com a n ova era, pressupõe múltiplos níveis de org a- nização (molecular, individual e social) e sua aplicação requer a incorporação e integra ç ã o desses níveis no delineamento, análise e interp retação da re a l i d a d e. Analisando o desenvolvimento da epidemiologia, em especial nas duas últimas décad a s, o conjunto de autores citados ainda que p a rtindo de realidades e países diversos corro b o ram o para d oxo apontado por Ca s t e l l a n o s 5 7 ( p ): a p esar do ex p l o s i vo desenvo l v i- mento científico e tecnológico no campo da epidemiologia e da ve rtiginosa produção de pesquisas epidemiológicas no mundo contemporân e o, cada vez a epidemiologia contribui menos p a ra a compreensão dos problemas de saúde das populações e cada vez mais as interve n ç õ e s de saúde pública tendem a se concentrar em int e rvenções sobre indivíduos. O autor analisa que essa situação é resultado da substituição das abordagens populacionais sobre determ i- nantes do processo de adoecer e morre r, que m a rc a ram o nascimento da saúde pública nos séculos XVIII e XIX, por um modelo centra d o no indivíduo. Seguindo esse eixo arg u m e n t a t i vo, é part e da agenda da epidemiologia contemporânea enquanto disciplina estru t u rante da saúde pública re c u p e rar a dimensão populacional como seu nível de realidade interpre t a t i va e operacional. In t e ressa, port a n t o, precisar o conceito de p op ul aç ã o: não se trata de qualquer conjunto de indivíduos agrupados segundo critérios utilitários do pesquisador (Castellanos 5 7 p. 131), nem de um somatório de indivíduos i n d e p e n d e n t e s (Koopman & Lynch 5 8 p. 1170). O atributo essencial de população é a interação entre seus membro s. Além disso, supor que t oda a interação gera organização e hiera r- q u i a s (Simon a p u d Castellanos 5 7 p. 131) implica reconhecer que p op ul ação é um grupamento de subpopulações que interagem como sistemas complexos hierárquicos e indecompon í ve i s (Castellanos 5 7 p. 131). Esses são os princípios que diferenciam os delineamentos populacionais daqueles focados no indivíduo. O que cara c t e riza e gara n t e especificidade desses dois enfoques é o níve l de abordagem do fenômeno e não a quantidade de pessoas estudadas. Nessa perspectiva, as va ri á veis são hiera rquizadas segundo o níve l de análise. Defende-se a noção de va ri á ve i s e s t ru t u ra i s (de nível superior), c o n t e x t u a i s (de mesmo nível) e a n a l í t i c a s (de nível inferior), e o princípio da coerência de níve l. Essas proposições implicam reconhecer que q u a l- quer fenômeno sofre algum grau de interf e r ê n- cia, dadas as interações que ocorrem em níve i s infinitamente distantes, acima e abaixo do nível no qual ele é estudado. Seguindo a hiera r- quia, essa interferência é tão mais evidente quão mais próximo estejam os níveis considerados em relação àquele da abordagem. Além d i s s o, reconhece-se a necessidade de desenvo l ver procedimentos adequados para art i c u- l a r, em um mesmo estudo, va ri á veis de difere n- tes níveis sem violar a especificidade de cada n í vel. Trata-se de definir estratégias para evitar f reqüentes erros de interpretação ao tra n s i t a r e n t re um nível de análise e outro c ross leve l bias 5 6, 5 7, 5 9. In t e g ram esse debate: (a) a re v i t a l i- zação das discussões em torno da falácia ecol ó g i c a e o debate sobre suas conseqüências indesejáveis, tanto para os estudos em nível do i n- divíduo quanto para análises populacionais 6 0; (b) o enfoque sobre viéses ecológicos re l a c i o- nados a efeitos individuais, c o n f u n d i m e n t o s e modificação de efeito, apontando pro c e d i- mentos para sua abordagem 6 1; (c) as re v i s õ e s

6 4 2 Matida AH, Camacho LAB de estudos sobre correlações entre exposição ao risco e doença nos níveis individual e coletivo e o alerta dos modelos não lineares, dem o n s- t rando que a va riação dos riscos individuais no i n t e rior de cada grupamento gera va l o res diferentes nos coeficientes que expressam essas c o r relações 4 4; (d) o entendimento de que ess a s d i s c repâncias entre corre l a ç õ e s, no nível indiv i- dual e no coletivo, podem inclusive contri b u i r na compreensão dos riscos nos indivíduos 6 2. A epidemiologia contemporânea deve portanto assumir o desafio de incorporar os prog ressos da disciplina, reconhecendo ava n ç o s conceituais e técnicos dos estudos de nível individual e identificando quais e como (esses a vanços) podem contribuir ao processo de formulação de novos princípios e métodos que g a rantam a identidade e o desenvolvimento de modelos populacionais não mais como subs i d i á rios dos estudos individuais numa persp e c t i va includente 5 7. O atual cenário de globalização da economia e da re e s t ru t u ração pro d u t i va, a agudização das desigualdades sociais e o agra va m e n t o das iniqüidades em saúde hoje objeto e contexto de inúmeros estudos fornecem concretude e complexidade a esse desafio. Esse quad ro exige, por um lado, novas re f l e x õ e s / a t u a- ções e, por outro, suscita re c u p e rar os fundamentos que ori e n t a ram autores como Rosen 6 3, nos estudos sobre a emergência e o desenvo l- vimento da saúde pública e da medicina social nos séculos XVIII e XIX. Trata-se de um longo debate, ainda em curs o, que está longe de seu final. O que cabe sublinhar é que os argumentos de Castellanos em d i reção à e p id em i ol ogia social 4 7 e pelo e c o- l óg ico na epidemiologia 5 7; as teses de Su s s e r & Susser 5 5 s o b re a e c o - e p i d e m i o l o g i a ; as proposições de Shy 6 4 por uma m ac ro ep id em i ol o- g i a ; e os argumentos de Koopman & Lynch 5 8 em torno de m od elos populacionais sistêmicos em epidemiologia são constructos teóri c o s que fazem contrapontos às tendências centra i s da epidemiologia das duas últimas décadas. Relativizando e reconhecendo o papel dos estudos ao nível do indivíduo, situando suas prop riedades e limites, esses autores reabilitam os chamados estudos descri t i vo s, enfatizando novas aplicações aos estudos epidemiológicos de tipo ecológico. Aqui interessa re f e rir esse debate enquanto conjunto articulado de argumentos que serv i- ram para habilitar o modelo proposto e a ênfase re s e rvada à dimensão de contexto. O contexto na pesquisa avaliativa Too many evaluations which disre g a rd contex t lie gathering dust on shelves while critical decisions about pro g rams are made despite eva l u a- tion findings (Guttentag & St ruening 6 5 p. 3). O modelo teórico é a dimensão que difere n- cia a pesquisa ava l i a t i va das avaliações prim a riamente centradas nos efeitos/re s u l t a d o s de pro g ramas e serv i ç o s. A teoria subjacente desses últimos delineamentos é o modelo da caixa pre t a. Seguindo as argumentações de Denis & Champagne 6 6 ( p. 50), nessa lógica, a i n t e rvenção é tratada como va r i á vel dicotômica ( a u s ê n c i a - p resença da intervenção) e uma entidade re l a t i vamente homogênea de onde é fácil definir o conteúdo e os diferentes componentes. A interve n ç ã o, a partir desse modelo, a p re s e n t a pouca ou nenhuma variação ao ser implantada e é impermeável às características dos meios onde é intro d u z i d a. Assim, embora tenham cont ribuído ao campo em relação ao desenvo l v i- mento de métodos, avaliações com base nessa t e o ria convivem com sérias limitações re l a c i o- nadas à validade externa. Sob esse prisma, ess a s análises não respondem (ou o fazem improp riamente) a questionamentos do tipo: Qu e condições determinaram os efeitos observa d o s? Em que medida, os resultados auferidos podem ser re p roduzidos em outro contex t o?. O necessário zelo com a validade intern a não substitui a atenção que deve ser re s e rva d a à validade externa de uma ava l i a ç ã o. Ainda que f a zendo referência e louvando os esforços de Campbell & Stanley 3 7 e Cook & Campbell 6 7 enfocando a validade interna como atri b u t o p ri m e i ro para apreciação da qualidade de um estudo, Denis & Champagne 6 6 ( p. 52) não deixam de apontar que e ssa ênfase contribuiu p a ra negligenciar o desenvolvimento de estra t é- gias para aumentar a validade externa das avaliações e limitou, desta forma, as re p e rc u s s õ e s práticas deste tipo de pesquisa. Assim, em consonância ao posicionamento de inúmeros epidemiologistas, críticos da i n- ferência causal, e de seus princípios teóricos o modelo da caixa pre t a esses autores defendem a pesquisa ava l i a t i va. Arg u m e n t a m q u e, este modelo, centrado na cara c t e ri z a ç ã o das condições de produção dos efeitos observados (va ri á veis contextuais) com base no prog rama, amplia o potencial de generalização da pesquisa ava l i a t i va. Enfocando a influência do s t at u s de desenvolvimento do pro g rama e do contexto sobre os efeitos observados e avaliando a correlação de va ri á veis contextuais no ciclo evo l u t i vo do pro g rama, estes desenhos de análise avançam sobre as tendências ava l i a t i-

7 PESQUISA AVA L I AT I VA E EPIDEMIOLOGIA 4 3 vas centradas nos resultados 2. Bu s c a - s e, nessa ve rt e n t e, p r im ar i am e nt e,c o m p reender os efeitos da intera ç ã o, identificados por Campbell & Stanley (1966) como uma ameaça eventual à validade externa de um estudo. Por efeito de int e ração entendemos o papel ativo desempenhado por um conjunto de va r i á veis que não a int e rvenção (características dos atore s, da organiz a ç ã o...) na determinação dos efeitos observad o s (Denis & Champagne 6 6 p. 51-2). Nesse ponto cabe situar conve rgências ent re estes movimentos emergentes da p e s q u i s a a va l i a t i va e as arg u m e n t a ç õ e s, advindas da epidemiologia, em torno da reabilitação dos estudos ecológicos. Su g e re-se que epidemiologistas e ava l i a d o res em saúde que atuam nessa lógica enfrentam desafios semelhantes: como i n c o r p o rar va ri á veis contextuais, estru t u rais e analíticas em uma mesma abord a g e m? Por um modelo contextualizado de pesquisa avaliativa Co n s i d e ra-se aqui o esforço de alguns autore s em conceituar e estabelecer os limites da avaliação em saúde. Avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção (pro g rama) ou sob re qualquer um de seus componentes, com o o b j e t i vo de ajudar na tomada de decisões ( Co n t a n d riopoulos et al. 1 p. 31). Arg u m e n t a - s e ainda que um pro g rama, qualquer que seja, p ode sofrer os dois tipos de ava l i a ç ã o. (...) por um lado, estudar cada um dos componentes da i n t e rvenção em relação a normas e critérios a valiação normativa e por outro, ex a m i n a r por um procedimento científico as relações que existem entre os diferentes componentes de uma i n t e rvenção pesquisa ava l i a t i va. De t a l h a n d o a concepção e seus múltiplos enfoques, esses a u t o res defendem que a pesquisa ava l i a t i va t rata de analisar a pertinência e os fundamentos teóricos (análise estra t é g i c a ), os objetivo s (análise da interve n ç ã o ), a pro d u t i v i d a d e, o s efeitos (análise de efetividade) e o re n d i m e n t o de uma intervenção e o contexto (análise de implantação) no qual ela se situa ( Co n t a n d ri o- poulos et al. 1 p. 31). Analisando princípios e métodos na ava l i a- ção de pro g ramas de promoção da saúde e defendendo a abordagem das relações entre as i n t e rvenções e os re s u l t a d o s, Potvin et al. 2 enunciam que as questões em avaliação são de duas naturez a s. Uma enfocando os componentes do pro g rama: quão coerente é a t e o ria de t ra t a m e n t o associando os objetivo s, re c u r s o s e atividades/serviços do pro g rama? Quais os g an h o s das atividades e serviços do pro g ra m a? E a outra relacionada à interação pro g ra m a - contexto: Quão re l e vantes são os objetivos do p ro g rama em relação ao alvo das mudanças? Qual a capacidade de resposta do pro g ra m a em função das condições do contexto? Co n s i d e rando a multiplicidade de concepções em avaliação em saúde, i n t e ressa re c o- nhecer que a opção pelos princípios e métodos da pesquisa ava l i a t i va emergente oferece pelo menos quatro grandes vantagens ao que ve m sendo discutido até aqui. A pri m e i ra por conter o que é consensual ao campo a valiar é faze r um julgamento de va l o r. Ou t ra vantagem é c o n f e rir à ava l i a ç ã o, quer seja ela administra t i- va quer seja científica, um objetivo subsidiar a tomada de decisões. A aplicabilidade do ato de avaliar integra o seu conceito. Su p õ e - s e uma interlocução entre quem avalia e quem decide pela mudança ou continuidade da int e rve n ç ã o. O terc e i ro aspecto re l e vante é que, esses autores reconhecem interseções da áre a de pesquisa e da área de ava l i a ç ã o. Isto é, sugere-se uma interação entre instâncias que geram conhecimentos com as que pro d u zem as i n t e rve n ç õ e s. Por fim, a referência exaustiva às dimensões do contexto e o empenho em apree n d e r, no processo de pesquisa, suas múltiplas i n t e rferências sobre o problema e as interve n- ções preconizadas para modificá-lo. A ava l i a- ção é assumida enquanto um sistema de feedb a c k entre o pro g rama e seu contexto, onde o o b j e t i vo fundamental é a produção de inform a- ções e conhecimentos que, por um lado aprim o re as teorias de tratamento e, conseqüentem e n t e, o entendimento de como o pro g ra m a funciona em outros contextos e, por outro, forneça subsídios às intervenções locais. Vale dizer que, considerando pro g ramas de abra n- gência nacional, o modelo possibilita o fort a l e- cimento e o resgate do papel de seus dive r s o s n í veis de desenvo l v i m e n t o. Transpondo esta discussão à sua finalidade última oferecer subsídios para pesquisas aval i a t i vas em HIV/AIDS, trata-se de enfocar a análise na adequação entre o pro g rama, epidemia e em seus determ i n a n t e s, vis-à-vis as condições e o meio onde estes fenômenos estão i n s e ri d o s6 8. Isso implica avaliar as ferra m e n t a s utilizadas no dimensionamento do pro b l e m a, isto é, ve rificar os estimadores adotados para definir as necessidades. Além disso, tra t a - s e ainda de identificar i n d i c a d o res contextuais que possam ter favo recido ou dificultado a e volução da epidemia, por um lado, e a implantação do pro g rama, por outro.

8 4 4 Matida AH, Camacho LAB C o n c l u i n d o (...) nossa incapacidade de controlar a epidemia reside nas lacunas re l a t i vas à compre e n s ã o da transmissão da infecção e da doença no cont exto social. Sabemos quais comport a m e n t o s sociais precisam ser mudados, mas pouco sabemos sobre como mudá-los, mesmo quando sociedades inteiras estão envo l v i d a s (Susser & Susser 5 5 p. 671). Na proposição deste modelo de ava l i a ç ã o b u s c a ram-se interlocuções em dois mov i m e n- t o s. Um mais específico, envo l vendo a atual agenda de análise e desenvolvimento de intervenções em DST/AIDS, a ser abordado em um próximo artigo e o segundo mais geral, re l a c i o- nado a tra j e t ó rias contemporâneas da saúde pública e da epidemiologia. Cabe aqui aproximar e indicar nexos do modelo pre t e rido em relação ao segundo mov i m e n t o, mais estru t u ral e onde se identificam dois debates contemporâneos. O pri m e i ro rel a t i vo à crítica em torno da epidemiologia e da ênfase das pesquisas epidemiológicas centradas pri m a riamente no indivíduo. Re c o n h ec e m - se mudanças e re e s t ru t u rações da disciplina enquanto contribuições às tendências contemporâneas de re f o rmulação de concepções e métodos da avaliação em saúde. Apontar fundamentos dessa sintonia de propósitos defendidos por epidemiologistas e ava l i a d o res em saúde cumpre aqui dupla finalidade: compreender a natureza das contribuições entre as duas disciplinas vis-à-vis seus re s p e c t i vos objetos de conhecimento e interpretar a noção, os princípios e a re e m e rgência de desenhos de tipo ecológico imbricado ao movimento que re v i g o ra as abordagens populacionais enquanto nível de realidade adequado para a epidemiologia. O segundo debate com o qual o modelo interage re f e re-se às tendências da ava l i a- ção centrada na interação do c o n t e x t o sobre o problema e os efeitos do pro g rama implantado para modificá-lo. Esses dois eixos discursivos comungam os mesmos argumentos acerca das limitações do modelo de inferência causal. O enfoque sob re a natureza estreita e parcial dos estudos a va l i a t i vos centrados pri m a riamente nos re s u l- tados dos pro g ramas e serviços de saúde, corro b o ra a crítica que a epidemiologia contemporânea dirige à inferência causal. Tra t a - s e de resgatar as questões abordadas por Ca m p- bell & Stanley (a p u d Rundall 3), sobre as a m e a- ç a s à validade interna (os efeitos observa d o s são c a u s a d o s pelo pro g rama?) e externa (os resultados observados e computados ao prog rama podem ser genera l i z a d o s? ). As dificuldades a ser enfrentadas no desenvolvimento de uma pesquisa ava l i a t i va desta n a t u reza são aquelas próprias da história e da m a t u ridade do pro g rama, das mudanças de enfoque decorrente de pressões sociais e das va riações no perfil da epidemia, part i c u l a r- mente de sua duração e da heterogeneidade de g raus de desenvolvimento das intervenções em n í vel das municipalidades. No modelo pro p o s- to estas limitações são na re a l i d a d e, apri o ri s t i- camente assumidas como estimulo à inve s t i- g a ç ã o. Em última instância trata-se de explicit a r, com base nos indicadores definidos (epid e m i o l ó g i c o s, contextuais e no padrão de des e n volvimento do pro g rama) e nos pri n c í p i o s da pesquisa ava l i a t i va, as diferenças e semelhanças entre as unidades de análise e seus det e rm i n a n t e s. Desta forma, buscam-se aprox i- mações com inúmeros autores contemporâneos que vêm investigando as múltiplas e complexas relações entre o contexto e a saúde. Ka r- pati et al.6 9 ( p. 1768), por exemplo, ao estudarem as interações contexto-saúde em dois estados nort e - a m e ricanos explicitam que p ara a vigilância em saúde ou para a pesquisa epidem i o l ó g i c a, a variabilidade na saúde de grupos populacionais e seus determinantes pode fornecer características mais informativas que o nível absoluto de um componente em part i c u l a r. Da mesma forma, p a ra a avaliação de políticas e de pro g ramas de saúde, a variabilidade pode ser útil para medir os efeitos re l a t i vos de diferentes interve n ç õ e s. As referências em torno do contexto e os recursos adotados na org a n i z a- ção e análise de dados devem seguir este eixo de análise. Além disso, conforme se apontou, a utilização de dados secundários gerados de difere n- tes sistemas de informação em saúde, é fonte f reqüente de erros nos estudos 7 0, 7 1. Não cabe aqui abordar cada estratégia adotada para fazer frente a essas limitações, mesmo porq u e o u t ras tantas estão presentes e certamente carecem de solução. Cu m p re entretanto o re g i s- t ro de que, no processo de delineamento deste m o d e l o, buscou-se identificar problemas e minimizar seus efeitos. Assim é que, em síntese, a hipótese operacional deste modelo de avaliação do pro g ra m a de controle de DST/AIDS pode ser enunciada com a questão central: quais os estimadore s utilizados para avaliar as necessidades do prog rama? E a questionamentos correlatos do tipo: O desenvolvimento do pro g rama, em cada mun i c i p a l i d a d e, tem correspondência com o perf i l da epidemia? Existem intervenções do componente de pre venção do Pro g rama nestes municípios? Municípios com maior incidência de ca-

9 PESQUISA AVA L I AT I VA E EPIDEMIOLOGIA 4 5 sos dispõem de serviços de assistência adequados às necessidades do portador de HIV/AIDS? Trata-se de uma pesquisa ava l i a t i va e, na p e r s p e c t i va da gestão do pro g rama, supõe-se que seus resultados tragam subsídios à tomada de decisões com vistas a sua adequação às necessidades que o enfrentamento da epidemia segue pro d u z i n d o. Por fim, interessa ainda mencionar o re c e n- te debate em torno do desenvolvimento da epidemiologia bra s i l e i ra e sua interlocução com os movimentos que buscam fortalecer o campo da avaliação em saúde no Brasil. A partir do início dos anos 90, vislumbram-se inúmera s a rgumentações re i t e rando a necessidade de c o n s i d e rar o atual processo de re f o rmas no SUS e de operar interações da Ep i d e m i o l o g i a com teorias organizacionais e gestão de serv i- ç o s. Um número considerável de publicações s o b re avaliação em saúde, acessíveis em bases de dados (LILACS) ou reunidas em número s especiais de periódicos bra s i l e i ros da área de saúde pública (Cad e rnos de Saúde Pública, v. 12, sup. 2, 1996 e Rev i sta Bra s i l e i ra de Ep i d e- m i o l o g i a, v. 5, n. 1), vêm sugerindo aplicações da disciplina em conjunto com outras áreas de conhecimento (planejamento e gestão; ciências sociais e políticas, entre outras) no sentido de contribuir no processo de tomada de decisões consoantes com as mudanças no perfil de adoecimento e morte da população bra s i l e i ra e, em especial, com os múltiplos processos que vêm determinando essas mudanças. Este modelo emerge nessa lógica e se re c ria vislumb rando esse contexto dinâmico e fértil de a va n- ços e lacunas, tensões e desafios. R e s u m o C o l a b o r a d o re s Este artigo enfoca alguns antecedentes da ava l i a ç ã o de pro g ramas de saúde e aponta a diversidade de teorias e métodos que informam o campo. Com o objetivo de fornecer subsídios para pesquisas ava l i a t i vas em H I V / A I D S, discutem-se alguns pressupostos clássicos da epidemiologia, em especial da teoria de inferência causal e seus limites na abordagem de enfermidades i n f e c c i o s a s. Argumenta-se que os debates re c e n t e s a c e rca da lógica e aplicabilidade dos estudos de tipo ecológico marcam interesses convergentes entre a epidemiologia e a pesquisa ava l i a t i va,p reocupada na inc o r p o ração de va r i á veis contextuais nos modelos de a n á l i s e. Explicitam-se preceitos e tipologias da pesquisa ava l i a t i va contemporânea com vistas à defesa de um modelo de análise de processos de saúde-doença na perspectiva da avaliação de ações e pro g ra m a s. Po r f i m, sublinham-se os propósitos comuns e mov i m e n- tos convergentes da epidemiologia e da pesquisa aval i a t i va, que servem de referência à discussão sobre os limites e potencialidades do modelo pro p o s t o. A. H. Matida foi re s p o n s á vel pela elaboração da prim e i ra versão do art i g o, com base nas discussões com L. A. B. Ca m a c h o. L. A. B. Camacho contribuiu no p rocesso de elaboração da versão final, acre s c e n t a n- do ao artigo aspectos técnicos e re f e rencial bibliográfico no campo da interação entre a Pesquisa Ep i d e- miológica e a Avaliação em Sa ú d e. S í n d rome de Imunodeficiência Ad q u i r i d a ; In f e r ê n c i a Ca u s a l ; Ava l i a ç ã o

10 4 6 Matida AH, Camacho LAB R e f e r ê n c i a s 1. Co n t a n d riopoulos AP, Champagne F, Denis JL, Pineault R. A avaliação na área da saúde: conceitos e métodos. In: Ha rtz ZMA, org a n i z a d o ra. Avaliação em saúde: dos modelos conceituais a práticas da implantação de pro g ra m a s. Rio de Ja n e i ro: Ed i t o ra Fi o c ruz; p Potvin L, Haddad S, Frohlich KL. Be yond pro c e s s and outcome evaluation: a compre h e n s i ve app roach for evaluating health promotion prog ra m m e s. In: Rootman I, editor. Evaluation in health promotion. Principles and perspective s. Copenhagen: World Health Organization; p (WHO Regional Pu b l i c a t i o n s, Eu ro p e a n Se ri e s, vol 92). 3. Rundall TG. Evaluation of health services prog ram. In: Last J, editor. Ma xc y- Roseanau public health and pre ve n t i ve medicine. 12t h Ed. No r- walk: Appleton & Lange; p Rossi PH, Freeman HE. Evaluation: a systematic a p p roach. 5t h Ed. Ne w b u ry Pa rk: Sage Pu b l i c a- tions; White KL. In vestigaciones sobre servicios de salud: una antología. Washington DC: Org a n i z a c i ó n Pa n a m e ricana de la Salud; (Pu b l i c a c i ó n Científica, vol 534). 6. Ha rtz ZMA. Avaliação de pro g ramas de saúde: p e r s p e c t i vas teórico metodológicas e políticas i n s t i t u c i o n a i s. Ciênc Saúde Co l e t i va 1999; 4: Novaes HMD. Epidemiologia e avaliação em serviços de atenção médica: novas tendências na p e s- quisa. Cad Saúde Pública 1996; 12 Suppl 2: Ma rques MB. Ge s t ã o, planejamento e ava l i a ç ã o de políticas de ciência e tecnologia: hora de re ve r? Ciênc Saúde Co l e t i va 1999; 4: Conselho Nacional de Sa ú d e. Re l a t ó rio pre l i m i- nar da 11a Conferência Nacional de Sa ú d e. Bra s í- lia: Conselho Nacional de Saúde; Camacho LA B, Ha rtz ZMA, Goldbaum M, Nova e s H M D. Ed i t o rial. Cad Saúde Pública 1996; 12 Su pp l 2 : S c h raiber LB, Nemes MIB, Sala A, Peduzzi M, Ca s- t a n h e i ra ERL, Kon R. Pl a n e j a m e n t o, gestão e avaliação em saúde: identificando pro b l e m a s. Ciênc Saúde Co l e t i va 1999; 4: St e n zel AC B. A temática da avaliação no campo da saúde coletiva: uma bibliografia comentada [ Di s s e rtação de Me s t rado]. Campinas: Fa c u l d a d e de Ciências Médicas, Un i versidade Estadual de Campinas; Ha rtz ZMA, Po u vo u rville G. Avaliação dos pro g ramas de saúde: a eficiência em questão. Ciênc Saúde Co l e t i va 1998; 3: Aze vedo AC. Avaliação de desempenho de serv i- ços de saúde. Rev Saúde Pública 1990; 25: Novaes HMD. Avaliação do atendimento ambulat o rial. Saúde em Debate 1991; 3: Sala A. A avaliação de pro g ramas de saúde. In : S c h raiber LB, org a n i z a d o ra. Pro g ramação em s a ú- de hoje. 2a Ed. São Paulo: Ed i t o ra Hucitec; p (Saúde em De b a t e, Série Di d á t i c a ) Mi n a yo MCS. Ed i t o rial. Ciênc Saúde Co l e t i va 1999; 4: Mi n a yo MCS. O desafio do conhecimento. Pe s- quisa qualitativa em saúde. São Paulo: Ed i t o ra Hucitec; Tanaka OY, Melo C. Avaliação de pro g ramas de saúde do adolescente: um modo de faze r. São Paulo: Edusp; Vi a c a va F. In f o rmações em saúde: a import â n c i a dos inquéritos populacionais. Ciênc Saúde Co l e- t i va 2002; 7: Vi a c a va F, Leite IC, Tra vassos C. Ed i t o rial. Ciênc Saúde Co l e t i va 2002; 7: Mi n i s t é rio da Sa ú d e. Aids no Brasil: um esforço conjunto gove rn o - s o c i e d a d e. Brasília: Co o rd e- nação Nacional de DST/AIDS; Mi n i s t é rio da Sa ú d e. Brasil: contas em Aids. Ga s- to público federal em 1997 e 1998 e estimativa de gasto nacional em Brasília: Mi n i s t é rio da Saúde; (Série Ava l i a ç ã o, vol 2) Cy rillo DC, Aguirre BMB. Custos de modalidades de assistência à saúde a port a d o res do HIV. In f o r- mações (Fundação Instituto de Pesquisas Ec o- nômicas) 1998; 216: Fi l g u e i ras SL, Deslandes S. Avaliação das ações de a c o n s e l h a m e n t o. Análise de uma perspectiva de p re venção centrada na pessoa. Cad Saúde Pública 1999; 15 Suppl 2: Mi n a yo MCS, Souza ER, Assis SG, Cruz Neto O, Deslandes SF, Si l va CMFP. Avaliação dos Ce n t ro s de Orientação e Apoio So ro l ó g i c o / C TA / Coas da região nordeste do Brasil. Cad Saúde Pública 1999; 15: Ac u rcio FA, Cesar CC, Guimarães MDC. He a l t h c a re utilization and surv i val among patients with AIDS in Belo Ho ri zo n t e, Minas Ge ra i s, Brazil. Ca d Saúde Pública 1998; 14: Ol i ve i ra MA, Esher AFSC, Santos EM, Co s e n d e y MAE, Luiza VL, Be rm u d ez JAZ. Avaliação da assistência farmacêutica às pessoas vivendo com HIV/AIDS no Município do Rio de Ja n e i ro. Ca d Saúde Pública 2002; 18: Casseb J, Pe re i ra Jr LC, Si l va GL, Me d e i ros LA. Dec reasing mortality and morbidity in adult Aids patients from 1995 to 1997 in São Pa u l o, Bra z i l. AIDS Patient Ca re STDs 1999; 13: L owndes CM, Bastos FI, Giffin KM, Va z - d o s - Re i s AC, D Orsi E, Alary M. Di f f e rential trends in mortality from AIDS in men and women in Bra z i l ( ). AIDS 2000; 14: Nemes MIB. Avaliação em saúde: questões para os pro g ramas de DST/Aids no Brasil (versão preliminar). Rio de Ja n e i ro: Associação Bra s i l e i ra Int e rdisciplinar de AIDS; (Coleção ABIA Fu n- damentos de Ava l i a ç ã o, vol 1) Sessions G. Avaliação em HIV/Aids: uma perspect i va internacional (versão preliminar). Rio de Jan e i ro: Associação Bra s i l e i ra In t e rdisciplinar de Aids; (Coleção ABIA Fundamentos de Aval i a ç ã o, vol 2) House ER. Evaluation with va l i d i t y. Be verly Hi l l s : Sage Publications; Patton MQ. Practical evaluation. Be verly Hi l l s : Sage Publications; Se l by JM. Pro g ram management: evaluation and p roject monitoring. Boise: Health Policy Analysis and Accountability Ne t w o rk; 1978.

11 PESQUISA AVA L I AT I VA E EPIDEMIOLOGIA Fa i rweather GW. Community psychology for the s and beyond. Eval Pro g ram Plann 1980; 3 : Campbell DT, Stanley JC. Ex p e rimental and quas i - e x p e rimental designs for re s e a rch. Chicago: Rand Mc Na l l y; Ca rmines EG, Zeller RA. Reliability and va l i d i t y assessment. Beverly Hills: Sage Publications; Chen TH. Theory-driven evaluations. Beverly Hi l l s : Sage Publications; Donabedian A. The definition of quality and app roaches to its assessment. Ex p l o rations in quality assessment and monitoring. Ann Arbor: He a l t h Ad m i n i s t ration Press; Paim JS, Almeida Filho N. A crise da saúde pública e a utopia da saúde coletiva. Sa l va d o r: Casa da Qualidade; Ha l l o ran ME, St ruchiner CJ. Study designs for dependent happenings. Epidemiology 1991; 2: Ha l l o ran ME, St ruchiner CJ. Causal inference in infectious diseases. Epidemiology 1995; 6: Koopman JS, Longini Jr I. The ecological effects of individual and nonlinear disease dynamics in p o p u l a t i o n s. Am J Public Health 1994; 84: Koopman JS, Longini Jr IM, Ja c q u ez JA, Simon CP, Os t row PG, Ma rtin WR, et al. Assessing risk factors for transmission of infection. Am J Ep i d e m i o l 1991; 133: Susser M. Some principles in study design of preventing HIV transmission: rigor or re a l i t y. Am J Public Health 1996; 86: Castellanos PL. Avances metodológicos en epidemiología. In: Anais do I Co n g resso Bra s i l e i ro de Epidemiologia; Rio de Ja n e i ro: Campinas: A B R A S- CO; p L a u rell AC, Wences MI. Do pove rty pro g rams alleviate pove rty? Int J Health Se rv 1994; 24: Samaja J. Epistemología y metodología. El e m e n- tos para una teoría de la investigación científica. Buenos Aires: Eudeba; Almeida Filho N. O problema do objeto do c o n h e- cimento na epidemiologia. In: Costa DC, org a n i- z a d o r. Epidemiologia: teoria e objeto. São Pa u l o : Ed i t o ra Hu c i t e c / A B R A S CO; p Ba rata RC B. Epidemiologia: teoria e método. In : Anais do I Co n g resso Bra s i l e i ro de Ep i d e m i o l o- gia; Rio de Ja n e i ro: ABRASCO; p Breilh J. La epidemiología (crítica) latinoamericana. In: Franco S, Nunes ED, Breilh J, Laurell AC, o rg a n i z a d o re s. Debates en medicina social. Qu i t o : O rganización Pa n a m e ricana de la Salud; p (Se rie De s a r rollo de Recursos Hu m a n o s ) Ay res JRCM. Epidemiologia e emancipação. São Paulo: Ed i t o ra Hu c i t e c / A B R A S CO; K rieger N. Epidemiology and the web of causation: has anyone seen the spider? Soc Sci Me d 1994; 39: Susser M, Susser E. Choosing a future for epid e m i o l o g y: I. Eras and para d i g m s. Am J Pu b l i c Health 1996; 86: Susser M, Susser E. Choosing a future for epid e m i o l o g y: II. From black box to Chinese box e s and eco-epidemiology. Am J Public Health 1996; 8 6 : Castellanos PL. O ecológico na epidemiologia. In : Almeida Filho N, Ba r reto ML, Ve ras RP, Ba rata RB, o rg a n i z a d o re s. Te o ria epidemiológica hoje: fund a m e n t o s, interfaces e tendências. Rio de Ja n e i- ro: ABRASCO / Ed i t o ra Fi o c ruz; p Koopman JS, Lynch JW. Individual causal models and population system models in epidemiology. Am J Public Health 1999; 89: Mo rg e n s t e rn H. Uses of ecologic analysis in epidemiologic re s e a rch. Am J Public Health 1982; 7 2 : Susser M. The logic of ecological: I. The logic of a n a l y s i s. Am J Public Health 1994; 84: Greenland S, Mo rg e n s t e rn H. Ecological bias, confounding, and effect modification. Int J Ep i- demiol 1989; 18: S c h w a rtz S. The fallacy of the ecological fallacy: the potential misuse of a concept and the conseq u e n c e s. Am J Public Health 1994; 84: Rosen G. Da polícia médica à medicina social. Rio de Ja n e i ro: Ed i t o ra Graal; Shy MC. The failure of academic epidemiology: witness for the prosecution. Am J Ep i d e m i o l 1997; 145: Guttentag M, St ruening EL. The relationship bet ween pro g ram content and evaluation techn i q u e s. Handbook of Evaluation Re s e a rch 1975; 2 : Denis JL, Champagne F. Análise de implantação. In: Ha rtz ZMA, org a n i z a d o ra. Avaliação em saúde: dos modelos conceituais a práticas da implantação de pro g ra m a s. Rio de Ja n e i ro: Ed i t o ra Fi o c ruz; p Cook T D, Campbell DT. Qu a s i - e x p e ri m e n t a t i o n : design and analysis for field settings. Bo s t o n : Houghton Mifflin; Matida AH. A Aids e seus múltiplos ecos: cont ribuições para a avaliação do Pro g rama de Co n- t role e Pre venção de DST/Aids do Estado do Rio de Ja n e i ro. Rio de Ja n e i ro: Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz; Karpati A, Galea S, Awerbuch T, Levins R. Va ri a b i l- ity and vulnerability at the ecological level: implications for understanding the social determ in a n t s of health. Am J Public Health 2002; 92: Ve ras CMT, Ma rtins MS. A confiabilidade dos dados nos form u l á rios de autorização de intern a ç ã o hospitalar (AIH), Rio de Ja n e i ro, Brasil. Cad Sa ú d e Pública 1994; 10: Wray NP, Ashton CM, Kuykendall DH, Ho l l i n g s- w o rth JC. Using administra t i ve databases to eva l- uate the quality of medical care: a conceptual f ra m e w o rk. Soc Sci Med 1995; 40: Recebido em 06/Dez / Versão final re a p resentada em 03/Ju n / Ap rovado em 21/Ju l /