AVALIAÇÃO DO SISTEMA DE INFORMAÇÃO DO PROGRAMA DE IMUNIZAÇÕES (SI-API)

AVALIAÇÃO DO SISTEMA DE INFORMAÇÃO DO PROGRAMA DE IMUNIZAÇÕES (SI-API) Evalua aluation of the SI-PNI (Brazilian national immunization progr ogram informa ormation sys ystem) Aglaêr Alves da Nóbrega 1, Antonia Maria da Silva Teixeira 2, Tatiana Miranda Lanzieri 3 Resumo O Programa Nacional de Imunização (PNI) do Ministério da Saúde tem como finalidade contribuir para o controle, eliminação e/ou erradicação de doenças imunopreveníveis utilizando estratégias diferenciadas de vacinação. Para subsidiar sua gestão, conta com um sistema informatizado denominado Sistema de Informação do Programa Nacional de Imunização (SI- PNI), composto de seis subsistemas. Dessa forma, o objetivo deste trabalho foi avaliar o Sistema de Informação de Avaliação do Programa de Imunização (SI-API), que registra a quantidade de imunobiológicos aplicados e população vacinada, utilizando as Diretrizes Atualizadas para Avaliação do Sistema de Vigilância em Saúde Pública (MMWR) do Centro de Controle de Doenças (CDC) de Atlanta. O sistema mostrou-se simples, flexível, estável representativo, útil, porém, subutilizado. Recomenda-se aos serviços de vigilância a avaliação sistemática e regular dos dados do SI-API. Palavras-chave Sistema de Vigilância, Sistema de Informação, Cobertura Vacinal Abstract The Programa Nacional de Imunizações (PNI Brazilian National Immunization Program) of the Brazilian Ministry of Health aims at contributing to the control, elimination and/or eradication of preventable diseases using several vaccination strategies. It uses as a management tool, an electronic information system (SI-PNI) that comprises of six sub-systems. The objective of this study was to evaluate the SI-PNI sub-system that records the number of immune-biological products administered to the population, using the CDC Updated Guidelines for Evaluating Public Health Surveillance Systems. The system is simple, flexible, stable, representative, and useful, however, underutilized. We recommend that surveillance services conduct regular analysis of data generated by the system. Keywords Surveillance System, Information System, Immunization Coverage. 1. Introdução A vacinação é uma importante medida de prevenção de doenças, de baixa complexidade e de grande impacto nas condições gerais de saúde de uma população. Ela se constitui uma das medidas mais custo-efetivo na prevenção primária, sendo também um dos fatores associados à redução da mortalidade infantil. Estima-se que 35.000 mortes de crianças foram prevenidas no mundo pela vacinação somente em 2002. Uma avaliação de custo-benefício sobre a erradicação 1 Mestre em Saúde Pública. Programa de Treinamento em Epidemiologia Aplicada aos Serviços do Sistema Único de Saúde (EPISUS)/ Centro de Informações Estratégicas e Respostas em Vigilância em Saúde (CIEVS)/ Secretaria de Vigilância em Saúde (SVS)/Ministério da Saúde (MS). End: Esplanada dos Ministérios, Bloco G, Edede, sala 156 - Brasília/DF CEP: 70.058-900 Email: aglaeran@yahoo.com.br e aglaer.nobrega@saude.gov.br 2 Mestre em Saúde Coletiva.,Programa Nacional de Imunizações (PNI)/ Secretaria de Vigilância em Saúde (SVS)/Ministério da Saúde (MS) 3 Mestre em Saúde Coletiva. Programa de Treinamento em Epidemiologia Aplicada aos Serviços do Sistema Único de Saúde (EPISUS)/ Centro de Informações Estratégicas e Respostas em Vigilância em Saúde (CIEVS)/ Secretaria de Vigilância em Saúde (SVS)/Ministério da Saúde (MS) 145 ANEIRO,, 18 (1): 145-153, 2010 145

Aglaêr Alves da Nóbrega, Antonia Maria da Silva Teixeira, Tatiana Miranda Lanzieri da poliomielite concluiu que os benefícios financeiros em longo prazo são duas vezes mais altos que os custos com a vacina (Barata et al., 2005; Silva et al., 1999; Peny et al., 2005). A vacinação das crianças no primeiro ano de vida associada à vigilância epidemiológica são dois componentes fundamentais para prevenção de doenças transmissíveis. As informações sobre cobertura vacinal (CV) são necessárias para determinar o nível real de cobertura, se uma área tem um nível de cobertura adequada, monitorar as tendências ao longo do tempo e como estão sendo conduzidas as atividades de vacinação (Dietz et al., 2004). No Brasil, no ano de 1973, o Ministério da Saúde criou o Programa Nacional de Imunização (PNI), regulamentado em 1975 pela lei 6.259/ 75 que instituiu o Sistema Nacional de Vigilância Epidemiológica (SNVE). Ao ser instituído, o PNI teve como objetivo reunir em uma única estrutura organizacional as ações de imunizações, até então realizadas de forma isolada em programas específicos de controle de doença, destacandose a descontinuidade das ações e as baixas coberturas vacinais (Risi Junior, 2003). Atualmente, o PNI tem como finalidade contribuir para o controle, eliminação e/ou erradicação de doenças imunopreveníveis utilizando estratégias diferenciadas de alcance da população, como vacinação de rotina e as campanhas anuais de vacinação desenvolvidas de forma hierarquizada e descentralizadas. Nos primeiros anos, o PNI priorizou a população infantil como alvo das ações de vacinação. Até os dias atuais já foram publicados quatro calendários que normatizam a vacinação. O mais recente desses calendários amplia a populaçãoalvo, na concepção de proteção da família, integrando de forma rotineira a vacinação para crianças, adolescentes, adultos e idosos conforme Portaria Ministerial 1.602/06. Para que a proteção individual e coletiva seja assegurada, são estabelecidos índices mínimos de coberturas vacinais. As metas nacionais de vacinação são de 95% para a vacina tetravalente constituída dos componentes DTP+Hib (difteria, coqueluche e tétano + hemófilo influenza tipo b), para tríplice viral (sarampo, rubéola e caxumba), vacina oral contra poliomielite (VOP) e a vacina contra hepatite B (HB); 90% para a vacina BCG (Bacilo de Calmette-Guerin) e a vacina oral contra rotavírus humano (VORH) e 100% para a vacina contra a febre amarela nas áreas endêmicas e limítrofes dessas áreas. Para a vacina contra influenza, a meta nacional foi 70% até o ano de 2006, atualmente expandida para 80% de cobertura na população de 60 anos e mais de idade (Brasil, 2008). Para subsidiar a gestão do Programa em âmbito nacional, o PNI conta com um sistema informatizado denominado de Sistema de Informação do Programa Nacional de Imunização (SI- PNI), composto por seis módulos ou subsistemas: Sistema de Informação de Estoque e Distribuição de Imunobiológicos (SI-EDI) que controla o estoque, distribuição, utilização e perdas de imunobiológicos; Sistema de Informação de Apuração dos Imunobiológicos Utilizados (SI-AIU); Sistema de Informação de Eventos Adversos Pós- Vacinais (SI-EAPV) que avalia os eventos adversos ocorridos após aplicação das vacinas; Sistema de Informação do Programa de Avaliação de Instrumento de Supervisão (SI-PAIS) que emite relatórios para análise das supervisões; Sistema de Informação do Centro de Referência de Imunobiológicos Especiais (SI-CRIE), que registra a aplicação de imunobiológicos para clientes em condições clínicas especiais; e o Sistema de Informação de Avaliação do Programa de Imunização (SI-API), que registra a quantidade de imunobiológicos aplicados e população vacinada. Este último será o objeto desta avaliação. 2. Metodologia Este trabalho seguiu as Diretrizes Atualizadas para Avaliação do Sistema de Vigilância em Saúde Pública do Centro de Controle de Doenças (CDC) de Atlanta (Centers dor Disease Control and Prevention, 2001) e é composto pela descrição do sistema, avaliação de seus atributos qualitativos (simplicidade, flexibilidade, estabilidade, qualidade dos dados e aceitabilidade), atributos quantitativos (sensibilidade, representatividade, oportunidade e valor preditivo positivo) e utilidade. Procedeu-se uma revisão documental acerca da estrutura do PNI e mais especificamente em relação ao SI-API além de diálogos com técnicos da área de informação na Coordenação Geral do PNI e do Datasus (Rio de Janeiro) sobre a criação do Sistema de Informação e dos propósitos para os quais foi desenvolvido. Para conhecer a opinião a cerca da simplicidade e utilidade desse sistema, foi elaborado e aplicado um questionário semiestruturado aos coordenadores estaduais do PNI das 27 Unidades Federadas (UF), enviados por meio eletrônico com prazo estabelecido de sete dias para a resposta e prorrogável 146 146 COLE DE JANEIR ANEIRO,, 18 (1): 145-153,, 2010

Avaliação do Sistema de Informação do Programa de Imunizações (SI-API) por mais sete dias, caso não houvesse resposta. Como parte complementar da avaliação realizouse consulta ao banco de dados do SI-API visando a compreender o funcionamento e os produtos oferecidos pelo Sistema. 3. Resultados 3.1. Descrição do sistema O SI-API foi desenvolvido entre os anos de 1992/93 numa parceria firmada pela Coordenação Nacional do PNI e o DATASUS, tornando-se o sistema oficial do Ministério da Saúde pela Portaria Ministerial nº 130/GM, de 12 de fevereiro de 1999. Constitui-se um sistema informatizado que consolida os dados nacionais de imunizações, sendo capaz de emitir relatórios a qualquer época, a fim de proporcionar análise da CV e taxa de abandono para a tomada de decisão oportuna (Brasil, 2003). A descentralização da informatização ocorreu de forma gradual de 1994 a 1997 para os estados, e de 1997 a 2002, regionais e municípios. O SI-API propõe-se a registrar sistematicamente o número de doses administradas na população na rotina e nas campanhas de vacinação por faixa etária e imunobiológico e calcular a cobertura vacinal e taxas de abandono nos âmbitos Federal, Estadual e Municipal. Define-se como cobertura vacinal o percentual da população vacinada em um determinado período de tempo. Esse percentual é obtido pela divisão entre o número de doses aplicadas de determinada vacina em um grupo etário e área geográfica específica pelo número de pessoas no mesmo grupo etário (população-alvo) multiplicado por cem. Utiliza no denominador a população estimada do Instituto Brasileiro de Geografia e Estatística (IBGE), exceto para os menores de um ano e um ano de idade, que são representados pelo registro de nascidos vivos do Sistema de Informação sobre Nascidos Vivos (Sinasc), do Ministério da Saúde. O SI-API realiza o cálculo automático gerando relatórios referentes às coberturas vacinais de rotina e campanhas de vacinação e emite dois tipos de relatórios: Relatório de cobertura vacinal simples: emite a CV do mês informado sem considerar os anteriores. Este é também o relatório emitido pelo sistema para as CV de campanhas de vacinação. Relatório de cobertura vacinal acumulada: emite a CV compreendendo um período de tempo solicitado. A taxa de abandono expressa a proporção de crianças que não completaram o esquema de vacinação necessário para ser protegido da doença. Este cálculo é realizado para as vacinas que têm esquema com mais de uma dose (VOP; DTP+Hib; VORH; contra HB). Para essas vacinas, a criança só é considerada completamente vacinada quando o esquema for completado com a administração da última dose (Brasil, 2001). 3.1.1 Componentes e Operação do Sistema O PNI conta atualmente com cerca de 30 mil salas onde são realizados os procedimentos de vacinação. Tem como instrumento de registro de dados o Boletim Diário de Doses Aplicadas (BDDA), disponível para cada imunobiológico em todas as salas. Dessa forma, os dados para avaliação das coberturas vacinais são obtidos rotineiramente, a partir da produção dos serviços, por isso denominada CV administrativas. O SI-API é descentralizado em todo país e informatizado em cerca de 5.300 (95%) dos municípios. Apenas os estados do Acre, Amazonas, São Paulo e Minas Gerais têm municípios para os quais os dados são digitados nas regionais de saúde (4, 12, 24 e 250, respectivamente). As Secretarias Municipais de Saúde coletam as quantidades de doses de vacinas administradas por faixa etária e imunobiológico em cada sala de vacina por meio dos BDDA (Anexo 1), consolidam esses dados nos Boletins Mensais (Anexo 2) e digitam no API (Figura 1). Esses dados são repassados mensalmente as Regionais de Saúde, destas para os estados e dos estados para a esfera nacional, onde são consolidados numa base nacional. A transferência de dados pode ser feita por duas modalidades: e-mail ou diretamente pelo site www.pni.datasus.gov.br. A base de dados nacional é disponibilizada no sítio eletrônico do Datasus, de domínio público, podendo ser acessado por qualquer usuário. O consolidado dos boletins pode ser feito por unidade da federação e/ou regional e/ou município e/ou unidade de saúde. A partir daí, o sistema fornece seis tipos de relatórios que apresentam finalidades diferentes: coberturas básicas, taxa de abandono, doses aplicadas, acompanhamento mensal, cobertura por imunobiológico e série histórica (Quadro 1). 3.2. Atributos Qualitativos do Sistema 3.2.1 Simplicidade O SI-API constitui-se um sistema de informação que agrega dados de vacinação e possibilita 147 ANEIRO,, 18 (1): 145-153, 2010 147

Aglaêr Alves da Nóbrega, Antonia Maria da Silva Teixeira, Tatiana Miranda Lanzieri Quadro 1 Relatórios fornecidos pelo Sistema de Informação de Avaliação do Programa de Imunização (SI-API) Relatório Coberturas Básicas Taxa de Abandono Doses Aplicadas Acompanhamento Mensal Cobertura por Imunobiológico Série Histórica Função Apresenta as coberturas para menores de 1 ano Apresenta percentual de abandono para vacinas multidose Fornece a quantidade de doses aplicadas por vacina e faixa etária no período desejado Fornece todas as doses por faixa etária, durante todo o ano Apresenta o cálculo da taxa de cobertura por imunobiológico Fornece a cobertura vacinal do esquema básico no período de 5 anos Vacinas BCG, Hepatite B, Poliomielite, Febre Amarela, Tetravalente, tríplice bacteriana (DTP), rotavirus Poliomielite, Hepatite B, Tetravalente, DTP e Rotavirus Todas as vacinas Todas as vacinas Todas as vacinas Todas as vacinas do esquema básico o monitoramento dos níveis de cobertura vacinal e, portanto, não se aplica a este uma definição de caso. A captação do dado ocorre a partir de uma única fonte informante (salas de vacinas) e embora exista um instrumento de coleta de dados para cada imunobiológico, as fichas são de fácil preenchimento. Tudo isso facilita o gerenciamento, a entrada e edição dos dados. Embora o SI-API não seja compatível com os demais subsistemas do SIPNI, a exemplo do subsistema de Informação do Centro de Referência de Imunobiológicos Especiais (SI-CRIE), que precisa ser digitado no SI-API para compor os dados de cobertura vacinal, a sua operacionalização não exige uma formação mais complexa, podendo ser feita por um profissional de nível médio devidamente treinado. Os treinamentos contínuos que necessitam ser realizados ocorrem mais em função da alta rotatividade de profissionais nos estados e, principalmente, dos municípios do que pelas alterações no sistema. A simplicidade da operacionalização do sistema foi citada por nove coordenadores (90%) dos dez que responderam ao questionário. Em função da estrutura e facilidade de operação, o sistema é considerado simples. 3.2.2 Flexibilidade O SI-API pode ser considerado um sistema flexível, pois permite alterações no seu formato à medida que se faça necessário inserir novas vacinas, grupos e faixas etárias relativas às mesmas, bem como a retirada daquelas que não fazem mais parte do calendário do PNI. Quando isso acontece, o sistema fica bloqueado apenas para entrada de dados daquele imunobiológico específico que foi excluído do Programa, entretanto, continua sendo possível utilizar os dados já digitados para análises. Nos primeiros anos de desenvolvimento do sistema duas versões eram criadas anualmente, uma para os estados e outra para os municípios. Atualmente, uma nova versão é produzida a cada ano para atender a necessidade das três esferas de gestão do sistema. Por isso, da sua criação até então (2007) foram geradas 40 versões. No processo de aperfeiçoamento do sistema, a versão utilizada é a 9.6 que apresenta quatro módulos (entrada de dados, produtos, base de dados e segurança), tendo cada um deles diferentes funções (Figura 1). 3.2.3 Aceitabilidade A alimentação dos dados do SI-API é compulsória e, segundo a Portaria Ministerial nº. 1.172/ 04, a não alimentação do mesmo, de forma regular e oportuna, implica bloqueio dos recursos do Piso de Atenção Básica (PAB fixo) e do Teto Financeiro de Vigilância em Saúde (TFVS) (Seção da Competência dos municípios, art. 3 alínea a). Embora esse fator possa funcionar como impulsionador da decisão do usuário em alimentar o sistema, não é perceptível dificuldades de aceitação enquanto instrumento gerencial. 148 148 COLE DE JANEIR ANEIRO,, 18 (1): 145-153,, 2010

Avaliação do Sistema de Informação do Programa de Imunizações (SI-API) Figura 1 Tela inicial do Sistema de Informação de Avaliação do Programa de Imunização (SI-API) 3.2.4 Estabilidade Embora desde sua implantação até o momento já tenham sido desenvolvidas 40 versões, o SI-API é um sistema que confere boa estabilidade em relação ao tipo de informações geradas, pois permite avaliar a tendência das coberturas vacinais, número de doses administradas e taxas de abandono ao longo do tempo. Entretanto, a grande rotatividade de técnicos operadores do sistema pode comprometer a qualidade, confiabilidade e a disponibilidade dos dados. 3.3. Atributos Quantitativos 3.3.1 Representatividade O sistema fornece informações sobre toda a rede de municípios e dentro dos municípios por microáreas administrativas de abrangência ao longo do tempo. Dessa forma, o sistema é representativo. 3.3.2 Oportunidade É avaliada a partir da análise da agilidade do sistema em cumprir todas as suas etapas, desde o registro da dose aplicada na sala de vacina até a distribuição das informações por meio eletrônico. O PNI preconiza que os bancos de dados sejam repassados para o nível federal a cada 30 dias. A data de repasse dos dados dos municípios e regionais para os estados é estabelecida pelos estados, porém deve ser feita mensalmente para adequação ao nível federal. Das dez respostas obtidas, quatro coordenadores (40%) recebem os dados com 21 dias em média de atraso e repassam para o nível federal com uma média de 22 dias de atraso. Os demais relatam que a maioria transfere no prazo estabelecido, porém têm que devolver frequentemente os resultados ao município para correções por apresentarem erros de digitação. Por outro lado, a alimentação dos dados das três campanhas de vacinação que ocorrem anualmente, uma contra influenza dirigida à população idosa e duas etapas da campanha de vacinação contra poliomielite dirigida a crianças menores de cinco anos, é feita de modo on line por cada município ligado a internet e posteriormente alimentados na base do SI-API. Para aqueles municípios que não dispõem de rede, os dados são repassados para os estados e estes repasssam para o nível nacional. Além disso, os estados devem repassar para o nível federal o consolidado dos dados duas vezes no dia D e uma vez por semana ao longo do mês que dura a apuração da campanha. Dessa forma, a avaliação dos dados é inoportuna na rotina, mas oportuna durante as campanhas. 149 ANEIRO,, 18 (1): 145-153, 2010 149

Aglaêr Alves da Nóbrega, Antonia Maria da Silva Teixeira, Tatiana Miranda Lanzieri 3.4. Utilidade A avaliação regular e sistemática dos dados do API possibilita a observação de áreas com coberturas inadequadas, o que demonstra a importância desse sistema para o planejamento das ações e da alocação de recursos gerenciais (de pessoas, financeiros, materiais). O sistema dispõe de ferramentas capazes de monitorar as taxas de cobertura vacinal em cada nível, por faixa etária e imunobiológico específicos. Dessa forma, se as análises forem realizadas de forma adequada e oportuna, o sistema é capaz de detectar áreas vulneráveis (coberturas baixas) à ocorrência de surtos de doenças imunopreveníveis. Entretanto, dos dez coordenadores estaduais que responderam ao questionário, seis (60%) afirmam que não sabem se os municípios fazem avaliação dos seus dados ou afirmam que eles não fazem. Por isso, o sistema é útil, mas subutilizado nas três esferas de gestão. 3.5. Limitações do SI-API Como o registro de dados do sistema ocorre por doses aplicadas e não por indíviduo vacinado não é possível fazer busca ativa de faltosos e avaliar se a aplicação da vacina está ocorrendo conforme o aprazamento do cartão de vacinação. Além disso, não é possível avaliar a qualidade dos dados visto que o sistema não permite verificar duplicidade na entrada de dados e qual a procedência do indivíduo vacinado o que pode levar a alterações nas estimativas das coberturas. Os dados de doses aplicadas em clínicas privadas só são possíveis de observar nos estados e municípios impedindo, dessa forma, que a consolidação dos dados nacionais observe qual a contribuição daquelas clínicas nos níveis de cobertura nacional. 4. Conclusões A distribuição da cobertura vacinal deve ser homogênea e em níveis elevados de modo a evitar a formação de bolsões de susceptíveis. A Programação das Ações Prioritárias de Vigilância em Saúde (PAP-VS), compromisso assumido entre as instâncias de gestão do Programa (municipal, estadual e federal), propõe que 80% dos municípios de cada estado atinjam as coberturas vacinais mínimas preconizadas pelo PNI em campanhas de vacinação contra poliomielite e no mínimo 70% dos municípios atinjam as CV mínimas de 95% preconizadas para a maioria das vacinas do calendário da criançaendo este um dos instrumentos de avaliação do desempenho do PNI, especialmente nos municípios. A alimentação desse subsistema, a partir do registro dos imunobiológicos aplicados, possibilita avaliar as coberturas alcançadas, identificar áreas de baixas coberturas, acompanhar a tendência das coberturas vacinais e subsidiar as áreas técnicas de vigilância epidemiológica e imunizações na identificação de áreas de risco para a ocorrência de surtos de doenças imunopreveníveis. Não foi possível avaliar a sensibilidade do Sistema e o Valor Preditivo Positivo (VPP). Tais limitações se devem, em parte, ao fato de as Diretrizes Atualizadas para Avaliação do Sistema de Vigilância em Saúde Pública (MMWR) do CDC Atlanta terem sido elaboradas para avaliar sistema de vigilância e não um sistema de informação que foi desenvolvido para fazer o monitoramento dos níveis de cobertura vacinal e que utiliza dados agregados. O formato simples do sistema facilita as adaptações necessárias do PNI e confere uma boa flexibilidade ao mesmo. Embora ele exista em todos os municípios e tenha capacidade de estimar áreas de baixa cobertura, o atraso na alimentação dos dados durante a rotina compromete a oportunidade da informação. Como o denominador utilizado no cálculo de cobertura vacinal no menor de um ano de idade até 2003 foi composto pelas estimativas IBGE e atualmente são compostas pelos registros do Sinasc, tem-se observado diferenças importantes nos resultados dos níveis de cobertura sendo as taxas fornecidas com este denominador acima daqueles. Por isso, seria útil realizar um inquérito de cobertura vacinal para verificar as razões pelas quais algumas áreas aumentaram, diminuíram e outras não apresentaram mudanças em seus níveis de cobertura vacinal com a introdução do novo denominador. Com isso, seria possível calcular o VPP e a sensibilidade do sistema. Devido à impossibilidade de verificar o cumprimento dos prazos agendados no cartão de vacinação, pode-se dispor de boa cobertura vacinal, mas com a proteção individual comprometida por atraso na aplicação das doses, visto que a eficácia da vacina só é assegurada quando a sua aplicação ocorre segundo os prazos e esquema estabelecidoe isto ocorre em um grande número de indivíduos, numa determinada área geográfica há formação de grupos suscetí- 150 150 COLE DE JANEIR ANEIRO,, 18 (1): 145-153,, 2010

Avaliação do Sistema de Informação do Programa de Imunizações (SI-API) veis e consequente risco de adoecer. A construção de um sistema de informação que possibilite o registro nominal do vacinado seria o ideal, especialmente no nível local, pois facilitaria a identificação do não vacinado. No entanto, isto aumentaria sua complexidade e poderia vir a comprometer, em principio, a aceitabilidade. Portanto, esta é uma condição que exige boa estrutura operacional do sistema nas três esferas de gestão. Por fim, as informações fornecidas pelo sistema são úteis e devem ser usadas pelos serviços de vigilância das doenças imunopreveníveis para subsidiar o planejamento das ações. Dessa forma, é imprescindível que os programas de imunizações e os serviços de vigilância caminhem juntos. Por isso, recomenda-se aos serviços de vigilância a avaliação sistemática e regular dos dados do SI-API e, ao PNI, estimular os estados a realizar a análise dos dados e utilizar o sistema como instrumento de gestão. Referências BARATA R. B.; et al. Inquérito de cobertura vacinal: avaliação empírica da técnica de amostragem por conglomerados proposta pela Organização Mundial de Saúde. Revista Panamericana de Salud Pública, v. 17, n. 3, p. 184-190, 2005. BRASIL. Ministério da Saúde. Programa Nacional de Imunizações: 30 anos. Brasília: Ministério da Saúde, 2003.. Fundação Nacional de Saúde. Centro Nacional de Epidemiologia. Manual de Procedimentos para Vacinação. Brasília, 316p. Il, Ministério da Saúde, 2001.. Programa Nacional de Imunizações. Vacina contra influenza para campanha de vacinação do idoso 2008. Nota técnica n.26/2008/cgpni/devep/svs/ms, 2008. Disponível em: <http://portal.saude.gov.br>. CENTERS FOR DISEASE CONTROL AND PREVENTION. Updated Guidelines for evaluating public health surveillance systems: recommendations from the guidelines working group. MMWR 2001, 50 (No. RR-13): [inclusive page numbers], 2001. DIETZ, V.; et al. Assessing and monitoring vaccination coverage levels: lessons from the Americans. Revista Panamericana de Salud Pública, v. 16, n. 6, p. 432-442, 2004. PENY, J. M.; GLEIZES, O.; COLIVARD, J. P. Financial requirements of immunization programmes in developing countries: a 2004-20014 perspective. Vaccine, v. 23 n. 2005, p. 4610-4618, 2005. RISI JUNIOR, J. P. A produção de vacinas é estratégia para o Brasil. História, Ciência, Saúde Manguinhos, v. 10, p. 771-783, 2003uplemento 2. SILVA, A. A. M.; et al. Cobertura vacinal e fatores de risco associados à não-vacinação em localidade urbana do Nordeste brasileiro, 1994. Revista de Saúde Pública, v. 33, n. 2, p.146-156, 1999. Recebido em: 30/04/2009 Aprovado: 18/01/2010 151 ANEIRO,, 18 (1): 145-153, 2010 151

Ane xo 1 Anex Exemplo de um tipo de Boletim Diário de Doses Aplicadas Anexos 152 AÚDE COLE T IO OLET DE J ANEIR O, ANEIRO 17 (1): 45-53 53,, 2010

Anexo 2 Boletim mensal de doses aplicadas 153 ANEIRO,, 17 (1): 45-53, 2010 153