Uma nova perspectiva no controle dos riscos da utilização de tecnologia médico-hospitalar. Gerson Florence e Saide Jorge Calil Universidade Estadual de Campinas Faculdade de Engenharia Elétrica e de Computação DEB - Departamento de Engenharia Biomédica Caixa Postal 610, CEP: 113083-970, Campinas, SP. E-mail: gerson@ceb.unicamp.br, calil@ceb.unicamp.br Resumo Existe uma preocupação crescente dos profissionais de saúde com a segurança de suas equipes e de seus pacientes no ambiente hospitalar. Dentre os fatores que afetam a segurança estão os perigos que envolvem o uso de equipamentos eletromédicos (EEMs), como a ocorrência de eventos perigosos devido a falhas de desempenho de EEMs (e.g., erro de dosagem de medicamento entregue ao paciente pela bomba de infusão, não acionamento de alarmes nos equipamentos de monitoração e de suporte à vida), ineficiência nos sistemas de segurança elétrica (choque elétrico no paciente ou na equipe de saúde durante procedimentos cirúrgicos, tendo como causa problemas no sistema de isolamento e no aterramento elétrico do EEM), interferência eletromagnética, infecção hospitalar, dentre outros. Diante deste contexto, à medida que evoluímos tecnologicamente, aumentam as exigências de segurança na utilização de equipamentos nos ambientes hospitalares. Neste sentido, complementando os programas de manutenção preventiva e corretiva, o gerenciamento de risco abre perspectivas para um controle mais eficiente dos riscos provenientes do uso de EEMs, por meio de uma ampla abordagem das questões de segurança que envolvem esses tipos de equipamentos. Palavras chaves: gerenciamento de risco, tecnologia médico-hospitalar.
Introdução A evolução da medicina vem sendo acompanhada pela crescente complexidade dos equipamentos eletromédicos (EEM). As técnicas cirúrgicas minimamente invasivas, os novos procedimentos e equipamentos de diagnóstico, os avanços farmacológicos e a melhor compreensão das doenças permitiram o aumento da eficácia no tratamento médicohospitalar. Contudo, o aumento da complexidade de EEMs traz como conseqüência um aumento significativo dos erros de operação no uso da tecnologia. Nos EUA, um estudo (1) feito com base em 1300 notificações de incidentes com desfibriladores indicou que a maioria das falhas de desfibriladores acontece por causa de erros de operação do equipamento (Fig.01 - modelo de desfibrilador). Outros estudos revelam que incidentes causados por problemas com EEMs estão relacionados à falta de manutenção, ao uso incorreto dos equipamentos e aos problemas de desempenho (2). Cabe ressaltar que as conseqüências financeiras desses incidentes envolvem considerável soma em indenizações devido a ações legais movidas por pacientes que sofreram algum tipo de dano. Fig.01: Desfibrilador Cardíaco Semi-automático. O desfibrilador mostrado na Fig.01, à esquerda, é um equipamento destinado ao atendimento médico de emergência nos casos de complicações cardíacas graves, como a fibrilação ventricular. Este equipamento representa um alto risco de utilização, uma vez que falhas no seu funcionamento podem levar o paciente a óbito. O uso seguro de EEMs depende de diversos fatores que dizem respeito à tecnologia, infra-estrutura hospitalar, treinamento da equipe de saúde na utilização de EEMs, prestação de serviços técnicos especializados de manutenção, e à adoção de uma política de segurança pelo hospital. Neste sentido, o gerenciamento de risco apresenta uma nova
perspectiva no controle dos riscos do uso de tecnologia médico-hospitalar, atuando nos variados fatores que interferem na segurança. Uma vez que esta atuação tem um caráter multidisciplinar, sua coordenação é feita por um comitê composto de profissionais das áreas técnica, administrativa e de saúde, possibilitando uma gestão compartilhada que intervém nas diferentes questões de segurança relativas a cada área profissional. Devido à crescente complexidade tecnológica dos produtos para saúde, os métodos de determinação e controle de risco vêm sendo aprimorados para garantir a segurança na utilização desses produtos. Atualmente existem normas internacionais específicas para o gerenciamento de risco aplicado ao desenvolvimento de produtos para a saúde, como a EN1441:1998, a IEC60601-1-4:1999 e a ISO14971:2000. A principal delas é a ISO14971:2000, sendo a NBR ISO14971:2003 a Norma Brasileira equivalente. Nessa estão estabelecidos métodos e atividades de gerenciamento de risco que visam orientar a formação de programas de segurança na indústria de equipamentos médico-hospitalares. O processo industrial de desenvolvimento de um EEM é focalizado na eficiência em conceber um produto que satisfaça suas exigências de projeto. O gerenciamento de risco aperfeiçoa este processo, identificando como o produto pode falhar no atendimento às exigências do cliente (3). A análise de risco tem o objetivo de avaliar possíveis situações de falha do equipamento em uso e, baseado neste estudo, concentrar esforços para eliminar, ou pelo menos minimizar, os efeitos que estas falhas podem ocasionar. Uma vez identificados esses pontos críticos, são adotadas soluções técnicas de segurança na fase de projeto. Por exemplo, nos casos de perigo de choque elétrico produzido por equipamentos conectados diretamente ao paciente, sistemas de isolamento elétrico são implementados pelo fabricante. No ambiente hospitalar, o gerenciamento de risco deve estar integrado ao sistema de gerenciamento de equipamentos médicos. Este sistema envolve basicamente programas de manutenção e rotinas de testes de segurança (Fig.2 teste de desempenho). Com este sistema gerencial integrado, as deficiências nos serviços de manutenção de EEMs que podem provocar a ocorrência de incidentes são, na medida do possível, identificadas e eliminadas (4) (5) (6). Como pôde ser observado, existem dois momentos distintos da aplicação do gerenciamento de risco no controle dos riscos de utilização de EEMs. Em um primeiro
momento, quando aplicado pelos fabricantes na fase de desenvolvimento do produto, tem como objetivo garantir o fornecimento de equipamentos inerentemente seguros. Em um segundo momento, após a aquisição dos EEMs pelo hospital, o gerenciamento de risco tem como meta garantir as condições necessárias para um funcionamento seguro desses equipamentos por meio de uma manutenção adequada, dentre outros fatores. As rotinas de testes de desempenho de EEMs é de fundamental importância para a utilização segura destes tipos de equipamentos. Um EEM de infusão controlada de medicamento no paciente ( bomba de infusão ), quando descalibrado, pode ocasionar erros na dosagem do medicamento e possibilitar o agravamento do estado de saúde do paciente. Fig.02: Apresentação de rotinas de teste de desempenho de EEMs. O Projeto Hospitais Sentinela, criado pela Agência Nacional de Vigilância Sanitária ANVISA, representa um importante avanço na questão de segurança nos ambientes hospitalares. Seu objetivo é, através de hospitais credenciados pela ANVISA, estabelecer uma rede em todo o país de notificação eventos adversos e queixas técnicas de produtos de saúde, insumos, materiais e medicamentos, saneantes, kits para provas laboratoriais e equipamentos médico-hospitalares em uso no Brasil (os detalhes deste projeto estão no site: http://www.anvisa.gov.br/servicosaude/hsentinela/index.htm). Fazem parte deste projeto hospitais particulares e públicos, a exemplo do Hospital das Clínicas da UNICAMP. Além da sua participação no Projeto Hospitais Sentinela, a UNICAMP por meio do Departamento de Engenharia Biomédica tem desenvolvido trabalhos no sentido de estender as atividades estabelecidas na NBR ISO14971:2003 para sua aplicação na área hospitalar (7) (8). Apesar da importância da implementação de programas de gerenciamento de risco na garantia de condições mínimas segura em ambientes hospitalares, isto ainda não é uma
prática comum nos hospitais brasileiros. Uma das principais dificuldades para a sua disseminação é o desconhecimento dos profissionais acerca das técnicas e conceitos envolvidos no gerenciamento de risco. Deste modo, é de fundamental importância a ampliação das discussões sobre este tema, difundindo seus fundamentos. Neste sentido, nos tópicos subseqüentes deste artigo, será feita uma breve introdução sobre o tema gerenciamento de risco, abordando os seus principais conceitos e técnicas aplicadas. Conceitos básicos Há uma grande confusão sobre os conceitos utilizados para a definição de risco e perigo, normalmente empregados para representar algo que pode gerar algum tipo de dano. Contudo, seus significados são completamente distintos. Perigo é uma fonte potencial de dano, como, por exemplo, um choque elétrico produzido por um equipamento durante procedimento cirúrgico. O risco é um valor estimado que leva em consideração a probabilidade de ocorrência de um dano e a gravidade de tal dano (9). Além do risco e do perigo, existem outros conceitos importantes como: fator de risco, modo de falha e dano. O fator de risco é uma condição que favorece a ocorrência de falha(s), como exemplo disto, a falta de manutenção nos EEMs (10) (11). O modo de falha é o efeito pelo qual uma determinada falha é observada em um componente de sistema, e.g., o equipamento não liga (12). O dano é um tipo de lesão física ou de prejuízo à propriedade ou ao meio ambiente (9). Este dano é avaliado de acordo com seu nível de gravidade (e.g., morte do paciente, queimadura) e com a freqüência de ocorrência (e.g., usual, remoto). Na Fig.03 é apresentado um diagrama com os principais conceitos de gerenciamento de risco, com inter-relacionamentos e exemplos. No diagrama há uma seqüência lógica de causa e efeito, desde a existência de fatores de risco até a ocorrência de um dano ao paciente. A inexistência de rotinas de testes de desempenho (fator de risco) pode levar ao uso de bombas de infusão descalibradas (modo de falha). Isto possibilita a ocorrência de erros de dosagem de medicamento infundido no paciente (perigo), podendo causar a sua morte (dano).
Modos de Falha Fatores de risco Perigos: Danos Falta de manutenção; infra-estrutura predial inapropriada; Falta de treinamento dos usuários dos EEMs, etc. Equipamento não liga; Emissão de ruído; Cheiro de peça queimada; Componentes soltos, etc. choque elétrico; gravidade Super ou subdosagem de medicamento; Infecção hospitalar; Parâmetros fisiológicos incorretos, etc. freqüência Estimativa de risco: gravidade x freqüência Fig.03: Diagrama de causa e efeito. Etapas do Gerenciamento de Risco O gerenciamento de risco é estruturado basicamente nas atividades de identificação dos perigos existentes e de suas causas, cálculo dos riscos que estes perigos representam, elaboração e aplicação de medidas de redução destes riscos quando necessárias, com a posterior verificação da eficiência das medidas adotadas. Essas atividades são dividas em quatro etapas de acordo com o diagrama da Fig.04. A primeira etapa é a Etapa 1.0 - determinação de risco. Esta envolve as etapas Etapa 1.1 - análise de risco e Etapa 1.2 - avaliação de risco. Na análise de risco são feitas a identificação dos perigos e suas causas (Etapa 1.1.a - análise de perigo) e o cálculo dos riscos associados aos perigos identificados (Etapa 1.1.b - estimativa de risco). Na avaliação de risco é avaliada a necessidade de redução dos riscos estimados anteriormente. Caso os riscos estejam dentro de um patamar acima do aceitável, passa-se para a Etapa 2.0 - Controle de risco. Nesta são elaborados e implementados os procedimentos de controle de risco. Na Etapa 3.0 - Análise dos resultados obtidos, as etapas anteriores são reavaliadas segundo os resultados obtidos com os procedimento de controle de risco adotados. Estas etapas estão descritas na Norma NBR ISO14971:2003.
1.0- Determinação de Risco 1.1- Análise de Risco 1.1.a- Análise de Perigo: identificação do perigo e suas causas. 1.1.b- Estimativa de Risco: estimativa em função da gravidade do dano e da sua freqüência de ocorrência. 1.2- Avaliação de Risco - Avaliação da necessidade de redução do risco. 2.0- Controle de Risco - Elaboração e implementação dos procedimentos de controle de risco. 3.0- Análise dos Resultados Obtidos - Reavaliação das etapas anteriores. Fig.04: Esquema da estrutura do gerenciamento de risco (JONES et al., 2002) Etapa 1.0 Determinação de risco Etapa 1.1 - Análise de risco Etapa 1.1.a - Análise de perigo A identificação do perigo é uma atividade por vezes difícil de ser implementada, uma vez que alguns perigos não são tão óbvios a ponto de serem facilmente identificados. É recomendado que este processo de identificação deva começar por uma descrição de todos os aspectos funcionais do produto. A partir destes dados, são levantados os possíveis problemas que poderão ocorrer. Ao final desta atividade, uma lista de perigos é produzida. Todavia, esta lista não deve ser considerada completa, pois existe a possibilidade de existirem perigos ocultos ainda não identificados pela equipe de gerenciamento de risco. Deste modo, esta lista deve ser periodicamente revisada e atualizada. Algumas técnicas podem ser utilizadas para análise de risco, como Análise da Árvore de Falhas FTA, Estudo do Perigo e da Operabilidade HAZOP e Análise de
Modos de Falha e Efeitos FMEA (13) (14) (15) (16). Estas técnicas já são muito utilizadas nos programas de controle de qualidade. A FTA parte de um efeito indesejado provocado por problemas no produto analisado e, de maneira dedutiva, são identificadas as causas possíveis ou modos defeituosos que provocaram este efeito (ver Norma IEC61025). HAZOP é uma técnica sistemática para identificar perigos e problemas operacionais. Envolve uma revisão detalhada da operação do produto, focalizando os possíveis desvios dos processos operacionais (ver Norma IEC 61882). A FMEA é uma técnica pela qual os efeitos do modo de falha de um produto analisado são identificados e avaliados sistematicamente. Esta técnica pode ser ampliada para incorporar uma investigação do nível de gravidade das conseqüências e suas probabilidades de ocorrência. Neste caso, a técnica passa a ser chamada de Análise Crítica de Modos de Falha e Efeitos FMECA (ver Norma IEC60812). Etapa 1.1.b - Estimativa de risco O risco é estimado para cada perigo identificado. O conceito de risco é a combinação de dois componentes: a freqüência de ocorrência de dano (dividida em categorias, por exemplo: freqüente, ocasional, raro e remoto) e gravidade deste dano (dividida em categorias, por exemplo: catastrófica, crítica, marginal e desprezível). O risco normalmente é estimado multiplicando-se os pesos referentes às categorias de freqüência da ocorrência e da gravidade do dano (17), ver Tabela 01. A Norma NBR ISO14971: 2003 estipula que é o gerente de risco quem decide quantas categorias são necessárias e como devem ser definidas. Tabela 01: Tabela de estimativa de risco (17).
Risco = peso (gravidade) x peso (frequência) FREQ ÜENC IA freqüente (peso=4) catastrófica (peso=4) G RAVIDADE crítica (peso=3) marginal (peso=2) desprezível (peso=1) 16 12 8 4 ocasional (peso=3) raro (peso=2) remoto (peso=1) 12 9 6 3 8 6 4 2 4 3 2 1 A estimativa pode ser quantitativa ou qualitativa. Na estimativa quantitativa, a freqüênc ia é calculada em função de dados estatísticos. Um parâmetro importante para esta estimativa é o Tempo Médio Entre Falhas - TMEF, tempo que o dispositivo levará em média para voltar a falhar (18). Na estimativa de risco qualitativa, a freqüência é calculada com base em dados subjetivos. Estes dados são extraídos através de relatos de profissionais com larga experiência na utilização do EEM analisado. Etapa 1.2 - Avaliação de risco Cada risco estimado deve ser sistematicamente avaliado, considerando-se a necessidade de redução do risco. Quando o risco é aceitável, não é necessário iniciar um processo de redução do risco. Nos casos em que o risco está em um patamar acima do aceitável, mas em que é possível a convivência com o mesmo devido aos benefícios associados e à inviabilidade de reduzi-lo, pode-se considerá-lo como risco tolerável. Contudo, se este risco não for compensado pelo benefício produzido pelo EEM, este é considerado inaceitável e o EEM deverá ser retirado do uso. Os riscos estimados na Tabela 01 podem ser categorizados em três regiões exemplificas na Tabela 02 mostrada na seqüência (a depender das necessidades da avaliação, os limites entre essas regiões descritas abaixo podem ser diferentes para cada tipo de EEM). Essas três regiões podem ser definidas como: região amplamente aceitável (em branco), região ALARP - tão baixo quanto razoavelmente praticável (em cinza claro) e região intolerável ou inaceitável (em cinza escuro). A primeira região engloba os riscos que estão dentro dos limites definidos como aceitáveis. Nesses casos, não haverá necessidade do controle de risco. A região ALARP é uma região de transição entre a zona
amplamente aceitável e a zona inaceitável. O risco, neste caso, é considerado tolerável. A ISO 14971:2000 recomenda que qualquer que seja o risco, é importante reduzi-lo ao nível mínimo praticável. A região inaceitável abrange os riscos inaceitáveis, ou seja, riscos que não sejam aceitos pela sociedade, que não possam ser reduzidos ou que os benefícios oferecidos pelo EEM não compensem estes riscos. Avaliaç ão de risco FREQ UENC IA catastrófica (peso=4) freqüente (peso=4) Tabela 02: Tabela de avaliação de risco (17). G RAVIDADE crítica (peso=3) marginal (peso=2) desprezível (peso=1) 16 12 8 4 ocasional (peso=3) raro (peso=2) rem oto (peso=1) 12 9 6 3 8 6 4 2 4 3 2 1 Etapa 2.0 - Controle de Risco Na fase de desenvolvimento do EEM, três modos de redução do risco são sugeridos: segurança inerente ao projeto, medidas de proteção no próprio EEM ou no processo de produção e informações para segurança. É recomendado que o EEM seja projetado para ser inerentemente seguro. Caso não seja possível, os procedimentos de proteção como barreiras ou alarmes são indicados. A última opção de procedimento de proteção é uma contra-indicação, ou um aviso escrito. Nos hospitais, os procedimentos de controle de risco são direcionados principalmente aos serviços especializados de engenharia (manutenção preventiva e corretiva, aquisição de EEM, treinamento do usuário, etc.) e infra-estrutura (instalações elétricas, hidráulicas, gases, etc.), permitindo, com isso, estabelecer as condições de segurança necessárias para a utilização dos EEM em ambientes hospitalares.
Os procedimentos de controle de risco são aplicados quando um perigo representa um risco que não seja aceitável. Deve ser feita uma análise da viabilidade técnica e econômica de tais medidas. Nas situações em que não é possível a redução deste risco para patamares aceitáveis, é recomendada uma análise de risco e benefício para determinar se o benefício do EEM para o paciente se sobrepõe ao risco que este representa. Etapa 3.0 - Análise dos Resultados Obtidos O fabricante deve estabelecer e manter um sistema de análise das informações obtidas sobre o EEM na fase de pós-venda. Estas informações devem ser avaliadas se existirem perigos que não foram reconhecidos anteriormente, se o risco estimado proveniente de um perigo não for mais aceitável e se a avaliação de risco feita pelo fabricante for invalidada. Nos hospitais, informações que possam a vir ajudar na avaliação da eficiência dos procedimentos de risco adotados são obtidas, principalmente, através de relatos de incidentes ocorridos no hospital e de relatórios das manutenções executadas pela equipe de engenharia clínica nos EEMs. Com base nessas informações, deve ser feita uma análise que revise as etapas do processo de gerenciamento de risco do EEM. Caso haja a possibilidade do risco e de sua aceitabilidade terem sido modificados, deve-se avaliar o impacto sobre as medidas de controle de risco implementadas anteriormente. Conclusão Uma extensa classe de perigos associados aos problemas que podem ocorrer com os EEMs merece um cuidado especial. Nos hospitais brasileiros, programas isolados (e.g., programas de manutenção preventiva e calibração de equipamentos eletromédicos) são executados para diminuir a ocorrência desses perigos, não havendo, contudo, um sistema de gerenciamento específico que aborde esses problemas de maneira abrangente e que englobe as diversas questões que interferem na segurança.
A aplicação do gerenciamento de risco em EEM abre uma grande perspectiva para redução dos riscos atuais de utilização destas tecnologias através de ações de controle sobre os diversos fatores de risco que favorecem a ocorrência de incidentes nos hospitais. À medida que são implementadas as etapas de gerenciamento de risco: identificação dos diversos problemas de segurança (perigos, fatores de risco, modos de falha e suas causas), a estimativa e a avaliação dos riscos relacionados a esses problemas, e a elaboração de procedimentos de controle de acordo com a avaliação feita com base na tolerância do risco torna-se possível reduzir esses riscos a níveis aceitáveis. Através do gerenciamento de risco, os recursos financeiros empregados no controle dos riscos são aplicados de forma racional, visto que as etapas deste gerenciamento possibilitam a seleção do que é necessário e prioritário na execução dos procedimentos de controle de risco. Em última instância, o gerenciamento de risco é um importante meio de prevenção de incidentes, na medida em que os riscos são mantidos dentro de níveis aceitáveis. Todavia, isto só é possível através do comprometimento de todos (fabricantes, administradores hospitalares, engenheiros clínicos, técnicos e equipe de saúde) no cumprimento dos requisitos estabelecidos pelo gerenciamento de risco, com o rigor necessário ao êxito na garantia da segurança. Referências Bibliográficas 1. ECRI. Risk Analysis Medical Technology: Defibrillator Failures. Healthcare Risk Control HRC, v.3, n.13, p.1-11, jan. 1996. 2. ANVISA. Apresenta trabalhos sobre o Projeto Hospitais Sentinelas e sobre o tema gerenciamento de risco. Disponível em: <http://www.anvisa.gov.br/tecnovigilância/ material.html>. Acesso em: 15 jan. 2004. 3. SCHMULAND, C. Creating a Value Added Risk Management Process. Biomedical Instrumentation & Technology, v. 37, n. 5, p. 367-369, Sep./Oct. 2003. 4. DOLAN, A. M. Risk Management and Medical Devices. Biomedical Instrumentation & Technology, v. 33, n. 4, p. 331-333, Jul./Aug. 1999.
5. DUNN, S. Ensuring Asset Integrity A Risk-based Approach. Plant Maintenance Resource Center, Booragoon, 2001. Disponível em: <http://www.plantmaintenance.com/rcm-intro.shtml>. Acesso em 10 jun. 2003. 6. WEAN, J. O.; SIMMONS, D. A. Hospital Safety Manual. 2nd Edition, Scientific Enterprises, Inc., 1986. 7. Florence, G.; Calil, S. J. Development of Methodology for Medical Device Risk Management. In: CD - ANAIS DO WORLD CONGRESS ON MEDICAL PHYSICS AND BIOMEDICAL ENGINEERING, Sydney, 2003. 8. Florence, G.; Calil, S. J. Adaptation of The ISO/IEC14971 to the Medical Devices Risk TH Management in Hospitals. In: CD - ANAIS DO 4 EUROPEAN SYMPOSIUM ON BIOMEDICAL ENGINEERING, Patras, 2004. 9. ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS ABNT. Produtos para Saúde Aplicação de Gerenciamento de Risco em Produtos para Saúde. Norma NBRISO14971, Rio de Janeiro, 2003. 10. ASSOCIATION FOR THE ADVANCE OF MEDICAL INSTRUMENTATION AAMI. Design of Clinical Engineering Assurance and Risk Management Programs, Arlington, 1990. 11. GULLIKSON, M. L; DAVID, Y.; BLAIR, C. A. The Role of Quantificable Risk Factors in a Medical Technology Management Program. EC / PTSM Series, n.3, p. 11-20, 1996. 12. INTERNATIONAL ELECTROTECHNICAL COMMISSION IEC. Analysis techniques for system reliability - Procedure for failure mode and effects analysis (FMEA). IEC60812, Suisse, 1985. 13. RIDGWAY, M. Analyzing Planned Maintenance (PM) Inspection Data by Failure Mode and Effect Analysis Methodology. Biomedical Instrumentation & Technology, v.37, n.03, p. 167-179, may/jun. 2003. 14. PASSEY, R. D. Foresight Begins with FMEA, Delivering Accurate Risk Assessments. Medical Device Technology, v. 10, n. 02, p. 88-92, marc. 1999. 15. GRISSINGER, M.; RICH, D. JCAHO: Meeting the Standards for Patient Safety, A Focus on Medication Safety is Required under Joint Commission Standards, and Tools are Available to Help Pharmacists Achieve the Best Possible Outcomes. The Journal of The American Pharmaceutical Association, v. 42, n. 05, sep./ oct. 2002. 16. ECRI. An Introdution to FMEA, Using Failure Mode Effects Analysis to Meet JCAHO s Proactive Risk Assessment Requirement. Health Devices, v. 31, n. 06, p.223-226, jun. 2002.
17. JONES, P. L.; JORGENS III, J.; TAYLOR, A. R.; WEBER, M. Risk Management in The Design of Medical Device Software Systems. Biomedical Instrumentation & Technology, v.36, n.4, p. 237-266, jul./aug. 2002. 18. SEIXAS, E. S. Confiabilidade e Risco na Manutenção. Associação Brasileira de Manutenção ABRAMAN, p. 1-99, mai. 2003.