Programa Piloto de Ensaios de Proficiência em Análises de Compostos Voláteis em Águas Marília Rodrigues 1, Filipe Albano 1, Élida Teixeira 2, Paulo Brabo 2 1 Rede Metrológica RS; 2 CPRM - LAMIN E-mail: 1 qualidade@redemetrologica.com.br; interlab@redemetrologica.com.br; 2 elida.posidente@cprm.gov.br; paulo.brabo@cprm.gov.br Resumo: A participação em Ensaios de Proficiência (EP) é uma das mais importantes ferramentas para garantir a qualidade dos resultados nos laboratórios de calibração, ensaios e análises clínicas. Este trabalho tem como objetivo apresentar os resultados do parâmetro Clorofórmio no EP de 2014, bem como a sua sistemática de avaliação de desempenho e uma comparação entre os coeficientes de variação dos resultados dos ensaios de 2014 e 2015. Os resultados são de um programa para análise de voláteis orgânicos em água da Rede Metrológica do Rio Grande do Sul em parceria com o Laboratório de Análises Minerais da CPRM-RJ. Palavras-chave: ensaio de proficiência; z score; clorofórmio; THM. Abstract: Participation in Proficiency Testing (PT) is one of the most important tools to ensure the quality of results in calibration laboratories, testing and clinical analysis. This paper aims to present the results of Chloroform parameter in 2014 PT, its performance evaluation method and a comparison of the coefficients of variation of the results of 2014 tests and 2015. The results are from a program for analysis of organic volatile in water of Rede Metrológica RS in partnership with the CPRM Minerals Analysis Laboratory. Keywords: proficiency testing; z score; chloroform; THM. 1. INTRODUÇÃO As atividades de Ensaio de Proficiência (EP) são uma importante ferramenta para o monitoramento contínuo do desempenho de laboratórios de calibração, de ensaio e de análises clínicas e da manutenção da confiança de todas as partes interessadas nesses processos (CGCRE, 2015). Dentro desse contexto de qualificação de laboratórios, destacam-se as exigências relacionadas à garantia da qualidade da norma ABNT NBR ISO/IEC 17025, onde está explicito que o laboratório deve monitorar seus ensaios e calibrações através de um procedimento de garantia de qualidade. Tal monitoramento pode ser realizado através de participações em EP (ABNT, 2005b). As empresas que promovem rodadas de comparação entre laboratórios são chamadas de provedores de EP. Recomenda-se que estas organizações atendam aos requisitos da ABNT 1
NBR ISO/IEC 17043, que tem como objetivo fornecer uma base consistente a todas as partes interessadas para determinar a competência de organizações provedoras de ensaios de proficiência. Atualmente a CGCRE realiza a acreditação de provedores de EP (CGCRE, 2011). A norma recomendada pela ABNT NBR ISO/IEC 17043 para análise estatística dos resultados é a ISO 13528. Um dos métodos estatísticos propostos por esta norma é embasado em um algoritmo para geração de uma média e de desvio robustos, uma vez que consiste em um processo de exclusão de valores dispersos (outliers). Destaca-se que as amostras preparadas também são analisadas por meio de testes de homogeneidade e estabilidade (ISO, 2005). Os índices mais utilizados para avaliação de desempenho são o z-score, na área de ensaios, e o erro normalizado, na área de calibração (KISETS, 2006). Na área de ensaios, o resultado do z-score deve ser menor do que 2 para o laboratório obter um resultado satisfatório. Resultados entre 2 e 3 são considerados questionáveis e resultados maiores do que 3 são insatisfatórios. De acordo com Tholen (2011), os EP são uma ferramenta essencial para operação mundial dos sistemas metrológicos, de normalização e de acreditação. O objetivo principal desse trabalho é apresentar a sistemática de execução do EP piloto realizado pela Rede Metrológica RS na área de compostos voláteis em águas. Como objetivos específicos destacam-se: (i) apresentar os resultados do parâmetro Clorofórmio no EP do ano de 2014, (ii) apresentar a sistemática de avaliação de desempenho utilizada e (iii) comparar os coeficientes de variação dos programas de 2014 e 2015. 2. MÉTODO Este trabalho apresenta uma pesquisa aplicada de cunho exploratório, de caráter quantitativo tendo como procedimento metodológico um estudo de caso. O método de trabalho está dividido em quatro macro etapas: planejamento do programa piloto, preparação e envio de amostras, tratamento estatístico dos dados e avaliação de desempenho e discussão de resultados. 3. RESULTADOS Os resultados apresentados nesta seção referemse ao EP piloto (realizado pela primeira vez pelo provedor) de Compostos Voláteis em Águas da Rede Metrológica RS, do ano de 2014, com enfoque nos resultados dos ensaios de Trihalometanos (THM). A demanda neste programa foi identificada durante uma Oficina Analítica da Rede Metrológica em outro EP em águas, onde os possíveis participantes manifestaram intenção em se inscrever em um EP para THM. O planejamento do EP incluiu o parâmetro Clorofórmio, este será destacado no artigo. A rodada piloto foi organizada em 2014 contanto com 12 laboratórios participantes de diferentes estados. As amostras foram preparadas na sede do laboratório LAMIN da CPRM no Rio de Janeiro, que é um laboratório acreditado pela CGCRE. Esta entidade é subcontratada pela Rede Metrológica RS para este processo. O lote preparado contou com 56 amostras para os participantes, 08 amostras reservas, 20 amostras para os testes de homogeneidade e 06 amostras de estabilidade. Após a preparação em um recipiente próprio desenvolvido para este programa, as amostras foram enviadas para todos os participantes em caixas de isopor com gelos recicláveis. Após a realização dos ensaios propostos, os laboratórios encaminharam todos os resultados das amostras analisadas via software on-line da Rede Metrológica RS. O prazo para a realização dos ensaios foi de 14 dias. Os resultados recebidos foram tratados estatisticamente de 2
acordo com os requisitos do Anexo B e C da norma ISO 13528. A Tabela 1 apresenta os resultados para Clorofórmio das participantes na rodada de comparação. Os resultados em negrito da Tabela 1 identificam laboratórios com problema na precisão (relacionada com a repetibilidade), uma vez que obtiveram um z score interno (que avalia a variação entre as repetições realizadas pelo laboratório) maiores que 2. O z interno é calculado pela diferença da Amplitude padronizada das vias do laboratório participante (D) e a Mediana das amplitudes padronizadas dos laboratórios participantes (Mediana(D)), dividindo este pelo valor da amplitude interquartílica normalizada das amplitudes padronizadas dos laboratórios participantes (IQR). Parâmetro Estatístico Calculado Média robusta (x**) Valores obtidos 77,40 Unidade de medida ug/l Desvio robusto (s**) 15,09 ug/l Nº de resultados enviados (com método analítico 10 - Incerteza Padrão 5,96 ug/l Incerteza Expandida (k=2,00) 11,93 ug/l Mediana das amplitudes padronizadas (D) 3,04 ug/l IQR normalizada das amplitudes padronizadas Coeficiente de Variação do grupo (CV) 1,90 19,49 ug/l % Além disso, a Tabela 2 apresenta o valor da média robusta, do desvio robusto e os valores da mediana das amplitudes padronizadas e do IQR. A Figura 1 refere-se aos resultados do z score para a média das três vias analisadas de cada participante. As linhas contínuas representam o limite do valor de Z > 3 (insatisfatórios). As linhas pontilhadas Z 2 (sendo Z 2 satisfatório; 2 < Z <3 questionável). Tabela 1. Resultados da avaliação de desempenho para Clorofórmio Código do Laboratório 1ª via 2ª via 3ª via Média Amplitude das 3 vias Padronizada Z Score interno - Precisão Z Score da Média - Exatidão VOLAT_1 72,997 72,332 74,040 73,12 1,208-0,963-0,284 VOLAT_2 74,90 88,20 100,60 87,90 18,173 7,971 0,696 VOLAT_3 71,53 59,66 62,63 64,61 8,393 2,821-0,848 VOLAT_5 66,57 64,25 66,84 65,89 1,831-0,635-0,763 VOLAT_6 78,86 80,44 83,31 80,87 3,147 0,058 0,230 VOLAT_7 95,30 94,15 88,43 92,63 4,858 0,959 1,009 VOLAT_8 86,27 90,41 89,31 88,66 2,927-0,058 0,747 VOLAT_10 61,17 59,23 63,05 61,15 2,701-0,177-1,077 VOLAT_11 62,89 65,14 62,20 63,41 2,079-0,505-0,927 VOLAT_12 95,19 99,32 92,80 95,77 4,610 0,829 1,218 A Tabela 2 apresenta o resumo dos resultados do algoritmo aplicado. Percebe-se que o Coeficiente de Variação (CV) do grupo teve resultado adequado (19,49%) demonstrando uniformidade entre os resultados. Para gerar os parâmetros estatísticos foram considerados somente resultados de laboratórios que utilizaram métodos que foram definidos como equivalentes (GC-MS por headspace e P&T-CG). Figura 1. Resultado do z score dos laboratórios A Figura 2 representa o gráfico do z score interno para as repetições entre as vias analisadas de cada participante. As linhas contínuas representam o valor de Z < 3. As linhas pontilhadas Z 2 (sendo: Z 2 - satisfatório; 2 < Z < 3 - questionável; Z 3 - insatisfatório). Tabela 2. Resumo dos dados estatísticos Figura 2. Resultado do z score interno dos laboratórios 3
Valores insatisfatórios e/ou questionáveis devem ser analisados pelo laboratório. Tais dados podem assinalar necessidades de melhorias nos métodos dos ensaios, por exemplo. Foram avaliadas 20 amostras (10 amostras em duplicata) do lote preparado nos testes de homogeneidade e estabilidade. O critério para homogeneidade das amostras é o desvio padrão entre as amostras do teste de homogeneidade (S s ) ser menor ou igual a 0,3 vezes o desvio padrão estimado no EP. As amostras foram consideradas homogêneas. Para o teste de estabilidade, o critério é a diferença (em módulo) da média da homogeneidade e da média da estabilidade ser menor ou igual a 0,3 vezes o desvio robusto. O critério do teste de estabilidade foi atendido de forma satisfatória. Após a realização do programa piloto foi efetuada uma análise crítica pelo provedor com o objetivo de verificar a oportunidade e demanda de realizar o EP novamente. Neste contexto a Rede Metrológica RS realizou uma nova rodada em 2015 incluindo os ensaios de THM s e outros voláteis, abrindo a possibilidade de um até três equipamentos entrarem por laboratório participante. A Tabela 3 demonstra a redução dos coeficientes de variação dos THM. Tabela 3. Coeficiente de variação dos THM s 2014 X 2015 Parâmetro CV do grupo % (2014) Comentário (2015) Clorofórmio 19,49% 17,67% ( ) Bromofórmio 23,04% 18,45% ( ) Bromodiclorometano 32,84% 19,55% ( ) Dibromoclorometano 23,21% 18,75% ( ) A redução dos CV destes parâmetros demonstrou para o provedor uma melhor uniformidade dos resultados dos laboratórios e também evidenciou uma melhoria em seu processo de produção e preparação das amostras. 4. CONSIDERAÇÕES FINAIS Cada vez mais as exigências de participação em EP aumentam, impulsionadas por políticas de organismos como ILAC. Esta lógica se justifica, pois a comparação permite identificar erros que muitas vezes não são detectados no ambiente interno do laboratório. O objetivo principal deste trabalho era apresentar a sistemática de execução dos EP realizados pela Rede Metrológica RS na área de voláteis, sendo apresentado através do estudo de caso dos compostos voláteis em água avaliados no EP Piloto de 2014. Como trabalhos futuros, sugere-se uma discussão sobre a escolha de técnicas e/ou métodos sugeridos e equivalente de um EP e sobre critérios para seleção de parâmetros para serem utilizados em testes de homogeneidade e estabilidade em EP. 5. REFERÊNCIAS ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR ISO/IEC 17025. Requisitos gerais para competência de laboratórios de ensaio e calibração. Rio de Janeiro, 2005. ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR ISO/IEC 17043. Avaliação de conformidade Requisitos gerais para ensaios de proficiência. Rio de Janeiro, 2011. ASSOCIAÇÃO REDE DE METROLOGIA E ENSAIOS DO RIO GRANDE DO SUL (RMRS). Relatório de Programa Piloto de EP em Voláteis em Águas. MOD1. Revisão 11. Porto Alegre, 2014. COORDENAÇÃO GERAL DE ACREDITAÇÃO (CGCRE). NIT DICLA 26 - Requisitos para a participação de laboratórios em ensaios de proficiência. Revisão 9. 2015 HOWERTON, D; KROLAK, J; MANASTERKI, A; HANDSFIELD, J. Proficiency Testing Performance in US Laboratories. In: Arch Pathol Lab Med Journal Vol 134, May 2010. INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO/DIS 13528:2005 (2005) Statistical methods for use in proficiency testing by interlaboratory comparisons. International Organization for Standardization, Geneva. KISETS, D. Performance indication improvement for a proficiency testing. Accreditation Quality Assurance Journal. Vol. 10. 461-465p. 2006. 4
THOLEN, D. Metrology in service of society: the role of proficiency testing. Accreditation and Quality Assurance Journal. 1-9 p. 2011. 5