ANALISE DE RESULTADOS PROGRAMA PILOTO DE COMPARAÇÃO INTERLABORATORIAL EM ENSAIOS DE CROMATOGRAFIA IÔNICA

Transcrição

1 ENQUALAB-2008 Congresso da Qualidade em Metrologia Rede Metrológica do Estado de São Paulo - REMESP 9 a 12 de junho de 2008, São Paulo, Brasil ANALISE DE RESULTADOS PROGRAMA PILOTO DE COMPARAÇÃO INTERLABORATORIAL EM ENSAIOS DE CROMATOGRAFIA IÔNICA Marília Rodrigues 1,Filipe Albano 2, Thais Rodrigues 3 1 Rede Metrológica RS, Porto Alegre, Brasil, interlab@redemetrologica.com.br 2 Rede Metrológica RS, Porto Alegre, Brasil, qualidade@redemetrologica.com.br 3 Rede Metrológica RS, Porto Alegre, Brasil, qualidade@redemetrologica.com.br Resumo: Os programas de comparação interlaboratorial são ferramentas fundamentais para manutenção da qualidade em laboratórios de calibração e ensaios. Através da ISO GUIA 43 é realizada a sistemática de planejamento e desenvolvimento dos programas. Para a avaliação de desempenho dos laboratórios participantes é a NATA (2004) que apresenta a análise estatística de resultados dos laboratórios nos programas promovidos pela Rede Metrológica RS. Este artigo apresenta o desenvolvimento de um programa piloto de comparação interlaboratorial em Cromatografia Iônica, com base nas normativas citadas anteriormente, demonstrando a importância desta atividade para garantir qualidade analítica dos ensaios e fornecer confiabilidade aos participantes. Palavras chave: programa de comparação interlaboratorial, garantia da qualidade e laboratórios. 1. INTRODUÇÃO Os laboratórios de ensaios e calibração necessitam de controles de qualidade que possam garantir uma confiabilidade nos resultados das medições que são executadas. Existem diversos fatores que podem causar variabilidade nos resultados de ensaios, estes podem ter seus efeitos eliminados ou minimizados através de programas de comparações interlaboratoriais com o objetivo de obter medidas confiáveis. Os programas de comparação interlaboratorial são ferramentas importantes para a garantia da qualidade de ensaios e calibrações [1]. Os objetivos destes programas são: determinar o desempenho individual de laboratórios para os ensaios propostos, monitorar continuamente a qualidade, propiciar subsídios aos laboratórios para a identificação e solução de problemas, identificar diferenças interlaboratoriais e fornecer confiança adicional aos clientes dos laboratórios [2]. Ressalta-se que a participação em comparações interlaboratoriais é importante, principalmente, quando outras ferramentas de controle de qualidade e até mesmo a própria cadeia de rastreabilidade não estão disponíveis [1]. A Rede Metrológica RS (RMRS) é uma associação técnica que promove programas de comparação interlaboratorial na área de calibração e ensaios. A Rede está cadastrada na EPTIS (European Proficiency Testing Information System). Neste cadastro disponível no site da entidade, percebe-se que esta associação é a maior provedora de programas de comparação interlaboratorial da América Latina. A base de dados da EPTIS tem o objetivo de estender seus serviços ao mundo todo e ainda fornecer informações adicionais sobre as comparações interlaboratoriais [3]. Os programas promovidos pela RMRS abrangem diversas áreas da metrologia, tais como: produtos petroquímicos, ecotoxicologia, microbiologia, físico-química (análises ambientais), óleo diesel, carvão, cromatografia iônica, detergente, água sanitária, análises toxicologicas, medicamentos, névoa salina, dureza em metais, temperatura, balança, eletricidade, pressão, dimensional, vinhos e cachaça. Todos estes programas de comparação interlaboratorial são executados de uma maneira padronizada que segue normativas internacionais como o ISO GUIA 43, NATA 2004 ou ISO O presente artigo tem como objetivo apresentar a metodologia de execução de um programa interlaboratorial. Na secção 3 serão apresentados os resultados de um dos ensaios avaliados no programa piloto de ensaios de cromatografia iônica, onde foi aplicada o método de cálculo de desempenho dos laboratórios em relação à qualidade de suas medidas. 2. MÉTODO O planejamento e o desenvolvimento de programas de comparação interlaboratorial estão embasados na ABNT (1999) e na NATA (2004). Este guia fornece as orientações para execução deste tipo de atividade. A execução de um programa interlaboratorial consiste em 4 macro etapas: planejamento do programa, realização e preparação de amostras, execução dos ensaios e avaliação de desempenho dos laboratórios. Estas etapas estão descritas abaixo: 2.1. Planejamento do programa Os programas interlaboratoriais são desenvolvidos a partir de uma demanda (solicitação de clientes ou pesquisa de mercado). A partir deste momento é formada uma equipe técnica com profissionais ligados à área da qualidade e à área de atuação do programa interlaboratorial. Esta equipe elabora um plano para o programa em questão. Nesta etapa

2 são reunidas informações tais como: a viabilidade de realização do determinado programa, os parâmetros que deverão ser analisados, as unidades de medida, o local da preparação, os reagentes que serão utilizados na preparação, a necessidade de materiais que deverão ser adquiridos, a coordenação do programa e as parcerias com outras empresas. No planejamento são demarcados os passos iniciais para formação de um programa interlaboratorial, sendo realizado um plano de ação que é enviado aos possíveis interessados. Neste plano de ação consta: a coordenação do programa, os reconhecimentos que a RMRS possui, o número mínimo de laboratórios participantes, os itens de ensaio, a preparação e o envio destes itens, a escolha do método de ensaio, o registro e envio dos resultados, a análise estatística dos resultados, avaliação do desempenho, relatórios do programa, como se inscrever, os custos e o cronograma de atividades Preparação de amostras Esta etapa consiste na preparação dos itens que serão ensaiados pelos laboratórios participantes no programa interlaboratorial. Esta fase é aplicável aos programas de ensaios e seu objetivo é preparar uma amostra suficientemente homogênea e estável que possa ser avaliada por todos os laboratórios, de modo que as diferenças detectadas sejam, efetivamente, dos processos internos dos participantes e não das amostras. Depois de homogeneizadas as amostras são distribuídas em frascos etiquetados, que serão enviados, posteriormente, aos laboratórios. Além disso, são realizados testes de estabilidade para verificar se as amostras se mantêm no período proposto de realização do ensaio. As diferenças entre as amostras são avaliadas através da Análise de Variância (ANOVA) e a avaliação da estabilidade é executada através do Teste-T Execução dos ensaios Os laboratórios participantes do programa recebem as amostras simultaneamente. Os mesmos possuem um prazo para executar os ensaios propostos e enviar os resultados para a Rede Metrológica RS. Destaca-se que cada laboratório é identificado por um código numérico, para manter a confidencialidade dos seus resultados e poder se comparar com seus concorrentes. Depois de executar os ensaios os laboratórios devem registrar os resultados em uma ficha padronizada e enviá-los ao provedor da comparação interlaboratorial, que irá avaliar o desempenho dos participantes. Na secção 2.4 está detalhado o método de avaliação de desempenho dos laboratórios Avaliação de desempenho Para avaliar o desempenho dos laboratórios utiliza-se a estatística robusta, baseando-se no documento da NATA (2004). Ao contrário da estatística clássica, a robusta sofre pouca influência de valores dispersos (outliers), o que dispensa a utilização de procedimentos para a identificação e remoção desses valores [4]. A seguir estão descritos alguns conceitos que serão utilizados na avaliação de desempenho Estimativa do Valor Real O desempenho de cada laboratório participante do PCI é avaliado a partir da análise estatística dos resultados enviados, sendo definida a estimativa do valor real (valor designado) através de consenso. A estimativa do valor real é obtida através da mediana das vias individuais de cada laboratório participante, para cada um dos parâmetros em análise Amplitude Interquartílica Normalizada Para uma medida de dispersão equivalente ao desvio padrão da estatística clássica, utilizou-se o conceito de Amplitude Interquartílica Normalizada (IQN). Ela pode ser obtida através da subtração entre o valor do 3º quartil do conjunto de dados e o valor do 1º quartil, e multiplicando esta diferença por 0, Coeficiente de Variação Para o cálculo do coeficiente de variação (CV), foi utilizado o conceito da estatística robusta. O cálculo é dado pela fórmula: IQN CV = *100% (1) mediana(x) Cálculo do Escore Z Para avaliação do desempenho dos laboratórios utiliza-se o Escore Z. O desempenho de cada laboratório é avaliado com relação à média aritmética de suas três vias, em cada parâmetro. Para a média das vias dos resultados obtidos pelos laboratórios participantes foi calculado o respectivo Escore-Z, sendo: Z Onde: xi mediana( x) IQN = (2) xi é a média aritmética das três vias obtidas pelo laboratório i; mediana(x) é o valor da mediana do conjunto das médias dos participantes; IQN é a Amplitude Interquartílica Normalizada, medida equivalente ao desvio padrão da estatística clássica, para as médias dos resultados dos laboratórios. Os desempenhos dos laboratórios são classificados como satisfatório, questionável ou insatisfatório em cada um dos parâmetros em análise, conforme o valor do Escore Z: Se: Z 2 - Resultado Satisfatório 2 < Z < 3 - Resultado Questionável Z 3 - Resultado Insatisfatório Posteriormente são elaborados gráficos dos Escores Z referentes às médias dos resultados das três repetições de cada laboratório. Destaca-se que o escore Z corresponde ao

3 número de desvios padrão (neste caso a IQN) que cada laboratório encontra-se distante da estimativa do valor real (neste caso a mediana). 3. RESULTADOS Os resultados descritos neste artigo correspondem ao programa piloto de ensaios de proficiência em cromatografia iônica realizado em A seguir serão evidenciadas as 4 macro etapas de execução do programa. 3.1 Planejamento do Programa O programa piloto de ensaios de proficiência em cromatografia iônica surgiu da demanda de um fornecedor de equipamentos de laboratórios em busca de controle de qualidade. Com o objetivo de fornecer confiabilidade analítica de seus resultados aos seus clientes, muitos participantes que compraram estes equipamentos inscreveram-se no programa. A Rede Metrológica RS, que foi a provedora deste ensaio de proficiência, trabalhou com uma equipe técnica em estudos para viabilizar a execução do programa, definido os ensaios e as amostras que seriam analisadas. Posteriormente foi elaborado um plano de ação onde foram definidas todas as informações relacionadas ao programa, tais como: detalhes da preparação das amostras, escolha da matriz para o ensaio (água sintética), definição dos parâmetros de análise (cloreto, fluoreto, nitrito, nitrato, sulfato e fosfato), cronograma, custos, entre outros. Este plano foi lançado via e site para todos os possíveis participantes. Participaram deste programa, além dos laboratórios que compraram os equipamentos com o fornecedor, outros que possuem acreditação junto ao Inmetro, ou reconhecimento à RMRS, que utilizam a técnica da cromatografia iônica. O requisito 5.9 da norma ISO/IEC 17025:2005 descreve que o laboratório deve ter procedimentos de controle da qualidade para monitorar a validade dos ensaios e calibrações realizados, neste sentido utilizar os programas de comparações interlaboratoriais são uma forma de atingir este item, servindo estes como ferramenta de auxílio no processo de reconhecimento de competência, possibilitando melhorias internas nas rotinas executadas por laboratórios. 3.2 Preparação de amostras e execução dos ensaios A preparação de amostras do programa piloto de ensaios de proficiência em cromatografia iônica foi realizada em um laboratório parceiro e com reconhecimento de competência pela ISO 17025:2005 pela Rede Metrológica RS. Nesta preparação foi tomado todo o cuidado com o processo de homogeneização. Os analítos foram vendidos por empresas conhecidas no mercado e com rastreabilidade. Sendo assim, os analítos foram misturados com determinada quantidade da água sintética em um barrilhete, sendo depois homogeneizados. Foram calculadas as quantidades aproximadas dos analítos selecionados, pelo grupo técnico. Foi medido o ph em cima do barrilhete e abaixo, para verificar se estes estão iguais, sendo esta uma forma de garantir a homogeneidade da amostra. Após esta etapa, as amostras foram envazadas e identificadas com etiquetas padronizadas pela RMRS. As amostras foram aleatoriamente colocadas em caixas térmicas e enviadas aos laboratórios participantes via transportadoras subcontratadas. A Rede Metrológica RS executou uma análise estatística com relação à homogeneidade das amostras do programa, visando verificar se a variabilidade proveniente da eventual falta de homogeneidade não fosse significante perante a variabilidade total dos ensaios. Para estas amostras, a Rede Metrológica designou um laboratório reconhecido, de acordo com a ISO/IEC 17025:2005, para a realização dos ensaios em questão. Para verificar a homogeneidade das amostras foi realizado o ensaio de condutividade, este parâmetro foi testado com a ANOVA. O resultado do teste encontra-se na tabela 1. Tabela 1: Resultados dos testes de homogeneidade Teste de Homogeneidade - ANOVA Amostra (médias das três vias) Parâmetro Data da Análise F crítico(5%) F obtido(anova) Condutividade 8/11/ ,3 43,2 43,2 43,1 43,1 3,478 1,833 Para avaliar a homogeneidade também foi realizada uma comparação entre o coeficiente de variação (CV) do parâmetro condutividade e o CV máximo previsto na referência Standard Methods 21th, que é de 1%. O CV entre as amostras (0,19%) foi inferior ao do Standard Methods 21th (1%). Além disso, o teste estatístico da ANOVA foi realizado, confirmando a homogeneidade das amostras, pois o F obtido foi menor do que o F crítico. A estabilidade neste programa não foi analisada, pois foi solicitado aos laboratórios que realizassem os ensaios imediatamente, após recebimento. 3.3 Avaliação de desempenho Nesta secção apresentam-se os resultados da avaliação de desempenho dos participantes no parâmetro determinação de cloreto. Na tabela 02 encontram-se os resultados dos laboratórios participantes e o seu respectivo escore Z e Coeficiente de Variação (CV). Código do Laboratório Tabela 2: Resultados do parâmetro cloreto 1ª via 2ª via 3ª via Média das vias CV da média Escore Z da média Cro 01 4,72 4,75 4,82 4,76 1,08% 0,5 Cro 02 4,47 4,47 4,47 4,47 0,00% -0,8 Cro 03 4,272 4,478 5,535 4,762 14,23% 0,5 Cro 04 3,81 3,80 3,83 3,81 0,40% -3,6 Cro 05 4,61 4,59 4,57 4,59 0,44% -0,3 Cro 06 4,481 4,459 4,472 4,471 0,25% -0,8 Cro 07 4,56 4,56 4,55 4,56 0,13% -0,4 Cro 08 4,85 4,83 4,83 4,84 0,24% 0,8 Cro 09 4,63 4,64 4,64 4,64 0,12% -0,1 Cro 10 4,702 4,707 4,714 4,708 0,13% 0,2 Cro 11 4,47 4,49 4,46 4,47 0,34% -0,8 Cro 12 3,754 3,756 3,767 3,759 0,19% -3,9 Cro 13 5,11 5,06 5,07 5,08 0,52% 1,8 Cro 14 4,51 4,55 4,57 4,54 0,67% -0,5 Cro Cro 16 4,61 4,59 4,61 4,60 0,25% -0,2 Cro 17 5,6 5,6 5,6 5,60 0,00% 4,1 Cro 18 4,597 4,750 4,958 4,768 3,80% 0,5 Cro 19 4,42 4,43 4,46 4,44 0,47% -0,9 Cro Cro 21 4,67 4,68 4,67 4,67 0,12% 0,1 Cro 22 5,280 5,179 5,278 5,246 1,10% 2,5 Cro 23 5,74 5,74 5,78 5,75 0,40% 4,7 Cro 24 4,06 4,09 4,05 4,07 0,51% -2,5 Cro 25 4,74 4,74 4,74 4,74 0,00% 0,4 Cro 26 4,90 4,88 4,90 4,89 0,24% 1,0

4 O valor-alvo nestas análises é o valor da mediana dos dados do grupo de laboratórios, sendo o valor de 4,66 mg de Cl - /L, representado na tabela 03. Percebe-se que o grupo apresentou um desempenho uniforme nas análises deste parâmetro, possuindo um CV de apenas 4,98%, conforme indica a tabela 03. Tabela 03: Resultados da estatística calculada Mediana dos dados (valor de referência mg de Cl- /L) 1º Quartil do conjunto de dados (mg de Cl- /L) 3º Quartil do conjunto de dados (mg de Cl- /L) Amplitude Interquartílica (IQ mg de Cl- /L) Amplitude Interquartílica Normalizada (IQN mg de Cl- /L) Coeficiente de Variação (CV) Parâmetro Estatístico Calculado 4,66 4,47 4,79 0,31 0,23 4,98% A Figura 1 apresenta uma zona de aceitação de resultados, onde os laboratórios obtiveram um desempenho satisfatório. Neste momento, pode-se realizar uma comparação direta entre o desempenho dos participantes. Observou-se que 75% dos laboratórios tiveram um desempenho positivo, possuindo resultados de escore z menores do que 2 (em módulo). Seis laboratórios, representando 25%, apresentaram resultados questionáveis e insatisfatórios. Estas organizações devem rever seus processos e identificar a causa raiz do problema em suas análises, buscando corrigílo para, futuramente, obter um resultado satisfatório. Ressalta-se que este é um dos ganhos da participação em programas interlaboratoriais, onde é possível identificar erros que, muitas vezes, não ficam evidentes na rotina das análises de um laboratório. O enquadramento dos resultados dos laboratórios dentro das categorias questionável e insatisfatório foi obtido através do escore Z. Este valor corresponde ao número de desvios padrão (neste caso a IQN) calculados entre os resultados fornecidos pelos laboratórios e o correspondente valor real, obtido através da mediana do conjunto de dados [5]. Vale lembrar que a IQN, que mede a dispersão dos resultados, tem papel fundamental na determinação das regiões de resultados satisfatórios. Neste sentido, quanto menor o valor da IQN, menor será a faixa de resultados satisfatórios. Desta forma, cada laboratório deve avaliar seus resultados observando com atenção os valores de desvios padrão e coeficientes de variação determinados para cada análise, e, assim, determinar se os resultados alcançados são satisfatórios para seus objetivos ou se necessitam de revisão dos procedimentos, equipamentos, pessoal, materiais utilizados, etc. O desempenho do laboratório 23 foi considerado insatisfatório, pois seu escore z, em módulo, foi maior do que 3. Já o laboratório 22 apresentou resultado questionável devido ao valor do seu escore z, que foi superior a 2. Na figura 1 encontra-se o gráfico do escore Z para a avaliação do parâmetro cloreto. As linhas contínuas representam o valor de Z < 3, lembrando que Z 2 é considerado satisfatório, 2 < Z < 3 é classificado como questionável e Z 3 é insatisfatório. 4. CONCLUSÃO O enquadramento dos resultados dos laboratórios dentro das categorias questionável e insatisfatório foi obtido através do escore Z. Este valor corresponde ao número de desvios padrão (neste caso IQN) calculados entre os resultados fornecidos pelos laboratórios e o correspondente valor real, obtido através da mediana do conjunto de dados. O desvio padrão que mede a dispersão dos resultados tem papel fundamental na determinação das regiões de resultados satisfatórios. Neste sentido, quanto menor o valor do desvio padrão, menor será a faixa de resultados satisfatórios. Desta forma, cada laboratório deve avaliar seus resultados observando com atenção os valores de desvios padrão e coeficientes de variação determinados para cada análise, e, assim, determinar se os resultados alcançados são satisfatórios para seus objetivos ou se necessitam de revisão dos procedimentos ou materiais utilizados. Tecnicamente, os resultados acima do valor de referência obtida para Cloreto podem ser indícios de contaminações ambientais, usualmente atestados a partir de testes em branco. Sugere-se a troca de colunas de guarda e a aquisição de padrões rastreáveis de um novo fornecedor. Para os valores de cloreto abaixo do valor de referência, sugere-se que seja verificada se foi adotado o procedimento de descontar o valor do branco. Valores elevados de branco subtraídos dos resultados das amostras podem causar estes desvios Escore Z da Média - Determinação de Cloreto (mg de Cl- /L) AGRADECIMENTOS Agradecimentos a todo a equipe técnica da Rede Metrológica RS e Comitê de Meio Ambiente pela realização de mais um programa de proficiência com sucesso. Z Escore REFERÊNCIAS -3-4 Cro Cro Cro Cro [1] Associação Brasileira de Normas Técnicas (ABNT). NBR ISO/IEC 17025:2005: Requisitos gerais para a competência de laboratórios de ensiaos e calibração. Rio de Janeiro, Código dos Laboratórios Figura 1 Gráfico de desempenho dos laboratórios participantes. [2] Associação Brasileira de Normas Técnicas (ABNT). ABNT ISO/IEC GUIA 43-1: Ensaios de Proficiência por comparações interlaboratoriais. Parte 1: Desenvolvimento e operação de programas de ensaios de proficiência. Rio de Janeiro, 1999 (a).

5 [3] Pizzolato, M. Tese de Doutorado em Engenharia de Produção. Mapeamento da estrutura global que fornece confiança às medições: análise da inserção brasileira. Escola de Engenharia, Programa de Pós Graduação em Engenharia de Produção, Universidade Federal do Rio Grande do Sul, [4] National Association os Testing Authorities (NATA). Guide to NATA Proficiency Testing. Austrália. Fev [5] Associação Brasileira de Normas Técnicas (ABNT). ABNT ISO/IEC GUIA 43-2: Ensaios de Proficiência por comparações interlaboratoriais. Parte 2: Seleção e uso de programas de ensiaos de proficiência por organismos de credenciamento de laboratórios. Rio de Janeiro, 1999 (b).