SEÇÃO DE BIOESTATÍSTICA ANÁLISE DE CONCORDÂNCIA ENTRE MÉTODOS DE BLAND-ALTMAN BLAND-ALTMAN ANALYSIS OF AGREEMENT BETWEEN METHODS

Transcrição

1 SEÇÃO DE BIOESTATÍSTICA ANÁLISE DE CONCORDÂNCIA ENTRE MÉTODOS DE BLAND-ALTMAN BLAND-ALTMAN ANALYSIS OF AGREEMENT BETWEEN METHODS Vânia Naomi Hirakata 1, Suzi Alves Camey 2 RESUMO Quano se pretene avaliar a concorância entre ois métoos que everiam meir a mesma quantiae, são utilizaas análises que nem sempre estão corretas. É importante que seja evitao o uso a correlação nestas situações e que a metoologia seja utilizaa e forma aequaa, incluino os limites e concorância e seus intervalos e confiança, além e comentar se os limites encontraos são iferenças aceitáveis o ponto e vista clínico. A proposta o presente artigo é apresentar um métoo bastante simples que já é utilizao há bastante tempo, que é a análise e concorância entre métoos e Blan-Altman, salientano alguns problemas etectaos na sua utilização. Para isto, foi feita uma simulação e três iferentes situações, com comentários e soluções. O programa R, por ser livre e ter incorporao comanos para a análise e Blan-Altman, foi utilizao para a análise os resultaos. Palavras-chave: Blan-Altman; metoologia; concorância ABSTRACT When the intention is to evaluate the agreement between two methos that woul measure the same quantity, the analyses use are not always correct. It is important to avoi the use of correlation in these situations an to properly use the metho ology, incluing the analysis of limits of agreement an confience intervals, an to comment on whether the limits are acceptable ifferences from a clinical point of view. The purpose of this paper is to present a simple metho which has been alreay in use for some time, the Blan-Altman analysis of agreement between methos, pointing out some problems encountere with its use. For this, a simulation of three ifferent situations was performe, with comments an solutions. The R program was use to analyze the results, because it s free an has available commans of the Blan-Altman analysis. Keywors: Blan-Altman; methoology; agreement Rev HCPA 2009;29(3): Um tipo e problema bastante comum que motiva pesquisas na área bioméica é o estuo e iferentes formas e avaliar alguma meia clínica que se apresenta e forma quantitativa, como por exemplo, a pressão arterial, a taxa e filtração glomerular ou a iae gestacional. O que se busca são métoos menos invasivos, com menos efeitos aversos, mais simples ou mais baratos o que os consieraos "ieais". O objetivo é escobrir se as uas meias são equivalentes e se uma poeria substituir a outra, ou seja, se existe ou não concorância. O problema é que não existe um único teste estatístico que avalie a variabiliae as iferenças entre os valores obtios pelos ois métoos (erro) e a própria iferença entre os valores (viés) ao mesmo tempo (1). Os ois métoos everiam apresentar um viés aproximaamente igual a zero e um erro que não tivesse um impacto clínico significativo para que fossem substituíveis. Blan e Altman (1) publicaram em 1983 o primeiro artigo com uma metoologia alternativa ao cálculo o coeficiente e correlação, metoologia empregaa até então. O coeficiente e correlação não avalia concorância e sim associação, coisas bem iferentes. Por exemplo, se um aparelho fornecesse os valores 80, 95, 96 e 100 mmhg para as meias e pressão arterial sistólica e quatro inivíuos e outro aparelho fornecesse (para os mesmos inivíuos) 90, 105, 106 e 110 mmhg, respectivamente, a correlação seria igual a 1 (r=1, perfeita!), enquanto a iscorância entre os valores é óbvia. A metoologia proposta inicialmente por Blan e Altman para avaliar a concorância entre uas variáveis (X e Y) parte e uma visualização gráfica a partir e um gráfico e ispersão entre a iferença as uas variáveis (X - Y) e a méia as uas (X + Y)/2. Neste gráfico é possível visualizar o viés (o quanto as iferenças se afastam o valor zero), o erro (a ispersão os pontos as iferenças ao reor a méia), além e outliers e tenências. Logo em seguia, por sugestão e colegas a área clínica, escreveram um artigo em uma linguagem mais apropriaa para leitores não estatísticos (2). Em 1995, por perceberem que, mesmo após uma publicação voltaa ao público e interesse (clínicos), em uma revista vista por eles e utilizano uma linguagem simples, o coeficiente e correlação continuava a ser utilizao, e apesar e terem alcançao um bom impacto, tentaram uma a- boragem em uma revista voltaa a epiemiologistas (3). Finalmente, em 1999, publicaram o mais completo e longo artigo explicano etalhaamente o métoo, enfatizano que a repetibiliae e caa meia também eve ser avaliaa e etalhano uma forma e cálculo os limites e concorância quano existirem replicações e caa métoo (4). Atualmente, o métoo encontra-se bem ivulgao, exemplo isso 1. Uniae e Bioestatística, Grupo e Pesquisa e Pós-Grauação, Hospital e Clínicas e Porto Alegre. 2. Departamento e Estatística, Instituto e Matemática, Programa e Pós-Grauação em Epiemiologia, UFRGS. Contato: Vânia Hirakata. vania.hirakata@gmail.com (Porto Alegre, RS, Brasil).

2 Hirakata VN, Camey AS é que numa busca simples no Pubme com o termo "Blan-Altman" no título, foram encontraos 10 artigos em 2008 e 2009, em revistas e iversas áreas. Além isso, a metoologia já encontra-se implementaa em iversos pacotes estatísticos. No R, um software livre específico e análise estatística, existem rotinas prontas esenvolvias por usuários que fornecem os valores e o gráfico com os limites e concorância. No Mecalc e Analyse-it, softwares comerciais, também são possíveis a visualização gráfica com o viés e os intervalos e concorância com apenas um comano. A proposta o presente artigo é mostrar a utilização o métoo num exemplo aplicao, simulano três iferentes situações, bem como apresentar formas e se realizar estas análises no pacote R. MÉTODOS Inicialmente, a sugestão é que se faça um gráfico e ispersão entre as uas meias, sem a reta os mínimos quaraos, mas sim com a reta a iagonal e concorância. O próximo passo seria fazer o gráfico e Blan-Altman, um gráfico e ispersão relacionano as méias os ois métoos (X + Y)/2, no eixo o X, com o viés (iferença entre eles), X Y, no eixo o Y. Este gráfico permite avaliar a relação as iscorâncias com as meias avaliaas. Deve ser avaliao se as iferenças entre as variáveis epenem ou não o tamanho a meia. Isto poe ser feito através e uma correlação entre as iferenças e as méias, que eve ser nula. A hipótese o viés ser ou não igual a zero poe ser testaa por um teste t para amostras emparelhaas. A partir o cálculo o viés ( ) e o seu esvio-parão (s ) é possível chegar aos limites e concorância: ± 1,96s, que evem ser calculaos e incluíos no gráfico. Se o viés apresenta istribuição normal, estes limites representam a região em que se encontram 95% as iferenças nos casos estuaos. Nas situações em que o viés não apresenta istribuição normal, é recomenaa uma aboragem não-paramétrica (4). No caso e haver relação entre os valores as iferenças e as méias, existem iversas sugestões e tratamento, toas para tentar homogeneizar a variação as iferenças em relação aos tamanhos as meias. Uma sugestão é aplicar o logaritmo nos valores originais e em tão aplicar o métoo. Outras, talvez mais simples, são e utilizar a razão entre X e Y (X/Y) no lugar as iferenças (4) ou o percentual as iferenças (5) e avaliar a relação entre estes valores e as méias. Quanto à precisão os valores e viés e os limites e concorância, poemos calcular o erro-parão e os intervalos e confiança, uma vez que o viés apresente istribuição normal. Para o viés ( ), o erro parão ( EP ) é igual a s n, one n é o tamanho a amostra, portanto o intervalo e confiança poe ser calculao assim: ± t EP, com t seno o valor tabelao a istribuição t para n-1 graus e liberae. O erro parão para os limites e concorância ( ± 1, 96 s ) poe ser obtio por 1,71 EP, portanto o limite inferior teria seu intervalo e confiança calculao por ( 1,96 s ) ± t 1, 71 EP e o limite superior por ( + 1,96 s ) ± t 1, 71 EP (4). No cálculo o tamanho a amostra para empregar-se a análise e concorância, Blan, em sua página pessoal (6), sugere que seja calculao consierano a precisão o viés e os limites e concorância, pois, como a ecisão clínica eve ser baseaa nos limites e concorância, é importante que os mesmos sejam precisos. De uma forma geral, ele mostra que, com uma amostra e 100 é possível estimar os valores (viés e limites) com um intervalo e confiança e 95% aproximao e ± 0,34s e, com 200, um intervalo e ± 0,24s. Blan-Altman no R O R (7) é um programa livre que poe ser obtio em Para informações sobre como instalar o R e suas bibliotecas veja os seguintes materiais: Curso sobre R aplicao a Epiemiologia: Curso R Epi2008 Excelente tutorial sobre R: R tutorial Após instalar e executar o R clique em >Arquivo>Novo Script. Isso fará abrir uma janela em branco one everão ser escritos os comanos (sintaxe) a serem executaos pelo R (Imagem 1). 262 Rev HCPA 2009;29(3)

3 Concorância Blan-Altman Imagem 1 - Console o R após iniciá-lo e janela e sintaxe. Na hora e escrever a sintaxe temos que lembrar que o R iferencia letras maiúsculas e minúsculas.no mesmo iretório one está armazenao o conjunto e aos eve ser colocao o arquivo blan_altman.r (clique no link para acessá-lo). Na janela a sintaxe colar os comanos que estão no Quaro 1. As linhas que começam com o símbolo # são apenas comentários sobre o comano que está na linha abaixo. Para executar os comanos basta colocar o cursor na linha que se eseja executar, ou selecionar um bloco e comanos, e igitar CTRL+R. Os gráficos geraos na análise poem ser copiaos e colaos em ocumentos o Wor ou PowerPoint. Quaro 1 - Comanos necessários para fazer as análises e os gráficos. #comano para carregar a biblioteca que permite ao R ler um arquivo o SPSS library(foreign) #comano para especificar o caminho one se encontra o arquivo o SPSS. No exemplo a seguir o arquivo encontra-se na pasta Meus Documentos setw("c:\\meus Documentos") # comano para ler o arquivo o SPSS, consierano os missing s. Neste exemplo o nome o arquivo é nome_o_arquivo.sav aos<-rea.spss("nome_o_arquivo.sav",to.ata.frame = T, use.missings = T) # comano para exibir os nomes as variáveis o SPSS names(aos) # comano para carregar o banco e aos attach(aos) # carrega a função para fazer o gráfico o Blan-Altman source("blan_altman.r") # os nomes as variáveis utilizaas nesses comanos são explicaas no exemplo a seguir. # efine n como tamanho a amostra, no nosso exemplo 50 n <- 50 # comano para realizar o teste t para amostras pareaas entre as variáveis um e eco_1 t.test(um, eco_1, paire = T) # comano para calcular o coeficiente e correlação entre as variáveis um e eco_1 correl <- cor.test(um, eco_1) correl # as 3 linhas a seguir servem para fazer o iagrama e ispersão, com o coeficiente e correlação plot(um,eco_1,xlim=c(min(eco_1,um),max(eco_1,um)),ylim=c(min(eco_1,um),max(eco_1,um))) abline(coef=c(0,1)) text(max(eco_1,um),min(eco_1,um),pos=2,paste("r=",roun(correl$estimate[[1]],2),", IC95%=[",roun(correl$conf.int[[1]],2),";",roun(correl$conf.int[[2]],2),"]",sep="")) # comano para abrir uma nova janela e gráfico winows() #comano para fazer o gráfico e Blan-Altman as variáveis um e eco_1 B_A("um", "eco_1") Rev HCPA 2009;29(3) 263

4 Hirakata VN, Camey AS Exemplo Para ilustrar o métoo vamos utilizar um exemplo hipotético one o tempo e gestação e 50 mulheres foi estimao através a ata a última menstruação (DUM) e pelo ultrassom. A pergunta natural é: Os métoos concoram? Aqui como em muitos casos não aianta termos uma boa correlação entre as meias, é necessário que haja concorância entre elas. Com objetivo e mostrar as iferentes conclusões que poem ser obtias através a metoologia e Blan-Altman, foram simulaas 3 situações iferentes: Meias correlacionaas e concorantes; Meias correlacionaas e não-concorantes com viés constante; Meias correlacionaas e não-concorantes com viés correlacionao com méia as meias. A Tabela 1 apresenta o banco e aos com as seguintes variáveis: sujeito: número e ientificação a mulher; um: número e semanas e gestação calculao a partir a DUM; eco_1: número e semanas e gestação calculao a partir o ultrassom obtio após a 20ª semana e gestação; eco_2: número e semanas e gestação calculao a partir o ultrassom obtio antes a 20ª semana e gestação; eco_3: as primeiras 25 mulheres tiveram o número e semanas e gestação calculao a partir o ultrassom obtio após a 20ª semana e gestação e as restantes antes a 20ª semana e gestação. Tabela 1 - Banco e aos. sujeito um eco_1 eco_2 eco_3 1 36,7 37,0 37,8 37,0 2 37,6 37,8 38,6 37,8 3 39,1 39,5 40,9 39,5 4 39,8 39,4 41,1 39,4 5 38,3 38,4 40,3 38,4 6 37,0 36,6 37,5 36,6 7 39,0 38,7 39,5 38,7 8 39,1 39,3 40,2 39,3 9 38,6 38,6 39,2 38, ,5 37,5 38,7 37, ,3 39,4 41,1 39, ,2 37,8 39,7 37, ,3 36,1 38,1 36, ,8 38,5 39,1 38, ,1 38,5 39,5 38, ,0 38,0 39,6 38, ,0 38,1 38,1 38, ,8 37,6 38,9 37, ,6 36,4 37,6 36, ,4 36,8 36,7 36, ,9 37,6 38,0 37, ,4 39,2 40,4 39, ,3 37,5 38,8 37, ,0 36,7 37,7 36, ,1 38,2 38,5 38, ,4 36,5 37,9 37, ,0 38,3 38,4 38, ,8 38,6 39,9 39, ,2 37,1 37,7 37, ,9 38,3 39,7 39, ,7 37,4 38,9 38, ,2 38,0 38,4 38, ,1 36,4 37,4 37, ,0 39,3 40,9 40, ,6 37,9 38,4 38, ,1 38,0 39,5 39, ,9 39,1 40,7 40, ,1 38,3 39,0 39, ,0 37,8 38,0 38, ,2 37,9 38,5 38, ,6 38,7 39,7 39, ,9 39,1 40,1 40, ,8 37,7 38,0 38, ,4 38,3 38,8 38, ,2 36,9 37,5 37, ,6 37,3 38,0 38, ,1 38,1 38,2 38, ,7 36,5 36,9 36, ,8 37,6 39,5 39, ,2 38,4 39,2 39,2 264 Rev HCPA 2009;29(3)

5 Concorância Blan-Altman A seguir vamos interpretar os resultaos as comparações em caa uma as situações colocaas anteriormente. Meias correlacionaas e concorantes Quano comparamos o número e semanas e gestação calculao a partir a DUM com o número e semanas e gestação calculao a partir o ultrassom obtio após a 20ª semana e gestação (eco_1) verificamos que as meias têm uma forte correlação, pois o coeficiente e correlação é 0,96 (Figura 1a). Elas também apresentam uma boa concorância, uma vez que pelo gráfico a metoologia e Blan-Altman (Figura 1b) poemos perceber que o viés é próximo e zero e não estatisticamente significativo. Os limites e concorância apontam que as iferenças entre as uas meias parecem ser menores o que 4 ias (0,52 x 7ias). Figura 1 - Gráfico e ispersão para as variáveis um e eco_1 e para a iferença e méia entre um e eco_1. LSC: limite superior e concorância; LIC: limite inferior e concorância. Meias correlacionaas e não-concorantes com viés constante Na comparação o número e semanas e gestação calculao a partir a DUM com o número e semanas e gestação calculao a partir o ultrassom obtio antes a 20ª semana e gestação (eco_2) notamos novamente que as meias também são fortemente correlacionaas (r=0,86; Figura 2a). Entretanto, a Figura 2b aponta que existe um viés estatisticamente significativo. Com a istribuição espacial os pontos a Figura 2b é homogênea, no sentio e não inicar uma relação entre as iferenças e as méias as meias, poemos concluir que esse viés é sistemático. Portanto, apesar as meias não serem concorantes poeríamos usar o número e semanas e gestação calculao a partir a DUM mais o viés (0,96 semana, aproximaamente 1 semana) como uma estimativa o número e semanas e gestação calculao a partir o ultrassom obtio antes a 20ª semana e gestação. Rev HCPA 2009;29(3) 265

6 Hirakata VN, Camey AS Figura 2 - Gráfico e ispersão para as variáveis um e eco_2 e para a iferença e méia entre um e eco_2. LSC:limite superior e concorância, LIC: limite inferior e concorância. Meias correlacionaas e não-concorantes com viés correlacionao com méia as meias Na Figura 3, temos um exemplo no qual novamente as meias têm uma forte correlação, mas além as meias não concorarem, existe uma relação entre o viés (iferença entre as meias) e a méia a DUM e a eco_3. Percebemos neste caso que a o viés parece ser maior para valores e méias maiores que 38 semanas e gestação. Figura 3 - Gráfico e ispersão para as variáveis um e eco_3 e para a iferença e méia entre um e eco_3. LSC: limite superior e concorância; LIC: limite inferior e concorância. Quano selecionamos no banco e aos as primeiras 25 mulheres, ou seja, aquelas nas quais o número e semanas e gestação foi calculao a partir o ultrassom obtio após a 20ª semana e gestação percebemos que o viés é não estatisticamente significativo e praticamente igual a zero (Figura 4b). Também não há mais eviências e que o viés esteja relacionao com as méias. 266 Rev HCPA 2009;29(3)

7 Concorância Blan-Altman Figura 4 - Gráfico e ispersão para as variáveis um e eco_3 e para a iferença e méia entre um e eco_3 apenas as primeiras 25 mulheres (ultrassom obtio após a 20ª semana e gestação). LSC: limite superior e concorância; LIC: limite inferior e concorância. Na Figura 5, temos a situação em que as meias não concoram, pois o viés é estatisticamente significativo, e que o viés aumenta à meia que a méia entre um e eco_3 aumenta. Isso impossibilita o uso o viés como um fator e correção entre as meias. Figura 5 - Gráfico e ispersão para as variáveis um e eco_3 e para a iferença e méia entre um e eco_3 apenas as últimas 25 mulheres. CONSIDERAÇÕES FINAIS Apesar e amplamente ivulgao, o métoo aina não é eviamente utilizao. Seguno alguns autores que fizeram pesquisas em revistas e iferentes áreas (8, 9), aina é comum a utilização o métoo e forma incompleta, por exemplo, sem incluir os limites e concorância ou aina sem calcular os limites e confiança os limites e concorância. Outro erro bastante citao é o e se utilizar os valores e algum os métoos no lugar a méia, artifício este que acaba forçano uma correlação que, na realiae, poe não ser veraeira (9). Os limites e concorância evem ser avaliaos o ponto e vista clínico, ou seja, se Rev HCPA 2009;29(3) 267

8 Hirakata VN, Camey AS aquelas iferenças aas pelos limites poem ser consieraas aceitáveis o ponto e vista clínico (4). Alguns autores, inclusive, apontam que esta iferença aceitável eve ser estabelecia a priori, antes o estuo ser realizao (8). O coeficiente e correlação é uma meia e associação, não seno apropriao para avaliar concorância entre métoos (1,2). Portanto, quano o objetivo o trabalho for avaliar a concorância entre ois métoos, a metoologia e Blan-Altman eve ser utilizaa e forma completa, incluino os limites e concorância, e seus intervalos e confiança. Uma possível associação entre o viés e a magnitue as meias também eve ser avaliaa e, quano necessário, fazer alguma correção nos aos para uma correta conclusão. REFERÊNCIAS 1. Altman DG, Blan JM. Measurement in Meicine: The analysis of metho comparison stuies. Journal of the Royal Statistical Society. Series D (The Statistician). 1983;32(3): Blan JM, Altman D. Statistical methos for assessing agreement between two methos of clinical measurement. Lancet. 1986;327(8476): Blan JM, Altman D. Comparing two methos of clinical measurement: a personal history. Int J Epiemiol. 1995;24(suppl_1):S Blan JM, Altman DG. Measuring agreement in metho comparison stuies. Statistical Methos in Meical Research. 1999;8(2): Linnet K, Bruunshuus I. HPLC with enzymatic etection as a caniate reference metho for serum creatinine. Clin Chem. 1991;37(10): Sample size for a stuy of agreement between two methos of measurement [Internet]. [citao 2010 Jan 7];Available from: 7. R Development Core Team. R: A language an environment for statistical computing [Internet]. Vienna, Austria: R Founation for Statistical Computing; Available from: 8. Mantha S, Roizen MF, Fleisher LA, Thiste R, Foss J. Comparing methos of clinical measurement: reporting stanars for Blan an Altman analysis. Anesth Analg. 2000;90(3): Dewitte K, Fierens C, Stockl D, Thienpont LM. Application of the Blan-Altman plot for interpretation of metho-comparison stuies: a critical Investigation of its practice. Clin Chem. 2002;48(5): Recebio: 07/10/09 Aceito: 09/11/ Rev HCPA 2009;29(3)