Metodologia para Redução de Ruído Quântico em Imagens Mamográficas e sua Aplicação em Sistemas Computacionais de Auxílio ao Diagnóstico (CAD) Marcelo A.C. Vieira Nelson D. A. Mascarenhas Lucas R. Borges, Homero Schiabel Departamento de Engenharia Elétrica Universidade de São Paulo - USP mvieira@sc.usp.br Departamento de Computação Universidade Federal de São Carlos - UFSCAR Departamento de Engenharia Elétrica Universidade de São Paulo - USP Abstract This paper presents an image denoising algorithm for quantum noise reduction in mammography. It uses the Anscombe transformation to convert the signal-dependent quantum noise into an approximately signal-independent Gaussian additive noise. In the Anscombe domain, noise is filtered through an adaptive Wiener filter, whose parameters are obtained considering local image statistics. This algorithm can be used as a preprocessing step for computer-aided detection (CAD) systems to improve the performance of radiologists on breast cancer screening. Preliminary assessment of the proposed method was obtained using synthetic images generated with different levels of quantum noise. Afterwards, we evaluated the effect of this algorithm on the performance of a previously developed CAD system for microcalcification detection on breast phantom images. Results indicated that the proposed method improved image quality by reducing image noise without significantly affecting image sharpness. Regarding CAD performance, it increased the detectability of microcalcifications without increasing the false-positive rates. 1. Introdução O câncer de mama é uma das principais causas de morte entre as mulheres em todo o mundo, com o surgimento de aproximadamente um milhão de novos casos a cada ano. Em 010, só no Brasil, houve o aparecimento de aproximadamente 50.000 novos casos, dos quais 5% resultaram em morte [1]. Quando detectado em seu estágio inicial, a probabilidade de cura do câncer de mama aumenta em aproximadamente 30%. A mamografia por raios x ainda é considerada o exame padrão para o rastreamento do câncer de mama []. No entanto, a interpretação médica da mamografia não é uma tarefa fácil; estudos mostram que os radiologistas não detectam todas as anormalidades perceptíveis nas mamografias e também não caracterizam corretamente todas as lesões encontradas [3]; as taxas de erros nos laudos mamográficos variam entre 16 a 31% []. Com o objetivo de melhorar o desempenho dos radiologistas na interpretação das mamografias, sistemas computacionais de auxílio no diagnóstico (CAD - Computer-Aided Diagnosis) vêm sendo utilizados em centros de diagnóstico por imagem de todo o mundo [,3]. Os sistemas CAD auxiliam os radiologistas com uma análise computadorizada das imagens mamográficas, fornecendo uma segunda opinião na detecção de lesões e na elaboração do diagnóstico, o que faz com que ele seja uma ferramenta importante no auxílio à detecção precoce da doença [,3]. Atualmente, o rastreamento do câncer de mama auxiliado por CAD apresenta sensibilidade (taxas de verdadeiro-positivos) relativamente alta (88-9%). No entanto, a especificidade (taxas de verdadeiro-negativos) dos sistemas CAD ainda é muito baixa, com aproximadamente 1000 marcas falsopositivas por câncer detectado []. Na prática, isso significa que, para manter os exames mamográficos com alta taxa de detecção, muitas mulheres ainda são submetidas desnecessariamente a exames de biópsias, o que implica não só em um grande desconforto para elas, como também em um aumento do custo do rastreamento da doença. Um dos requisitos imprescindíveis para o bom desempenho do diagnóstico precoce do câncer de mama é uma imagem de boa qualidade, isto é, com alta resolução espacial e baixo nível de ruído [4]. Estudos mostraram que a qualidade da imagem mamográfica influencia significativamente o desempenho dos radiologistas e também dos sistemas CAD no rastreamento do câncer de mama [5,6]. Assim, uma abordagem muito utilizada para melhorar a qualidade das imagens mamográficas, de modo a torná-las mais adequadas à interpretação médica e à análise computacional por sistemas CAD, é o uso de
técnicas de pré-processamento [3,7,8]. Os objetivos do pré-processamento em sistemas CAD geralmente envolvem a redução do ruído e o realce do contraste de estruturas de interesse na mamografia, como as microcalcificações, que são pequenas estruturas de cálcio, com diâmetro entre 0, mm e 0,5 mm, que normalmente estão associadas a tumores malignos [8]. Contudo, para o uso adequado de técnicas de préprocessamento em imagens mamográficas, alguns aspectos importantes devem ser considerados. Primeiramente, técnicas para a redução de ruído, em geral, produzem um borramento na imagem, o que reduz sua nitidez e dificulta a detecção de detalhes finos e pequenas estruturas, como as microcalcificações [9]. Assim, se utilizados na mamografia, algoritmos para redução de ruído devem aumentar a especificidade do exame, mas ao mesmo tempo podem diminuir a taxas de verdadeiro-positivos, comprometendo sua sensibilidade. Além disso, técnicas de redução de ruído, em geral, partem do pressuposto de que o ruído incorporado na imagem é aditivo e independente do sinal [9]. No entanto, as imagens mamográficas não são corrompidas apenas por ruído aditivo. Na verdade, o principal ruído encontrado na mamografia é o ruído quântico [10], que não é aditivo e varia em função da intensidade da radiação utilizada. O ruído reduz o contraste entre o fundo e as estruturas de interesse na mamografia, dificultando a detecção principalmente de pequenos sinais, como as microcalcificações. Desse modo, a remoção desse ruído por técnicas regulares de pré-processamento é uma tarefa mais difícil, pois é necessário considerar a natureza do ruído no processo. Um estudo recente mostrou que o ruído quântico é o fator dominante na qualidade da imagem mamográfica e o parâmetro que mais influencia o desempenho do médico radiologista na detecção precoce do câncer de mama [11]. O ruído exerce maior influência do que a resolução espacial na detecção de microcalcificações e na classificação de nódulos na mamografia pelos radiologistas [11]. Além disso, a redução de falsopositivos é um dos principais desafios atuais dos sistemas CAD [,3] e o ruído é um dos principais responsáveis pela baixa especificidade do processo. Nesse contexto, este trabalho apresenta uma metodologia para redução de ruído quântico em imagens mamográficas digitais, com a finalidade de melhorar sua qualidade e, consequentemente, o desempenho dos esquemas CAD (e dos radiologistas) na detecção precoce do câncer de mama. O método usa a transformada de Anscombe [1] para estabilizar a variância do ruído e converter o ruído quântico, dependente do sinal, em um ruído aditivo, aproximadamente gaussiano e independente de sinal. No domínio de Anscombe, o ruído é removido através de um filtro de Wiener adaptativo [13], cujos parâmetros são obtidos considerando estatísticas locais da imagem. Assim, a metodologia proposta pode ser usada como um módulo de pré-processamento para sistemas CAD com o objetivo de melhorar o desempenho no rastreamento do câncer da mama.. Materiais e Métodos A transformada de Anscombe estabiliza a variância do ruído dependente do sinal com distribuição de Poisson e o converte em um ruído aditivo e independente do sinal, com distribuição aproximadamente gaussiana com média zero e variância unitária [1]. Seja a imagem degradada g( uma imagem corrompida pelo ruído quântico. A transformada de Anscombe de g( é dada pela seguinte equação [1]: 3 z ( = g( + (1) 8 Essa equação pode ser representada pelo seu modelo aditivo [1]: 1 z ( = u( + + v( = s( + v( () 8 onde u( é a taxa do sinal (ou seja, o valor esperado) com distribuição de Poisson e v( o termo aditivo, que é independente do sinal s( e tem uma distribuição aproximadamente gaussiana [1]. Assim, pode-se utilizar qualquer técnica de redução de ruído aditivo para restaurar a imagem z( no domínio de Anscombe. Nesse trabalho, foi utilizado o filtro de Wiener adaptativo [13] para se obter uma estimativa,,, da imagem mamográfica sem ruído no domínio de Anscombe. Assumindo que o ruído tem uma distribuição gaussiana com média zero e variância unitária no domínio de Anscombe, o filtro de Wiener tem a seguinte expressão: σ s sˆ ( = s + [ z( s] (3) σ + 1 s onde e são a média e a variância do sinal, respectivamente. Esses parâmetros podem ser calculados localmente considerando uma imagem que represente uma estimativa preliminar do sinal no domínio de Anscombe,,, que pode ser obtida borrando a imagem z( com um filtro da média de tamanho 3 3. Para o cálculo local dos parâmetros média e variância para o filtro de Wiener, foi considerada uma janela quadrada, de tamanho variável, que varre toda a imagem, calculando os parâmetros ao redor do pixel a ser processado. O tamanho dessa janela é ajustado automaticamente considerando o método proposto
originalmente por Rabbani [14]. Nesse método, primeiramente é escolhida uma região quadrada de tamanho 5 5 ao redor do pixel a ser processado. Para cada região calcula-se o parâmetro α, definido por: ˆ σ u ( α = (4) σ ( g onde, é a variância da estimativa preliminar do sinal,,, e, é a variância da imagem degradada, ambas medidas no domínio do espaço. A estimativa preliminar do sinal,,, foi obtida borrando a imagem degradada g( com um filtro da média 3 3. O parâmetro α é uma estimativa da atividade do sinal (variância) em função da variância do ruído calculada para cada região 5 5 ao longo de toda a imagem no domínio do espaço [14]. O parâmetro α está no intervalo (0,1): valores próximos de zero correspondem a áreas suaves, com pouca variação de sinal em comparação com o ruído; valores próximos a 1 implicam que a variação de sinal domina a variância do ruído e é um indicativo de áreas com bordas ou detalhes finos. Para áreas suaves (α < 0,) o tamanho da janela quadrada foi aumentado para ser 7 7 pixels. Para áreas com atividade moderada do sinal (0, < α < 0,6), foi considerada a região de 5 5 pixels e para áreas com α > 0,6, onde provavelmente há uma borda ou detalhes finos, um conjunto de operações de gradiente foi executado sobre os pixels da região 5 5 para detectar a orientação do gradiente [14]. Assim, um subconjunto da janela local é definido para que contenha apenas os pixels do lado da borda, apresentando estatísticas locais semelhantes ao pixel que está sendo processado. Esse procedimento permite que o filtro de Wiener reduza o ruído sem afetar significativamente a nitidez da imagem. Finalmente, após a restauração da imagem pelo filtro de Wiener adaptativo, deve-se utilizar a transformada inversa de Anscombe para se obter a estimativa,,, de uma imagem mamográfica sem ruído no domínio do espaço. A transformada inversa de Anscombe é dada pela seguinte equação [1]: 3. Resultados 1 1 u ˆ( = sˆ( (5) 4 8 Uma avaliação preliminar do algoritmo de restauração proposto foi efetuada utilizando imagens sintéticas degradadas com diferentes níveis de ruído quântico. Essas imagens foram restauradas pelo método proposto comparadas com uma imagem de referência (sem ruído) para avaliação qualitativa da metodologia proposta. Depois, foi avaliado o efeito da restauração no desempenho de um sistema CAD, previamente desenvolvido, para a detecção de microcalcificações de diferentes tamanhos em imagens mamográficas obtidas com um simulador de mama (phantom). 3.1. Avaliação utilizando imagens sintéticas Para avaliar o desempenho do algoritmo de restauração proposto, foram geradas cinco imagens sintéticas (51 51 pixels) com o uso do software MATLAB. Quatro dessas imagens foram corrompidas por níveis diferentes de ruído quântico, que representavam aproximadamente o ruído produzido em um exame mamográfico utilizando respectivamente: 50% da dose normal para mamografia (11330 fótons/pixel na média), 5% da dose normal (5660 fótons/pixel na média), 1,5% da dose normal (830 fótons/pixel na média) e 6,5% da dose normal (1415 fótons/pixel na média). Uma dessas imagens não foi degradada para fornecer a imagem ideal, utilizada como referência (ground-truth) na análise dos resultados. Todas as quarto imagens degradadas foram restauradas utilizando três diferentes técnicas de redução de ruído: (1) imagens processadas por um filtro média 3 3; () imagens processadas pelo filtro de Wiener adaptativo no domínio do espaço e (3) imagens processadas pelo filtro de Wiener adaptativo no domínio de Anscombe, como proposto no presente trabalho. A Figura 1 mostra um exemplo do efeito de diferentes técnicas de restauração utilizando imagens sintéticas: a imagem no canto superior esquerdo é a imagem ideal sem degradação utilizada como referência. No canto superior direito está a sua representação como uma superfície. Na segunda linha está a imagem degradada, que nesse caso foi corrompida por um ruído quântico correspondente a uma exposição de radiação média de 1415 fótons/pixel, o que equivale a aproximadamente 6,5% da dose clínica normal utilizada na mamografia. Do lado direito está a mesma imagem representada como uma superfície. Na terceira linha mostra o resultado obtido com a restauração pelo filtro da média 3 3. Na quarta linha está a imagem restaurada pelo filtro de Wiener adaptativo no domínio espacial e na última linha está a imagem restaurada pelo filtro de Wiener adaptativo no domínio de Anscombe, como proposto nesse trabalho. As imagens da Figura 1 mostram que o algoritmo de restauração proposto, diferente dos outros métodos considerados nesse estudo, reduziu consideravelmente o ruído da imagem sem comprometer a sua nitidez, mesmo para uma imagem corrompida por um elevado nível de ruído quântico. Para a avaliação do método proposto, foram também consideradas métricas de avaliação da qualidade da imagem. O objetivo é fornecer medidas quantitativas que descrevem o grau de similaridade entre as imagens restauradas e a ideal. No presente estudo, foram considerados os seguintes parâmetros: pico da relação
sinal-ruído (peak signal-to-noise ratio - PSNR) [15] e a média do índice de similaridade estrutural (mean structural similarity index - MSSIM) [16]. A Tabela 1 mostra os resultados das medidas de PSNR e MSSIM para as imagens sintéticas antes e depois da restauração, considerando os três métodos descritos anteriormente. A melhora relativa na qualidade da imagem após a restauração também foi calculada, e é apresentada na Tabela. Tabela 1. Valores de PSNR e MSSIM calculados para imagens corrompidas por quatro diferentes níveis de ruído quântico. Os parâmetros foram medidos antes e depois de restauradas por três técnicas diferentes. Parâmetros Número médio de fótons/pixel Antes da restauração PSNR (db) MSSIM 1130 5660 830 1415 43,76 40,70 37,71 34,69 0,9588 0,905 0,8541 0,7478 Após a restauração Filtro da média 3 3 Filtro de Wiener no dom. do espaço Filtro de Wiener no dom. de Anscombe 40,98 40,73 40,6 39,48 0,9839 0,9775 0,9566 0,9183 47,61 45,46 4,89 40,14 0,9880 0,9796 0,9713 0,9550 55,8 5,85 50,43 47,97 0,9985 0,997 0,9947 0,9904 Tabela. Melhora relativa nas medidas de PSNR e MSSIM considerando imagens corrompidas por quatro diferentes níveis de ruído quântico e restauradas por três técnicas diferentes. Figura 1. Exemplos de imagens sintéticas utilizadas para avaliação do método de restauração proposto. Imagem ideal (1ª linha); imagem degradada (ª linha); imagem restaurada pelo filtro da média (3ª linha); imagem restaurada pelo filtro de Wiener no dom. do espaço (4ª linha) e no dom. de Anscombe (5ª linha) Melhora relativa na qualidade da imagem Número médio de fótons/pixel Filtro da média 3 3 Filtro de Wiener no dom. do espaço Filtro de Wiener no dom. de Anscombe Melhora no PSNR (db) Melhora no MSSIM (%) 1130 5660 830 1415 -.78 +0.03 +.55 +4.79 +.6 +6.19 +1.00 +.80 +3.85 +4.76 +5.18 +5.45 +3.04 +6.4 +13.7 +7.71 +11.5 +1.15 +1.7 +13.8 +4.14 +8.33 +16.46 +3.44
3.. Avaliação utilizando um sistema CAD Foi avaliado também o efeito da restauração no desempenho de um sistema de CAD previamente desenvolvido para a detecção de microcalcificações em mamografia digital [17,18]. O objetivo foi comparar o desempenho do CAD ao utilizar imagens restauradas e imagens degradadas. Para isso, foram utilizadas três imagens mamográficas de um simulador de mama (phantom) obtidas com diferentes níveis de radiação, o que produziu diferentes níveis de ruído quântico. Todas as imagens foram restauradas pela metodologia proposta e o desempenho do CAD usando imagens degradadas e restauradas foi avaliado. O simulador utilizado foi o CIRS Tissue-Equivalent Phantom for Mammography, modelo 011A [19]. Esse phantom simula as propriedades radiográficas e estruturas de uma mama comprimida de espessura de 4,5 cm. Contém 1 agrupamentos de 6 microcalcificações cada, simulando 7 microcalcificações com tamanhos que variam entre 0,130 e 0,400 mm [19]. Imagens mamográficas digitais desse phantom foram obtidas com um equipamento mamográfico Lorad M-III e um sistema de mamografia digital da Agfa, modelo CR MM3.0 Mammo plate. As imagens digitais possuem 4096 níveis de cinza (1-bits) e tamanho de pixel de 50 μm, e foram obtidas com três níveis de exposição à radiação: 100%, 50% e 5% da dose normal de um exame mamográfico. A Figura mostra um exemplo de uma região (1900 1900 pixels) extraída da imagem mamográfica do phantom adquirida com níveis de ruído quântico representativos de aproximadamente 5% da dose de radiação normal para a mamografia. No canto superior esquerdo é a imagem degradada (originalmente obtida sem nenhum pré-processamento) e na parte superior direita é a mesma imagem representada como uma superfície; abaixo está a imagem restaurada pela metodologia proposta e a sua correspondente representação como uma superfície. A Figura mostra que a restauração tornou as microcalcificações mais visíveis na imagem mamográfica. O ruído foi reduzido e as bordas e os pequenos detalhes foram preservados na imagem, mesmo com uma degradação gerada por um alto nível de ruído quântico. As três imagens mamográficas do phantom foram restauradas pela metodologia proposta e analisadas pelo sistema CAD para detecção automática das microcalcificações. Foi avaliado o desempenho do CAD na detecção das 7 microcalcificações presentes em cada uma dessas imagens, considerando a sensibilidade (taxa de verdadeiros-positivos) e a especificidade (taxa de falsos-positivos) do sistema por meio de uma análise estatística ROC (receiver operating characteristic) [0]. Assim, foi possível avaliar o impacto do préprocessamento proposto no desempenho do CAD. Os resultados estão mostrados na Tabela 3. Figura. Exemplo de imagens mamográficas do phantom mostrando o efeito da restauração na visibilidade das microcalcificações e na redução do ruído quântico. Imagem degradada (1ª linha); imagem restaurada (ª linha). Tabela 3. Sensibilidade e especificidade do sistema CAD na detecção de microcalcificações em imagens mamográficas degradadas e restauradas adquiridas com três diferentes níveis de ruído quântico. Dose de radiação Taxa de verdadeiro-positivo Taxa de falso-positivo Degradada Restaurada Degradada Restaurada Normal 0,806 0,931 0,04 0,014 50% 0,681 0,917 0,111 0,097 5% 0,375 0,79 0,055 0,055 Os resultados apresentados na Tabela 3 mostram que o desempenho do CAD depende do ruído incorporado na imagem: imagens obtidas com menor dose de radiação (mais ruído quântico) foram responsáveis pelo pior desempenho do sistema CAD. Após a restauração, o desempenho do CAD melhorou independentemente do nível de ruído quântico da imagem degradada. 4. Conclusões Neste trabalho foi investigado o uso da transformada de Anscombe e o filtro de Wiener adaptativo para redução de ruído quântico em imagens mamográficas digitais. O método proposto não requer qualquer conhecimento a priori sobre o sinal original, porque todos os parâmetros necessários são estimados diretamente da imagem degradada. Essa técnica de restauração pode ser usada
como um módulo de pré-processamento em sistemas CAD para melhorar o desempenho do rastreamento do câncer de mama. Resultados preliminares com imagens sintéticas corrompidas por diferentes níveis de ruído quântico mostraram que a metodologia proposta produziu imagens de melhor qualidade e mais similares em relação às imagens ideais (utilizada como referência) do que outras técnicas de restauração consideradas neste estudo. Estes resultados mostraram que a transformada de Anscombe foi eficiente ao converter o ruído quântico em um ruído gaussiano aditivo, que pôde ser removido mais facilmente pelo filtro de Wiener. Além disso, foi demonstrado que imagem restaurada pelo método é visivelmente menos ruidosa e mais parecida com a imagem de referência do que a degradada, preservando a nitidez, as bordas e os detalhes finos da imagem. Com relação ao desempenho do CAD, os resultados mostraram que a restauração melhorou as imagens para torná-las mais adequadas ao processamento digital utilizado na detecção de estruturas de interesse clínico. Considerando o sistema CAD utilizado nesse estudo, a restauração aumentou a detectabilidade das microcalcificações nas imagens do phantom sem aumentar as taxas de falsos-positivos. Isso mostra que a metodologia proposta pode ser utilizada como módulo de pré-processamento em esquemas CAD para melhorar seu desempenho sem prejudicar a especificidade do exame. Uma investigação mais profunda utilizando um número maior de imagens mamográficas, outros tipos de lesões de mama e outros sistemas de CAD deverá ser realizada, para se avaliar a possibilidade de utilização clínica da metodologia proposta. Além disso, deverá será feito em um trabalho futuro um estudo de como esta restauração poderia levar a uma redução da dose de radiação em exames de mamografia 5. Agradecimentos Os autores gostariam de agradecer à FAPESP pelo auxílio financeiro. 6. Referências [1] INCA - Instituto Nacional de Câncer. Acessado em: 16/03/01. Disponível em: <http://www.inca.gov.br>. [] Boyer B, Balleyguier C, Granat O, Pharaboz C: CAD in questions/answers Review of the literature. Eur J Radiol 69(1):4-33, 009. [3] Giger ML, Chan H-P, Boone J: Anniversary paper: History and status of CAD and quantitative image analysis: the role of Medical Physics and AAPM. Med Phys 35(1):5799-580, 008. [4] Chan HP, Niklason LT, Ikeda DM, Lam KL, Adler DD: Digitization requirements in mammography: effects on computer-aided detection of microcalcifications. Med Phys 1(7):103-111, 1994. [5] Schiabel H, Nunes FL, Escarpinati MC, Benatti RH: Investigations on the effect of different characteristics of images sets on the performance of a processing scheme for microcalcifications detection in digital mammograms. J Digit Imaging 14 (Suppl 1): 4-5, 001. [6] Garcia-Orellana CJ, Gallardo-Caballero R, Gonzalez- Velasco HM, Garcia-Manso A, Macias-Macias M: Study of a mammographic CAD performance dependence on the considered mammogram set. Conf Proc IEEE Eng Med Biol Soc 008:4776-4779, 008. [7] Mencattini A, Salmeri M, Lojacono R, Frigerio M, Caselli F: Mammographic images enhancement and denoising for breast cancer detection using dyadic wavelet processing. IEEE Trans Instrum Meas 57(7):14-1430, 008. [8] Papadopoulos A, Fotiadis DI, Costaridou L: Improvement of microcalcification cluster detection in mammography utilizing image enhancement techniques. Comput Biol Med 38(10):1045-1055, 008. [9] Gonzalez RC, Woods RE: Digital Image Processing 3rd ed., Upper Saddle River, NJ: Prentice Hall, 008. [10] Yaffe MJ: Digital Mammography. In: Beutel J, Kundel HL and Van Metter RL (Eds). Handbook of Medical Imaging Vol 1. Physics and Psychophysics, Bellingham, WA: SPIE Press, pp 39-37, 000. [11] Saunders RS, Baker JA, Delong DM, Johnson JP, Samei E: Does image quality matter? Impact of resolution and noise on mammographic task performance. Med Phys 34(10):3971-3981, 007. [1] Mascarenhas NDA, Santos CAN, Cruvinel PE: Transmission tomography under Poisson noise using the Anscombe transformation and Wiener filtering of the projections. Nucl Instrum Meth A 43:65 71, 1999. [13] Jin F, Fieguth P, Winger L, Jernigan E: Adaptive Wiener filtering of noisy images and image sequences. In: 003 International Conference on Image Processing, Proceedings of IEEE Vol 3, New York (USA), pp 349-35, 003. [14] Rabbani M: Bayesian filtering of Poisson noise using local statistics. IEEE T Acoust Speech 36(6):933-937, 1998. [15] Wang Z, Bovik AC: Mean squared error: Love it or leave it? A new look at signal fidelity measures. IEEE Signal Proc Mag 6(1):98-117, 009. [16] Wang Z, Bovik AC, Sheikh HR, Simoncelli, EP: Image quality assessment: from error visibility to structural similarity. IEEE T Image Process 13(4):600-61, 004. [17] Goes CE, Schiabel H, Nunes FLS: Evaluation of microcalcifications segmentation techniques for dense breast digitized images. J Digit Imaging 15(Suppl 1):31-33, 00. [18] Nunes FLS, Schiabel H, Goes CE: Contrast enhancement in dense breast images to aid clustered microcalcifications detection. J Digit Imaging 0(1):53-66, 007. [19] CIRS - Computerized Imaging Reference Systems, Inc. Model 011A manual. Norfolk, Va. [0] Metz C: ROC analysis in medical imaging: a tutorial review of the literature: Radiol Phys Technol 1:-1, 008.