Integrando Textura e Forma para a Recuperação de Imagens por Conteúdo

Transcrição

1 Integrando Textura e Forma para a Reuperação de Imagens por Conteúdo André G. R. Balan 1, Agma J. M. Traina, Caetano Traina Jr. 3, Paulo M. Azevedo-Marques 4 1,,3 Grupo de Base de Dados e Imagens (GBDI), Instituto de Ciênias Matemátias e de Computação (ICMC), Universidade de São Paulo (USP), Brasil. 4 Centro de Ciênias das Imagens e Físia Média (CCIFM), Fauldade de Mediina de Ribeirão Preto (FMRP), Universidade de São Paulo (USP), Brasil. Resumo - Este artigo apresenta uma nova abordagem de reuperação de imagens por onteúdo que utiliza um onjunto de araterístias extraídas a partir da imagem segmentada om base em textura. O algoritmo de segmentação implementa um proesso estoástio e tem omo base os Campos Aleatórios de Markov. A segmentação é automátia e tem omo parâmetro o número de lasses om texturas diferentes. As regiões obtidas na segmentação guiam a extração de medidas da imagem segmentada e da imagem original, produzindo um vetor de araterístia de 30 dimensões, utilizado para araterizar o onteúdo da imagem. Experimentos realizados revelaram que o onjunto de araterístias proposto tem um alto poder de disriminação quando omparado om ténias mais tradiionais de distribuição de brilho (histograma). Palavras-have: CBIR, Segmentação de Imagens, Textura, Forma. Abstrat - This paper presents a new approah to retrieve images by ontent using a set of harateristis extrated from the texture-based segmented image. The segmentation algorithm implements a random proess and is based on Markov Random Fields. The segmentation is automati and has as parameter the number of desired lasses with different textures. The regions obtained by the segmentation step lead the extration of measures from segmented and original images, produing a 30-dimensional feature vetor, whih is used to haraterize the image ontent. Experiments showed that the proposed feature vetor has higher disrimination power when ompared with traditional tehniques based on image s brightness distribution (histogram). Key-words: CBIR, Image Segmentation, Texture, Shape. Introdução A resente quantidade de imagens adquiridas em hospitais e em entros médios tem motivado a pesquisa de algoritmos automátios para reuperação de imagens baseada em suas araterístias intrínseas. As ténias de reuperação de imagens baseada em onteúdo (Content-Based Image Retrieval - CBIR) onsideram a informação visual da imagem e não apenas uma simples desrição textual sobre a mesma. De fato, existe um erto nível de subjetividade em se araterizar uma imagem pelo seu onteúdo, visto que diferentes espeialistas podem estar interessados em diferentes aspetos de uma mesma imagem. Observa-se também que, a reuperação de imagens baseada na desrição textual e a reuperação baseada em onteúdo são abordagens independentes e ortogonais, mas, de forma prátia, podem ser integradas em um únio sistema a fim de proporionar um maior poder de reuperação em Sistemas de Informação Hospitalar (SIH) ou em Sistemas de Comuniação e Arquivamento de Imagens (Piture Arhiving and Communiation Systems - PACS) [4]. A busa por imagens em uma base de dados realizada por um sistema CBIR, envolve a omparação de pares de imagens e a atribuição de um oefiiente da similaridade a ada par, onde tal medida de similaridade é obtida a partir de uma função de distânia pré-definida (dissimilaridade). Informações sobre o onteúdo da imagem são obtidas através da extração sistemátia de araterístias que devem ser esolhidas de modo a representar a "essênia" do onteúdo das mesmas, tomando-se omo base a perepção visual de um espeialista da área. Assim, um problema importante na área de CBIR é o desenvolvimento de métodos efiazes e efiientes de extração de araterístias para representação adequada do onteúdo das imagens, proporionando uma reuperação mais próxima daquela idealizada por um espeialista. Comumente as araterístias de imagens são agrupadas em três lasses: or, textura e forma [1, 10]. Idealmente, estas araterístias devem ser integradas para proporionar melhor efiáia no

2 proesso de omparação. A primeira e mais simples lasse de araterístias são as araterístias de or, ou distribuição de brilho, dada prinipalmente por histogramas da imagem. A extração de araterístias de forma e textura onstitui uma tarefa bem mais omplexa e omputaionalmente mais ara. O presente artigo apresenta uma abordagem singular de extração de araterístias da imagem para serem utilizadas em um sistema de reuperação de imagens baseado em onteúdo. A ténia onsiste em segmentar automatiamente a imagem om base em textura utilizando um algoritmo estoástio baseado nos ampos aleatórios de Markov. A partir da imagem segmentada, são realizadas medidas sobre as regiões enontradas e a imagem original, obtendo um onjunto de 30 araterístias. Os experimentos realizados demonstraram que as araterístias propostas possibilitam uma araterização apurada do onteúdo da imagem e apresentam um nível de disriminação maior do que a ténias mais tradiionais baseadas na distribuição de brilho e or (histogramas) da imagem. Coneitos preliminares A maioria dos sistemas de reuperação de imagens utiliza araterístias de distribuição de or. As ténias mais populares são baseadas nos histogramas de or ou brilho [3]. Embora o proesso utilizado para se obter os histogramas da imagem tenha usto omputaional baixo, já que é obtido em tempo linear onsiderando o tamanho da imagem, o histograma produz uma representação ambígua da mesma, visto que duas imagens diferentes podem ter o mesmo histograma. Entretanto, os histogramas podem forneer uma rápida pré-seleção para sistemas de reuperação de imagens, e o resultado da pré-seleção pode ser posteriormente refinado por ténias mais elaboradas e omplexas, e onseqüentemente mais aras. Porém, a apliação de ténias mais omplexas em um onjunto menor de imagens reduz onsideravelmente o usto total da reuperação. A respeito das imagens médias, areditamos que as araterístias baseadas em textura e forma das obtidas das regiões da imagem podem disriminar e separar as imagens de modo mais apurado. Diversos estudos enontrados na literatura apresentam ténias baseadas em ambas as abordagens, tais omo [6, 9] para a textura e [8, 11] para a forma. Neste artigo é onsiderada a reuperação das N imagens mais próximas da imagem de busa, por exemplo: "enontre as três imagens mais similares à imagem identifiada omo RM_torax57". Tal pergunta pode ser respondida se existir uma função de distânia (dissimilaridade) para omparar as araterístias da imagem de busa (RM_torax57) om as araterístias de todas as imagens na base de dados. Sempre que uma ténia nova para a extração da araterístia é proposta, é neessário realizar uma avaliação de sua efiáia. A utilização do gráfio de Preision x Reall [] (Preisão x Revoação) onstitui uma abordagem simples e bem onheida para tal avaliação e, deste modo, foi seleionada para avaliar e omparar a efiáia da ténia proposta. A preisão (preision) representa a porção de imagens reuperadas que são relevantes à onsulta. Já a revoação (reall) orresponde à porção de imagens relevantes que foram reuperadas. Na prátia, uma urva mais próxima do alto do gráfio representa maior efiáia na reuperação. A ténia proposta Em imagens médias, as araterístias de textura e forma estão fortemente relaionadas, devido ao fato que os objetos (órgãos, teidos e anomalias) têm, na maioria das vezes, forma e textura espeífias. As diferentes texturas dos objetos da imagem podem ser empregadas para a delimitação dos mesmos, araterizando assim uma segmentação baseada em textura. Neste tipo de segmentação, ada textura distinta é representada por uma lasse. Na imagem segmentada, ada pixel é lassifiado omo pertenente a uma determinada lasse e, pixels da mesma lasse onstituem uma região de textura homogênea. As araterístias propostas neste estudo são obtidas extraindo-se medidas dessas regiões homogêneas. A Figura 1 ilustra uma imagem segmentada utilizando-se ino lasses. O método de segmentação A etapa de segmentação baseada em textura é o passo iniial para a extração das araterístias da imagem. O método de segmentação empregado é um algoritmo que implementa um proesso estoástio de otimização. Trata-se de um método iterativo, ujo objetivo é minimizar o número previsto de pixels lassifiados erroneamente. Para se hegar a este objetivo, um ampo aleatório de Markov é empregado para modelar/representar o mapa de lassifiação dos pixels. Nesta representação, ada pixel orresponde a um elemento do ampo que, por sua vez, governa a influênia que a lassifiação de um pixel exere na lassifiação dos pixels vizinhos.

3 Classes (a) (b) Figura 1 Exemplo de segmentação. (a) imagem original; (b) imagem segmentada em 5 lasses. O proesso de segmentação alterna entre duas etapas: uma de lassifiação dos pixels e outra de reajuste dos parâmetros das lasses. Na etapa de lassifiação, ada pixel é visitado um número determinado de vezes, sendo que em ada visita é atribuído um valor de lasse para o pixel. Tal lassifiação leva em onsideração, basiamente, a lassifiação anterior do pixel, a lassifiação dos pixels vizinhos e os parâmetros atribuídos às lasses. Os parâmetros das lasses orrespondem a duas medidas das regiões da imagem onsideradas de textura homogêneas: a média e variânia da intensidade dos pixels. Na etapa de reajuste, esses parâmetros são reajustados por equações predefinidas, levando-se em onsideração a lassifiação obtida na etapa anteedente. Não abe aqui apresentar o embasamento teório que onduz à origem do algoritmo e, por limitação de espaço, maiores detalhes do mesmo tampouo são apresentados. O artigo de Mary Comer e Eduard Delp [5] apresenta um estudo ompleto sobre o método. Uma das vantagens de se utilizar um ampo aleatório de Markov para modelagem de textura é a demanda relativamente pequena de parâmetros [7]. O parâmetro prinipal de um MRF é onheido omo parâmetro de interação espaial, ou simplesmente temperatura, e tem a função de ajustar a influênia que a lassifiação de um pixel exere na lassifiação de seus vizinhos. A segmentação de imagens baseada em textura pode ser supervisionada ou nãosupervisionada. Na abordagem supervisionada os parâmetros das lasses/texturas são obtidos através de um onjunto de treinamento formado por imagens similares previamente segmentadas por um espeialista. Na abordagem não-supervisionada os parâmetros assumem valores iniiais aleatórios e são ajustados durante o proesso de segmentação. O método utilizado neste estudo é não-supervisionado e somente o número de lasses previstas para a segmentação preisa ser informado de antemão. O vetor de araterístias Após a imagem ter sido segmentada automatiamente em um número de lasses prédefinido, várias medidas são extraídas das regiões de textura homogênea (mesma lasse). Assim, se a imagem é segmentada em L lasses, então L regiões de texturas distintas serão utilizadas para a extração de araterístias. As araterístias que nós onsideramos para ada lasse são: o entro da massa da região, indiado pela Equação (3); a massa da região (tamanho em número de pixels) dada pela Equação (1); uma medida denominada dispersão (Equação (4)); e a média e a variânia da região (Equações (5) e (6)). As três primeiras araterístias (massa, entro de massa e dispersão) são omputadas diretamente sobre a imagem segmentada, sendo que a média e variânia são medidas da imagem original onsiderando-se a segmentação obtida. A massa da região (Equação (1)) é o tamanho em pixels da região, ou seja o número dos pixels que foram lassifiados omo sendo de uma determinada lasse. Suponha que o resultado da segmentação da imagem I orresponda à imagem S, e que o par (y) represente uma posição espaial no espaço onde I e S estão definidos. Assim, I y e S y denotam, respetivamente, os valores dos pixels de I e S na posição (y). A massa da região de lasse (m ) após a segmentação é dada por: onde (1) m (, ) = h x y xy,

4 1 se h ( y) = 0 se S S xy, xy, = () O entro da massa (entróide) da região de lasse denotado por o, é dado pelas oordenada xo e pelo yo, onde xo xh (, xy) yh (, xy) xy, xy,, yo m = = i, m (3) A araterístia de dispersão é onstruída através de uma soma das distânias. Para ada bloo onexo 1 i de uma região de lasse, o entróide o i, = (xo i,, yo i, ) é omputado e suas distânias ao entróide o são somadas onforme segue: onde d = dist( o, o ) (4) i dist( o, oi, ) = ( xo xoi, ) + ( yo yoi, ) é a distânia Eulidiana entre o (o entro de massa da lasse ) e o o i, (o entro de massa bloo onexo i de lasse ). Finalmente, onforme menionado, as araterístias de média e variânia da lasse são omputados sobre a imagem original I onsiderando a segmentação resultante S, sendo, respetivamente, denotadas por µ e σ, onde σ µ = = y y I h ( y) y N ( I µ ) h ( y) y N e (5) (6) O vetor de araterístias proposto é onstruído utilizando-se estas ino araterístias para ada lasse. Visto que o entróide tem dois valores (oordenadas x e y), tem-se um total de seis araterístias por lasse. A Figura ilustra uma representação gráfia do vetor de araterístia para uma imagem segmentada em L lasses. A ordem das araterístias de ada lasse no vetor 1 Um bloo onexo onsiste em um onjunto de pixels da mesma lasse onde ada pixel apresenta uma relação de vizinhança om algum outro pixel do onjunto. leva em onsideração a araterístia de média (µ ), isto é, a lasse om a menor média tem suas araterístias na parte mais à esquerda do vetor e, a lasse om média maior onstitui a parte mais à direita do mesmo. Esta onfiguração do vetor, aliada a um ajuste adequado das esalas das araterístias, permite o uso da distânia Eulidiana para a omparação de vetores de imagens distintas. Experimentos Para teste e avaliação da ténia proposta foi utilizada uma base de imagens médias de diversas ategorias. Devido às limitações de espaço, serão exibidos aqui apenas os resultados obtidos om a base de imagens sumarizada na Tabela1. Tabela1 - Configuração da base experimental de imagens médias Categoria de imagem Número de imagens Angiograma 1 RM Baia Axial 33 RM Cabeça Axial 50 RM Abdômen Coronal 34 RM Cabeça Sagital 38 RM Espinha Sagital 44 A Figura 3 ilustra o exemplo de uma busa às 4 imagens mais similares a uma imagem de orte axial de abeça (imagem 175.jpg), usando o vetor de araterístias proposto. Visto que a segmentação está sendo realizada utilizando-se ino lasses, o vetor final de araterístias possui 30 elementos (araterístias). Como base de omparação, as mesmas onsultas foram realizadas utilizando-se omo vetores de araterístias, os histogramas de brilho das imagens (o histograma é uma das araterístias mais empregadas nas ténias de reuperação de imagens por onteúdo). A Figura 4 ilustra os gráfios de Preision x Reall para os dois tipos de vetores de araterístias. As urvas, em ambos os gráfios, representam a efiáia das ténias em reuperar imagens das diversas ategorias da base. Para obter essas urvas, ino imagens de ada ategoria foram seleionadas aleatoriamente e as operações de busa foram realizadas utilizando-se ambas as ténias. Cada urva apresenta uma média das ino operações de onsulta. Observa-se que o vetor de araterístias proposto apresenta uma efiáia maior na reuperação de imagens para todas as ategorias da base. Vale também ressaltar que os histogramas Ressonânia Magnétia.

5 são vetores de 56 dimensões enquanto o vetor de araterístias proposto possui apenas 30 elementos. Deste modo, o tempo de resposta às onsultas é menor, assim omo o espaço de memória neessário para armazenar todos os vetores da base também é menor. d 1 µ 1 xo σ 1 yo 1 m xo L yo L m L d L µ L σ L Caraterístias da lasse 1 Caraterístias da lasse L Figura Representação gráfia do vetor de araterístias para a segmentação em L lasses Imagem de busa (175.jpg) Miniaturas das imagens reuperadas Figura 3 Exemplo de uma operação de onsulta: reuperação das 4 imagens mais pareidas om uma imagem de orte axial de abeça (imagem 175.jpg) 1 1 Preision Preision 0 0 0,1 0, 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Reall Angiograma RM Baia Axial RM Cabeça Axial RM Abdômen Coronal RM Cabeça Sagital RM Espinha Sagital (a) 0 0 0,1 0, 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Reall Angiograma RM Baia Axial RM Cabeça Axial RM Abdômen Coronal RM Cabeça Sagital RM Espinha Sagital Figura 4 Gráfios Preision x Reall. (a) Curvas referentes ao vetor de araterístias proposto; (b) Curvas referentes ao vetor histograma (b)

6 Conlusões A ténia proposta de extração de araterístias utilizando a segmentação de imagens baseada em textura é apaz de lidar adequadamente om o problema de identifiação de órgãos e possíveis anomalias presentes em imagens de exames médios. Um ponto interessante desta abordagem é o uso de um esquema não-supervisionado de segmentação de imagens, que apresenta resultados promissores. As araterístias são extraídas onsiderando o resultado da segmentação que é obtido automatiamente. O únio inonveniente da etapa da segmentação é seu elevado usto omputaional. Para segmentar uma imagem de dimensão 300 x 400 pixels, por exemplo, o algoritmo leva de 3 a 5 segundos em uma máquina om proessador AMD Athlon XP 600. Porém, onsiderando que a geração dos vetores da araterístia para as imagens da base pode ser realizada off-line (em um período de inatividade da máquina), e somente a imagem de onsulta preisa ter suas araterístias extraídas durante a operação de onsulta, pode-se dizer que este usto não impata negativamente sua utilização em sistemas CBIR. Agradeimentos Os autores são gratos ao Centro de Ciênias das Imagens e Físia Média da Fauldade de Mediina de Ribeirão Preto (USP), que gentilmente forneeu as imagens utilizadas para os experimentos apresentados neste artigo. Esta pesquisa é finaniada, em parte, pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) sob os proessos de número 0/ e 03/ ; e pelo Conselho Naional de Pesquisa (CNPq) sob os proessos de número /98-6, /00-7 e /94-4. Referênias [1] Aslandogan, Y.A., Yu, C.T. (1999), "Tehniques and Systems for Image and Video Retrieval", IEEE Transations on Knowledge and Data Engineering, Vol. 11, No. 1, Jan/Feb, pp [] Baeza-Yates, R., Ribeiro-Neto (1999), B.A., Modern Information Retrieval, Wokingham, UK: Addison-Wesley. [3] Brunelli, R., Mih, O. (1999), "On the Use of Histograms for Image Retrieval", Pro. IEEE Intl. Conf. on Multimedia Computing and Systems (ICMCS), Florene, Italy, June 7-11, pp [4] Cao, X., Huang, H.K. (000), "Current Status and Future Advanes of Digital Radiography and PACS", IEEE Engineering in Mediine and Biology Magazine, Vol. 9, No. 5, Sept- Ot, pp [5] Comer, M.L., Delp E.J. (000), "The EM/MPM Algorithm for Segmentation of Textured Images: Analysis and Further Experimental Results", IEEE Transations on Image Proessing, Vol. 9, No. 10, Otober, pp [6] Huang, P.W., Dai, S.K. (003), "Image retrieval by texture similarity", Pattern Reognition, Vol. 36, No. 3, Marh, pp [7] Rosholm (1997), A., Statistial Methods for Segmentation and Classifiation of Images, Ph.D. thesis, Tehnial University of Denmark. [8] Safar M., Shahabi, C., Sun, X. (1999), "Image Retrieval by Shape: A Comparative Study", Pro. IEEE Int. Conf. On Multimedia and Expo, New York. [9] Sheikholeslami G., Chang, W., Zhang, A. (00), "SemQuery: Semanti Clustering and Querying on Heterogeneous Features for Visual Data", IEEE Transations on Knowledge and Data Engineering, Vol. 14, No. 5, September/Otober, pp [10] Smeulders, A.W.M., Worring, M., Santini, S., Gupta, A., Jain R. (000), "Content-Based Image Retrieval at the End of the Early Years", IEEE Transations on Pattern Analysis and Mahine Intelligene, Vol., No. 1, Deember. [11] Zhang, D., Lu, G. (001), "Content-Based Shape Retrieval Using Different Shape Desriptors: A Comparative Study", Pro. IEEE Conferene on Multimedia and Expo (ICME'01), Tokyo, Japan, August, pp Contatos André G. R. Balan 1 agrbalan@im.usp.br Agma J. M. Traina agma@im.usp.br Caetano Traina Jr. 3 aetano@im.usp.br Paulo Azevedo-Marques 4 pmarques@fmrp.usp.br 1,,3 Instituto de Ciênias Matemátias e de Computação (ICMC USP) Av. do Trabalhador São-Carlense, 400 Centro Cx. Postal 668 São Carlos SP Brasil, CEP Fauldade de Mediina de Ribeirão Preto (FMRP USP) Av. Bandeirantes, 3900 Ribeirão Preto SP Brasil, CEP