Geisa Martins Faustino. Um Método Baseado em Mineração de Grafos para Segmentação e Contagem de Clusters de Máximos Locais em Imagens Digitais

Transcrição

1 Geisa Martins Faustino Um Método Baseado em Mineração de Grafos para Segmentação e Contagem de Clusters de Máximos Locais em Imagens Digitais Tese de Doutorado Tese apresentada como requisito parcial para obtenção do grau de Doutor pelo Programa de Pós graduação em Informática do Departamento de Informática do Centro Técnico Científico da PUC-Rio Orientador : Prof. Marcelo Gattass Co Orientador: Prof. Carlos José Pereira de Lucena Rio de Janeiro Abril de 2011

2 Geisa Martins Faustino Um Método Baseado em Mineração de Grafos para Segmentação e Contagem de Clusters de Máximos Locais em Imagens Digitais Tese apresentada como requisito parcial para obtenção do grau de Doutor pelo Programa de Pós graduação em Informática do Departamento de Informática do Centro Técnico Científico da PUC-Rio. Aprovada pela Comissão Examinadora abaixo assinada. Prof. Marcelo Gattass Orientador Departamento de Informática PUC Rio Prof. Carlos José Pereira de Lucena Co Orientador Departamento de Informática PUC Rio Prof. Waldemar Celes Departamento de Informática PUC Rio Prof. Alberto Barbosa Raposo Departamento de Informática PUC Rio Prof. Aristófanes Corrêa Silva Departamento de Engenharia de Eletricidade UFMA Prof. Stevens Kastrup Rehen Universidade Federal do Rio de Janeiro UFRJ Prof. José Eugenio Leal Coordenador Setorial do Centro Técnico Científico PUC Rio Rio de Janeiro, 08 de Abril de 2011

3 Todos os direitos reservados. É proibida a reprodução total ou parcial do trabalho sem autorização da universidade, do autor e do orientador. Geisa Martins Faustino Graduou-se em Bacharel em Matemática pela Universidade do Estado do Rio de Janeiro no ano de Tornou-se mestre em Matemática com ênfase em Computação Gráfica pelo IMPA - Instituto Nacional de Matemática Pura e Aplicada em Faustino, Geisa M. Ficha Catalográfica Um Método Baseado em Mineração de Grafos para Segmentação e Contagem de Clusters de Máximos Locais em Imagens Digitais / Geisa Martins Faustino; orientador: Marcelo Gattass; co orientador: Carlos José Pereira de Lucena. Rio de Janeiro : PUC Rio, Departamento de Informática, v., 147 f: il. ; 29,7 cm 1. Tese (doutorado) - Pontifícia Universidade Católica do Rio de Janeiro, Departamento de Informática. Inclui referências bibliográficas. 1. Informática Tese. 2. Segmentação e contagem de clusters de máximos locais. 3. Representação de imagem baseada em grafo. 4. Mineração de grafo. 5. Clusterização de grafo. I. Gattass, Marcelo. II. Lucena, Carlos J. P. de. III. Pontifícia Universidade Católica do Rio de Janeiro. Departamento de Informática. IV. Título. CDD: 004

4 Agradecimentos Agradeço primeiramente a Deus pelas oportunidades dadas a mim ao longo de minha vida. Ele, que em sua infinita bondade colocou em meu caminho pessoas maravilhosas, que nos momentos tumultuados - naturais no caminho - não me deixaram cair em abatimento. À minha família, especialmente a minha mãe, por todo apoio, carinho, dedicação, incentivo e paciência, não só durante o período do doutorado, mas em TODOS os momentos da minha vida. Aos amigos que sempre estiveram presente, mesmo que de maneira virtual, me apoiando, incentivando e também me distraindo quando estava exausta de tanto trabalhar. Ao meu namorado João Vitor, e aos amigos Myriam e Vitor pelo apoio, incentivo, paciência, compreensão e carinho durante a etapa final deste período. À todos aqueles que foram meus professores. Aos meus orientadores, Marcelo Gattass e Carlos J. P. de Lucena, pela dedicação, incentivo, críticas, suporte, ensinamentos e principalmente pela segurança na orientação. Ao professor e amigo Aristófanes C. Silva por ter confiado e acreditado em mim no início e nos momentos mais difíceis do doutorado. Pelas reuniões/discussões, reais e virtuais (em sua maioria), às vezes curtas, mas todas sempre muito proveitosas. Pelo incentivo, críticas, ensinamentos, pela segurança na orientação e também paciência. Ao professor Stevens Rehen e sua equipe, pelo suporte biomédico e imagens fornecidas. Aos meus chefes no Tecgraf, Leonardo e Ivan, pela compreensão e apoio. À amiga e professora Maria Emília Loureto (lenguage instructor) pelas aulas de inglês, fundamentais para o melhoramento das minhas habilidades de leitura, escrita e conversação na língua inglesa e aprovação no exame de proficiência de língua estrangeira garantindo a minha continuidade no doutorado. Agradeço também pelas traduções, correções, apoio, incentivo e carinho. À Carolina Alfaro, pelas correções e dicas em meus artigos. À CAPES e CNPq que me proporcionaram bolsa de fomento, fundamental para a realização deste trabalho. Muito obrigado a todos.

5 Resumo Faustino, Geisa M.; Gattass, Marcelo; Lucena, Carlos J. P. de. Um Método Baseado em Mineração de Grafos para Segmentação e Contagem de Clusters de Máximos Locais em Imagens Digitais. Rio de Janeiro, p. Tese de Doutorado Departamento de Informática, Pontifícia Universidade Católica do Rio de Janeiro. Uma imagem monocromática pode ser interpretada como uma superfície topológica e desta forma objetos de interesse podem aparecer como picos (sharp mountains), domos (smooth hills) ou vales (V- or U-shaped). Um domo geralmente contém vários pontos de máximo locais em seu topo. Logo, fica bem caracterizado por um cluster de máximos locais. Segmentar individualmente objetos em imagens onde estes aparecem parcialmente sobrepostos ou fortemente agrupados é um problema que métodos clássicos de segmentação podem não solucionar adequadamente. Outro problema é contar objetos semelhantes em imagens previamente segmentadas. Esta tarefa, quando executada manualmente, devido ao cansaço visual exige um grande esforço humano. É tediosa, demorada, além de gerar resultados subjetivos. O presente trabalho propõe um novo método para segmentação e contagem de clusters de máximos locais em uma imagem digital através de uma abordagem baseada em grafos. Utilizando a informação de luminância, a imagem é representada por um grafo de adjacências e um algoritmo de mineração é utilizado para segmentar os clusters. Por fim, de acordo com características da imagem, um algoritmo de clusterização pode ser incorporado ao processo para melhorar o resultado final. A contagem dos objetos é um resultado direto do algoritmo de mineração e de clusterização, quando este último é aplicado. O método proposto é tolerante a variações no tamanho e forma dos objetos e é facilmente parametrizado para lidar com diferentes grupos de imagens provenientes de objetos distintos. Testes executados em uma base de dados com 262 imagens, composta de fotos de objetos (grupo 1) e de células tronco embrionárias em imagens de microscopia fluorescente (grupo 2), atestam a eficiência e qualidade do método desenvolvido no que diz respeito a segmentação e a contagem. Os resultados gerados para as imagens do grupo 1 foram validados pela autora e os do grupo 2 pelos biólogos do Instituto de Ciências Biomédicas da Universidade Federal do Rio de Janeiro. Para estas imagens foram obtidas uma F-measuare média de 85, 33% e 90, 88%, respectivamente. Por fim, um estudo comparativo com o algoritmo clássico de watershed foi realizado. Este alcançou uma F-measuare média de 74, 02% e 78, 28% para os grupos 1 e 2, respectivamente, contra 85, 33% e 91, 60% obtido pelo método proposto. Palavras chave Segmentação e contagem de clusters de máximos locais. Representação de imagem baseada em grafo. Mineração de grafo. Clusterização de grafo.

6 Abstract Faustino, Geisa M.; Gattass, Marcelo; Lucena, Carlos J. P. de.. Rio de Janeiro, p. PhD Thesis Department of Informática, Pontifícia Universidade Católica do Rio de Janeiro. A grayscale image can be viewed as a topological surface and this way, objects of interests may appear as peaks (sharp mountains), domes (smooth hills) or valleys (V- or U-shaped). Generally, the dome top presents more than one local maximum. Thus, it can be characterized by a local maximum cluster. Segmenting objects individually in images where they appear partially or totally fused is a problem which frequently may not be solved by a watershed segmentation or a basic morphological processing of images. Other issue is counting similar objects in images segmented beforehand. Counting them manually is a tedious and time-consuming task, and its subjective nature can lead to a wide variation in the results. This work presents a new method for segmenting and counting of local maximum clusters in digital images through a graph-based approach. Using the luminance information, the image is represented by a region adjacency graph and a graph-mining algorithm is applied to segment the clusters. Finally, according to image characteristics, a graph-clustering algorithm can be added to the process to improve the final result. The object counting step is a direct result from the mining algorithm and the clustering algorithm, when the latter is applied. The proposed method is tolerant to variations in object size and shape and can easily be parameterized to handle different image groups resulting from distinct objects. Tests made on a database with 262 images, composed of photographs of objects (group 1) and embryonic stem cells under fluorescence microscopy images (group 2), attest the effectiveness and quality of the proposed method as for segmentation and counting purpose. The images form group 1 processed by our method were checked by the author and those ones from group 2 by the specialists from the Institute of Biomedical Sciences at UFRJ. For these images we obtained an average F-measure of 85.33% and 90.88%, respectively. Finally, a comparative study with the widely used watershed algorithm was done. The watershed achieved an average F-measure of 74.02% e 78.28% for groups 1 and 2, respectively, against 85.33% e 91.60% obtained by our method. Keywords Segmentation and counting of local maximum clusters. representation. Graph mining. Graph clustering. Graph-based image

7 Sumário 1 Introdução Contribuições Trabalhos Relacionados Organização do Trabalho 22 2 Método Proposto Pré-processamento Partição do Histograma Detecção das Componentes Conectadas Construção do Grafo Processo de Mineração do Grafo Algoritmo para Clusterização do Grafo 36 3 Resultados Experimentais e Discussão Experimento 1: segmentação e contagem de objetos em imagens reais Experimento 2: detecção e contagem de células tronco embrionárias em imagem de microscopia fluorescente 49 4 Conclusão Trabalhos Futuros 65 Referências Bibliográficas 72 Artigos Publicados 79 A B Artigo publicado nos anais do 6th International Symposium on Biomedical Imaging 80 Artigo publicado nos anais da 17th International Conference on Systems, Signals and Image Processing 85 C Artigo a publicado em Integrated Computer-Aided Engineering 90 D Artigo submetido para Computer Vision and Image Understanding 107

8 Lista de figuras 1.1 Exemplo de imagens não triviais de serem segmentadas Exemplo de objetos que são representados por CML quando a imagem é interpretada como uma superfície topológica: a esquerda a imagem capturada e a direita a visualização 3D correspondente Visão geral do método proposto: cada passo é representado por uma caixa. Os ítens em cinza (clusterização do grafo e segmentação do fundo) representam os passos opcionais Curvas de nível e partição do histograma para a imagem apresentada na Figura 1.2(a) para dois valores de ε: (a) e (b) apresentam os resultados para ε = 64 e; (c) e (d) para ε = 32, respectivamente Resultado do filtro Gaussiano: (a) imagem de entrada; (b) e (c) informação de luminância e superfície topológica correspondente; (d) e (e) resultado do filtro Gaussiano sobre a imagem e sobre a superfície, respectivamente Resultado da etapa de segmentação do fundo e exemplos de quando ela deve ou não ser aplicada: (a) resultado desta etapa para imagem apresentada na Figura 2.3(a); (b) e (c) imagem de microscopia fluorescente e respectivo resultado da segmentação do fundo; e (d) imagem de miçangas, a qual não possui fundo Partição do histograma e imagens binárias correspondentes para a imagem apresentada na Figura 2.3(a) Imagens binárias representando cada intervalo da partição do histograma apresentado na Figuras 2.2(b) e 2.2(d), respectivamente. As setas na cor vermelha indicam as mudanças decorrentes de valores diferentes para o tamanho do intervalo Componentes conectadas com seus respectivos identificadores a uma parte da matriz M para a imagem apresentada na Figura 1.2(a) Matriz M e representação da imagem baseada em grafo para a imagem da Figura 1.2(a): (a) pequena parte da matriz M; (b) componentes detectadas com respectivos identificadores; e (c) RAG correspondente Componentes conectadas e representação da imagem baseada em grafo para a imagem da Figura 2.3(a) Exemplo de representação da imagem baseada em grafo para uma imagem natural. 31

9 2.11 Resultado obtido com o algoritmo de mineração para a imagem da Figura 2.3(a): (a) imagem de entrada; (b) representação da imagem baseada em grafo; (c) caminhos simples encontrados; e (d) resultado do algoritmo sobre a imagem Resultado do algoritmo de mineração de grafo: (a) imagem de entrada; (b) regiões conectadas; (c) objetos identificados; (d) caminhos simples encontrados durante a etapa de mineração do grafo; e (e) representação da imagem de entrada baseada em grafo Resultado obtido com o algoritmo de mineração e resultados das etapas 1 e 2 do algoritmo de clusterização Resultados das etapas 3, 4 e 5 do algoritmo de clusterização Fotos de objetos reais dividas em sete grupos: (a) fotos de miçangas (contas); (b) fotos de pérolas sintéticas; de (c) a (g) fotos de miçangas (contas); de (h) a (l) fotos de pérolas sintéticas; (m) e (n) fotos de doces; (o) fotos de pedra; de (p) à (r) fotos de grãos de feijão; (s) fotos de grãos de café e; (t) fotos de uvas Resultados obtidos com o método desenvolvido e o algoritmo de watershed em imagens de objetos reais Resultados obtidos com o método desenvolvido e o algoritmo de watershed em imagens de objetos reais Comparação entre o método desenvolvido e o algoritmo de watershed para imagens de objetos reais. Note que nosso método obteve melhores resultados para a maioria das imagens Exemplo de imagens de células tronco embrionárias: (a) EB cryosection com aumento de 40 ; (b) e (c) imagens de migração celular de corpos embrióides com aumento de 40 e 20, respectivamente; (d) e (e) imagens de colônias de células mes sobre MEF com aumento de 40 e 20, respectivamente; e (f) neuroesferas Resultados obtidos com o método proposto: (a) e (b) mostram imagens de EB cryosections com um nível de ruído aceitável (grupo 1) e presença de forte ruído (grupo 2), respectivamente; (c) e (d) apresentam imagens de migração de EB com aumento de 40 e 20 (grupos 3 e 4), respectivamente; (e) e (f) mostram imagens de colônias de mes sobre MEF com aumento de 20 e 10 (grupos 5 e 6), respectivamente; e (g) apresenta uma imagem de neuroesfera Embryonic Stem Cell Counter software (ESCC), aplicativo gratuito desenvolvido para detectar e contar automaticamente células tronco embrionárias em imagens de microscopia fluorescente. 57

10 3.8 Resultados obtidos com o nosso método e com o algoritmo de watershed: (a) e (d) comparam os resultados para imagens de EB cryosection; (b) e (e) para imagens de migração de EB com aumento de 40 ; e (c) e (f) para imagens de migração de EB com aumento de 20.Os pontos em vermelho e em azul assinalam as células que foram detectadas Resultados obtidos com método proposto e com o algoritmo de watershed: (a) e (d) para imagens de colônias de células mes sobre MEF com aumento de 20 ; (b) e (e) para imagens de colônias de mes sobre MEF com aumento de 10 ; e (c) e (f) para imagens de neuroesferas. Os pontos em vermelho e em azul assinalam as células que foram detectadas Comparação entre o método proposto e a algoritmo de watershed no que diz respeito à imagens de células tronco embrionárias. Todas as imagens foram analisadas e avaliadas visualmente pela autora baseada em exemplos de contagem correta fornecidos pelos biólogos do Instituto de Ciências Biomédicas da UFRJ Resultados preliminares obtidos com o método proposto para imagens do tipo IKONOS [40]. Os pontos na cor vermelha indicam as árvores segmentadas Resultados preliminares obtidos com o método apresentado neste trabalho para imagens bidimensionais de electrophoresis gels [79]. Os pontos na cor vermelha indicam os spots segmentadas Resultados preliminares obtidos com o método apresentado neste trabalho para imagens de solitary odontogenic keratocyst lining [46]. Os pontos vermelhos representam os cistos segmentados Resultados preliminares obtidos com o método apresentado neste trabalho para imagens de micrografias eletrônicas muscular [77]. Os pontos vermelhos indicam os filamentos de miosina detectados Exemplo de imagens de células tronco coloridas com três marcadores celulares diferentes: (a) marcador DAPI: marca todas as células; (b) β- III tubulina - marcador específico para neurônios; e (c) GFAP - marcador glial Estrutura interna do olho humano Resultados preliminares para detecção da primeira imagem de Purkinje. Note que além do brilho do olho, o método detectou outros pontos brilhantes, os quais devem ser eliminados em um passo adicional. 70

11 Lista de tabelas 3.1 Resultados obtidos e respectivos parâmetros utilizados para as imagens de cada grupo. Valores em branco indicam que o respectivo passo não foi aplicado. A primeira coluna (G.) indica o Grupo de imagens e a última linha apresenta a média aritmética para precision, recall e F-measure obtidos pelo método proposto e pelo algoritmo de watershed Base de dados dividida em 7 grupos de imagens e os respectivos valores utilizados para os parâmetros de entrada: valor para o raio do filtro Gaussiano (σ), o parâmetro (x) utilizado para calcular o threshold, tamanho do intervalo (ε) e metade do valor médio do diâmetro da célula (λ). A segunda coluna mostra a quantidade de imagens para em um dos grupos Resultados obtidos com método proposto para imagens de células tronco embrionárias. Todos os números são valores médios calculado sobre as imagens de cada grupo. A última coluna mostra quando o sexto passo (clusterização do grafo) do algoritmo foi utilizado. A última linha apresenta o valor médio para precision, recall e F-measure sobre todas as imagens Conjuntos representando os grupos principais. A primeira coluna indica os conjuntos e a segunda os respectivos grupos que eles representam. A terceira coluna apresenta o número e o tipo de imagem Comparação entre método proposto, com e sem o passo 6 (clusterização do grafo), e o algoritmo de watershed [52]. A primeira coluna indica os conjuntos de imagens e as demais apresentam os resultados obtidos pelo método proposto e pelo watershed. Todos os números são valores médios obtidos sobre todas as imagens do respectivo conjunto. 58

12 Lista de Artigos Publicados A seguir, uma lista com os artigos submetidos/publicados, os quais são resultados diretos deste trabalho é apresentada. Estes artigos podem ser encontrados nos apêndices desta tese. Artigos publicados em anais de conferencia: 1. Atomatic Embryonic Stem Cell Detection and Counting Method in Fluorescence Microscopy Image, publicado nos anais da 6th International Symposium on Biomedical Imaging (ISBI 09), Boston Massachusetts, E.U.A., ISSN: , DOI: , volume 1, páginas , Junho de Improved Automatic ES Cells Counting Method in Fluorescence Microscopy Images, publicado nos anais da 17th International Conference on Systems, Signals and Image Processing (IWS- SIP 2010), volume 1, páginas , Rio de Janeiro, Brasil, Março de Os artigos acima podem ser encontrados nos Apêndices A e B, respectivamente. Artigos submetidos/publicados em Journals: 1. A Graph-mining algorithm for automatic detection and counting of embryonic stem cells in fluorescence microscopy image, artigo publicado em Integrated Computer-Aided Engineering, ISSN: (Print) (Online), DOI: /ICA , volume 18, número 1, páginas , Janeiro de Detecting Domes in Digital Images Using a Graph-mining Aprroach, submetido para Computer Vision and Image Understanding, Março de Os artigos acima podem ser encontrados nos Apêndices C e D, respectivamente.

13 Lista de Abreviaturas e Símbolos δ λ desvio-padrão da imagem diâmetro médio dos objetos da imagem µ valor médio da imagem ε t x CML EB EB cryosection ES cell MEF tamanho do intervalo da partição do histograma da imagem threshold global simples constante definida experimentalmente clusters de máximo locais embryoid body - corpo embrióide células tronco provenientes de seções de corte em corpos embrióides embryonic stem cell - célula tronco embrionária murine embryonic fibroblasts - fibroblastos embrionários murinos mes murine embryonic stem cells - células tronco embrionárias murinas RAG Region Adjacency Graph Grafo de adjacência

14 Talvez eu venha a envelhecer rápido demais. Mas lutarei para que cada dia tenha valido a pena. Talvez eu sofra inúmeras desilusões no decorrer de minha vida. Mas farei que elas percam a importância diante dos gestos de amor que encontrei. Talvez eu não tenha forças para realizar todos os meus ideais. Mas jamais irei me considerar um derrotado. Talvez um dia o sol deixe de brilhar. Mas então irei me banhar na chuva. Talvez um dia eu sofra alguma injustiça. Mas jamais irei assumir o papel de vítima. Talvez eu seja enganado inúmeras vezes. Mas não deixarei de acreditar que em algum lugar alguém merece a minha confiança. Talvez algumas pessoas queiram o meu mal. Mas irei continuar plantando a semente da fraternidade por onde passar. Talvez eu fique triste ao concluir que não consigo seguir o ritmo da música. Mas então, farei com que a música siga o compasso dos meus passos. Talvez eu não aprenda todas as lições necessárias. Mas terei a consciência que os verdadeiros ensinamentos já estão gravados em minha alma. Talvez eu me deprima por não ser capaz de saber a letra daquela música. Mas ficarei feliz com as outras capacidades que possuo. Talvez eu não tenha motivos para grandes comemorações. Mas não deixarei de me alegrar com as pequenas conquistas. Talvez a vontade de abandonar tudo torne-se a minha companheira. Mas ao invés de fugir, irei correr atrás do que almejo. Talvez eu não seja exatamente quem gostaria de ser. Mas passarei a admirar quem sou. Porque no final saberei que, mesmo com incontáveis dúvidas, eu sou capaz de construir uma vida melhor. E se ainda não me convenci disso, é porque como diz aquele ditado: Ainda não chegou o fim. Porque no final não haverá nenhum talvez e sim a certeza de que a minha vida valeu a pena e eu fiz o melhor que podia. Aristóteles,.

15 1 Introdução A segmentação de imagens não triviais, como aquelas apresentadas na Figura 1.1, é considerada uma das tarefas mais difíceis em processamento de imagens e sua acurácia é fator determinante para o eventual sucesso ou fracasso de procedimentos de análise computadorizados [38]. É uma etapa fundamental e geralmente é utilizada como ponto de partida na maioria das tarefas que envolvem processamento e análise de imagens, tais como extração, contagem e reconhecimento de objetos, classificação de imagens e visão computacional, dentre outros. (a)foto de grãos de feijão (b)foto de miçangas (c)imagem de células tronco embrionárias obtida através de microscópio fluorescente Figura 1.1: Exemplo de imagens não triviais de serem segmentadas. Embora avanços na área de processamento de imagens e visão computacional vêm possibilitando a segmentação, reconhecimento e detecção automática de vários tipos de objetos, em se tratando de imagens onde os objetos são idênticos ou muito próximos em relação a cor ou textura e aparecem parcialmente sobrepostos ou fortemente agrupados, segmentá-los individualmente é um problema que métodos clássicos de segmentação, tais como watershed ou processos morfológicos básicos, podem não solucionar adequadamente. Contar objetos em imagens é uma tarefa necessária em diversas aplicações. Contagem de pessoas nas estradas [11, 15], detecção e contagem de estruturas intracelulares [61], contagem de células [73] e de partículas biológicas em imagens de microscopia [13] são alguns exemplos. De modo geral, a contagem de objetos semelhantes é um procedimento fundamental para o entendimento de cenas onde vários objetos estão presentes. No entanto, contá-los manualmente em imagens impressas ou digitais é uma tarefa tediosa, demorada e que, devido ao cansaço

16 Capítulo 1. Introdução 16 visual, exige um grande esforço humano. Além disso, estas dificuldades podem ser agravadas em situações onde as imagens não tenham um alto contraste, apresentem uma grande quantidade de objetos sobrepostos em uma única cena e os objetos de interesse sofram variações no seu tamanho e morfologia. No mais, o caráter subjetivo da contagem manual pode levar a uma grande variação nos resultados. Na prática, contar grandes quantidades de objetos manualmente leva a um alto desvio padrão, obtendo-se resultados de baixa qualidade. Portanto, faz-se necessário o desenvolvimento de um método para segmentação e contagem, capaz de lidar adequadamente com imagens onde os objetos aparecem parcialmente ou totalmente sobrepostos, ou ainda fortemente agrupados. Uma imagem monocromática pode ser interpretada como uma superfície topológica onde a altitude de cada ponto é igual ao valor do pixel correspondente. Desta forma, objetos de interesse podem aparecer como picos (sharp mountains), domos (smooth hills) ou vales (V- or U-shaped). Os domos presentes nesta superfície são resultados de regiões da imagem que possuem, geralmente, um ponto central brilhante e esta luminância diminui gradualmente deste ponto em direção a borda do objeto. A Figura 1.2 mostra três imagens de objetos que aparecem como domo e a respectiva visualização 3D, representado a superfície. Nesta figura podese observar que cada objeto na imagem corresponde a um domo na superfície. Entretanto, devido a fatores como a presença de ruído, iluminação inadequada e até mesmo características intrínsecas dos objetos fotografados, um objeto na imagem pode apresentar mais de um ponto brilhante. Como conseqüência, o domo correspondente pode conter vários pontos de máximo local em seu topo, conforme ilustrado na Figura 1.2(b). Nesta figura, embora o domo posicionado a esquerda da superfície represente um único objeto, ele apresenta dois pontos de máximo local. Portanto, um domo fica caracterizado por um cluster de máximos locais (CLM). Existe um grande número de objetos, nos mais variados tipos de imagens, tais como células em imagens de microscopia fluorescente [74], palmeiras de óleo em imagens IKONOS [40], microcalcificações em imagens de mamografia digital [39], filamentos de miosina no músculo em imagens de eletromicrografias [77] e, spots em imagens biológicas [71] e em imagens de 2-DE gel [79], dentre outros que são representados por domos, isto é por CML, quando a imagem é interpretada como uma superfície topológica. Além disso, objetos que possuam uma superfície côncava e suave, quando fotografados com uma fonte de iluminação pontual também são representados por esta estrutura. Logo, segmentar e contar estes objetos pode ser reduzido a tarefa de segmentar e contar os CML presentes na superfície que representa a imagem. O presente trabalho visa desenvolver um novo método para segmentação e contagem de objetos em imagens digitais. Com o intuito de aplicá-lo a objetos di-

17 Capítulo 1. Introdução 17 (a)imagem sintética. (b)células tronco embrionárias em imagem de microscopia fluorescente. (c)imagens de doces. Figura 1.2: Exemplo de objetos que são representados por CML quando a imagem é interpretada como uma superfície topológica: a esquerda a imagem capturada e a direita a visualização 3D correspondente. ferentes, este método é parametrizável, tolerante à variações no tamanho e forma dos objetos e é capaz de lidar com imagens onde os objetos aparecem sobrepostos ou fortemente agrupados. Assim, com este método, é possível reduzir os esforços, eliminar a subjetividade dos resultados, simplificar e agilizar a tarefa de segmentação e contagem necessária em várias áreas de pesquisa. Na metodologia apresentado nesta tese a imagem é considerada como uma superfície topológica e os objetos de interesse são representados por CML. Através da informação de luminância é gerada uma representação da imagem baseada em grafo. O CML é caracterizado por um subgrafo e um algoritmo de mineração é utilizado para detectar os clusters. Por fim, de acordo com características da imagem, um algoritmo de clusterização pode ser incorporado ao processo para melhorar o resultado final. A contagem dos objetos é um resultado direto do algoritmo de mineração e de clusterização, quando este último é aplicado. Resultados numéricos de testes executados em dois grupos de imagens: grupo 1 formado por fotos de objetos e grupo 2 formado por imagens de células tronco embrionárias obtidas através de um microscópio fluorescente, atestam a eficiência e qualidade do método proposto no que diz respeito a segmentação e também a contagem. Os resultados gerados para as imagens do primeiro grupo foram validados pela autora e os resultados para o segundo grupo de imagens foram validados pelos biólogos do Instituto de Ciências Biomédicas da Universidade do Estado do Rio de Janeiro (UFRJ). Por último, um estudo comparativo com o algoritmo de watershed por imersão proposto por Meyer [52] por foi realizado.

18 Capítulo 1. Introdução Contribuições Como principais contribuições deste trabalho podemos citar: Desenvolvimento de um novo método para segmentação e contagem de clusters de máximos locais em uma imagem digital. Vantagens deste método incluem: 1. É facilmente parametrizável e tolerante à variações no tamanho e forma dos objetos de um mesmo grupo de imagens. Logo, pode ser aplicado em vários tipos de imagens diferentes provenientes de objetos distintos. 2. Embora não seja automático, o método proposto pode ser automatizado para grupos específicos de imagens. Ou seja, uma vez determinados os valores para os parâmetros de entrada (ε e λ) não é necessária a intervenção do usuário em etapa alguma do processo. 3. As tarefas de segmentação e contagem não são dependentes. Isto é, é possível segmentar a imagem e não totalizar o número de objetos. 4. É um método onde as fases são independentes. A etapa de partição do histograma, a representação da imagem baseada em grafo e os algoritmos de mineração e clusterização de grafos podem ser usados de modo independente. Assim, também podemos citar como contribuição: Desenvolvimento de um algoritmo de mineração de grafos para detectar caminhos simples onde os nós estão em ordem crescente. Desenvolvimento de um algoritmo de clusterização de grafos hierárquico para mesclar os caminhos simples que estejam a uma distância menor quer um limiar pré-definido. Desenvolvimento de uma ferramenta computacional para segmentação e contagem automática de células tronco embrionárias em imagens de microscopia fluorescente, a qual vem sendo utilizada com sucesso pelo biólogos do Instituto de Ciências Biomédicas da Universidade Federal do Rio de Janeiro (UFRJ) desde de 2009 e pode ser adquirida gratuitamente na Internet através do endereço puc-rio.br/.

19 Capítulo 1. Introdução Trabalhos Relacionados Existe uma vasta literatura sobre segmentação de objetos, datando mais de 30 anos, com aplicações em diversas áreas além de visão computacional. Nesta seção, vamos discutir brevemente alguns dos trabalhos mais relevantes para nossa abordagem. Métodos muito elementares como reconstrução de imagens em escala de cinza [69, 51], decomposição morfológica [64], e thresholding [65], são simples e rápidos de se implementar. Além disso, dada a variedade de funções que desempenham, podem ser facilmente combinados para atingir a segmentação completa da imagem [5]. Embora definidos, em sua maioria, para imagens binárias e em escala de cinza, podem ser estendidos para imagens coloridas. No entanto, estes métodos têm de ser ajustados manualmente para obter um bom desempenho para tipos específicos de objetos, tendo de ser reconstruído para objetos diferentes. São pouco robustos a variações na forma, tamanho e intensidade dos objetos bem como na iluminação da imagem. Além disso, não são aptos a segmentar objetos individuais em imagens onde eles aparecem sobrepostos ou fortemente agrupados. De modo geral, estes métodos são utilizados como um pré-processamento para uma análise mais complexa. O método clássico de watershed [52] considera a imagem como um relevo e pode ser interpretado como um processo de inundação. A partir de pontos específicos, chamados de marcadores (markers), a água sobe gradualmente e o processo de alagamento continua até que toda a imagem esteja segmentada ou o nível de água chegue a uma dada altura. Pode ser facilmente implementado e é executado em tempo linear. No entanto, a transformada de watershed é sensível a ruídos e geralmente produz uma super-segmentação como resultado. De modo geral, sua robustez está diretamente ligada à eficiência da etapa de pré-processamento, onde os pontos iniciais (markers) são detectados. Além disso, este método não é capaz de detectar os limites entre objetos que possuam baixo contraste, o que é inerente ao processo de imersão [9]. A fim de reduzir as deficiências do watershed, diversas técnicas de pré-processamento têm sido propostas [53, 62, 49]. Entretanto, a sub-segmentação ainda é um problema que não foi tratado pela maioria dos pesquisadores. Crescimento de regiões é um procedimento que agrupa pixels ou sub-regiões em regiões maiores de acordo com um critério pré-definido [38]. Seus pontos fortes são sua rápida execução, facilidade de implementação e flexibilidade. Entretanto, estes métodos necessitam que os pontos iniciais (sementes), a partir dos quais crescem as regiões, sejam previamente selecionados. Esta tarefa é geralmente feita pelo usuário. Além disso, estes métodos são sensíveis a ruídos na imagem e uma

20 Capítulo 1. Introdução 20 vez que segmentam somente regiões homogêneas geralmente produzem uma supersegmentação como resultado. Shih and Cheng [35] propuseram um método de crescimento de regiões para segmentar imagens coloridas onde os pontos iniciais são escolhidos automaticamente. No entanto, a falta de informação à respeito da localização e proximidade dos objetos, requer um método robusto e automático para a detecção das sementes. Contornos ativos, também conhecidos como snakes ou modelos deformáveis [66, 56, 22], aparecem de várias maneiras diferentes na literatura. Uma revisão completa pode ser encontrada em [12, 14]. De modo geral, estes métodos não realizam uma segmentação completa da imagem. Na verdade, eles são destinados a isolar objetos de interesse, de modo direto, rotulando todos os pixels. Seu principal ponto fraco é a exigência de um ajuste delicado dos parâmetros que têm influência mais significativa. Normalmente não há regras para escolha dos valores e este ajuste é feito de modo manual através de tentativas e erros. Além disso, estes métodos devem ser previamente inicializados de modo similar a tarefa de encontrar os pontos iniciais para o algoritmo de watershed. Métodos de level sets [7, 47, 48] surgiram como uma ferramenta poderosa para segmentar imagens. São muito bons em segmentar formas que mudam de topologia como, por exemplo, formas que se dividem em duas ou contenham buracos. No entanto, quando os objetos estão fortemente agrupados e são muito próximos em relação a cor ou textura, estes métodos não são capazes de segmentálos individualmente. Além disso, o alto custo computacional pode ser um ponto fraco. Em particular, a avaliação da curvatura local requer o cálculo de muitas derivadas parciais - de primeira e segunda ordem - da função de imersão para cada ponto a cada iteração. Redes neurais vêm sendo utilizadas com sucesso em processamento de imagens [6] e métodos baseados em redes neurais para a tarefa específica de segmentação e reconhecimento de padrões vêm sendo desenvolvidos [25, 58]. No entanto, estes métodos exigem um conhecimento prévio sobre a forma do objeto. Além disso, variações no tamanho, forma e textura dos objetos tornam os métodos baseados em aprendizagem muito sensíveis ao conjunto de treinamento, resultando em perda de robustez. Logo, como o propósito desta pesquisa é desenvolver um método para segmentação e contagem de CML que possa ser aplicado em diferentes grupos de imagens, um método baseado em redes neurais restringiria bastante os tipos de imagens além de exigir um ajuste/treinamento delicado para cada um deles. Grafos são flexíveis e uma representação poderosa que vem sendo aplicada com sucesso em visão computacional, reconhecimento de padrões e áreas afins. Na área de reconhecimento de padrões, os grafos vêm se mostrando eficazes para

21 Capítulo 1. Introdução 21 efeito de representação [59]. Como conseqüência, técnicas que utilizam grafos para representação e manipulação de dados têm sido amplamente investigadas na área de processamento e análise de imagens [16, 19, 17]. Graph cuts é uma abordagem popular utilizada em segmentação de imagens [44, 45]. De modo geral, a imagem é modelada como um grafo ponderado e não direcionado, o qual será particionado de acordo com um critério definido. Cada partição de nós do grafo representa um elemento da imagem. Estes métodos podem ser computacionalmente eficientes e produzem bons resultados para imagens exibindo um único objeto com textura regular. Por outro lado, em imagens onde os objetos estão agregados ou sobrepostos e são muito próximos em relação a cor e textura, esta técnica não é capaz de segmentá-los individualmente, separando apenas o aglomerado de objetos do fundo da imagem. Como último trabalho relacionado podemos citar o método desenvolvido por Restif [61]. Em sua tese foi proposto um método de segmentação para imagens de microscopia fluorescente, projetado para lidar com núcleos e sondas cromossômicas. A etapa de segmentação de núcleos utiliza um modelo paramétrico do histograma da imagem. Baseado nas características morfológicas das sondas cromossômicas Restif desenvolveu um algoritmo de detecção de domos para segmentá-las. Em seu trabalho, um domo é definido como uma região de tamanho fixo construída ao redor de apenas um ponto de máximo. Uma máscara de tamanho 5x5 é centrada em cada ponto de máximo da imagem e a região é classificada como um domo ou ruído. Regiões com mais de dois pontos de máximos locais são consideradas ruído. Embora bastante eficiente e robusto este método não pode ser aplicado de forma direta para segmentar objetos com forma e tamanhos variados. O presente trabalho propõe um método para segmentação e contagem de CML em imagens digitais. Ao contrário da definição apresentada por Restif [61], neste trabalho o objeto de interesse é caracterizado por um CML. Através da informação de lumiância uma representação da imagem baseada em grafo é construída e um algoritmo de mineração é utilizado para segmentar esta estrutura. Por fim, de acordo com características da imagem, um algoritmo de clusterização pode ser incorporado ao processo melhorando o resultado final e evitando super-segmentação, resultado que ocorre com freqüência em métodos como o watershed [52] e crescimento por regiões [38, 35]. Em contraste com métodos baseados em redes neurais [25, 58], a metodologia apresentada não utiliza qualquer informação prévia à respeito da morfologia dos objetos e ao contrário dos métodos de crescimento por região e contornos ativos [12, 14], não necessita que pontos iniciais sejam previamente selecionados. Diferentemente de métodos muito elementares [69, 51, 64, 65, 5], level sets [7, 47, 48] e daqueles que utilizam a técnica de graph-cuts [44, 45], o método proposto é tolerante a variações no tamanho e forma dos objetos e é capaz de

22 Capítulo 1. Introdução 22 segmentar individualmente objetos similares em relação a cor e textura, sobrepostos ou fortemente agrupados tais como aqueles mostrados na Figura 1.1. Além disso, em contraste com os contornos ativos que necessitam de um ajuste delicado dos parâmetros, o método proposto é facilmente parametrizado para lidar com grupos de imagens diferentes provenientes de objetos distintos. 1.3 Organização do Trabalho O restante desta tese está organizado conforme descrito a seguir. O Capítulo 2 apresenta o método proposto. Este capítulo inicia-se com uma visão geral do método, o qual é composto de seis passos: cinco obrigatórios (préprocessamento, partição do histograma, detecção das componentes conectadas e mineração do grafo) e um passo opcional (clusterização do grafo) específico para casos em que o objeto de interesse possui mais de um ponto brilhante. Em seguida as Seções 2.1, 2.2, 2.3, 2.5 e 2.6 descrevem cada um dos passos em detalhes. O Capítulo 3 apresenta e discute os resultados experimentais. Para avaliar a qualidade e eficiência do método proposto, foram feitos testes em dois grupos distintos: o primeiro formado por fotos de objetos e o segundo formado por imagens de células tronco embrionárias obtidas através de um microscópio fluorescente. Os resultados para cada grupo são apresentados separadamente nas Sessões 3.1 e 3.2, respectivamente. Este capítulo também apresenta um estudo comparativo com o algoritmo de watershed proposto por Meyer [52]. Com o intuito de contextualizar o problema de contagem de células tronco em imagens de microscopia, é apresentado na Seção 3.2 uma breve descrição do que são células tronco e sua importância, o porquê é necessário contá-las bem como alguns trabalhos relacionados. Finalmente, o Capítulo 4 apresenta um pequeno resumo, as conclusões tiradas deste trabalho bem como algumas sugestões de trabalhos futuros, principalmente no que diz respeito à aplicação do método proposto em outros tipos de imagens. Os Apêndices de A à D apresentam os artigos submetidos/publicados, os quais são resultados direto desta tese.

23 2 Método Proposto Este capítulo apresenta o método proposto para segmentação e contagem de clusters de máximos locais (CML) em uma imagem digital. Este método pode ser dividido em duas grandes etapas: a etapa de segmentação e a etapa de contagem. Na etapa de segmentação, através da informação de luminância uma representação da imagem baseada em grafo é construída. O CML é definido como um subgrafo e um algoritmo de mineração é utilizado para encontrar os clusters no grafo que representa a imagem. Em situações onde o objeto de interesse apresenta vários pontos brilhantes que possuam alturas muito diferentes, um algoritmo de clusterização de grafos pode ser incorporado ao processo para agrupar estes pontos, melhorando o resultado final. A etapa de contagem dos objetos é um resultado direto do algoritmo de mineração e de clusterização, quando este último é aplicado. O método como um todo é composto de seis passos: cinco passos obrigatórios (aplicação do filtro Gaussiano na etapa de pré-processamento, partição do histograma, detecção de componentes conectadas, construção do grafo e mineração do grafo) e um passo opcional (clusterização do grafo) para lidar com o caso de vários pontos brilhantes. A Figura 2.1 fornece uma visão geral do método proposto. (a) Figura 2.1: Visão geral do método proposto: cada passo é representado por uma caixa. Os ítens em cinza (clusterização do grafo e segmentação do fundo) representam os passos opcionais. No primeiro passo (pré-processamento) é aplicado um filtro Gaussiano para diminuir o ruído e se necessário o plano principal da imagem (objetos) é separado do fundo. No segundo passo, o eixo horizontal do histograma da imagem é

24 Capítulo 2. Método Proposto 24 particionado em intervalos de tamanho fixo. Em seguida, no terceiro passo, as componentes conectadas são detectadas e no passo seguinte um grafo de adjacência, o qual representa a imagem, é construído. Finalmente, no quinto passo, um processo de mineração de grafos é aplicado para encontrar os CML. Se necessário, um sexto passo (clusterização do grafo) pode ser adicionado ao processo. Para facilitar o entendimento do método proposto são necessárias algumas definições, as quais são apresentadas a seguir. Seja I : Ω Z 2 [0, 255] uma função que representa uma imagem em tons de cinza. Esta imagem pode ser visualizada geometricamente como o gráfico G(I) da função I, G(I) = {(x, y, z); (x, y) Ω e z = I(x, y)}, considerando os valores de intensidade como a altura z = I(x, y) em cada ponto (x, y) do domínio [8]. Este fato é ilustrado na Figura 1.2. Esta interpretação geométrica permite uma visão mais intuitiva de certos aspectos da imagem. Neste trabalho, uma curva de nível de I em z = c é definida como o conjunto L c = {(x, y) Ω; (c 1)ε I(x, y) < cε} para um número inteiro positivo ε fixo e c {1, 2, 3,..., 256/ε}. Grandes valores para ε correspondem a poucas curvas de nível e vice-versa. As Figuras 2.2(a) e 2.2(c) apresentam exemplos de curvas de nível para valores de ε = 64 e ε = 32, respectivamente. O gráfico 3D mostrado nesta figura corresponde à imagem exibida na Figura 1.2(a). Os planos coloridos representam as curvas de nível e os números a esquerda do eixo z correspondem ao valor de c. Como descrito anteriormente, o topo de um CML pode conter vários pontos de máximos locais. Assim, ao traçar estas curvas de nível, os pontos do domínio que possuem uma diferença de altura inferior a ε são agrupados em clusters. Um modo equivalente de se obter os conjuntos L c acima é dividir o eixo horizontal do histograma da imagem em intervalos de tamanho ε e agrupar os pixels de acordo com sua luminância, conforme ilustrado nas Figuras 2.2(b) e 2.2(d). Estas figuras mostram o histograma da imagem apresentada na Figura 1.2(a) e os respectivos intervalos para valores de ε = 64 e ε = 32. Cada intervalo do histograma corresponde a uma classe de luminância e os números de cada intervalo equivalem ao nível da curva que ele representa. As próximas seções deste capítulo apresentam cada passo do método proposto em detalhes.

25 Capítulo 2. Método Proposto 25 (a) (b) (c) (d) Figura 2.2: Curvas de nível e partição do histograma para a imagem apresentada na Figura 1.2(a) para dois valores de ε: (a) e (b) apresentam os resultados para ε = 64 e; (c) e (d) para ε = 32, respectivamente. 2.1 Pré-processamento O passo de pré-processamento é composto por duas etapas: aplicação de um filtro Gaussiano para reduzir o ruído e, se necessário, a segmentação do fundo onde o plano principal de imagem (objetos) é separado do fundo através de um threshold global simples. O objetivo da aplicação do filtro Gaussiano é reduzir o número de falsos picos sem borrar ou fundir objetos (CML) diferentes em um. Quando a imagem apresenta objetos com mais de um ponto brilhante, esta etapa raramente os mescla, conforme ilustrado na Figura 2.3(e). Estes picos extras serão tratados pela última etapa do algoritmo. A Figura 2.3(a) apresenta a imagem de entrada e a imagem no canto superior esquerdo destaca o fundo não uniforme. A Figura 2.3(b) mostra a mesma imagem em tons de cinza (informação de luminância) e a Figura 2.3(c) apresenta o gráfico 3D correspondente. As Figuras 2.3(d) e 2.3(e) mostram o resultado obtido após a aplicação do filtro Gaussiano na imagem e na superfície, respectivamente. A segmentação do fundo é opcional. Esta etapa é, geralmente, aplicada quando a imagem possui fundo não uniforme, como as imagens de microscopia fluorescente (Figura 2.4(b)) por exemplo. De modo geral, as imagens são capturadas em um ambiente controlado e, portanto, o plano principal da imagem (objetos) pode ser separado do fundo da imagem através de um threshold global simples t = µ+xδ, onde µ é o valor médio da imagem, δ é o desvio-padrão da imagem, e x é uma constante definida experimentalmente. A parte final desta etapa consiste em zerar

26 Capítulo 2. Método Proposto 26 (a) (b) (c) (d) (e) Figura 2.3: Resultado do filtro Gaussiano: (a) imagem de entrada; (b) e (c) informação de luminância e superfície topológica correspondente; (d) e (e) resultado do filtro Gaussiano sobre a imagem e sobre a superfície, respectivamente. os pixels que possuem valor de luminância menor que t. A Figura 2.4(a) mostra o resultado da etapa de segmentação de fundo para a imagem da Figura 2.3(a). As Figuras 2.4(b) e 2.4(d) exemplificam quando a etapa de segmentação do fundo deve, ou não, ser aplicada. A imagem apresentada na Figura 2.4(b) possui um fundo não uniforme. Nesta situação, o plano principal da imagem deve ser separado do fundo da imagem. O resultado obtido é apresentado na Figura 2.4(c). Por outro lado, a imagem da Figura 2.4(d) não possui fundo. Logo, para este tipo de imagem a etapa de segmentação não deve ser aplicada. (a) (b) (c) (d) Figura 2.4: Resultado da etapa de segmentação do fundo e exemplos de quando ela deve ou não ser aplicada: (a) resultado desta etapa para imagem apresentada na Figura 2.3(a); (b) e (c) imagem de microscopia fluorescente e respectivo resultado da segmentação do fundo; e (d) imagem de miçangas, a qual não possui fundo. 2.2 Partição do Histograma O segundo passo do método proposto consiste basicamente em particionar o eixo horizontal do histograma da imagem em intervalos de tamanho ε fixo e agrupar os pixels de acordo com o seu valor de luminância. Cada intervalo da partição define uma classe de luminância. Como conseqüência desta partição, os CML são decompostos em regiões, as quais pertencem a classes diferentes de acordo com sua intensidade. A variável ε recebe valores inteiros positivos divisores de 256 e valores típicos para ε são 8, 16 e 32. Valores muito pequenos para ε, tais como 1, 2, ou

27 Capítulo 2. Método Proposto 27 4, geralmente produzem super-segmentação como resultado. Como estes valores são muito pequenos, os pontos de máximo não são agrupados nas classes de luminância e praticamente todos os pontos de máximo local são segmentados. Como conseqüência, o mesmo objeto de interesse é segmentado em vários pedaços e contado mais de uma vez. Além disso, o método pode se tornar extremamente lento, pois o grafo que representa a imagem se torna muito grande e denso. Por outro lado, valores muito grandes para ε como, por exemplo, 64 ou 128, de modo geral impedem que objetos sobrepostos ou fortemente agrupados sejam segmentados individualmente uma vez que pontos com alturas bem diferentes são agrupados no mesmo intervalo. Assim, ajustando o tamanho do intervalo de modo adequado, é possível detectar objetos que tenham mais de um ponto brilhante, ou seja, mais de um ponto de máximo local e também aqueles que estejam muito próximos ou até mesmo sobrepostos. Cada intervalo [a, b) da partição é representado por uma imagem binária onde os pixels pretos correspondem àqueles cujo valor de luminância pertencente à [a, b). Como conseqüência desta representação, os CML são decompostos em componentes conectadas, as quais pertencem à imagens binárias distintas de acordo com sua intensidade. A Figura 2.5 apresenta a partição do histograma e as respectivas imagens binárias para a imagem exibida na Figura 2.3(a). As Figuras 2.6(a) e 2.6(b) mostram as imagens binárias correspondentes à partição do histograma apresentada nas Figuras 2.2(b) e 2.2(d), respectivamente. Os números no canto superior direito de cada imagem binária corresponde ao número do intervalo da partição que esta imagem representa. Nestas figuras, o histograma da imagem foi particionado em intervalos de tamanho ε = 64 e ε = 32. Estes valores de ε são apenas para propósitos de ilustração. Os reais valores para o tamanho do intervalo da partição é menor como mostrado no decorrer deste trabalho. (a)histograma da imagem particionado em intervalos de tamanho ε = 64 (b)imagens binárias representado cada um dos intervalos da partição Figura 2.5: Partição do histograma e imagens binárias correspondentes para a imagem apresentada na Figura 2.3(a). Na Figura 2.6(a) pode-se observar que os CML que estão muito próximos

28 Capítulo 2. Método Proposto 28 foram, incorretamente, detectados como um só. Isto acontece quando valores grandes para ε são utilizados em imagens onde os objetos estão sobrepostos ou fortemente agrupados. No entanto, ao se diminuir o tamanho do intervalo para ε = 32 (Figura 2.6(b)) estes CML são detectados corretamente. Logo, quanto mais sobrepostos ou fortemente agrupados estiverem os objetos, menor deve ser o tamanho (ε) do intervalo. Ou seja, o valor de ε varia de acordo com as características da imagem. (a) (b) Figura 2.6: Imagens binárias representando cada intervalo da partição do histograma apresentado na Figuras 2.2(b) e 2.2(d), respectivamente. As setas na cor vermelha indicam as mudanças decorrentes de valores diferentes para o tamanho do intervalo 2.3 Detecção das Componentes Conectadas Após a partição do histograma, o próximo passo é dividir o plano principal da imagem em regiões 8-conectadas que pertençam à mesma classe de luminância, ou seja, à mesma imagem binária. Uma vizinhança 4-conectada também poderia ter sido utilizada, no entanto, aumentaria o tamanho do grafo de modo considerável. Para detectar as componentes, as imagens binárias são percorridas em ordem decrescente de luminância, isto é, a partir da imagem que contém os pixels mais claros, a qual representa o intervalo [256 ε, 256), até aquela que contém os pixels mais escuros representando o intervalo [0, ε). Em cada uma dessas imagens é aplicado o algoritmo apresentado em [3], projetado para encontrar componentes conectadas em imagens binárias. A medida que as componentes são detectas, elas passam a ser identificadas com números naturais consecutivos, tais que regiões com maior luminância recebem números menores. Esta ordem numérica é importante na etapa de mineração do grafo. Ao adicionar esta condição à definição clássica de caminho simples [23] um CML fica caracterizado por um subgrafo conforme será mostrado na Seção 2.5. A Figura 2.7(a) apresenta as componentes detectadas em cada imagem binária e seus respectivos identificadores, apresentados na cor cinza, para a imagem da Figura 2.3(a). O resultado final da etapa de detecção das componentes conectadas é uma matriz M com as mesmas dimensões da imagem de entrada, onde cada entrada M(i, j) da matriz contém o identificador da componente que o pixel p(i, j) per-

29 Capítulo 2. Método Proposto 29 tence. Ou seja, M(i, j) = k p(i, j) C k, 1 k R, onde p(i, j) Ω é um pixel da imagem e R é o número total de componentes detectadas. A Figura 2.7(b) mostra uma pequena parte da matriz M, a qual corresponde a parte da imagem destacada em vermelho. Esta mesma região da imagem é destaca da mesma forma nas imagens binárias exibidas na Figura 2.7(a). Uma vez criada a matriz M, o próximo passo é construir a representação da imagem baseada em grafo conforme descrito a seguir. (a)componentes detectadas para cada imagem binária e seus respectivos identificadores (números na cor cinza). (b)uma parte da matriz M, a qual corresponde a parte da imagem destacada em vermelho. Figura 2.7: Componentes conectadas com seus respectivos identificadores a uma parte da matriz M para a imagem apresentada na Figura 1.2(a). 2.4 Construção do Grafo Um grafo G é um par de conjuntos G = (V, E), onde V representa o conjunto de vértices (ou nós) e E contém as arestas (ou linhas) do grafo [76]. Um grafo de adjacência (region adjacency graph RAG) é uma estrutura de dados que fornece uma visão espacial da imagem. Este tipo de grafo consiste em associar um vértice a cada região da imagem e uma aresta a cada par de regiões adjacentes [60]. O objetivo final deste passo é construir um RAG baseado na matriz M. Cada vértice v i V representa uma região (componente conectada) da imagem e seu índice i corresponde diretamente ao identificador da região que ele representa. Por exemplo, o vértice v 3 no grafo representa a componente conectada que possui o identificador de número 3. As arestas em E conectam pares de regiões adjacentes. Com o intuito de reduzir o número de arestas no grafo, uma vizinhança 4 4 foi utilizada, como descrito na definição a seguir: Definição 2.1 (Componentes Adjacentes) Duas componentes C i e C j são adjacentes se existir pelo menos um par de pixels p i C i e p j C j, tais que p i e p j são vizinhos 4 4. O grafo de adjacência G é construído varrendo-se a matriz M de cima para baixo e da esquerda para a direita. Para cada elemento m(i, j) M são

30 Capı tulo 2. Me todo Proposto 30 verificados o vizinho superior m(i + 1, j) e o da esquerda m(i, j 1). Se pelo menos o valor em um deles for diferente do valor em m(i, j) enta o estes pixels pertencem a componentes diferentes. Logo, de acordo com a Definic a o 2.1 acima, estas componentes sa o adjacentes e portanto deve existir uma aresta em G ligando os ve rtices correspondentes. A Figura 2.8 mostra uma pequena parte da matriz M (Figura 2.8(a)), as componentes conectadas com seus respectivos identificadores (Figura 2.8(b)), os quais correspondem diretamente ao ı ndice do ve rtice que a representa, e o RAG que representa esta imagem (Figura 2.8(c)). Nesta figura pode-se observar que as componentes 5, 10, 15 e 18 sa o adjacentes e como consequ e ncia os ve rtices v5, v10, v15 e v18 aparecem conectados no grafo. (a) (b) (c) Figura 2.8: Matriz M e representac a o da imagem baseada em grafo para a imagem da Figura 1.2(a): (a) pequena parte da matriz M ; (b) componentes detectadas com respectivos identificadores; e (c) RAG correspondente. A Figura 2.9 apresenta as componentes detectadas e o respectivo grafo de adjace ncia para a imagem da Figura 2.3(a). Exemplos de representac a o da imagem baseada em grafo apresentada neste trabalho para imagens naturais sa o apresentados na Figuras 2.10 e (a)componentes detectadas e respectivos identificadores (b)grafo de adjace ncia correspondente Figura 2.9: Componentes conectadas e representac a o da imagem baseada em grafo para a imagem da Figura 2.3(a).

31 Capítulo 2. Método Proposto 31 Nos grafos que representam a imagem como, por exemplo, aqueles mostrados nas Figuras 2.9(b), 2.10 e 2.12 têm-se que os vértices com índices menores, isto é aqueles que correspondem as regiões mais brilhantes, estão localizados na extremidade do grafo. Tomando como centro do grafo o vértice de valor máximo, pode-se observar também que estes grafos se tornam mais densos a medida que se caminha em direção ao seu centro. Esta característica deve-se ao fato dos vértices com índices maiores, de modo geral, corresponderem a regiões vizinhas a várias outras regiões. Além disso G é um grafo não direcionado, simples e que não contém vértices isolados uma vez que todos os vértices estão conectados, pelo menos, ao vértice que representa o fundo da imagem e/ou aquele que representa a maior componente conectada. (a)imagem de microscopia fluorescente. (b)grafo de adjacência correspondente para ε = 8. Figura 2.10: Exemplo de representação da imagem baseada em grafo para uma imagem natural. 2.5 Processo de Mineração do Grafo A mineração de grafos tem como objetivo encontrar padrões (subgrafos) de interesse que estejam imersos em um único grafo ou em uma coleção de grafos. Subgrafos de interesse incluem subgrafos freqüentes, de um tipo especial como completos ou bi-partidos, e ainda qualquer subgrafo que represente um padrão relevante para aplicação [20, 10]. O método proposto nesta tese tem como objetivo segmentar e contar CML em uma imagem digital. Desta forma, para esta aplicação em particular, o subgrafo de interesse é aquele capaz de representar um CML em G. Como as imagens utilizadas

32 Capítulo 2. Método Proposto 32 neste trabalho geralmente contêm vários objetos que são representados por CML, este subgrafo além de representar um padrão relevante é também um subgrafo freqüente, uma vez que aparece várias vezes no grafo que representa a imagem. A tarefa de mineração de grafos pode ser classificada como transaction graphmining ou single graph-mining. Em se tratando de transaction graph-mining, a base de dados a ser minerada compreende uma coleção de grafos pequenos (transactions) e o objetivo é descobrir subgrafos recorrentes dentro da base de dados. Já em single graph-mining, a entrada para a tarefa de mineração é um único grafo, geralmente grande, e o objetivo é descobrir um tipo de subgrafo freqüente que ocorre dentro do grafo. Mais detalhes sobre mineração de grafo podem ser encontrados em [41]. O processo de mineração de grafos descrito neste trabalho adota um algoritmo do tipo single graph-mining, uma vez que o objetivo é encontrar um subgrafo específico - aquele que caracteriza um CML - dentro de um único grafo, o qual representa a imagem de entrada. Na etapa de partição do histograma um CML é decomposto em componentes adjacentes, as quais correspondem à uma seqüencia de vértices conectados. Além disso, uma componente que pertença a um CML pode ser adjacente, no máximo, à outras duas componentes. Desta forma, esta seqüência contém somente vértices com grau um ou dois. Na Seção 2.3 ficou estabelecido que quanto maior a luminância de uma região menor é o número do seu identificador, o qual corresponde diretamente ao índice do vértice que a representa. Assim, esta seqüencia de vértices deve estar em ordem crescente. Logo, um CML em G fica caracterizado como um caminho simples, isto é uma seqüencia de vértices tal que de cada um dos vértices existe uma aresta para o próximo vértice da seqüencia [76], cujos vértices estão em ordem crescente. De maneira formal, um subgrafo S de G que representa um CML é definido como: Definição 2.2 (CML como um subgrafo) Um CML em um grafo G é representado por um subgrafo (caminho simples) S que satisfaz: 1. os vértices de S são todos distintos; 2. se S contém mais de um vértice, então de cada um deles existe uma aresta para o próximo vértice da seqüencia; 3. cada vértice de S tem, no máximo, grau dois; 4. os índices dos vértices devem estar em ordem crescente. Assim, um CML em G é identificado por uma seqüencia de vértices S = v 0, v 1,..., v k 1, v k, onde as arestas não estão explicitamente representadas dado que todos os vértices são distintos e portanto todas as arestas são também distintas.

33 Capítulo 2. Método Proposto 33 Para encontrar os CML presentes em G, foi desenvolvido o processo de mineração de grafo apresentado no Algoritmo 1. Dado que em um grafo típico, como aquele mostrado nas Figuras 2.12 e 2.10, geralmente os CML (caminhos simples) aparecem na extremidade do grafo, o processo de mineração desenvolvido é baseado em busca em largura (breadth-first search BFS) [37]. A entrada é um grafo finito G = (V, E) e a saída é um conjunto L = {S 1,..., S k } onde cada S S representa um caminho simples. Todos os vértices de G são inicializados como pertencente a nenhum caminho e como não visitado. Partindo do vértice v 0, o conjunto V é percorrido iterativamente e somente os vértices com grau menor do que três (d G (v) < 3) são avaliados, pois de acordo com a Definição 2.2 um subgrafo que representa um CML possui vértices com grau máximo 2. Estes vértices são classificados como um novo caminho simples ou como parte de algum caminho detectado anteriormente. Os vértices com grau um e dois são avaliados por procedimentos distintos como descrito a seguir. Algorithm 1 1: function GRAPHMINING(G = (V, E)) 2: S = {} 3: Set all nodes in G as not visited 4: for i 1, V do 5: Let v i V be the node associated with the i th 6: connected component detected. 7: if v i has degree 1 then 8: EVALUATENODE1(S, v i ) 9: end if 10: if v i has degree 2 then 11: EVALUATENODE2(S, v i ) 12: end if 13: Set v i as visited 14: end for 15: return S 16: end function O Algoritmo 2 é responsável por avaliar e classificar os vértices que têm um único vizinho (d G (v) = 1). Sendo G um grafo conexo, estes vértices estão localizados na extremidade do grafo. Assim, um vértice de grau 1 é classificado como um novo caminho simples se: (a) o seu vizinho ainda não tiver sido visitado (avaliado) ou (b) se o seu vizinho não pertencer à caminho simples algum. Caso contrário, o vértice corrente é adicionado ao mesmo caminho simples que seu vizinho pertence. Ao final da avaliação, os vértices são definidos como visitados. Os vértices com grau dois (d G (v) = 2) são avaliados pelo Algoritmo 3. Para estes vértices tem-se três possibilidades: (1) ambos os vizinhos estão definidos como visitados; (2) somente um vizinho está definido como visitado e; (3) ambos os vizinhos estão definidos como não visitados. A seguir, o procedimento para cada

34 Capítulo 2. Método Proposto 34 Algorithm 2 1: procedure EVALUATENODE1(S, v) 2: Let v be the neighbor of v 3: if v is set as visited and s S v s then 4: s = s {v} 5: else 6: s = {v} 7: S = S s 8: end if 9: end procedure uma dessas possibilidades é apresentado. Ao final da avaliação, os vértices são definidos como visitados. Ambos os vizinhos estão definidos como visitados Se pelo menos um dos vizinhos pertencer a algum caminho simples, então o vértice corrente corresponde a uma região que pertence ao mesmo CML que este caminho representa. Logo, o vértice corrente é adicionado à este caminho simples (linhas 4-6 do Algoritmo 3). Por outro lado, se os vértices vizinhos pertencem a caminhos diferentes, então uma região da imagem que é adjacente a dois CML distintos foi encontrada. Logo, o vértice corrente não pode ser adicionado à caminho algum. Apenas um vizinho está definido como visitado Sendo V avaliado iterativamente e em ordem crescente, se o vértice vizinho pertencer a algum caminho simples, então o vértice corrente corresponde a uma região que pertence ao mesmo CML que este caminho representa. Logo, o vértice corrente é adicionado à este caminho simples (linhas 8-10 do Algoritmo 3). Caso contrário, como o outro vértice vizinho está definido como não visitado, um novo CML foi encontrado e assim o vértice corrente torna-se um novo caminho simples. Ambos os vizinhos estão definidos como não visitados Quando ambos os vizinhos estão definidos como não visitados, significa que um novo CML foi encontrado. Logo, o vértice corrente torna-se um novo caminho simples (linhas do Algoritmo 3). De modo geral, a iluminação da imagem não é uniforme e, como conseqüência, objetos embora idênticos podem aparecer com intensidades diferentes. Como resultado, os CML que representam estes objetos podem não conter pontos tão altos quantos os dos demais CML e assim, aparecem distante da extremidade do grafo. As Figuras 2.11, 2.12 e 2.13(a) apresentam os resultados obtidos com algoritmo de mineração. Na Figura 2.11, as regiões em vermelho corresponde aos CML

35 Capítulo 2. Método Proposto 35 Algorithm 3 1: procedure EVALUATENODE2(S, v) 2: Let v and v be the neighbors of v 3: if v and v are set as visited then 4: if s S v s and s S, v / s or 5: s S v s and s S, v / s or 6: s S v, v s then 7: s = s {v} 8: end if 9: else if v is set as visited and s S v s or 10: v is set as visited and s S v s then 11: s = s {v} 12: else 13: s = {v} 14: S = S s 15: end if 16: end procedure encontrados. A tabela apresentada junto com a Figura 2.12(d) mostra os caminhos simples encontrados no grafo exibido na Figura 2.12(e), o qual representa a imagem apresentada na Figura 2.12(a). Para a construção deste grafo foi utilizado intervalos de tamanho ε = 32 e os vértices em cor cinza representam os caminhos simples encontrados. A Figura 2.12(b) mostra as componentes conectadas representando cada objeto detectado. Nesta figura, os números em cor azul correspondem ao menor índice dentre os vértices que compõe o caminho (subgrafo) que forma esta região. Por último, a Figura 2.12(c) apresenta os objetos detectados, os quais estão indicados por pequenos pontos azuis. (a) (b) (c) (d) Figura 2.11: Resultado obtido com o algoritmo de mineração para a imagem da Figura 2.3(a): (a) imagem de entrada; (b) representação da imagem baseada em grafo; (c) caminhos simples encontrados; e (d) resultado do algoritmo sobre a imagem. Para as imagens das Figuras 2.11 e 2.12 pode-se notar que o algoritmo apresentado provê resultados satisfatórios. De fato, este método funciona bem na maioria dos casos. No entanto, ele é propenso a erros quando muitos objetos contêm mais de um ponto brilhante. A Figura 2.13(a) ilustra esta situação e a Figura 2.13(b) apre-

36 Capítulo 2. Método Proposto 36 (a) (b) (c) (d) (e) Figura 2.12: Resultado do algoritmo de mineração de grafo: (a) imagem de entrada; (b) regiões conectadas; (c) objetos identificados; (d) caminhos simples encontrados durante a etapa de mineração do grafo; e (e) representação da imagem de entrada baseada em grafo. senta o RAG correspondente com os caminhos simples encontrados identificados por linhas tracejadas. As setas em cor rosa indicam os pontos brilhantes e as regiões amarelas representam os caminhos simples, com os maiores índices dos vértices que o compõe em vermelho. Os pontos vermelhos indicam os objetos encontrados. Nestas figuras, pode-se observar que embora os caminhos simples tenham sido segmentados corretamente, foram encontrados 14 objetos (células) ao invés de 5. Os passos 1 5 do método proposto assumem que os pontos brilhantes adicionais presentes no objeto de interesse foram agrupados na etapa de partição do histograma. Logo, é assumido que os objetos possuem apenas um ponto brilhante e que sua luminância decai monotonicamente deste ponto em direção à fronteira do objeto. Entretanto, devido à presença de ruído, iluminação inadequada e até mesmo parâmetros intrínsecos dos objetos, nem sempre é possível agrupar estes pontos corretamente e o passo 6 se faz necessário quando a imagem apresenta esta situação. 2.6 Algoritmo para Clusterização do Grafo Para reduzir o número de falsos positivos, ou seja, elementos que são incorretamente classificados como objetos, o passo 6 do método proposto executa uma clusterização hierárquica do grafo [63]. Nesta etapa, os caminhos simples que repre-

37 Capítulo 2. Método Proposto 37 sentam o mesmo objeto (CML) são agrupados em super conjuntos. Estes caminhos são identificados através da distância Euclidiana e topologia do grafo. Assume-se que se um conjunto de caminhos simples representa um único objeto, então tais caminhos devem ter um vizinho (vértice) em comum. A Figura 2.13(b) ilustra esta situação. De acordo com a Figura 2.13(a) pode-se notar que os caminhos S 5 S 6 e S 7 representam o mesmo objeto e têm o vértice S 15 como vizinho comum. Para facilitar a descrição do algoritmo de clusterização as seguintes definições devem ser consideradas: a distância entre dois caminhos simples S i e S j é dada por d E (c i, c j ) onde c i e c j são os centros das bounding boxes das regiões que são representadas pelos vértices com maiores índices, em S i e S j respectivamente. dois caminho simples S i e S j são ditos vizinhos se existir pelo menos uma aresta ligando um vértice de S i a um vértice de S j. a vizinhança de um caminho simples S i é definida pelos vértices vizinhos aos vértices de S i que não estejam em S i. um super conjunto S é um conjunto de vértices que contém caminhos simples e vértices adicionais. de maneira análoga, a vizinhança de um super conjunto S é dada pelos vértices vizinhos aos vértices de S que não estão em S e a distância entre dois super conjunto é dada pela distância euclidiana entre os centros das textitbounding boxes das regiões que são representadas pelos vértices com maiores índices. Este algoritmo baseia-se no seguinte fato: dois caminhos simples S i e S j representam o mesmo o objeto se e somente se d E (c i, c j ) < λ, onde λ é a metade do diâmetro médio dos objetos, medido a partir da imagem de entrada. Dado um grafo G e uma lista L = {S 1,..., S k } de caminhos simples encontrados durante o processo de mineração do grafo, para por em prática o passo 6 do método proposto e assim agrupar os caminhos simples que representam um mesmo objeto em super conjuntos, os cinco itens descritos a seguir devem ser executados. 1. Agrupar os caminhos simples de L, que possuam um vizinho em comum, em conjuntos de vértices. 2. Para cada conjunto, combinar os caminhos que representem o mesmo objeto (d E (c i, c j ) < λ) em super conjuntos. Se todos os caminhos simples de um dado conjunto pertencem ao mesmo super conjunto e o vértice comum não representar o fundo da imagem, então este vértice deve ser adicionado a este

38 Capítulo 2. Método Proposto 38 super conjunto. Os caminhos simples que, nesta etapa do processo, não foram adicionados a super conjunto algum se tornam um super conjunto. 3. Avaliar a vizinhança de cada super conjunto e adicionar os vértices que: (a) não pertençam a nenhum outro super conjunto; (b) não sejam vizinhos de outros super conjuntos e; (c) não represente o fundo da imagem. 4. Unir os super conjuntos que representam o mesmo objeto, isto é, super conjuntos vizinhos ou com um vizinho em comum, e que possuam d E (c i, c j ) < λ). 5. Repetir as etapas 3 e 4 acima nenhum super conjunto possa ser unido com outro super conjunto e nenhum vértice possa ser adicionado a algum super conjunto. O resultado do passo de clusterização é uma coleção de super conjuntos no grafo G, cada um representando um objeto (CML) da imagem. Os resultados para cada etapa do algoritmo de clusterização são exemplicados como transições nas Figuras 2.13(c) 2.14(e). A Figura 2.13(b) ilustra a entrada do algoritmo de clusterização, ou seja, o grafo G e a lista L. Nesta figura, os caminhos simples (S i ) encontrados durante o processo de mineração estão identificados por linhas tracejadas. O resultado da primeira etapa do algoritmo de clusterização é mostrado na Figura 2.13(c). Como resultado desta etapa foram obtidos cinco conjuntos de vértices (A, B, C, D e E), os quais estão representados por linhas tracejadas. A Figura 2.13(d) apresenta o resultado parcial da segunda etapa. Nesta figura pode-se observar que o conjunto C foi transformado em dois super conjuntos, os quais são apresentados na cor vermelha e verde, respectivamente. Como a segunda etapa ainda não foi finalizada, os vizinhos em comum (indicados por setas coloridas) ainda não foram avaliados. O resultado final para esta etapa é apresentado na Figura 2.13(e). Nesta figura, os super conjuntos são representados por cores diferentes e a vizinhança de cada super conjunto é indicada pelas setas de mesma cor. A Figura 2.14(a) mostra o resultado obtido após a etapa 3. Como os vértices 18 e 25 são vizinhos de super conjuntos distintos, eles não foram adicionados. Após o quarto passo, pode-se observar que os super conjuntos em rosa e azul foram unidos (Figura 2.14(b)), pois estão a uma distância um do outro inferior a λ. A Figura 2.14(c) mostra o resultado parcial da etapa 5. Como resultado de uma nova iteração da etapa 3, os vértices 23, 24 e 25 foram adicionados aos super conjuntos representados pelas cores laranja, azul e rosa, respectivamente. O resultado final da etapa 5 é apresentado na Figura 2.14(d), a qual exibe uma coleção de super conjuntos, cada um representado um objeto (neste caso uma célula) da imagem.

39 Capítulo 2. Método Proposto 39 (a)resultado do processo de mineração (b)entrada do algoritmo de clusterização (c)resultado da etapa 1 (d)resultado parcial da etapa 2 (e)resultado final da etapa 2 Figura 2.13: Resultado obtido com o algoritmo de mineração e resultados das etapas 1 e 2 do algoritmo de clusterização.

40 Capítulo 2. Método Proposto 40 (a)resultado da etapa 3 (b)resultado da etapa 4 (c)resultado parcial da etapa 5 (d)resultado final da etapa 5 (e)resultado do algoritmo de clusterização sobre à imagem de entrada Figura 2.14: Resultados das etapas 3, 4 e 5 do algoritmo de clusterização.

41 3 Resultados Experimentais e Discussão Neste capítulo, uma avaliação numérica do método proposto para segmentação e contagem de CML em imagens digital e um estudo comparativo com o algoritmo de watershed por inundação desenvolvido por Meyer [52] são apresentados. A fim de avaliar a qualidade e eficiência do método proposto, foram realizados dois experimentos: segmentação e contagem de objetos em imagens reais e segmentação e contagem de células tronco embrionárias em imagem de microscopia fluorescente. Os resultados obtidos no experimento 1 foram validados pela autora e os obtidos no experimento 2 pelos biólogos do Instituto de Ciências Biomédicas da Universidade do Estado do Rio de Janeiro (UFRJ). Até o momento não se tem conhecimento de uma base de imagens de domínio público composta por imagens de objetos que possam ser representados por CML. Assim, uma base de dados composta de mais de 200 imagens foi criada, a qual inclui fotos de objetos reais coletadas da Internet, imagens de células tronco embrionárias obtidas através de um microscópio fluorescente e algumas imagens biológicas. Com o intuito de dar maior visibilidade e apoio à pesquisa apresentada nesta tese, todas estas imagens foram disponibilizadas na Internet e podem ser baixadas gratuitamente em gfaustino/dda. O método apresentado nesta tese possui algumas semelhanças com o algoritmo clássico de watershed. Tanto o método proposto quanto o algoritmo de watershed por inundação consideram a imagem como um relevo topográfico, onde o nível de cinza de um pixel é interpretado como a sua altitude, e utilizam somente a informação de luminância para segmentá-la. A principal diferença é que o método proposto divide o plano principal da imagem em classes de luminância, enquanto o algoritmo de watershed trabalha com cada uma das intensidades da imagem. Além disso, o watershed encontra as fronteiras (linhas divisoras de água) das bacias hidrográficas e o método proposto segmenta os CML presentes no relevo. Assim, dadas as semelhanças entre estes métodos, com o objetivo de melhor avaliar o método proposto, os resultados obtidos com os experimentos foram comparados com os resultados gerados pelo algoritmo de watershed por inundação proposto por Meyer [52], o qual é bastante utilizado em segmentação de imagens.

42 Capítulo 3. Resultados Experimentais e Discussão 42 Um estudo relevante para esta tese seria comparar a metodologia proposta com outros métodos além do algoritmo de watershed, tais como os apresentados em [64] e [42]. No entanto, nem o código fonte ou uma aplicação computacional que implemente a metodologia proposta nestes trabalhos e as imagens utilizadas estão disponíveis. Em [64], é apresentado um método de decomposição morfológica em multi-escala para regiões conectadas com ênfase em clusters de células. Assim como o método proposto, este método também não depende do tamanho da célula nem do tamanho dos clusters e pode ser aplicado em outros tipos de imagens além de células. Em [42], é apresentado um método para segmentação de núcleos sobrepostos o qual é baseado em redes bayesianas e estratégia de fusão por etapas. Embora esta técnica tenha sido projetada para segmentação de imagens FISH 1, acredita-se que ela possa ser aplicada para segmentar células tronco embrionárias em imagens de microscopia fluorescente. Para medir a qualidade de ambos os métodos, foram utilizadas as métricas precision (P ), recall (R) e F-measure (F 1) como definidas a seguir: P = tp tp + fp, R = tp tp + fn e F = 2 P R P + R, onde tp (verdadeiros positivos) representa o número de objetos (CML) segmentados corretamente, f p (falsos positivos) representa as estruturas incorretamente classificadas como objetos e f n (falsos negativos) representa as estruturas que não foram classificadas como objetos, mas deveriam ter sido. O método proposto foi implementado em linguagem Java 6.0 utilizando-se a ferramenta de desenvolvimento Eclipse 3.2. O algoritmo de watershed foi aplicado sobre as imagens através de um plugin para o ImageJ [2] fornecido pela Biomedical Imaging Group - EPFL [80], o qual implementa o algoritmo de watershed por inundação proposto por Meyer [52]. Os testes foram executados em uma máquina com processador Intel Core 2 Duo 2.20GHz com 2Gb RAM. 3.1 Experimento 1: segmentação e contagem de objetos em imagens reais Nesta seção, são apresentados os resultados numéricos obtidos e algumas imagens geradas com o método proposto no que diz respeito à segmentação e contagem de objetos em imagens reais. Os resultados numéricos obtidos através de testes realizados nestas imagens foram comparados com os resultados gerados pelo algoritmo de watershed por inundação [52]. Para este experimento, uma base de dados composta de 28 imagens de objetos 1 FISH (fluorescence in situ hybridization) é uma técnica citogenética utilizada para detectar e localizar a presença ou ausência de seqüências específicas de DNA nos cromossomos [1].

43 Capítulo 3. Resultados Experimentais e Discussão 43 reais foi construída. Estas imagens foram coletadas na Internet e englobam imagens de grão, pérolas, balas, pedras e miçangas (contas), conforme ilustrado na Figura 3.1. (a)grupo 1 (b)grupo 2 (c)grupo 3 (d)grupo 4 (e)grupo 5 (f)grupo 6 (g)grupo 7 (h)grupo 8 (i)grupo 9 (j)grupo 10 (k)grupo 11 (l)grupo 12 (m)grupo 13 (n)grupo 14 (o)grupo 15 (p)grupo 16 (q)grupo 17 (r)grupo 18 (s)grupo 19 (t)grupo 20 Figura 3.1: Fotos de objetos reais dividas em sete grupos: (a) fotos de miçangas (contas); (b) fotos de pérolas sintéticas; de (c) a (g) fotos de miçangas (contas); de (h) a (l) fotos de pérolas sintéticas; (m) e (n) fotos de doces; (o) fotos de pedra; de (p) à (r) fotos de grãos de feijão; (s) fotos de grãos de café e; (t) fotos de uvas. As imagens acima foram divididas em grupos de acordo com critérios, tais como o tamanho dos objetos, nível de sobreposição, tipo de iluminação e fundo da imagem, os quais influenciam diretamente os valores dos parâmetros de entrada (ε, λ). Por este motivo, fotos do mesmo objeto ou de objetos de mesmo tipo podem pertencer a grupos diferentes. As Figuras 3.1(b), 3.1(h), 3.1(i), 3.1(j), 3.1(k) e 3.1(l) ilustram esta situação. Embora todas estas fotos mostrem pérolas, levando-se em consideração os parâmetros mencionados anteriormente, elas foram divididas em 6 grupos distintos (Grupo 2, Grupo 8, Grupo 9, Grupo 10, Grupo 11 e Grupo 12). Uma vez estabelecido os grupos de imagens, através de testes executados em uma imagem por grupo, pode-se facilmente ajustar os valores de ε e, se necessário,

44 Capítulo 3. Resultados Experimentais e Discussão 44 de λ. Para os grupos apresentados na Figura 3.1 o ajuste dos paramentos foi feito visualmente pela autora através de testes experimentais. Embora estes valores sejam inferidos sobre uma única imagem, dadas as semelhanças entre as imagens de um mesmo grupo, eles podem ser generalizados para as demais imagens. Assim, embora o método proposto não seja automático, ele pode se automatizado para grupos específicos de imagens. A Figura 3.1 apresenta a base de dados acima dividida em 7 grupos e a Tabela 3.1 apresenta os respectivos valores para os parâmetros utilizados: raio do filtro Gaussiano (σ), parâmetro (x) utilizado para calcular o threshold, tamanho do intervalo (ε) e metade do tamanho médio do diâmetro dos objetos (λ) medido sobre a imagem de entrada, o qual é utilizado no passo de clusterização. Parâmetros sem valor correspondem à passos que não foram aplicados. O parâmetro (f) corresponde ao nível de inundação utilizado pelo algoritmo de watershed. Todas as imagens processadas pelo método proposto foram analisadas e validadas visualmente pela autora. Cada imagem processada foi verificada individualmente e tanto os objetos que não foram detectados (falsos negativos) quanto os artefatos que foram incorretamente classificados como objetos (falsos positivos) foram identificados. Com base nestes dados foram calculadas as medidas de precision, recall e F-measure para cada imagem e em seguida a média aritmética sobre todas as imagens. A Tabela 3.1 apresenta os valores computados e a as Figuras 3.2 e 3.3 mostram algumas imagens processadas. Observando as Figuras 3.2 e 3.3, pode-se notar que o método proposto gera bons resultados para imagens de objetos com forma similar a de uma esfera como, por exemplo, aqueles mostrados nas Figuras 3.2(b), 3.2(c) e 3.2(g). No entanto, o método proposto é propenso à erros quando os objetos possuem forma muito alongada (Figuras 3.2(h), 3.2(i) e 3.3(a)). Para imagens que apresentam esta situação, o valor para λ é dado pela metade da média aritmética entre o eixo maior e menor do objeto. Entretanto, embora este valor tenha sido calculado de modo adequado o algoritmo de clusterização não é capaz de agrupar os CML que representam o mesmo objeto corretamente. Em situações onde os CML estejam localizados nas extremidades (ao longo do maior eixo) do objeto, embora representem o mesmo objeto, estes CML provavelmente não serão agrupados pois estão a uma distância superior a λ. Outra situação desfavorável é quando os CML de objetos diferentes, posicionados lado a lado na imagem, estão localizados muito próximos a borda do objeto. Quando isto acontece, estes CML embora representem objetos diferentes provavelmente serão agrupados pois estão a uma distância inferior a λ. Em se tratando de imagens onde os objetos possuem a mesma cor ou textura e um baixo contraste entre eles (Figura 3.2(a)), o método proposto pode gerar resultados insatisfatórios. Para imagens com estas características, objetos diferentes

45 Capítulo 3. Resultados Experimentais e Discussão 45 Método Proposto Algoritmo de Watershed G. Parâmetros P R F1 Parâmetro P R F1 σ x ε λ (%) (%) (%) f (%) (%) (%) 98,04 67,4 79, ,74 78,61 78,67 90,09 78,63 83, ,35 91,67 80, ,04 74,86 84, ,31 86,85 85,56 96,87 63,41 76, ,53 88,62 81,55 98,77 78,69 87, ,49 94,33 82,62 98,04 67,4 79, ,29 77,59 74, ,00 87,65 82, ,61 83,05 75,74 95,3 76,11 84, ,8 97,76 69, ,76 78,2 73, ,41 48, ,52 74,7 77, ,54 90,48 52, ,58 69,88 81, ,74 62,11 59, ,88 77,5 86, ,78 92,54 74, ,78 71,56 82, ,98 83,2 53,09 95,38 81,75 88, ,09 99,2 75, ,76 79,79 77, ,21 64,94 74,08 89,25 80,12 84, ,18 83,34 78, ,58 87,00 89, ,89 98,99 63, ,05 84,1 85, ,22 86,21 74, , ,19 99,09 98, ,1 99, , , , , , , , ,19 92,68 95, ,11 94,5 91, ,67 54,02 69, ,35 74,82 68, , , , , , ,38 83,72 86, ,72 92,06 51, ,14 91,23 84, ,89 99,03 58, ,57 85,09 90, ,51 71,69 79, ,84 69,76 81, ,76 86,21 88,43 92,32 80,51 85,33 67,26 88,05 74,02 Tabela 3.1: Resultados obtidos e respectivos parâmetros utilizados para as imagens de cada grupo. Valores em branco indicam que o respectivo passo não foi aplicado. A primeira coluna (G.) indica o Grupo de imagens e a última linha apresenta a média aritmética para precision, recall e F-measure obtidos pelo método proposto e pelo algoritmo de watershed. podem pertencer à mesma componente conectada e como conseqüência não serem segmentados individualmente. Apesar destas falhas, os números apresentados na Tabela 3.1 mostram que o método proposto fornece resultados satisfatórios. Para estas imagens foram obtidas uma média de 92.32% para precision, 80.51% para recall e 85.33% para F-measure.

46 Capítulo 3. Resultados Experimentais e Discussão Comparação com o algoritmo de watershed A fim de comparar o método proposto com o algoritmo de watershed, as 28 imagens foram pré-processadas aplicando o passo 1 do método proposto com os mesmos valores para os parâmetros σ e x, apresentados na Tabela 3.1. Estas imagens foram então processadas utilizando-se o plugin para o ImageJ [2] fornecido pela Biomedical Imaging Group - EPFL [80]. Da mesma forma que para as imagens processadas pelo método proposto, os resultados obtidos com o algoritmo de watershed foram analisados e validados pela autora. Cada imagem processada foi verificada individualmente e foram apontados os objetos que não foram detectados (falsos negativos) bem como os artefatos que foram incorretamente classificados como objetos (falsos positivos). As medidas de precision, recall e F-measure foram calculadas para cada imagem e então a média aritmética sobre as 28 imagens foi obtida. A Tabela 3.1 apresenta os resultados computados. Comparando os resultados obtidos com o método apresentado nesta tese com aqueles gerados pelo algoritmo de watershed por inundação proposto por [52], pode-se observar que o método proposto é, em média, 25% mais preciso. O algoritmo de watershed alcançou uma média de 67.26%, 88.05% e 74.02% para precision, recall e F-measure, respectivamente, contra 92.32%, 80.51% e 85.33% obtidos pelo método proposto. As Figuras 3.2 e 3.3 apresentam algumas imagens processadas por ambos os métodos e a Figura 3.4 mostra um gráfico comparando os resultados obtidos por ambos os métodos para as 28 imagens que compõe a base de teste. Nesta figura pode-se observar que o método proposto provê melhores resultados para praticamente todas as imagens. No entanto, para as imagens das Figuras 3.2(a) e 3.2(c), pode-se notar que o watershed provê melhores resultados. Devido ao baixo contraste entre os objetos, o método proposto não é capaz de segmentar tantos objetos quando o algoritmo de watershed. No entanto, a diferença entre as medidas de F-measure é inferior a 1%. Além disso, para obter estes resultados, o parâmetro responsável pelo nível de inundação (f) deve ser ajustado para cada imagem enquanto que o método proposto é facilmente parametrizado para cada grupo de imagens. A Tabela 3.1 ilustra essa situação.

47 Capítulo 3. Resultados Experimentais e Discussão 47 (a)nosso método 405 obj. detectados com F1 de 84.52% (b)[nosso método 396 obj. detectados com F1 de 100% (c)[nosso método 110 obj. detectados com F1 de 98.64% (d)watershed 548 obj. detectados com F1 de 85.56% (e)watershed 408 obj. detectados com F1 de 98.51% (f)watershed 109 objects detectados com F1 de 99.55% (g)nosso método 203 obj. detectados com F1 de 90.03% (h)nosso método 75 obj. detectados com F1 de 69.82% (i)nosso método 207 obj. detectados com F1 de 86.45% (j)watershed 181 obj. detectados com F1 de 79.61% (k)watershed 162 obj. detectados com F1 de 68.02% (l)watershed 616 obj. detectados com F1 de 51.47% Figura 3.2: Resultados obtidos com o método desenvolvido e o algoritmo de watershed em imagens de objetos reais.

48 Capítulo 3. Resultados Experimentais e Discussão 48 (a)nosso método 302 obj. detec. com F1 de 84.76% (b)nosso método 407 obj. detectados com F1 de 79.88% (c)nosso método 658 obj. detectados com F1 de 73.74% (d)watershed alg. 487 obj. detec. com F1 de 58.88% (e)watershed alg. 616 obj. detectados com F1 de 78.67% (f)watershed alg obj. detectados com F1 de 48.05% (g)nosso método 77 (h)watershed alg. 208 obj. detec. com F1 de obj. detec. com F1 de 77.5% 52.06% Figura 3.3: Resultados obtidos com o método desenvolvido e o algoritmo de watershed em imagens de objetos reais. Figura 3.4: Comparação entre o método desenvolvido e o algoritmo de watershed para imagens de objetos reais. Note que nosso método obteve melhores resultados para a maioria das imagens.

49 Capítulo 3. Resultados Experimentais e Discussão Experimento 2: detecção e contagem de células tronco embrionárias em imagem de microscopia fluorescente Esta seção apresenta os resultados numéricos obtidos e algumas imagens geradas com o método proposto no que diz respeito à tarefa de segmentar e contar células tronco embrionárias em imagens de microscopia fluorescente. Com o intuito de contextualizar o problema de segmentação e contagem de células tronco em imagens, são apresentados também uma breve descrição do que são células tronco e sua importância, o porquê é necessário contá-las bem como alguns trabalhos relacionados. Por último, da mesma forma que na seção anterior, com o objetivo de melhor avaliar o método proposto, os resultados obtidos são comparados com aqueles gerados pelo algoritmo de watershed [52] O que são células tronco e sua importância De modo geral, células tronco (stem cells - SC) são células que possuem a capacidade de se dividir dando origem a células semelhantes às progenitoras. As células tronco embrionárias (embryonic stem cell - ES cell) têm ainda a capacidade de se transformar, através de um processo conhecido por diferenciação celular, em outros tecidos do corpo, tais como ossos, nervos, músculos e sangue, dentre outros. Na verdade, estas células são capazes de gerar qualquer tipo de célula em um organismo. Uma vez que as células-tronco embrionárias foram descobertas, a possibilidade de utilizá-las no tratamento de várias doenças tem incentivado muitos projetos de pesquisa na área biomédica. Devido à sua propriedade de pluripotência e a real possibilidade de direcionar sua diferenciação in vitro para tipos específicos de células, as células tronco embrionárias vêm se tornando uma alternativa para a terapia de combate à vários tipos de doenças como, por exemplo, doenças cardiovasculares, neurodegenerativas, diabetes tipo-1, acidentes vasculares cerebrais, doenças hematológicas, traumas na medula espinhal e nefropatias Necessidade de contar células A contagem das células desempenha um papel fundamental na análise estatística e permite que os especialistas compreendam e validem os experimentos. Quando as células são marcadas corretamente, a análise visual pode revelar mecanismos biológicos. Além disso, utilizando marcadores celulares diferentes, os pesquisadores são capazes de determinar, por exemplo, o número total de células, quantas e quais células pluripotentes se especializaram em células maduras,

50 Capítulo 3. Resultados Experimentais e Discussão 50 e também quantas células morreram. A monitoração da porcentagem de células indiferenciadas durante a cultura é importante para garantir a qualidade da cultura e, como resultado, a pluripotência das células-tronco embrionárias. Embora avanços consideráveis na área de processamento de imagens e visão computacional tenham permitido a automatização da contagem de tipos diferentes de células, no caso das imagens de células tronco embrionárias esta tarefa ainda é feita manualmente por biólogos especialistas através de inspeção visual. Entretanto, a contagem manual é um processo tedioso e demorado, e seu caráter subjetivo pode levar a uma grande variação nos resultados. Na prática, contar grandes quantidades de células manualmente leva a altos valores de desvio padrão, e como conseqüência a resultados pouco precisos. Assim, um método automático para segmentação e contagem deste tipo de célula pode se tornar uma ferramenta útil, capaz de agilizar e tornar mais preciso a avaliação dos métodos de cultivo e, conseqüentemente, acelerar o processo de terapia celular Trabalhos relacionados A seguir, são apresentados alguns dos trabalhos relacionados com a tarefa de segmentação e contagem de células tronco, os quais são mais relevantes para nossa abordagem. A técnica mais utilizada para a detecção de células diferenciadas é a citometria de fluxo [57, 75]. Esta técnica é capaz de identificar e quantificar um grande número de células em um curto período de tempo e seus resultados podem expressar o percentual de um ou mais tipos de células dentro de uma população. No entanto, esse procedimento é caro e requer um especialista treinado. Outra desvantagem é a perda da informação espacial, uma vez que este procedimento pode ser aplicado somente à culturas de células em suspensão. Portanto, esta técnica é geralmente utilizada como um complemento à análise de microscopia, fornecendo informações sobre a arquitetura do tecido e distribuição da fluorescência na célula. Um número considerável de pesquisadores têm lidado com a segmentação e contagem de células em imagens de microscopia [28, 70, 27, 26, 24, 67, 78]. Técnicas baseadas em aprendizado de máquina [29, 33, 50] e em métodos clássicos de segmentação, tais como threshold, filtros morfológicos e watershed têm sido desenvolvidas [55, 30, 36, 64]. Entretanto, estas técnicas não tratam adequadamente um problema que ocorre freqüentemente quando as células estão parcialmente ou totalmente sobrepostas, como ilustrado na Figura 3.5. Quando isto acontece, estes métodos dificilmente conseguem identificar as células individualmente. Com a descoberta do potencial das células tronco, muitos pesquisadores

51 Capítulo 3. Resultados Experimentais e Discussão 51 vêm investigando como segmentar, monitorar e quantificar este tipo de célula [73, 72, 54, 31, 68, 43, 34]. Althoff et al. [31] e Tang et al. [72] propuseram métodos para segmentação e rastreamento de células tronco neurais. Ambas as abordagens são baseadas em métodos clássicos de segmentação e utilizam a informação sobre a posição prévia das células para decidir quais blobs correspondem à células reais. Korzynska [73] desenvolveu um método para contagem automática de células tronco neurais criadas em culturas, o qual é realizado em duas etapas: 1) a imagem é segmentada em várias regiões e 2) cada região homogênea é contada separadamente. Kachouie et al. [32, 43, 34] desenvolveram métodos para localizar e rastrear células tronco hematopoéticas individuais. Em seu primeiro trabalho [34], foi apresentado um método de deconvolução para localizar células hematopoéticas individuais através de um algoritmo otimizado de ajustes de elipse. Nos trabalhos subseqüentes [32, 43] os autores utilizaram informações sobre a morfologia celular (e.g. tamanho da célula, intensidade de brilho no seu interior e uniformidade e/ou simetria da borda) para localizar e rastrear este tipo de célula. No entanto, vale ressaltar que os métodos descritos acima podem lidar apenas com um tipo de célula tronco nas imagens. Além disso, uma vez que eles tendem a usar informações sobre a morfologia e/ou uma abordagem tradicional para o processo de segmentação, tais métodos dificilmente conseguem lidar de modo adequado com variações no tamanho ou forma das células. Utilizando a metodologia proposta, as células tronco embrionárias são representadas por CML e através dos algoritmos de mineração e clusterização, estas células são segmentadas e contadas, sem a necessidade de qualquer informação prévia sobre sua morfologia. Como mostrado a seguir, o método proposto é tolerante a variações no tamanho e na forma das células e é facilmente parametrizado para grupos diferentes de imagem, resultantes de protocolos de diferenciação distintos. Com o objetivo de ser aplicado em imagens de células tronco embrionárias adquiridas durante o processo de diferenciação celular, o método proposto é capaz de lidar com vários tipos de células tronco na mesma imagem. Além disso, diferentemente dos trabalhos anteriores, o método proposto pode lidar com células sobrepostas ou fortemente agrupadas, como aquelas apresentadas na Figura Resultados experimentais A seguir, os resultados experimentais obtidos pelo método proposto no que diz respeito à segmentação e contagem de células tronco embrionárias em imagens de microscopia fluorescente são apresentados.

52 Capítulo 3. Resultados Experimentais e Discussão 52 Neste trabalho, foram utilizadas imagens de células tronco pluripotentes cultivadas in vitro. Todas as imagens foram coletadas no Instituto de Ciências Biomédicas da Universidade Federal do Rio de Janeiro (UFRJ). A fim de avaliar a qualidade do método proposto em matéria de segmentação e contagem de células tronco embrionárias em imagens de microscopia fluorescênte, uma base de dados com 234 imagens foi construída. Esta base de dados inclui imagens de células tronco embrionárias provenientes de seções de corte em corpos embrióides (EB cryosection), imagens de migração celular de corpos embrióides (embryoid bodies - EB), imagens de colônias de células tronco embrionárias murinas (murine embryonic stem cells - mes) sobre fibroblastos embrionários murinos (murine embryonic fibroblasts - MEF) e imagens de neuroesferas. A Figura 3.5 mostra exemplos de imagens capturadas para cada um dos tipos de imagens citadas acima. (a) (b) (c) (d) (e) (f) Figura 3.5: Exemplo de imagens de células tronco embrionárias: (a) EB cryosection com aumento de 40 ; (b) e (c) imagens de migração celular de corpos embrióides com aumento de 40 e 20, respectivamente; (d) e (e) imagens de colônias de células mes sobre MEF com aumento de 40 e 20, respectivamente; e (f) neuroesferas. Nestas imagens foram utilizados dois tipos de marcadores celulares: 4-6- diamidino-2-phenylindole (DAPI) e Octamer-4 (Oct-4). O DAPI é um tipo de marcador fluorescente que se liga fortemente ao DNA das células tornando-as visíveis em cor ciano/azul quando visualizadas através de um microscópio fluorescente (Figuras 3.5(a), 3.5(b), 3.5(c) e 3.5(f)). O fator de transcrição Oct-4 é uma proteína importante para a renovação das células tronco embrionárias, e diminui a sua expressão durante o processo de diferenciação. Portanto, é freqüentemente utilizado como um

53 Capítulo 3. Resultados Experimentais e Discussão 53 marcador de células indiferenciadas, as quais aparecem em cor laranja quando visualizadas através de um microscópio fluorescente (Figuras 3.5(d) e 3.5(e)). Mais informações sobre os protocolos e sistema de aquisição utilizados podem ser encontradas no Apêndice C desta tese. As 234 imagens foram dividas em sete grupos, de acordo com o protocolo de diferenciação utilizado e características das imagens, conforme mostra a Tabela 3.2. Esta tabela apresenta o número do grupo, o tipo de imagem contida neste grupo e o número de imagens por grupo. Da mesma forma que no experimento anterior, os valores para os parâmetros de entrada foram obtidos através de testes experimentais e também são apresentados na Tabela 3.2. Base de Dados Parâmetros Grupo N. Tipo de Imagem σ x ε λ 1 69 EB cryosections com nível de ruído aceitável EB cryosections com forte presença de ruído migração celular de EB com aumento de migração celular de EB com aumento de colônias de mes sobre MEF com aumento de colônias de mes sobre MEF com aumento de imagens de neuroesferas Tabela 3.2: Base de dados dividida em 7 grupos de imagens e os respectivos valores utilizados para os parâmetros de entrada: valor para o raio do filtro Gaussiano (σ), o parâmetro (x) utilizado para calcular o threshold, tamanho do intervalo (ε) e metade do valor médio do diâmetro da célula (λ). A segunda coluna mostra a quantidade de imagens para em um dos grupos. Todas as imagens processadas pelo método proposto foram analisadas e validadas pelos biólogos do Instituto de Ciências Biomédicas da Universidade Federal do Rio de Janeiro (UFRJ). Eles identificaram as células que não foram segmentadas (falsos negativos) e também os artefatos que foram incorretamente classificados como células (falsos positivos). Com base nesses dados, foram calculadas as medidas de precision, recall e F-measure para cada imagem e, em seguida, obteve-se a média aritmética para cada grupo. A Tabela 3.3 apresenta os resultados computados e indica quando o passo 6 (clusterização do grafo) foi utilizado. A Figura 3.6 mostra algumas imagens processadas pelo método proposto. Nestas figuras, as células segmentadas estão indicadas pelos pontos em cor vermelha (Figuras 3.6(a), 3.6(b), 3.6(c), 3.6(d) e 3.6(g)) e em cor azul (Figuras 3.6(e) e 3.6(f)). Os resultados para as imagens das Figuras 3.6(a), 3.6(b), 3.6(c) e 3.6(d) foram obtidos utilizando o passo 6 do método proposto. Para as imagens das Figuras 3.6(e), 3.6(f) e 3.6(g) foram utilizados somente os cinco primeiros passos. Devido à fluorescencia, o fundo dessas imagens não é uniforme (Figuras 2.4(b) e 3.5). Logo, a etapa de segmentação de fundo presente no passo 1 (préprocessamento) do método proposto foi aplicada em todas estas imagens. Os

54 Capítulo 3. Resultados Experimentais e Discussão 54 Grupo de Imagens Precision Recall F-measure (%) (%) (%) Clust. do grafo Grupo 1 96,29 93,13 94,60 Grupo 2 96,96 91,48 94,08 Grupos 1 e 2 96,47 92,68 94,46 Grupo 3 89,74 83,70 86,09 Grupo 4 95,97 93,44 94,63 Grupo 5 94,69 85,28 89,55 Grupo 6 97,82 80,39 87,88 Grupo 7 94,71 90,95 92,67 94,90 87,74 90,88 Tabela 3.3: Resultados obtidos com método proposto para imagens de células tronco embrionárias. Todos os números são valores médios calculado sobre as imagens de cada grupo. A última coluna mostra quando o sexto passo (clusterização do grafo) do algoritmo foi utilizado. A última linha apresenta o valor médio para precision, recall e F-measure sobre todas as imagens. resultados para os grupos 1, 2 e 3 foram obtidos incluindo o passo 6 ao processo. Para os grupos de 4 à 7 esse passo não foi utilizado, como discutido a seguir. No caso de imagens de migração celular de EB com aumento de 20 (grupo 4) e imagens de colônias de células mes sobre MEF com aumento de 20 e 10 (grupos 5 e 6, respectivamente), devido a escala de aumento utilizada, as células presentes nestas imagens são muito pequenas e apresentam apenas um ponto brilhante. Logo, se o passo 6 (clusterização do grafo) do método proposto for aplicado, alguns caminhos simples que representam células (CML) distintas podem ser agrupados. Como conseqüência, estas células que haviam sido segmentadas corretamente serão perdidas. Portanto, para estes tipos de imagens, o algoritmo de clusterização de grafos não deve ser aplicado. Utilizando apenas os cinco primeiros passos, foi obtido um valor médio para F-measure de 93.87%, 83.20% e 87.78% para os grupos 4, 5 e 6, respectivamente. Embora as imagens de neuroesferas (grupo 7) tenham sido capturados com um aumento de 40, devido a fatores biológicos estas células apresentam apenas um ponto brilhante quando visualizadas por meio de um microscópio fluorescente. Assim, como explicado anteriormente, o algoritmo de clusterização não é necessário. Para essas imagens, o método proposto obteve uma média de 94, 71%, 90, 95% e 92, 67% para precision, recall e F-measure, respectivamente. Para imagens de seções de corte em corpos embrióides (EB cryosection grupos 1 e 2) e imagens de migração celular de EB (grupo 3), devido ao grande fator de aumento utilizado (40 ) no momento da captura das imagens, essas células são exibidas com uma melhor resolução e, como conseqüência, apresentam vários pontos de brilhante em seu interior. Assim, a fim de melhorar os resultados obtidos para essas imagens, o sexto passo do método proposto foi utilizado.

55 Capítulo 3. Resultados Experimentais e Discussão 55 (a)381 células detectadas com F1 de 94.07% (b)81 células detectadas com F1 de 91.82% (c)308 células detectadas com F1 de 96.95% (d)1220 células detectadas com F1 de 96.71% (e)737 células detectadas com F1 de 92.96% (f)1493 células detectadas com F1 de 95.29% (g)296 células detectadas com F1 de 96.05% Figura 3.6: Resultados obtidos com o método proposto: (a) e (b) mostram imagens de EB cryosections com um nível de ruído aceitável (grupo 1) e presença de forte ruído (grupo 2), respectivamente; (c) e (d) apresentam imagens de migração de EB com aumento de 40 e 20 (grupos 3 e 4), respectivamente; (e) e (f) mostram imagens de colônias de mes sobre MEF com aumento de 20 e 10 (grupos 5 e 6), respectivamente; e (g) apresenta uma imagem de neuroesfera. Adicionando o algoritmo de clusterização de grafo ao processo, os valores para precision, recall e F-measure para as imagens de EB cryosection foram melhorados em 2, 49%, 0, 64% e 1, 58%, respectivamente. No que diz respeito à imagens de migração celular de EB, o valor médio para precision foi melhorado em 22, 41%. No entanto, algumas células que estavam muito próximas (com distância inferior a λ) foram segmentadas como uma só, aumentando o número de falsos negativos. No entanto, o valor para F1 aumentou de 77, 83% para 86, 09% em relação à essas imagens. A Tabela compara os resultados obtidos com e sem a aplicação do passo 6 para os grupos de imagens apresentados na tabela 3.4. Como demonstrado aqui, o método proposto provê resultados satisfatórios

56 Capítulo 3. Resultados Experimentais e Discussão 56 para imagens de células tronco embrionárias obtidas através de um microscópio fluorescente. Entretanto, da mesma forma que no experimento anterior, este método é propenso a erros quando o contraste entre as células ou entre as células e o fundo da imagem é muito baixo. Em imagens onde as células possuem um baixo contraste entre elas, células diferentes podem pertencer à mesma componente. Em se tratando de imagens com um contraste muito baixo entre as células e o fundo, algumas células podem cair na mesma classe de luminância que contém o fundo da imagem ou ainda desaparecer durante a etapa de segmentação do fundo. Como conseqüência de ambas as situações, estas células não serão segmentadas individualmente. No entanto, os números apresentados na Tabela 3.3 estão de acordo com resultados obtidos pelos biólogos e, segundo eles, o método proposto é robusto, eficaz e confiável para práticas biológicas nesse contexto. Utilizando a metodologia apresentada nesta tese, foi desenvolvida uma ferramenta computacional chamada Embryonic Stem Cell Counter ESCC, para segmentação e contagem automática de células tronco embrionárias em imagens de microscopia fluorescente. A Figura 3.7 mostra um screenshot do ESCC. Esta ferramenta vem sendo utilizada no Instituto de Ciências Biomédicas da UFRJ desde 2009 e pode ser baixada gratuitamente em br/. Através desta aplicação, os biólogos são capazes de reduzir o tempo médio de contagem de 15 minutos para 6,2 segundos por imagem. Além disso, uma vez que o método usa sempre os mesmos critérios, elimina completamente a subjetividade, fornecendo resultados confiáveis para experimentos de grande escala em horas, contra meses de inspeção visual entediante Comparação com o método de watershed A fim de comparar o método proposto com o algoritmo de watershed por inundação [52], imagens de cada grupo foram selecionadas aleatoriamente e 6 conjuntos, cada um representando o respectivo grupo principal, foram construídos. A Tabela 3.4 mostra a quantidade e o tipo de imagem para cada conjunto criado e indica qual grupo ele representa. Da mesma forma que para as imagens de objetos reais, as imagens de cada conjunto foram pré-processadas aplicando o passo 1 do método proposto com os mesmos valores para os parâmetros σ e x, apresentados na Tabela 3.2. Estas imagens foram então processadas utilizando-se o plugin para o ImageJ [2] fornecido pela Biomedical Imaging Group - EPFL [80]. As imagens processadas pelo algoritmo de watershed foram analisadas e avaliadas visualmente pela autora baseada em exemplos de contagem correta fornecidos pelos biólogos. Da mesma forma que para o método proposto, tanto

57 Capítulo 3. Resultados Experimentais e Discussão 57 (a) Figura 3.7: Embryonic Stem Cell Counter software (ESCC), aplicativo gratuito desenvolvido para detectar e contar automaticamente células tronco embrionárias em imagens de microscopia fluorescente. Conj. Grupo Composto de 1 1 e 2 20 imagens de EB cryosections imagens de migração celular de EB com aumento de imagens de migração celular de EB com aumento de imagem de colônias de mes sobre MEF com aumento de imagem de colônias de mes sobre MEF com aumento de imagens de neuroesferas Tabela 3.4: Conjuntos representando os grupos principais. A primeira coluna indica os conjuntos e a segunda os respectivos grupos que eles representam. A terceira coluna apresenta o número e o tipo de imagem. as células que não foram segmentadas (falsos negativos) quanto os artefatos que foram incorretamente classificados como células (falsos positivos) foram identificados. Assim, as medidas de precision, recall e F-measure foram calculadas para cada imagem e em seguida a média aritmética para cada conjunto foi obtida. A Tabela apresenta os valores médios para precision, recall e F-measure para cada um dos conjuntos e a Figura 3.10 compara os resultados obtidos para cada imagem. Observando a Figura 3.10 pode-se perceber que o método proposto possui melhor desempenho que o algoritmo de watershed para a maioria das imagens. As Figuras 3.8 e 3.9 apresentam algumas imagens processadas por ambos os métodos. Em se tratando de imagens de colônias de células mes sobre MEF com aumento de 10 (conjunto 5), pode-se notar que, na média, o algoritmo de watershed

58 Capítulo 3. Resultados Experimentais e Discussão 58 Método Proposto Alg. de Mineração Alg. de Clusterização Wathershed Conj. P R F1 P R F1 P R F1 (%) (%) (%) 1 93,57 93,65 93,55 95,82 94,03 94,86 62,80 97,94 76, ,69 94,21 74,42 95,51 89,45 92,23 34,36 98,12 50, ,48 95,67 96,05 97,14 84,96 90,62 76,75 97,65 85, ,05 88,99 92,29 95,27 78,85 86,03 82,01 95,59 88, ,70 77,78 86,07 97,68 77,08 85,59 83,69 93,77 88, ,58 90,79 93,55 95,86 84,25 89,49 68,91 97,96 80,86 Tabela 3.5: Comparação entre método proposto, com e sem o passo 6 (clusterização do grafo), e o algoritmo de watershed [52]. A primeira coluna indica os conjuntos de imagens e as demais apresentam os resultados obtidos pelo método proposto e pelo watershed. Todos os números são valores médios obtidos sobre todas as imagens do respectivo conjunto. Imagens processadas pelo algoritmo de watershed (a)1149 células detectadas com F1 de 77.51% (b)1055 células detectadas com F1 de 39.05%. Imagens processadas pelo nosso método (c)2130 células detectadas com F1 de 83.10%. (d)647 células detectadas com F1 de 96.21%. (e)246 células detectadas com (f)1489 células detectadas com F1 de 98.1%. F1 de 97.50%. Figura 3.8: Resultados obtidos com o nosso método e com o algoritmo de watershed: (a) e (d) comparam os resultados para imagens de EB cryosection; (b) e (e) para imagens de migração de EB com aumento de 40 ; e (c) e (f) para imagens de migração de EB com aumento de 20.Os pontos em vermelho e em azul assinalam as células que foram detectadas. provê melhores resultados. Este obteve valores médios para precision, recall e F- measure de 83, 69%, 93, 77% e 88, 19%, respectivamente, contra 97, 70%, 77, 78% e 86, 07%, alcançado pelo método proposto. Nas imagens capturadas com aumento de 10, as células presentes são muito pequenas e, geralmente, têm baixo contraste.

59 Capítulo 3. Resultados Experimentais e Discussão 59 Imagens processadas pelo algoritmo de watershed (a)815 células detectadas com F1 de 89.86%. (b)1410 células detectadas com F1 de 92.74%. (c)396 células detectadas com F1 de 76.68%. Imagens processadas pelo nosso método (d)585 células detectadas com F1 de 92.96%. (e)1085 células detectadas com F1 de 90.00%. (f)215 células detectadas com F1 de 91.35%. Figura 3.9: Resultados obtidos com método proposto e com o algoritmo de watershed: (a) e (d) para imagens de colônias de células mes sobre MEF com aumento de 20 ; (b) e (e) para imagens de colônias de mes sobre MEF com aumento de 10 ; e (c) e (f) para imagens de neuroesferas. Os pontos em vermelho e em azul assinalam as células que foram detectadas. Por este motivo, o método apresentado nesta tese não detecta tantas células quanto o algoritmo de watershed. No entanto, a diferença entre os valores de F-measure é inferior a 2, 2%. Além disso, para atingir este resultado, o valor do parâmetro que define o nível de inundação utilizado pelo algoritmo de watershed deve ser ajustado para cada uma das imagens, enquanto o método proposto é facilmente parametrizado para cada conjunto. No caso das imagens de EB cryosections (conjunto 1), de migração celular de EB com aumento de 40 e 20 (conjuntos 2 e 3, respectivamente), de colônias de células mes sobre MEF com aumento de 20 (conjunto 4), e imagens de neuroesferas (conjunto 6), o método proposto é, em média, 31% mais preciso que o algoritmo de watershed. Além disso, foi obtido um valor médio para F-measure superior a 90% contra 76% alcançado pelo watershed. De modo geral, o algoritmo de watershed provê resultados satisfatórios para imagens onde as células não estão muito sobrepostas e não contêm mais de um ponto brilhante. Caso contrário, este geralmente produz uma super-segmentação como resultado (Figura 3.8(b)). No entanto, se as células estiverem fortemente agrupadas e/ou sobrepostas como, por exemplo, na imagem da Figura 3.8(a) ou

60 Capítulo 3. Resultados Experimentais e Discussão 60 apresentem muitos pontos brilhantes, seus resultados são inferiores aos obtidos com o método proposto. Outra desvantagem do algoritmo de watershed é que, para se obter resultados satisfatórios, é necessário avaliar a saída para cada nível de inundação e então escolher aquele que produz o melhor resultado para a imagem corrente.

61 Capítulo 3. Resultados Experimentais e Discussão 61 (a)imagens de EB cryosection (conjunto 1) (b)images de migração celular de EB com aumento de 40 (conjunto 2) (c)images de migração celular de EB com aumento de 20 (conjunto 3) (d)imagens de colônias de células mes sobre MEF com aumento de 20 (conjunto 4) (e)imagens de colônias de células mes sobre MEF com aumento de 10 (conjunto 5) (f)imagens de neuroesferas (conjunto 6) Figura 3.10: Comparação entre o método proposto e a algoritmo de watershed no que diz respeito à imagens de células tronco embrionárias. Todas as imagens foram analisadas e avaliadas visualmente pela autora baseada em exemplos de contagem correta fornecidos pelos biólogos do Instituto de Ciências Biomédicas da UFRJ.

62 4 Conclusão Embora avanços na área de processamento de imagens e visão computacional vêm possibilitando a segmentação, reconhecimento e detecção automática de vários tipos de objetos, em se tratando de imagens onde os objetos são idênticos ou muito próximos em relação a cor ou textura e aparecem parcialmente sobrepostos ou fortemente agrupados, segmentá-los individualmente é um problema que métodos clássicos de segmentação, tais como watershed ou processos morfológicos básicos, podem não solucionar adequadamente. Outro problema é contar objetos semelhantes em imagens previamente segmentadas. Esta tarefa, quando executada manualmente, é tediosa, demorada e que, devido ao cansaço visual, exige um grande esforço humano. Além disso, seu caráter subjetivo pode levar a uma grande variação nos resultados. Na prática, contar grandes quantidades de objetos manualmente leva a um alto desvio padrão, obtendo-se resultados de baixa qualidade. Para suprir os problemas citados anteriormente uma abordagem bastante utilizada em processamento de imagens é considerar uma imagem monocromática como uma superfície topológica. Desta forma objetos de interesse podem aparecer como picos (sharp mountains), domos (smooth hills) ou vales (V- or U-shaped). Os domos presentes nesta superfície são resultados de regiões da imagem que possuem, geralmente, um ponto central brilhante e esta luminância diminui gradualmente deste ponto em direção a borda do objeto. Entretanto, devido a fatores como a presença de ruído, iluminação inadequada e até mesmo características intrínsecas dos objetos fotografados, um objeto na imagem pode apresentar mais de um ponto brilhante. Como conseqüência, o domo correspondente pode conter vários pontos de máximo local em seu topo. Portanto, um domo fica caracterizado por um cluster de máximos locais (CLM). Existe um grande número de objetos em vários tipos de imagens que são representados por CML quando a imagem é considerada como uma superfície topológica. Células em imagens de microscopia fluorescente [74], palmeiras de óleo em imagens IKONOS [40], microcalcificações em imagens de mamografia digital [39], filamentos de miosina no músculo em imagens de eletromicrografias [77] e, spots em imagens biológicas [71] e em imagens de 2-DE gel [79] são alguns exemplos. Assim, a segmentação e contagem, tanto manual quanto automática,

63 Capítulo 4. Conclusão 63 destes objetos podem ser simplificadas pela tarefa de segmentar e contar os CML presentes da superfície que representa a imagem. Nesta tese foi apresentado um novo método para segmentação e contagem de CML em uma imagem digital. Na metodologia proposta a imagem é considerada como uma superfície topológica e os objetos de interesse são representados por CML. Através da informação de luminância é gerada uma representação da imagem baseada em grafo. O CML é caracterizado por um subgrafo e um algoritmo de mineração é utilizado para detectar os clusters. Por fim, de acordo com características da imagem, um algoritmo de clusterização pode ser incorporado ao processo para melhorar o resultado final. A contagem dos objetos é um resultado direto do algoritmo de mineração e de clusterização, quando este último é aplicado. O método proposto foi testado em uma base de dados com mais de 200 imagens. A fim de avaliar sua qualidade e eficiência, foram realizados dois experimentos: segmentação e contagem de objetos em fotos e segmentação e contagem de células tronco embrionárias em imagem de microscopia fluorescente. Os resultados obtidos no primeiro experimento foram validados pela autora e os obtidos no segundo experimento pelos biólogos do Instituto de Ciências Biomédicas da Universidade do Estado do Rio de Janeiro (UFRJ). Para as fotos de objetos foi obtido um valor médio de 92, 32% para precision, de 80, 51% para recall, e 85, 33% para textitf-measure. Para as imagens de células tronco obteve-se um valor médio de 94, 9%, 87, 74% e 90, 88% para precision,recall, e textitf-measure, respectivamente. Vantagens do método proposto incluem a sua tolerância a variações no tamanho e forma dos objetos em um determinado grupo de imagens e sua fácil parametrização para lidar com diferentes grupos de imagens provenientes de objetos distintos. Através de testes executados em uma imagem por grupo, pode-se facilmente estabelecer os valores para o tamanho do intervalo (ε) utilizado na etapa de partição do histograma e, se necessário, para λ que representa a metade do diâmetro médio dos objetos medido a partir da imagem de entrada. Embora estes valores tenham sido inferidos sobre uma única imagem, dadas as semelhanças entre imagens de um mesmo grupo, eles podem ser generalizados. Assim, embora o método proposto não seja automático, ele pode se automatizado para grupos específicos de imagens. Como resultado, através deste método é possível reduzir os esforços, eliminar a subjetividade dos resultados, simplificar e agilizar a tarefa de segmentação e contagem necessária em várias áreas de pesquisa. Embora funcione bem para a maioria das imagens, o método proposto possui algumas limitações. É propenso a erros em imagens onde os objetos apresentam uma forma muito alongada. Apesar de o valor para λ ser calculado de modo adequado para estas imagens (λ = (eixo maior + eixo menor)/4), o algoritmo de

64 Capítulo 4. Conclusão 64 clusterização não é capaz de agrupar os CML corretamente. Em situações onde os CML estejam localizados nas extremidades (ao longo do maior eixo) do objeto, embora representem o mesmo objeto, estes CML provavelmente não serão agrupados, pois estão a uma distância superior a λ. Outra situação desfavorável é quando a imagem apresenta objetos muito próximos em relação a cor ou textura e que possuem um baixo contraste entre eles. Nesta situação, objetos diferentes podem pertencer à mesma componente conectada e como conseqüência não serem segmentados individualmente. Para imagens com um contraste muito baixo entre os objetos e o fundo da imagem o método proposto pode gerar resultados insatisfatórios, pois alguns objetos podem ficar na mesma classe de luminância que contém o fundo da imagem ou ainda desaparecer durante a etapa de segmentação do fundo. Apresar das falhas mencionadas acima, conforme demonstrado ao longo desta tese o método proposto fornece resultados satisfatórios. As métricas mostram que método desenvolvido é suficientemente robusto para segmentação e contagem de objetos em imagens reais. No mais, de acordo com os biólogos do Instituto de Ciências Biomédicas da UFRJ, o método proposto é robusto, eficaz e confiável para práticas biológicas no que diz respeito a segmentação e contagem de células tronco embrionárias em imagens de microscopia fluorescente. Em comparação com o algoritmo de watershed por inundação proposto por Meyer [52], os números mostram que a metodologia apresentada é, em média, 24% mais precisa para fotos de objetos. Para as 28 imagens que formam o grupo 1, o método proposto obteve valores médios para precision, recall e F-measure de 92.32%, 80.51% e 85.33% respectivamente, contra 67.26%, 88.05% e 74.02% alcançados pelo watershed. Para imagens de células tronco embrionárias, pôde-se perceber que o método proposto provê melhores resultados para a maioria das imagens. No caso das imagens de EB cryosections, de migração celular de EB com aumento de 40 e 20, de colônias de células mes sobre MEF com aumento de 20, e imagens de neuroesferas, o método proposto é, em média, 31% mais preciso que o algoritmo de watershed. Por outro lado, para imagens de colônias de células mes sobre MEF com aumento de 10, observou-se que o algoritmo de watershed provê resultados um pouco melhores do que aqueles gerados pelo método proposto. No entanto, a diferença entre os valores de F-measure é inferior a 2, 2%. Além disso, para atingir este resultado, o valor do parâmetro que define o nível de inundação utilizado pelo algoritmo de watershed deve ser ajustado para cada uma das imagens, enquanto o método proposto é facilmente parametrizado para cada grupo. Para as imagens de células tronco, foi obtido um valor médio para precision, recall e F-measure de 96.47%, 87.67%, 91.60%, respectivamente contra 68.09%, 96.84%, 78.28% atingido pelo algoritmo de watershed.

65 Capítulo 4. Conclusão 65 De moto geral, o algoritmo de watershed provê resultados satisfatórios para imagens onde os objetos não estão muito sobrepostos e apresentam apenas um ponto brilhante. No entanto, se estes estiverem fortemente agrupadas e/ou sobrepostos ou apresentem muitos pontos brilhantes, seus resultados são inferiores aos obtidos com o método proposto. Outra desvantagem do algoritmo de watershed é que, para se obter resultados satisfatórios, é necessário avaliar a saída para cada nível de inundação e então escolher aquele que produz o melhor resultado para a imagem corrente. Utilizando a metodologia apresentada neste trabalho também foi desenvolvida uma aplicação computacional Embryonic Stem Cell Counter (ESCC) para segmentação e contagem automática de células tronco embrionárias em imagens de microscopia fluorescente. O ESCC vem sendo utilizado, desde 2009, pelos biólogos do Instituto de Ciências Biomédicas da UFRJ, e está se tornando uma ferramenta bastante útil, dado que é suficientemente robusto para práticas biológicas. Através desta aplicação, os biólogos são capazes de reduzir o tempo médio de contagem de 15 minutos para 6,2 segundos por imagem. Além disso, uma vez que o algoritmo usa sempre os mesmos critérios, elimina completamente a subjetividade, fornecendo resultados confiáveis para experimentos de grande escala em horas, contra meses de inspeção visual entediante. Sendo o método proposto facilmente parametrizável para lidar com variados tipos de objetos, desde que estes possam ser representados por CML quando a imagem é interpretada como uma superfície, através da metodologia apresentada nesta tese tem-se a expectativa de possibilitar e facilitar a construção de ferramentas computacionais capazes de automatizar a etapa de segmentação e contagem de objetos em imagens digitais. Desta forma, espera-se melhorar a etapa de segmentação e contagem, a qual é necessária em várias áreas de pesquisa, tornando-a mais rápida, eficiente e precisa. 4.1 Trabalhos Futuros Com o objetivo de generalizar o método proposto foram feitos testes em vários tipos de imagens diferentes. Comparando os resultados gerados com aqueles apresentados nos trabalhos onde se obtiveram as imagens, pode-se dizer que o método proposto provê resultados satisfatórios. No entanto, devido à ausência de um especialista para estas imagens estes resultados não foram validados. Além disso, conforme descrito ao longo desta tese o método proposto apresenta alguns desafios a serem superados. Assim, com a experiência adquirida neste trabalho, são sugeridas as seguintes extensões para esta tese e aplicação do método proposto:

66 Capítulo 4. Conclusão Aprimoramento do método proposto Como primeiro trabalho futuro, pretende-se solucionar ou ao menos amenizar as deficiências do método proposto. Conforme apresentado nesta tese, este método é propenso a erros em imagens onde os objetos são muito semelhantes em relação a cor ou textura e apresentam um baixo contraste entre eles. Nesta situação, objetos diferentes podem pertencer a mesma componente conectada e como conseqüência não serem segmentados individualmente. Uma possível solução para este problema é particionar o histograma da imagem adaptativamente ao invés de utilizar intervalos de tamanho fixo. Assim, a parte da superfície que contém os CML (geralmente o topo) pode ser dividida em um número maior de intervalos impedindo que objetos diferentes pertençam a mesma componente. Para a situação onde a imagem apresenta um contraste muito baixo entre os objetos e fundo, uma possível solução é substituir o threshold simples por um adaptativo. Este novo threshold dificulta o desaparecimento de objetos durante a etapa de segmentação do fundo. No entanto, não impede que alguns objetos pertençam a mesma componente que representa o fundo da imagem. Esta situação seria solucionada pela partição adaptativa do histograma descrita anteriormente. Para imagens onde o objeto de interesse apresenta forma alongada, uma possível solução é utilizar uma medida diferente para λ. Considerando o objeto de interesse como uma elipse, o valor de λ pode se dado pelo o tamanho total do eixo maior (AA ) ou uma proporção deste tamanho (eaa = a a 2 b 2, onde e representa a excentricidade e a e b a metade do eixo maior e menor, respectivamente). No entanto, muito provavelmente, esta solução não resolveria o problema totalmente, mas amenizaria esta deficiência do método. Outra possível solução é o uso de métricas diferentes da distância Euclidiana na etapa de clusteriazação do grafo Aplicação do método em outros tipos de imagens A metodologia apresentada neste trabalho pode ser aplicada a diversos tipos de imagens, desde que os objetos de interesse possam ser representados por CML quando a imagem é interpretada como uma superfície topológica. Na tentativa de generalização do método proposto foram feitos testes em vários tipos de imagens diferentes. Comparando os resultados preliminares de testes feitos em imagens IKONOS [40], imagens bidimensionais de electrophoresis gels [79], imagens de solitary odontogenic keratocyst lining [46] e imagens de microscopia eletrônica muscular [77] com aqueles apresentados nos trabalhos onde as imagens foram obtidas, pode-se fizer que o método proposto gera resultados

67 Capítulo 4. Conclusão 67 promissores, conforme mostrado nas Figuras 4.1, 4.2, 4.3 e 4.4. No entanto, devido a falta de um especialista, estes resultados não foram validados. Assim, como uma primeira extensão para esta tese pode-se pensar em um estudo aprofundado sobre estas imagens validando os resultados obtidos, e posteriormente, caso necessário, uma adaptação (extensão) do método proposto para cada uma delas. A Figura 4.1 apresenta os resultados obtidos para imagens IKONOS. Esta imagem mostra palmeiras que produzem óleo e as árvores segmentadas são indicadas pelos pontos na cor vermelha. A Figura 4.2 mostra os resultados obtidos para imagens bidimensionais de electrophoresis gels. Nestas imagens o objetivo é encontrar os spots, os quais representam proteínas. Os spots segmentados são indicados pelos pontos na cor vermelha. A Figura 4.3 apresenta os resultados geradas para imagens de solitary odontogenic keratocyst lining que são cistos dentário de origem não inflamatória. Os pontos na cor vermelha indicam os cistos segmentados. Por último, a Figura 4.4 mostra os resultados obtidos para imagens de micrografias eletrônicas muscular. Os pontos na cor vermelha indicam os filamentos de miosina segmentados. (a) Figura 4.1: Resultados preliminares obtidos com o método proposto para imagens do tipo IKONOS [40]. Os pontos na cor vermelha indicam as árvores segmentadas. (a) (b) (c) (d) Figura 4.2: Resultados preliminares obtidos com o método apresentado neste trabalho para imagens bidimensionais de electrophoresis gels [79]. Os pontos na cor vermelha indicam os spots segmentadas. Outras imagens interessantes são imagens de células tronco provenientes de marcadores celulares distintos. A Figura 4.5 mostra um exemplo de uma imagem de

68 Capítulo 4. Conclusão 68 (a) (b) (c) Figura 4.3: Resultados preliminares obtidos com o método apresentado neste trabalho para imagens de solitary odontogenic keratocyst lining [46]. Os pontos vermelhos representam os cistos segmentados. (a) (b) (c) (d) Figura 4.4: Resultados preliminares obtidos com o método apresentado neste trabalho para imagens de micrografias eletrônicas muscular [77]. Os pontos vermelhos indicam os filamentos de miosina detectados. célula tronco colorida com três tipos de marcadores diferentes: marcador DAPI 1 que marca todas as células (Figura 4.5(a)); marcador β-iii tubulina (Figura 4.5(b)), específico para neurônios e o marcador GFAP 2 (Figura 4.5(c)) que é um marcador 1 DAPI (4-6-diamidino-2-phenylindole) é um tipo de marcador fluorescente que se liga fortemente ao DNA das células tornando-as visíveis em cor ciano/azul quando visualizadas através de um microscópio fluorescente. Como se liga ao DNA, marca todas as células. 2 GFAP (Glial fibrillary acidic protein) é um marcador específico para células gliais que são

69 Capı tulo 4. Conclusa o 69 de ce lulas glialis. Atrave s destas imagens e possı vel identificar a porcentagem de ce lulas que se diferenciaram em neuro nios e em ce lulas gliais (ce lulas na o neuronais do sistema nervoso central que proporcionam suporte e nutric a o aos neuro nios). (a) (b) (c) Figura 4.5: Exemplo de imagens de ce lulas tronco coloridas com tre s marcadores celulares diferentes: (a) marcador DAPI: marca todas as ce lulas; (b) β- III tubulina - marcador especı fico para neuro nios; e (c) GFAP - marcador glial. Estendendo o me todo proposto para lidar com marcadores ale m do DAPI como, por exemplo, β-iii tubulina, GFAP, Map2, Nestina, Sox e Tuj1, torna-se possı vel o ca lculo automa tico do nu mero de ce lulas diferenciadas, na o diferenciadas e de ce lulas mortas para uma u nica imagem e consequ entemente de um experimento. Estas informac o es sa o fundamentais para se entender e validar o processo de diferenciac a o celular estabelecido para dar origem a um tipo especifico de ce lula. Como alguns marcadores se ligam a estruturas celulares diferentes como, por exemplo, ao nu cleo ou citoplasma, trabalhar com estes marcadores pode implicar em lidar com estruturas (morfologia) diferentes, as quais podem na o corresponder a CML. Desta forma, faz-se necessa rio uma adaptac a o do algoritmo de minerac a o para identificar corretamente o subgrafo (padra o) que corresponde a esta nova estrutura Desenvolvimento de um me todo para detecc a o do limbo do olho humano Utilizando a metodologia apresentada nesta tese, existe a possibilidade de se desenvolver um me todo automa tico para detecc a o do limbo dos olhos atrave s da posic a o do brilho do olho. O limbo do olho e a regia o de contorno entre a esclera e a ı ris. O brilho, ou primeira imagem de Purkinje e o reflexo luminoso gerado, a partir do Teste de Hirschberg, dentro da regia o do limbo [21], conforme ilustrado na Figura 4.6. Atrave s do me todo proposto, pode-se facilmente identificar o brilho do olho. A Figura 4.7 mostra alguns resultados preliminares. Nesta figura pode-se observar ce lulas na o neuronais do sistema nervoso central que proporcionam suporte e nutric a o aos neuro nio.)

70 Capítulo 4. Conclusão 70 Figura 4.6: Estrutura interna do olho humano. que além do brilho do olho, o método apresentado neste trabalho também segmentou outros pontos brilhantes, os quais devem ser eliminados. Assim, faz-se necessário o desenvolvimento de um passo adicional para eliminar os elementos segmentados que não corresponde a região de interesse, ou seja, a primeira imagem de Purkinje. (a) (b) (c) Figura 4.7: Resultados preliminares para detecção da primeira imagem de Purkinje. Note que além do brilho do olho, o método detectou outros pontos brilhantes, os quais devem ser eliminados em um passo adicional. Para eliminar as estruturas segmentadas que não correspondem a primeira imagem de Purkinje pode-se utilizar a medida de circularidade [4] como critério, pois o brilho do olho geralmente possui uma forma bastante circular. Um CML corresponde a um conjunto de componentes conectadas encaixadas. Desta forma, a sua circularidade é dada pela circularidade da componente mais externa. Logo, analisando a circularidade dos CML encontrados pode-se facilmente identificar aqueles que não correspondem ao brilho do olho, ou seja, CML com circularidade