MATHEUS CAMILO DA SILVA COMPARAÇÃO DE ALGORITMOS DE SEGMENTAÇÃO DE IMAGENS EM CENÁRIOS NÃO TRIVIAIS.

Transcrição

1 MATHEUS CAMILO DA SILVA COMPARAÇÃO DE ALGORITMOS DE SEGMENTAÇÃO DE IMAGENS EM CENÁRIOS NÃO TRIVIAIS. LONDRINA PR 2017

2

3 MATHEUS CAMILO DA SILVA COMPARAÇÃO DE ALGORITMOS DE SEGMENTAÇÃO DE IMAGENS EM CENÁRIOS NÃO TRIVIAIS. Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. Orientador: Prof. Dr. Sylvio Barbon Júnior LONDRINA PR 2017

4 Matheus Camilo da Silva Comparação de Algoritmos de Segmentação de Imagens em Cenários não Triviais./ Matheus Camilo da Silva. Londrina PR, p. : il. (algumas color.) ; 30 cm. Orientador: Prof. Dr. Sylvio Barbon Júnior Universidade Estadual de Londrina, Visão Computacional. 2. Segmentação. I. Sylvio Barbon Júnior. II. Universidade Estadual de Londrina. III. Comparação de algoritmos de segmentação de imagem para objetos com diferentes características CDU 02:141:005.7

5 MATHEUS CAMILO DA SILVA COMPARAÇÃO DE ALGORITMOS DE SEGMENTAÇÃO DE IMAGENS EM CENÁRIOS NÃO TRIVIAIS. Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. BANCA EXAMINADORA Prof. Dr. Sylvio Barbon Júnior Universidade Estadual de Londrina Orientador Prof. Dr. Jacques Duílio Brancher Universidade Estadual de Londrina Prof. Ms. Ana Paula Ayub da Costa Barbon Universidade Estadual de Londrina Londrina PR, 20 de Fevereiro de 2017

6

7 Este trabalho é dedicado à minha amada avó Araci, que esteve comigo no começo, mas não estará comigo no final dessa jornada.

8

9 AGRADECIMENTOS Em primeiro lugar, eu quero agradecer à Deus, por ter cumprido sua vontade em minha vida. Também sou muito grato os meus pais, Fernando e Kenya, que sempre me apoiaram e batalharam tanto para que pudessem me oferecer todas as oportunidades que ofereceram. Agradeço aos professores e funcionários da universidade que trabalham para criar um ambiente de aprendizado. Em especial, agradeço ao meu orientador Prof. Dr. Sylvio Barbon, pela paciência, pela amizade, pelo aprendizado, tanto acadêmico quanto de vida, e por me acompanhar nessa parte da minha vida. E finalmente, agradeço muito aos meus grandes amigos, companheiros de curso e aventuras, Gabriel (Grilo), Pedro (Sedu) e Luiz Felipe (Fred), vocês fizeram essa jornada inesquecível.

10

11 Não vos amoldeis às estruturas deste mundo, mas transformai-vos pela renovação da mente, a fim de distinguir qual é a vontade de Deus: o que é bom, o que Lhe é agradável, o que é perfeito. (Bíblia Sagrada, Romanos 12, 2)

12

13 SILVA, M. C.. Comparação de Algoritmos de Segmentação de Imagens em Cenários não Triviais.. 55 p. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) Universidade Estadual de Londrina, Londrina PR, RESUMO Na área de processamento de imagens são realizados procedimentos para a análise de imagens e melhoramento de sua qualidade a fim de proporcionar uma melhor identificação e extração de informações, procedimentos como a segmentação, que consiste na decomposição de uma imagem em regiões ou objetos de interesse baseado em características, ou descritores, em comum. Com este trabalho se busca obter uma maneira eficiente de se segmentar uma imagem que possua múltiplos descritores, avaliando e comparando artigos e técnicas de segmentação, como o algoritmo Watershed e segmentação por aprendizagem de máquina. O produto da análise realizada por este trabalho será a indicação da técnica ou técnicas e descritores mais adequados para a segmentação de objetos com diferentes características, utilizando a classificação da idade de bovinos por visão computacional do processo espinhoso do animal. O trabalho analisou as segmentações dos algoritmos propostos através de uma avaliação supervisionada com os coeficientes de similaridade Dice e Jaccard, e concluiu que a segmentação por aprendizagem de máquina possui resultados superiores à Watershed para o caso do uso proposto, tendo em vista que seleciona os descritores mais relevantes para segmentação. Palavras-chave: Segmentação. SVM. Visão Computacional. Watershed.

14

15 SILVA, M. C.. Comparison of Image Segmentation Algorithms in Non-Trivial Scenarios.. 55 p. Final Project (Bachelor of Science in Computer Science) State University of Londrina, Londrina PR, ABSTRACT In the image processing area, procedures are performed for image analysis and improvement of it s quality in order to provide a better identification and information extraction, procedures such as segmentation, which consists in the decomposition of an image in regions or objects of interest based on characteristics, or descriptors, in common. This work aims to obtain an efficient way of segmenting an image that has multiple descriptors, evaluating and comparing articles and techniques of segmentation, such as the Watershed algorithm and machine learning segmentation. The product of the analysis performed by this work will be the indication of the technique or techniques and most suitable descriptors for the segmentation of objects with different characteristics, using as a use case the classification of the age of cattle through the analysis by computational vision of the animal carcass. The work analyzed the proposed algorithms segmentations through supervised evaluation with the coefficients of similarity Dice and Jaccard, and concluded that the machine learning segmentation has results superior to the Watershed for the proposed use case, since it has the ability to select the best descriptor for segmentation. Keywords: Computer Vision. Segmentation. Watershed. SVM.

16

17 LISTA DE ILUSTRAÇÕES Figura 1 Exemplo de aplicação de Limiarização sobre uma imagem Figura 2 Imagem Original/Imagem Processada pelo Watershed Figura 3 Exemplo de aplicação de segmentação sobre uma imagem. a) Conjunto de Treinamento. e b) Imagem segmentada por aprendizagem de máquina. 33 Figura 4 Exemplo de modelo de classificação de SVM de duas classes Figura 5 Histogramas de Diferentes Canais de Cor Figura 6 Modelo Proposto Figura 7 Aplicação do pré processamento em uma amostra para segmentação de osso. a) Após Otsu b) Região de Plano de Fundo Figura 8 Aplicação do pré processamento em uma amostra para segmentação de cartilagem. a) Após Otsu b) Região de Plano de Fundo Figura 9 Extração de características em uma amostra para segmentação de osso. a) Após Transformação de Distância b) Região de interesse Figura 10 Extração de características em uma amostra para segmentação de cartilagem. a) Após Transformação de Distância b) Região de interesse.. 41 Figura 11 Máscara resultada da segmentação por Watershed. a) Osso b) Cartilagem. 41 Figura 12 Resultado da aplicação da máscara nas imagens originais. a) Osso b) Cartilagem Figura 13 Exemplo de segmentação de osso por SVM Figura 14 A linha vermelha representa Watershed, enquanto azul representa SVM 46 Figura 15 A linha vermelha representa Watershed, enquanto azul representa SVM 47 Figura 16 Exemplo de segmentações para massa óssea. a) Modelo Ouro. e b) Segmentada por Watershed Figura 17 Exemplo de segmentações para massa óssea. a) Modelo Ouro. e b) Segmentada pela técnica de aprendizagem de máquina

18

19 LISTA DE TABELAS Tabela 1 Coeficiente de Similaridade Dice Tabela 2 Coeficiente de Similaridade Dice Tabela 3 Média dos Coeficientes de Similaridade

20

21 LISTA DE ABREVIATURAS E SIGLAS SVM AM DT DSC Support Vector Machine Aprendizagem de Máquina Distance Transform Coeficiente de Similaridade de Dice

22

23 SUMÁRIO 1 INTRODUÇÃO Trabalhos Correlatos Objetivos e Contribuições Organização do Trabalho FUNDAMENTAÇÃO TEÓRICA Cor Espaços de Cor Imagem Visão Computacional Processamento de Imagens Digitais Segmentação de Objetos Avaliação de Segmentação Avaliação Supervisionada Coeficientes de Similaridade Dice Jaccard Avaliação não Supervisionada Thresholding(Limiarização) Otsu Crescimento de Região Watershed Segmentação baseada em aprendizagem de máquina Máquina de vetor de suporte Histograma Kurtosis (Curtose) Skewness (Obliquidade) DESENVOLVIMENTO Metodologia Proposta Base de Imagens Watershed Aquisição de Imagens Pré-processamento Extração de características Detecção e segmentação

24 3.3.5 Processamento de alto nível Segmentação baseada em aprendizagem de máquina Treino Aprendizagem Supervisionada Extração de Descritores Classificação Avaliação ANÁLISE DOS RESULTADOS Massa Óssea Cartilagem Análise dos Resultados CONCLUSÃO Conclusão REFERÊNCIAS

25 23 1 INTRODUÇÃO Visão Computacional é a área da ciência que engloba o estudo e desenvolvimento de técnicas para extração de informação em imagens ou quaisquer dados multi-dimensionais. O emprego de Visão Computacional aliada à técnicas de processamento de imagens permite a modelagem de sistemas para tomada de decisões e avaliação de objetos e/ou processos [1]. A Segmentação de imagens digitais é uma das tarefas mais árduas de Visão Computacional [2] que permite a extração de dados e consequentemente informações sobre quaisquer objetos em uma imagem a partir da decomposição da mesma em grupos de regiões com propriedades e características relevantes em comum, tais como cor, intensidade e textura[3] por meio de diversos métodos de segmentação. Imagens podem possuir diversos descritores, ou características, passiveis de serem segmentadas, o que, gera ambiguidade entre métodos de segmentação, tendo em vista que métodos de segmentação baseados em diferentes descritores podem resultar em diferentes regiões segmentadas, ocasionando em discrepância na extração de dados e por consequência na obtenção de informação automatizada. Portanto, a seleção de descritores e métodos que segmentarão uma imagem é um fator importante no desenvolvimento de um sistema de Visão Computacional[1]. Uma vez que é possível a obtenção de diferentes resultados de segmentação de uma imagem por métodos distintos, é possível a comparação e análise da qualidade da segmentação dado o mesmo caso de uso. Entretanto, avaliar a eficácia de algoritmos de segmentação é uma tarefa complexa. A avaliação da acurácia de tais algoritmos é realizada mais comumente por avaliaçãos qualitativas, em que o resultado de uma segmentação é analisada por um humano com parâmetros voláteis, o que torna esse tipo de análise inevitavelmente subjetiva [4]. Para a obtenção de resultados objetivos na avaliação é necessário a quantificação da performance de algoritmos de segmentação, tal quantificação pode ser realizada por métodos supervisionados de avaliação, que avaliam a sobreposição espacial de regiões segmentadas por algorítmos com áreas segmentadas manualmente [5], com parâmetros para avaliação de performance de métodos de segmentação como Coeficiente de similaridade de Dice e Coeficiente de similaridade de Jaccard [6, 7]. A bovinocultura possui grande importância dentro do cenário de produção alimentícea brasileiro, e atualmente ocupa lugar de destaque no cenário mundial [8], o que fomenta a necessidade do aprimoramento de métodos de controle de qualidade da carne, que está relacionada com fatores, por exemplo: espécie do animal, dieta, peso e idade no

26 24 momento do abate[9]. As imagens do processo espinhoso bovino possuem múltiplos descritores e o resultado da classificação de idade por um sistema de visão computacional é correspondente à qualidade de segmentação dos objetos de interesse (cartilagem e massa óssea), a segmentação da cartilagem e da massa óssea é uma tarefa não triviaç, o que torna tal processo o caso de uso ideal para este trabalho. Para a realização deste trabalho, foi comparado e analizado a qualidade da segmentação de dois métodos de segmentação, o algoritmo de segmentação Watershed e Segmentação por Aprendizagem de Máquina, bem como os descritores que geraram melhores resultados. 1.1 Trabalhos Correlatos Diversos estudos relacionados à importância do auxílio de processos da área da computação na avaliação da qualidade da carne foram realizados nos últimos anos. Estudos como em [1], em que, é proposto o uso de técnicas de processamento de imagens, como segmentação por Watershed, para a criação de um sistema capaz de avaliar a qualidade de carne bovina através da quantidade de gordura intramuscular (marmoreio). O sistema oferece uma alternativa automatizada e objetiva à análise subjetiva realizada por humanos. Em [3], é desenvolvido um método para segmentação automatizada de amostras de carne bovina. O método desenvolvido pelo estudo é baseado em clustering e limiarização a partir de valores empíricos fixos (passíveis de serem alterados dependendo do caso de uso), além de técnicas para remoção de ruído. O método apresenta resultados satisfatórios quando comparados com a segmentação manual. No trabalho [10], é apresentada uma metodologia para buscar uma correlação entre a existência da classe de qualidade PSE (Pale, Soft, Exudative) em carne suína com a Luminosidade da cor nas imagens das amostras. O estudo utilizou 50 amostras de músculo longissimus suíno e concluiu, baseado em medidas de ph, condutividade elétrica e, claro, Luminosidade, que 16 amostras poderiam ser classificadas como PSE. Diversas áreas do conhecimento, já utilizam visão computacional para automatizar seus processos. Como [11], que propõe a união de visão computacional com internet das coisas, para a utilização de imagens como sensores. O trabalho visa o desenvolvimento de um sistema de visão computacional para a automatização do reconhecimento de pessoas capturados por cameras aplicados na área da segurança, tanto pessoal quanto pública. Em [12], é descrito a subjetividade e impraticalidade do monitoramento manual

27 25 de populações de aves. É proposto então a automatização do monitoramento por meio de um sistema de visão computacional, capaz de classificar a espécie de pássaros durante o vôo, através de dados visuais. O sistema apresenta avaliações de um conjunto de dados de sete espécies, utilizando um classificador baseado em máquina de vetor de suporte e classificador normal de Bayes. O sistema proposto apresenta resultados muito satisfatórios com taxas de classificação com cerca de 90% de acerto. Similarmente, o estudo [13], apresenta um sistema de visão computacional que consiste de um classificador baseado em máquina de vetor de suporte com aprendizagem semi-supervisionada, através de imagens hiperespectrais. O artigo propoz a automatização da classificação de espécies de árvores que obteve uma elevação nos resultados de 2% para acima de 27% em relação à SVM supervisionada padrão. Em [14], o estudo ofereceu uma mudança no método de segmentação Watershed, afim da aplicação do mesmo na segmentação de pele humana em imagens. O texto propõe uma alteração no pré-processamento do algoritmo, alterando o espaço de cor da imagem de RGB para YCbCr, que contém três componentes: luminosidade, diferença de azul (Cb), diferença de vermelho (Cr). O método proposto produz bons resultados em relação à segmentação e evita segmentação excessiva. São muitas as técnicas de segmentação de imagens disponíveis na literatura. A maioria dessas técnicas é utilizada para imagens em tons de cinza [15]. Apesar do desenvolvimento e criação extensiva de métodos para segmentação de objetos, ainda é uma tarefa não-trivial a avaliação de performance quantitativa de algoritmos de segmentação [5]. Os trabalhos [16, 17], apresentaram métodos relativos de avaliação, que são métodos de avaliação supervisionada, ou seja, as técnicas de avaliação de algoritmos de segmentação apresentadas por estes trabalhos, avaliam a qualidade de segmentações comparando a similaridade entre as mesmas com o modelo ouro [5]. O trabalho [18], utiliza métricas como o Coeficiente de similaridade de Dice (DSC) para avaliar a qualidade de segmentação em imagens de ressonância magnética (MRI) em relação à acurácia. O trabalho conclui que o DSC é uma boa métrica, simples e útil na avaliação de sobreposição de segmentações, a média de DSC para imagens de MRI pré-operatório foi de e tiveram pouca variação. 1.2 Objetivos e Contribuições O trabalho teve como objetivo o desenvolvimento dos algoritmos de segmentação Watershed e segmentação por aprendizagem de máquina supervisionada, além da realização de um estudo sobre a performance dos mesmos aplicados no caso de estudo deste trabalho (análise de imagens de processo espinhoso bovino).

28 26 Também teve como objetivo a realização de um estudo capaz de indicar a técnica ou técnicas de segmentação e descritores mais adequados para a segmentação, através de um método de análise quantitativo dos algoritmos de segmentação, levando em consideração características dos objetos e fatores como custo computacional e tempo de execução sem perder a precisão de segmentação da área de interesse desejada. 1.3 Organização do Trabalho Serão apresentados a seguir as demais seções do trabalho que estão organizadas da seguinte forma: A seção 2 apresentará a fundamentação teórico-metodológica, a seção 3 evidenciará a metodologia de desenvolvimento, a seção 4 mostrará os resultados e por fim a conclusão do trabalho.

29 27 2 FUNDAMENTAÇÃO TEÓRICA Para o desenvolvimento deste trabalho foi necessário o uso de técnicas com aplicações nas áreas de processamento de imagens e aprendizagem de máquina. As subseções a seguir apresentam alguns conceitos e técnicas, cuja compreensão é necessária para o desenvolvimento deste trabalho. 2.1 Cor A Cor no âmbito não-digital, é uma grandeza árdua de se descrever, uma vez que trata-se de uma sensação perceptual do espectro de luz emitido ou refletido de objetos, interpretada pelo cerébro. Portanto cor, não é uma propriedade instríseca de objetos, uma vez que a percepção da cor de um objeto está relacionado com a fonta de luz, ou seja, altera-se a fonte de luz, altera-se a cor do objeto [19]. Independente da característica subjetiva da cor percebida através da visão, surge a necessidade da definição de um formalismo para a representação da cor em um ambiente digital, de forma a permitir sua mensuração e manipulação. Esse formalismo é chamado de Espaço de Cor e será abordado a seguir. 2.2 Espaços de Cor O olho humano percebe cor através da variação de sensibilidade à diferentes comprimentos de onda por parte de células presentes na retina. Existem três tipos de células fotorreceptoras (cones), com picos de sensibilidade em comprimentos de onda curtos (cores "azuladas"), médios (cores "esverdeadas") e longos (cores "avermelhadas") [20]. Uma sensação de cor, não importa quão complexa seja, pode ser descrita pelos olhos através de três componentes de cor. Esses componentes estão relacionados aos três tipos de comprimento de onda que são reconhecidos na visão humana e a extensão em que cada tipo é estimulado [20]. As sensações de cor são descritas em [21], como: Brilho: A sensação humana que descreve se uma área exibe mais ou menos luz. Matiz (Hue): A sensação humana segundo a qual uma área parece ser semelhante a uma, ou a proporções das cores percebidas vermelho, amarelo, verde e azul. Luminosidade: A sensação de brilho de uma área em relação a um branco de referência na cena.

30 28 Saturação: O nível de coloração de uma área em relação ao seu brilho. Um Espaço de Cor, ou modelo de cor, representa a definição de um padrão para a representação de cores digitalmente. Trata-se de um sistema de coordenadas e um subespaço dentro deste, de modo a representar uma cor através de um único ponto nesse subespaço [22]. Em termos de Processamento Digital de imagens, estão entre os espaços de cores mais utilizados, RGB (vermelho, verde e azul), HSV (matiz saturação e brilho), L*a*b*(luminosidade,coordenada vermelho/verde,coordenada amarelo / azul). 2.3 Imagem Imagem digital é basicamente um plano bidimensional composto por um número finito de elementos com localização e valores próprios, esses elementos são conhecidos por Pixels [22], e seus valores descrevem as cores de pontos que compõem imagens. É computacionalmente possível a extração de informação através da análise dos pixels, em busca de padrões em seus valores. A aquisição de imagens é geralmente realizada por sensores RGB, que estão presentes em dispositivos de captura como câmeras digitais, smartphones, entre outros. Contudo, abordagens diferenciadas podem ser empregadas, como por exemplo, o uso de imagens multi-espectrais e infravermelho [19, 13]. 2.4 Visão Computacional A visão computacional é a ciência que engloba o estudo da automatização da percepção visual, através de técnicas, métodos e mecanismos que permitem a construção de sistemas artificiais com o intuito de obtenção de informação por meio da análise de imagens [23]. 2.5 Processamento de Imagens Digitais Processamento de Imagens é uma área de estudo em crescimento, com grande potencialidade para uso interdiciplinar [24], ou seja possibilita avanços científicos em áreas do conhecimento além da computação [10, 11, 3]. O processamento digital de imagens se refere à aplicação de processamentos diversos e manipulação sucessiva em uma imagem digital, por meio de um computador, com o intuito de se possibilitar a extração de informações baseadas nos valores de seus pixels [24]. Ele é dividido em aquisição, processamento morfológico e reconhecimento de objetos

31 29 [22]. Dentro da parte de processamento morfológico, existe a segmentação de imagens, que será abordado neste capítulo. A Computação gráfica é o conjunto de métodos e técnicas de conversão de dados para a geração de imagen, enquanto o processamento de imagens parte da imagem ou de uma seqüência de imagens para a obtenção de informação [24]. Nesse sentido, Processamento de Imagens e a Computação Gráfica são exatamente métodos opostos [24], mas isto não quer dizer que as técnicas envolvidas em cada caso não possam ser as mesmas ou pelo menos complementares [22]. 2.6 Segmentação de Objetos A segmentação de uma imagem consiste na identificação e isolamento de uma região de interesse [3] baseado em característas em comum, tais como cor, textura e intensidade. Existem diversas técnicas de segmentação de imagens, mas não existe nenhum método único que seja capaz de segmentar todos os tipos de imagem [24]. A automatização da segmentação de imagens é uma das tarefas mais difíceis de serem realizadas [25], haja vista que uma boa segmentação deve suprir alguns requisitos como: possuir regiões homogêneas em relação à descritores, com um interior simples e contínuo, além de bordas regulares e espacialmente corretas, regiões adjacentes devem possuir diferenças significantes em relação aos descritores [26]. Existem duas maneiras básicas de se trabalhar com segmentação, a primeira é baseada em fronteiras e detecção de mudanças locais, como a transformada circular de Hough, enquanto a segunda maneira é baseada na detecção de similaridades entre pixels e regiões, onde o algorítmo Watershed se encaixa [27, 28], esse algoritmo será abordado neste capítulo. 2.7 Avaliação de Segmentação A avaliação da qualidade de uma segmentação e a configuração de seus parâmetros para uma aplicação qualquer é crucial para garantir a obtenção do melhor resultado possível[4]. Diversos algoritmos de segmentação foram propostos na literatura [5], cada um deles com foco em diferentes propriedades, essa variedade torna árdua a tarefa de avaliação de eficiência dos mesmos [9, 5]. A seleção de métodos de segmentação para um determinado caso de uso é geralmente realizado qualitativamente, através de testes [16] e avaliação do resultado por parte de um humano [4]. As técnicas de avaliação quantitativas de segmentação de imagens podem ser divididas basicamente em dois grupos: métodos de avaliação supervisionada e métodos de

32 30 avaliação não supervisionada [16, 17] Avaliação Supervisionada Métodos de avaliação supervisionada, também conhecidos como métodos relativos de avaliação, avaliam a eficácia de algoritmos de segmentação comparando os resultados dos mesmos com uma imagem manualmente segmentada como referência, através de métricas como o Coeficiente de similaridade de Dice por exemplo [17] Coeficientes de Similaridade Para processamento de imagens, coeficientes de similaridade, são expressões ou índices usados como métricas de validação estatística para avaliação de similaridade na sobreposição espacial de regiões segmentadas por algorítmos com áreas segmentadas manualmente [5] Dice Um índice simples de sobreposição espacial, ou similaridade entre dois conjuntos de pixels, é o Coeficiente de similaridade de Dice, proposto por Dice em [6]. O valor do coeficiente é obtido através da formula: Dice(A, B) = 2 * A B / A + B (2.1) Onde, A e B representam conjuntos de elementos, no caso deste trabalho representam conjunto de pixels, sendo que os valores do coeficiente variam entre 0, indicando nenhuma sobreposição espacial, ou seja nenhuma similaridade entre as segmentações, e 1, indicando similaridade total entre os conjuntos analisados [29] Jaccard O Coeficiente de similaridade de Jaccard, similarmente ao coeficiente proposto por Dice, é uma métrica para avaliação de similaridade entre conjuntos de amostras finitas, proposto por Jaccard em [7], e é definido como o tamanho da interseção dividido pelo tamanho da união dos conjuntos de amostras. O valor do coeficiente é obtido através da formula: Jaccard(A, B) = A B / A B (2.2) Onde, semelhantemente à Dice, A e B representam conjuntos de elementos, no caso deste trabalho representam conjunto de pixels, sendo que os valores do coeficiente variam entre 0, indicando nenhuma sobreposição espacial, ou seja nenhuma similaridade

33 31 entre as segmentações, e 1, indicando similaridade total entre os conjuntos analisados [29], entretanto, ao contrário de Dice, Jaccard satisfaz a propriedade da desigualdade triangular Avaliação não Supervisionada Métodos de avaliação não supervisionada, também conhecidos como métodos standalone [4], não necessitam de imagens de referência para avaliar os resultados de algoritmo de segmentação, eles avaliam os algoritmos com base em um enorme conjunto de características de imagens segmentadas [16], como uniformidade de região e contraste de região [30]. 2.8 Thresholding(Limiarização) Thresholding, também conhecido como limiarização é uma técnica utilizada para segmentar imagens em tons de cinza. O limiar nada mais é do que uma constante que representa o limite entre duas regiões de cores. A técnica consiste na decomposição de uma imagem digital em dois grupos de pixels, os que possuem um nível de cinza abaixo do limiar e os que possuem um nível de cinza acima do limiar[31], atribuindo valores diferentes de cor para ambas as regiões. A Figura 1 1, apresenta uma imagem binarizada por Thresholding. Figura 1 Exemplo de aplicação de Limiarização sobre uma imagem. Um dos desafios da área de processamento de imagens, é a determinação de valores adequados do limiar. Para a realização de tal tarefa, existem diversos tipos de abordagens, que podem ser divididas em três categorias [31]: Threshold global: um único valor aplicado à toda a imagem; 1 Disponível em [27]

34 32 Threshold local: um valor de limiar é definido para cada pixel; Threshold adaptativo: utiliza uma ideia de separação da imagem em sub-regiões e, para cada uma é determinado um valor de limiar Otsu Uma das abordagens mais conhecidas para a determinação de valores de limiar para a segmentação de objetos em imagens, é a técnica desenvolvida por Otsu [32]. A técnica apresenta uma abordagem de Threshold global, onde todos os valores possíveis de limiar são analisados. A determinação do limiar é feita a partir do valor que maximiza as variâncias entre as classes da imagem, o método assume a existência da classe background(plano de fundo), foreground(objeto de interesse). Uma vez escolhido, o valor de limiarização é aplicado em toda a imagem. 2.9 Crescimento de Região Crescimento de regiões é um processo iterativo de aglomeração de pixels ou regiões por afinidade de características, segmentando regiões homogêneas (em relação ao predicado) e adjacentes. O processo de segmentação se inicia a partir de um conjunto de pixels da região de interesse e se estende analisando as características dos pixels vizinhos recursivamente [31] Watershed O método de segmentação Watershed calcula o gradiente de cor para todos os pixels da imagem. Os segmentos são formados por regiões que partindo de um mínimo local, formam um objeto de interesse. O agrupamento dos pixels é feito por mecanismos de busca de valores próximos a partir de cada mínimo local[33], ideal para a segmentação de múltiplos objetos de formas variadas. Esse método possibilita a segmentação de objetos de interesse (Em uma imagem composta somente por tons de cinza)[34], necessitando apenas da marcação de três tipos de regiões com diferentes tons de cor: a região de plano de fundo, composta por todos os pontos em que se tem certeza que pertencem ao plano de fundo da imagem; as áreas de incerteza, onde não se sabe se os pontos pertencentes a essa região são plano de fundo ou objeto de interesse; e finalmente objetos de interesse, em que se tem certeza que todos os pontos que pertencem a essas áreas compõem objetos de interesse. O método então encontra os contornos dos objetos de interesse através da análise de afinidade em relação às cores marcadas entre regiões de incerteza e as de objetos de interesse, em um processo

35 33 que se assemelha ao derramamento de água em um mapa topográfico[27]. Resultando na segmentação dos objetos como mostra a Figura2 2. Figura 2 Imagem Original/Imagem Processada pelo Watershed Segmentação baseada em aprendizagem de máquina Aprendizagem de máquina é uma área de conhecimento da Inteligência Artificial que tem como meta a construção de modelos computacionais que possam aprender e agir conforme expêriencia, supervisionada ou não [35]. O método de segmentação baseada em aprendizagem de máquina supervisionada consiste em introduzir conceitos a partir de exemplos pré-classificados(conjunto de treino) ao algoritmo, a fim de que ele possa classificar regiões de uma imagem, com base em conhecimento extraído do processamento do conjunto de treino, resultando na segmentação da imagem inteira[36], como mostra Figura 3. (a) (b) Figura 3 Exemplo de aplicação de segmentação sobre uma imagem. a) Conjunto de Treinamento. e b) Imagem segmentada por aprendizagem de máquina Máquina de vetor de suporte Máquina de vetor de suporte, do inglês support vector machine (SVM), é um modelo de aprendizagem supervisionado para análise de dados e reconhecimento de padrões, 2 Disponível em <

36 34 utilizado para análise de regressão e classificação de elementos [37]. A SVM possui uma performance robusta em relação à análise de dados escassos e ruídosos [38], o que a faz ser muito utilizada em diversas áreas do conhecimento [39]. Dado um conjunto de elementos classificados de treinamento, a SVM constrói um modelo para a classificação de elementos novos com base na extração de parâmetros dos elementos de treinamento. O modelo de classificação de uma SVM é basicamente uma representação de elementos como pontos no espaço, mapeados de maneira que os elementos de cada categoria sejam separados por um hiperplano que seja o mais amplo possível entre os conjuntos de elementos, como mostra Figura 3 4, os elementos a serem análisados, são classificados conforme o seu mapeamento no modelo. Figura 4 Exemplo de modelo de classificação de SVM de duas classes 2.12 Histograma Histograma é um diagrama que consiste da representação gráfica da distribuição de dados numéricos quaisquer. Para Visão Computacional, o histograma representa a distribuição de tonalidades de cores em uma imagem, em que o eixo horizontal apresenta os valores das tonalidades que a imagem pode assumir e o eixo vertical reflete a frequência em que essas tonalidades sucedem na imagem, como mostra a Figura 4, podendo ter seu formato descrito por medidas como 5 Kurtosis e Skewness[31], que serão abordados abaixo. 3 Disponível em [38] 4 Disnponível em <

37 35 Figura 5 Histogramas de Diferentes Canais de Cor Kurtosis (Curtose) Em termos de Processamento Digital de Imagens, Curtose é a medida referente à dispersão de dados da função de curva do histograma, caracterizando "picos"e "achatamentos"[40] O valor de Kurtosis pode ser obtido através da formula: k = (m(μ)/σ 4 ) + ( 3) (2.3) Onde m( μ ) é o quarto Momento Central e σ é o desvio-padrão Skewness (Obliquidade) Em termos de Processamento Digital de Imagens, Obliquidade é a medida de assimetria de um histograma. Um histograma de uma imagem, é simétrico se as duas partes de frequências das tonalidades, dividas pelo centro do eixo horizontal, forem equivalentes. [40] O valor de Skewness pode ser obtido através da formula: v = m(μ)/σ 3 (2.4) Onde m( μ ) é o terceiro Momento Central e σ é o desvio-padrão. "V"(Skewness) será positivo se houver calda direita na distribuição do histograma (valores acima da média), será positivo se houver calda esquerda na distribuição do histograma (valores abaixo da média) e igual a 0 se a distribuição for relativamente simétrica.

38

39 37 3 DESENVOLVIMENTO Esta etapa consiste no desenvolvimento dos métodos de segmentação propostos neste trabalho a partir da combinação de diversas técnicas do processamento digital de imagens, aliadas à técnicas de aprendizagem supervisionada de máquina, aplicadas neste trabalho. 3.1 Metodologia Proposta A metodologia completa proposta por este trabalho é apresentada na Figura 6. Figura 6 Modelo Proposto 3.2 Base de Imagens Para a realização deste trabalho, foi necessário a criação de uma base de imagens para testes e avaliações dos métodos de segmentação. A aquisição da base foi realizada em parceria com o departamento de Zootecnia da Universidade Estadual de Londrina. As

40 38 imagens foram obtidas em frigoríficos comerciais da região metropolitana de Londrina e Ponta Grossa, no estado do Paraná [41]. Na tarefa de aquisição das imagens foi utilizado um dispositivo de alta qualidade (câmera digital single-lens 16,2 megapixels com lente de alta qualidade), posicionado à 40 centímetros de distância da amostra[41]. O banco é composto por imagens de carcaças bovinas provenientes de animais com diversos níveis de maturidade cronológica e grupos genéticos. Foram obtidas três imagens de processos espinhosos por meia carcaça, das vértebras sacrais, torácicas e lombares [41]. Para a avaliação supervisionada das técnicas de segmentação apresentadas neste trabalho, foi necessário também a criação de imagens de referência (modelo ouro) [16, 17], que representam a segmentação correta tanto da massa óssea, quanto de cartilagem dos processo espinhosos apresentados nas imagens adquiridas. As imagens de modelo ouro foram criadas a partir do software de edição de imagens, GIMP, onde os objetos de interesse foram segmentados manualmente. 3.3 Watershed Para o desenvolvimento de um sistema de visão computacional, por meio da linguagem de programação Java, capaz de utilizar o algoritmo de segmentação Watershed, foi constatada a necessidade da implementação de alguns processos típicos encontrados em diversos sistemas da área. Aquisição de imagem: Processo em que se adquire digitalmente, através de dispositivos, uma certa imagem. Pré-processamento: Antes que um método de visão computacional possa ser aplicado em uma imagem para extrair dados, é geralmente necessário processar a imagem para assegurar-se que ela satisfaz os requisitos do método. Processos como redução de ruídos, aumento de contraste e binarização. Extração de características: Características matemáticas da imagem em vários níveis de complexidade são extraídos. Exemplos básicos incluem detecção de bordas, cantos ou pontos. Detecção e segmentação: Em algum ponto do processo uma decisão é feita sobre a relevância de regiões da imagem para processamento posterior. Exemplos incluem a seleção de regiões de interesse específicos e segmentação de uma ou mais regiões que contém um objeto de interesse. Processamento de alto nível: Neste ponto a entrada é geralmente um conjunto pequeno de dados, os objetos extraídos pela detecção e segmentação. O processo an-

41 39 terior inclui a verificação da satisfação dos dados, a estimativa de parâmetros sobre a imagem e a classificação dos objetos detectados em diferentes categorias Aquisição de Imagens Para o desenvolvimento do sistema, foram utilizadas um banco de imagens digitais adquiridas em parceria com o departamento de Zootecnia da Universidade Estadual de Londrina Pré-processamento Antes de se aplicar o método de segmentação Watershed, é necessário a realização de uma binarização na imagem, a fim de deixá-la preto e branca, sendo que o plano de fundo deverá se tornar preto e os objetos de interesse brancos, através do limiar de Threshold obtido por meio de Otsu. O caso de uso deste trabalho envolve a comparação entre as áreas de dois tipos de objetos (cartilagem e massa óssea), o algoritmo é aplicado duas vezes com limiares diferentes afim de se obter objetos de interesse diferentes. Para remoção de ruído na imagem, aplica-se transformações morfológicas. A Figura 7 apresenta as técnicas aplicadas para a segmentação da região de plano de fundo. (a) (b) Figura 7 Aplicação do pré processamento em uma amostra para segmentação de osso. a) Após Otsu b) Região de Plano de Fundo de fundo. A Figura 8 apresenta as técnicas aplicadas para a segmentação da região de plano Extração de características Utiliza-se uma função de transformação de distância, que, combinado com mais uma binarização permitem a separação de áreas de objetos de interesse.

42 40 (a) (b) Figura 8 Aplicação do pré processamento em uma amostra para segmentação de cartilagem. a) Após Otsu b) Região de Plano de Fundo A Figura 9 apresenta as técnicas aplicadas para a segmentação da região de objetos de interesse (Osso). (a) (b) Figura 9 Extração de características em uma amostra para segmentação de osso. a) Após Transformação de Distância b) Região de interesse A Figura 10 apresenta as técnicas aplicadas para a segmentação da região de objetos de interesse (Cartilagem).

43 41 (a) (b) Figura 10 Extração de características em uma amostra para segmentação de cartilagem. a) Após Transformação de Distância b) Região de interesse. A região de incerteza é obtida ao se sobrepor as regiões de plano de fundo e as regiões de objetos de interesse, concluindo o pré-processamento necesário para utilização do método de segmentação Watershed Detecção e segmentação Aplicação do método de segmentação Watershed. A Figura 11 apresenta o resultado da aplicação de Watershed. (a) (b) Figura 11 Máscara resultada da segmentação por Watershed. a) Osso b) Cartilagem Processamento de alto nível Extrai-se da imagem original os objetos de interesse através da máscara criada por Watershed. A Figura 12 apresenta o resultado final da aplicação da segmentação por Watershed.

44 42 (a) (b) Figura 12 Resultado da aplicação da máscara nas imagens originais. a) Osso b) Cartilagem. 3.4 Segmentação baseada em aprendizagem de máquina Para o desenvolvimento de um sistema de visão computacional, através da plataforma Matlab, capaz de utilizar uma segmentação baseada em aprendizagem de máquina, foi constatada a necessidade da implementação de alguns processos típicos encontrados em diversos sistemas da área [36]. Treino: Processo em que a partir de elementos de treino, a SVM gera um modelo de classificação. Aprendizagem Supervisionada: Processo em que, a partir de exemplos pré-classificados, se introduz conceitos à máquina de vetores de suporte, afim de que ela construa um modelo de classificação. Extração de Descritores: Processo em que ocorre a extração de características de objetos a serem classificados. Classificação: Neste ponto a máquina de vetores de suporte a partir do modelo construído no primeiro processo e as características extraídas no segudo, classifica o objeto de interesse Treino A SVM foi treinada a partir da extração e análise de diversos tipos de descritores de imagens do processo espinhoso bovino. Descritores como descritores de cor, de posição, de histograma e de fourier Aprendizagem Supervisionada Para o caso de uso deste trabalho, os objetos das imagens do processo espinhoso bovino foram divididos em três classes, osso, cartilagem e plano de fundo. Para o treino

45 43 da SVM, foram utilizadas máscaras com regiões de diferentes classes, marcadas de azul, verde e vermelho respectivamente. O sistema então extrai os descritores de cada classe a partir dos marcadores e cria o modelo de classificação Extração de Descritores O sistema faz um janelamento, com regiões de 15 pixels de largura e 15 pixels de altura, da imagem a ser segmentada, extraindo os descritores relevantes de cada janela Classificação Neste ponto a máquina de vetor de suporte, a partir do modelo construído no segundo processo e as características extraídas no segundo, classifica as janelas da imagem como cartilagem, massa óssea ou plano de fundo, como mostra a Figura 13. Figura 13 Exemplo de segmentação de osso por SVM 3.5 Avaliação Para a avaliação das segmentações das técnicas apresentadas neste trabalho, foi desenvolvido em Matlab, um algoritmo capaz de extrair os coeficientes de similaridade: Dice [6] e Jaccard [7], através da análise dos índices de Falso Positivo e Falso Negativo.

46

47 45 4 ANÁLISE DOS RESULTADOS Para a realização de testes e validação do modelo proposto por este trabalho, aplicado à segmentação de massa óssea e cartilagem, através da análise por visão computacional do processo espinhoso do animal, foi necessário o uso de um banco de imagens adquirido em parceria com o departamento de zootecnia da Universidade Estadual de Londrina, desse banco foram selecionadas dez imagens de carcaça bovina, de pontos diferentes da carcaça, sendo elas, imagens das vértebras sacrais, torácicas e lombares, acompanhadas de seus processos espinhosos. As imagens foram então segmentadas por três técnicas diferentes: segmentadas manualmente (criação do modelo ouro), pelo algoritmo de segmentação Watershed e por aprendizagem de máquina, conforme modelo proposto por este trabalho, sendo que cada técnica teve como objetivo a segmentação de duas regiões de interesse, massa óssea e cartilagem, ou seja, foram geradas 60 segmentações das 10 imagens originais. Avaliando os resultados das segmentações dos métodos de segmentação desenvolvidos neste trabalho, não se nota uma diferença exorbitante entre as performances de segmentações do Watershed e do método de segmentação por aprendizagem de máquina ao compará-las com as segmentações do modelo ouro. Entretanto, ao avaliar-se quantitativamente os resultados, ou seja, por meio de métricas estatísticas é possível a constatação precisa da qualidade dos resultados. 4.1 Massa Óssea Nesta subseção serão apresentados os resultados quantitativos em relação ao nível de similaridade entre as segmentações manuais (modelo ouro) e as segmentações de massa óssea, resultantes dos métodos de segmentação apresentados por este trabalho. A Figura 15 apresenta a comparação entre os coeficientes de similaridade Jaccard dos resultados obtidos pelos métodos de segmentação deste trabalho.

48 46 Figura 14 A linha vermelha representa Watershed, enquanto azul representa SVM A tabela a seguir apresenta a comparação entre os coeficientes de similaridade de Dice dos resultados obtidos pelos métodos de segmentação deste trabalho. Tabela 1 Coeficiente de Similaridade Dice Amostras SVM Watershed % % % % % % % % % % % % % % % % % % % % Segundo os resultados obtidos pelas métricas de similaridade, a solução de segmentação por aprendizagem de máquina (SVM), é superior na segmentação de massa óssea em relação à Watershed. 4.2 Cartilagem Nesta subseção serão apresentados os resultados quantitativos em relação ao nível de similaridade entre as segmentações manuais (modelo ouro) e as segmentações de cartilagem, resultantes dos métodos de segmentação apresentados por este trabalho.

49 47 A Figura 15 apresenta a comparação entre os coeficientes de similaridade Jaccard dos resultados obtidos pelos métodos de segmentação deste trabalho. Figura 15 A linha vermelha representa Watershed, enquanto azul representa SVM A tabela a seguir apresenta a comparação entre os coeficientes de similaridade de Dice dos resultados obtidos pelos métodos de segmentação deste trabalho. Tabela 2 Coeficiente de Similaridade Dice Amostras SVM Watershed % % % % % % % % % % % % % % % % % % % %

50 48 Tabela 3 Média dos Coeficientes de Similaridade Aprendizagem de Máquina Watershed Jaccard Osso 0,4666 % 0,28016 % Jaccard Cartilagem 0,2871 % 0,12202 % Dice Osso 0,1556 % 0,00486 % Dice Cartilagem 0,1175 % 0,00250 % Segundo os resultados obtidos pelas métricas de similaridade, a solução de segmentação por aprendizagem de máquina (SVM), é superior na segmentação de cartilagem em relação à Watershed Análise dos Resultados Após o término da fase de avaliação dos algoritmos de segmentação é possível concluir que para os dois objetos de interesse, massa óssea e cartilagem, a abordagem com aprendizagem de máquina é superior ao algoritmo de segmentação Watershed, como indica a tabela a seguir. Isso se deve ao fato de que Watershed utiliza basicamente a cor como descritor para a realização da segmentação, o que não é o ideal para o caso de uso abordado neste trabalho, tendo em vista que é difícil a separação dos tons de cor de objetos de plano de fundo, como a área da coluna, com a região de interesse massa óssea, o que faz com que esse método tenha um altíssimo nível de falsos positivos, ou seja, segmenta regiões de plano de fundo como regiões de interesse, como mostra a Figura 17, isso prejudica muito seu desempenho em relação à métrica Dice, em que o fator de falso positivo possui um grande peso [6]. (a) (b) Figura 16 Exemplo de segmentações para massa óssea. a) Modelo Ouro. e b) Segmentada por Watershed. A segmentação por aprendizagem de máquina, apresenta uma boa segmentação, com o interior homogêneo de suas regiões, entretanto por causa do janelamento, as bordas das regiões são bruscas e cheio de arestas, o que foge dos requisitos de uma ótima segmentação [26].

51 49 (a) (b) Figura 17 Exemplo de segmentações para massa óssea. a) Modelo Ouro. e b) Segmentada pela técnica de aprendizagem de máquina.

52

53 51 5 CONCLUSÃO Este trabalho propôs um modelo para o desenvolvimento e análise dos resultados das técnicas de segmentação por Watershed e aprendizagem de máquina, aplicados em um caso de uso. O caso de uso utilizado para a análise da performance dos algoritmos desenvolvidos por este trabalho foi a segmentação de massa óssea e cartilagem em imagens de processo espinhoso dos animais. Após o fim do desenvolvimento com sucesso das técnicas de segmentação, foi iniciada a fase de avaliação da qualidade da segmentação das técnicas aplicadas em no caso de uso proposto, a avaliação supervisionada foi realizada através de coeficientes de similaridade (Jaccard e Dice), que indicam a sopreposição espacial entre um modelo ouro e uma segmentação qualquer. Foi constatado que o algoritmo de segmentação Watershed, obteve uma performance muito ruim em relação à técnica de aprendizagem de máquina desenvolvida com máquina de suporte (SVM). Isso se deve ao fato de que a solução por aprendizagem de máquina, a partir de elementos de treino, seleciona os descritores mais relevantes através da criação de um modelo de classificação da SVM. Outro fator que contribuiu para os resultados ruins do Watershed, é que essa técnica utiliza apenas cor como descritor, o que se mostrou insuficiente para uma segmentação de qualidade no caso de uso apresentado, considerando que as imagens do banco de imagens possuiam um plano de fundo com tonalidades parecidas aos objetos de interesse e não foram adquiridas em um ambiente com iluminação controlada. Apesar de superior à Watershed, foi constatado que a técnica de aprendizagem de máquina necessita de ajustes, afim de que seja uma solução satisfatória para a resolução do problema do caso de uso (cálculo da área de massa óssea e cartilagem em uma imagem de processo espinhoso bovino), pois o seu processo de classificação por janelamento é ineficaz para objetos pequenos, como algumas cartilagens, além de criar bordas bruscas e arestas nas regiões segmentadas. Como trabalhos futuros, podem ser melhoradas a etapa de classificação da técnica de segmentação por aprendizagem de máquina, além do processo de aquisição de imagens.