UNIVERSIDADE FEDERAL DO ABC. Dissertação de Mestrado. Leonardo Villani

Transcrição

1 UNIVERSIDADE FEDERAL DO ABC Curso de Pós-Graduação em Ciência da Computação Dissertação de Mestrado Leonardo Villani ANOTAÇÃO AUTOMÁTICA DE IMAGENS MÉDICAS BIDIMENSIONAIS POR MEIO DE CLASSIFICAÇÃO MULTIRRÓTULO Santo André 2013

2

3 Curso de Pós-Graduação em Ciência da Computação Dissertação de Mestrado Leonardo Villani ANOTAÇÃO AUTOMÁTICA DE IMAGENS MÉDICAS BIDIMENSIONAIS POR MEIO DE CLASSIFICAÇÃO MULTIRRÓTULO Trabalho apresentado como requisito parcial para obtenção do título de Mestre em Ciência da Computação, sob orientação do Professor Doutor Ronaldo Cristiano Prati. Santo André 2013

4

5 Este exemplar foi revisado e alterado em relação à versão original, de acordo com as observações levantadas pela banca no dia da defesa, sob responsabilidade única do autor e com a anuência de seu orientador. Santo André, de de Assinatura do autor: Assinatura do orientador:

6 Este trabalho contou com o auxílio financeiro da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES (bolsa de mestrado, demanda social), de outubro/2011 a fevereiro/2013 e da Universidade Federal do ABC - UFABC (bolsa de mestrado, institucional), de fevereiro/2011 a setembro/2011.

7 Aos meus pais, irmãos e noiva.

8 Agradecimentos Ao meu orientador, Prof. Dr. Ronaldo Cristiano Prati, por sua atenção e apoio em todas as reuniões e por sua solicitude em todo o tempo em que trabalhamos juntos. Aos antigos amigos e aos novos que fiz durante os anos que estudei na UFABC e que me acompanharam nessa jornada. Aos meus pais e irmãos por me incentivar e acreditar que eu poderia chegar lá. À minha avó, por sua paciência e por me acolher em sua casa durante as semanas que precisei ir a UFABC. À minha noiva, Agatha, por seu carinho, paciência e compreensão durante os dias que tivemos que ficar separados pela distância, mas unidos em pensamento. À UFABC e à CAPES pelo suporte financeiro que possibilitou o desenvolvimento deste trabalho.

9 Resumo Técnicas de aprendizado multirrótulo aplicadas no contexto de anotações de imagens médicas bidimensionais são exploradas neste trabalho. Imagens da área médica podem ser anotadas com relação a diversos aspectos, tais como modalidade técnica, orientação do corpo, região do corpo, sistema biológico entre outros aspectos que podem variar de acordo com a finalidade da aplicação e aspectos do domínio das imagens. Métodos tradicionais de aprendizado de máquina atribuem somente um único rótulo para um exemplo a ser classificado. Aprendizado de máquina multirrótulo, por outro lado, permite que mais de um rótulo seja atribuído a um novo exemplo. Técnicas de extração de características que se baseiam em formas, texturas e bordas obtidas do conteúdo das imagens também foram analisadas para constituir o conjunto de dados para a aplicação dos algoritmos de aprendizado de máquina multirrótulo. Os resultados experimentais mostraram que as técnicas de aprendizado multirrótulo apresentam ganhos para o processo de rotulação dessas imagens. i

10 Abstract Multi-label learning techniques applied to bi-dimensional medical image annotation are studied in this dissertation. Medical images can be annotated with respect to numerous aspects, such as technical modality, subject s body orientation, region, and biological system, among other aspects depending on the application or image domain. Traditional machine learning methods are capable to assign only a single label to a new instance to be classified. Multi-label learning, on the other hand, allows multiple labels to be assigned to a new instance. To construct the datasets for the application of multi-label algorithms we studied different methods for feature extraction based on form, texture and edges. Experimental results show that multi-label learning techniques improves the multi-label annotation task. ii

11 Sumário 1 Introdução Motivação Objetivos Principais contribuições Organização do trabalho Caracterização de Imagens Imagens médicas digitais e o padrão DICOM Histograma de cor Histograma de bordas Histograma de características invariantes à mudança de escala Histograma de padrões binários locais Histograma do modelo de cor HSV Filtros de Gabor Descritor de Fourier Momentos de Zernike Características de entropia de perfil Considerações finais Classificadores multirrótulo Definição Métodos de aprendizado multirrótulo Transformação do problema iii

12 SUMÁRIO iv Adaptação do algoritmo Medidas multirrótulo Densidade e cardinalidade de rótulo Avaliação de classificadores multirrótulo Considerações finais Anotação automática de imagens A anotação automática de imagens e as aplicações multirrótulo Definição do conjunto de dados e as técnicas de extração de características Estratégias de classificação e algoritmos utilizados Métricas de avaliação das abordagens propostas Considerações finais Avaliação experimental Bases de dados Classificadores multirrótulo Avaliação e validação dos resultados Cenário I - Classificação por técnica de extração de característica Cenário II - Classificação por eixo do código IRMA Resultados e discussão Cenário I - Classificação por técnica de extração de característica Cenário II - Classificação por eixo do código IRMA Considerações finais Conclusão Resumo dos objetivos e resultados alcançados Dificuldades e limitações Outras contribuições Trabalhos futuros A Resultados detalhados da avaliação experimental 80

13 SUMÁRIO v A.1 Cenário I - Classificação por técnica de extração de característica A.2 Cenário II - Classificação por eixo do código IRMA

14 Lista de Figuras 1.1 Modalidades de imagens médicas mais populares Funcionamento da anotação automática Exemplo de caso multirrótulo Valores para os tons de cinza de uma dada região Imagem e seu respectivo histograma de níveis de cinza Imagens distintas com o mesmo histograma dos níveis de cinza Obtenção do histograma de bordas Coeficientes de filtro para detecção de borda Possíveis variações da imagem identificada por SIFT Histograma de pontos-chave locais Definição de vizinhança para um píxel central em LBP Efeito da rotação da imagem Rotação circular à direita do padrão binário Ilustração do espaço de cor HSV Exemplo de projeção resultante das funções g real e g imag Definição de cristas e vales em uma impressão digital Definição de setores em torno do ponto de referência Impressão digital filtrada por um banco de filtros de Gabor Aplicação do operador de Sobel em uma radiografia digital Definindo pares de coordenadas por meio da perseguição do contorno Mapeamento das coordenadas (x, y) do plano cartesiano para o sistema polar (Bugatti, 2008) vi

15 LISTA DE FIGURAS vii 2.19 Resultado da divisão da imagem inteira por três faixas horizontais em PEF Processo de treinamento e predição pelo algoritmo Classifier Chain (Cherman et al., 2010)) Construção de uma árvore de decisão Definição de elemento visual em Dicionário Visual Construção do dicionário visual de características para cada imagem Exemplo de anotação com o código IRMA Estratégias de classificação multirrótulo de código IRMA Separação de duas classes por meio de um hiperplano Mapeamento dos dados para um outro espaço Configuração proposta para uso do conjunto de imagens no primeiro cenário Configuração proposta para uso dos classificadores no primeiro cenário Configuração proposta para uso do conjunto de imagens no segundo cenário Configuração proposta para uso do conjunto de imagens no segundo cenário Medida Average Precision obtida como resultado da avaliação dos classificadores multirrótulo Medida Hamming Loss obtida como resultado da avaliação dos classificadores multirrótulo Medida Micro F 1 obtida como resultado da avaliação dos classificadores multirrótulo Medidas Average Precision, Hamming Loss e Micro F 1 obtidas como resultado da avaliação dos classificadores multirrótulo para o eixo T Medidas Average Precision, Hamming Loss e Micro F 1 obtidas como resultado da avaliação dos classificadores multirrótulo para o eixo D Medidas Average Precision, Hamming Loss e Micro F 1 obtidas como resultado da avaliação dos classificadores multirrótulo para o eixo A Medidas Average Precision, Hamming Loss e Micro F 1 obtidas como resultado da avaliação dos classificadores multirrótulo para o eixo B

16 Lista de Tabelas 1.1 Comparação de imagens a partir de valores obtidos de suas características Rotulação realizada por classificador em BR Rotulação de um exemplo x por BR Matriz de confusão para duas classes Distância de Hamming Descrição das bases de dados utilizadas na avaliação experimental Descrição das bases de dados utilizadas na avaliação experimental no Cenário II Melhores cenários dos classificadores Piores cenários dos classificadores Melhores cenários dos classificadores para o eixo T Piores cenários dos classificadores para o eixo T Melhores cenários dos classificadores para o eixo D Piores cenários dos classificadores para o eixo D Melhores cenários dos classificadores para o eixo A Piores cenários dos classificadores para o eixo A Melhores cenários dos classificadores para o eixo B Piores cenários dos classificadores para o eixo B A.1 Medida Average Precision obtida como resultado da avaliação dos classificadores multirrótulo A.2 Medida Hamming Loss obtida como resultado da avaliação dos classificadores multirrótulo viii

17 LISTA DE TABELAS ix A.3 Medida Micro F obtida como resultado da avaliação dos classificadores multirrótulo A.4 Medida Average Precision obtida como resultado da avaliação dos classificadores multirrótulo para o eixo T A.5 Medida Hamming Loss obtida como resultado da avaliação dos classificadores multirrótulo para o eixo T A.6 Medida Micro F obtida como resultado da avaliação dos classificadores multirrótulo para o eixo T A.7 Medida Average Precision obtida como resultado da avaliação dos classificadores multirrótulo para o eixo D A.8 Medida Hamming Loss obtida como resultado da avaliação dos classificadores multirrótulo para o eixo D A.9 Medida Micro F obtida como resultado da avaliação dos classificadores multirrótulo para o eixo D A.10 Medida Average Precision obtida como resultado da avaliação dos classificadores multirrótulo para o eixo A A.11 Medida Hamming Loss obtida como resultado da avaliação dos classificadores multirrótulo para o eixo A A.12 Medida Micro F obtida como resultado da avaliação dos classificadores multirrótulo para o eixo A A.13 Medida Average Precision obtida como resultado da avaliação dos classificadores multirrótulo para o eixo B A.14 Medida Hamming Loss obtida como resultado da avaliação dos classificadores multirrótulo para o eixo B A.15 Medida Micro F obtida como resultado da avaliação dos classificadores multirrótulo para o eixo B

18 Capítulo 1 Introdução Esta monografia tem como tema o aprendizado de máquina multirrótulo e a sua aplicação em problemas de classificação de imagens bidimensionais da área médica. Neste capítulo é apresentada uma descrição da monografia, com o intuito de fornecer uma visão geral dos assuntos abordados neste trabalho, bem como algumas das soluções propostas. Este capítulo está organizado da seguinte maneira: na Seção 1.1 é apresentada a motivação deste trabalho, destacando os principais desafios para anotar imagens, em especial, da área médica. Na Seção 1.2 são apresentados os objetivos desta monografia. Na Seção 1.3 são apresentadas as principais contribuições deste trabalho. Finalmente, na Seção 1.4 é apresentada a organização do trabalho, com uma breve descrição do conteúdo de cada capítulo. 1.1 Motivação As imagens médicas contém informações que permitem aos especialistas da área elaborar laudos com as possibilidades de diagnósticos (Fenelon, 2011). Dentre as modalidades de imagens médicas existentes, as mais conhecidas são a mamografia (Figura 1.1a), a radiografia (Figura 1.1b), a ressonância magnética (Figura 1.1c) e a tomografia computadorizada (Figura 1.1d) (Caritá, 2006; Martins, 2011). (a) (b) (c) (d) Figura 1.1: Exemplos de modalidades de imagens médicas mais populares: (a) mamografia, (b) radiografia, (c) ressonância magnética e (d) tomografia computadorizada. 1

19 CAPÍTULO 1. INTRODUÇÃO 2 Além de ser uma ferramenta para o auxílio de diagnóstico de doenças, essas imagens constituem uma enorme fonte de informações quando armazenadas em sistemas computacionais que permitem seu processamento e difusão. Esses sistemas são chamados de PACS (do inglês Picture Archiving and Communication System - Sistema de Comunicação e Arquivamento de Imagem) (Caritá, 2006; Rosa et al., 2002). O acesso eficiente às informações contidas nesses arquivos exige que seja possível a busca e organização de seus respectivos conteúdos. Em muitos sistemas de recuperação de imagens, para facilitar a recuperação, as imagens são anotadas manualmente com palavras-chave, também chamadas de rótulos. Uma vez anotadas, recuperar uma imagem se reduz ao problema de procurar por uma palavra-chave nas anotações. Apesar de permitir o retorno baseado em conceitos semânticos, sistemas desse tipo não são eficazes quando as imagens são complexas e em grande quantidade, ambos por necessitar de um especialista para interpretar corretamente e anotar as imagens e pelo esforço necessário para executar essa tarefa em uma extensa base de imagens (Navarro and Prati, 2010; Ribeiro et al., 2006; Poel et al., 2006). Uma alternativa a essa abordagem é a anotação automática de imagens, um processo realizado por um sistema computacional que associa metadados na forma de rótulos ou palavras-chave à uma imagem digital (Datta et al., 2008). Uma das maneiras de realizar essa anotação é por meio de algoritmos de aprendizado de máquina. Nessa tarefa, cada imagem é representada por um conjunto de valores obtidos a partir das características extraídas de seus píxeis 1. Esses conjuntos de valores podem ser utilizados para construir um modelo por meio de algoritmo de aprendizado de máquina que pode ser usado para discriminar uma imagem das outras. Um exemplo de imagens e algumas características que podem ser obtidas é mostrado na Tabela 1.1. Nessa tabela, a característica escolhida e obtida do conteúdo das imagens foi o número de pontas das figuras geométricas. Tabela 1.1: Comparação de imagens a partir de valores obtidos de suas características. Conceitos Características 4 (pontas) 3 (pontas) 0 (ponta) Rótulos quadrado triângulo círculo Comparação quadrado triângulo círculo 1 Píxel - do inglês Pixel - PIcture ELement - Elemento de imagem. Unidade básica da imagem.

20 CAPÍTULO 1. INTRODUÇÃO 3 Para a construção de um modelo, as imagens são geralmente rotuladas por especialistas do seu domínio. Cada imagem é um exemplo de um dos conceitos a serem aprendidos. Cada conceito é composto por um conjunto de exemplos e se difere de outros conceitos por meio dos valores obtidos de seus respectivos conjuntos de exemplos. Um conjunto de exemplos de conceitos já conhecidos compõem o conjunto de treinamento. Em seguida, são usados algoritmos de Aprendizado de Máquina (AM) que recebem esse conjunto de treinamento (Figura 1.2) e, a partir dele, criam modelos que podem ser utilizados para identificar possíveis ocorrências de características similares em novas imagens, fazendo associação de metadados a essas imagens na forma de rótulos ou palavras-chave. PASSO 1 PASSO 2 PASSO 3? quadrado triângulo Dado de Teste PASSO 4 círculo Conjunto de Treinamento Algoritmos de Aprendizado de Máquina triângulo Anotação Automática Figura 1.2: Funcionamento da anotação automática. Passo 1, o conjunto de treinamento é composto por exemplos conhecidos de cada conceito. Passo 2, um algoritmo de AM é utilizado para criar um modelo a respeito de cada conceito. Passo 3, o modelo pode ser usado para predizer o conceito de novos casos de teste. Em abordagens tradicionais de AM, um único rótulo é atribuído a cada novo objeto a ser classificado. Essa limitação não permite que mais de um rótulo seja associado a uma mesma imagem, o que limita o seu uso em diversos problemas reais. Na área médica, por exemplo, as imagens podem ser anotadas com relação a diversos aspectos tais como modalidade técnica, orientação do corpo, região do corpo, sistema biológico entre outros aspectos que podem variar de acordo com a finalidade da aplicação (Lehmann et al., 2003; Armato III et al., 2011). Em AM multirrótulo (Tsoumakas et al., 2011b), em contrapartida, mais de um rótulo pode ser atribuído ao novo objeto a ser classificado. Nesse caso, por exemplo, em um problema de classificação de filmes (Figura 1.3), o filme Tropa de Elite 2 poderia ser classificado (rotulado) como pertencente às classes política e policial, pois o filme trata de ambos os temas. Essa atribuição de múltiplos rótulos pode ser tanto um subconjunto dos rótulos disponíveis quanto uma lista ordenada de rótulos (Tsoumakas and Katakis, 2007). Para a área médica, um outro exemplo de aplicação multirrótulo a ser mencionado é a classificação de nódulos em tomografias computadorizadas da região do tórax. Esses

21 CAPÍTULO 1. INTRODUÇÃO 4 Figura 1.3: Exemplo de caso em que os objetos podem ser classificados em mais de um rótulo ao mesmo tempo. nódulos podem ser anotados com relação aos aspectos de calcificação, estrutura interna, lobulação, malignidade, margem, esfericidade, espiculação, sutileza e textura (Armato III et al., 2011; Villani and Prati, 2012). 1.2 Objetivos Em linhas gerais, o objetivo desta pesquisa foi investigar e avaliar experimentalmente o uso de técnicas de Aprendizado de Máquina multirrótulo para o problema de classificação multirrótulo de imagens médicas. Tal investigação é importante uma vez que a classificação monorrótulo, apenas, é insuficiente para muitas aplicações, pois em um problema inerentemente multirrótulo, ela pode classificar imagens parcialmente, deixando possíveis rótulos de fora. Baseado nos resultados da avaliação experimental, foi implementado um protótipo de ferramenta que utiliza classificação multirrótulo para associar meta-informação, na forma de rótulos, à imagens bidimensionais da área médica. 1.3 Principais contribuições Este trabalho explorou o uso de algoritmos de aprendizado multirrótulo para classificar imagens da área médica.

22 CAPÍTULO 1. INTRODUÇÃO 5 A partir de um problema real baseado na atribuição de códigos IRMA 2 a imagens médicas, diversas técnicas de extração de características foram aplicadas às imagens para obter os valores que constituiram os conjuntos de dados utilizados. O problema de atribuição de códigos IRMA é inerentemente multirrótulo, pois a tarefa envolve a predição de rótulos em 4 eixos (técnico, direcional, anatômico e biológico), sendo que os rótulos do primeiro eixo se referem à modalidade técnica da imagem, os rótulos do segundo eixo à orientação do corpo, os rótulos do eixo anatômico dizem respeito à região anatômica examinada e os rótulos do último eixo indicam o sistema biológico examinado. A partir da base de imagens foram aplicadas as técnicas de extração de características histograma de bordas, histograma de padrões binários locais, histograma de características invariantes à mudança de escala e filtros de Gabor. Os valores obtidos por meio dessas técnicas foram usados para constituir os conjuntos de dados utilizados. Sobre esses conjuntos de dados foram experimentados os algoritmos de classificação multirrótulo relevância binária com o k-vizinhos mais próximos (knn) como algoritmo base, cadeia de classificadores com a floresta randômica como algoritmo base, conjunto potência de rótulos com o knn como algoritmo base e o knn multirrótulo. Os resultados apontam a técnica de extração de característica histograma de bordas e o algoritmo knn multirrótulo como a combinação com o melhor desempenho para atribuir múltiplos rótulos às imagens médicas utilizadas. Os conjuntos de dados constituídos e o framework utilizado nessa avaliação foram disponibilizados à comunidade científica. 1.4 Organização do trabalho Este trabalho foi dividido em seis capítulos, compondo a estrutura que é apresentada nos parágrafos a seguir. No Capítulo 2 é apresentada uma breve descrição sobre o formato DICOM, utilizado para manipular imagens no contexto médico. Em seguida, é explicado como funcionam as técnicas citadas em trabalhos relacionados, tais como histogramas de bordas, pontoschave, padrões binários e entre outras que foram usadas para caracterizar imagens que compunham os respectivos conjunto de dados e que também serão exploradas por este trabalho. As diferenças entre problemas de classificação binária, multiclasse, multirrótulo e hierárquica são explanadas no Capítulo 3. Esse capítulo também contém uma explicação mais detalhada de como funcionam os algoritmos de classificação utilizados nos trabalhos 2 Image Retrieval in Medical Applications (Lehmann et al., 2003), discutida na Seção 4.1

23 CAPÍTULO 1. INTRODUÇÃO 6 relacionados (e. g. árvores de decisão e máquinas de vetores de suporte) além de outros algoritmos que também são utilizados para classificação multirrótulo. Ao final desse capítulo, são descritas quais as métricas existentes para sumarizar o conjunto de dados e avaliar o desempenho dos classificadores multirrótulo. No Capitulo 4 é feita uma revisão bibliográfica dos trabalhos relacionados aos problemas de anotação de imagens médicas multirrótulo, destacando os tipos de aplicações, as técnicas utilizadas para obter as características das imagens e os algoritmos utilizados para a classificação multirrótulo. No Capítulo 5 são descritos os materiais e métodos utilizados para realização dos trabalhos experimentais, tal como o processo de extração de características, definição dos conjuntos de dados, treinamentos e anotações pelos classificadores, validação e avaliação dos resultados. Nesse capítulo também são apresentados e discutidos os resultados experimentais obtidos. Por fim, no Capítulo 6 são apresentadas as conclusões sobre este trabalho, as limitações e dificuldades e as direções para trabalhos futuros.

24 Capítulo 2 Caracterização de Imagens Neste capítulo é feita uma introdução sobre a manipulação de imagens com relação a como podem ser obtidas informações a respeito do seu conteúdo. Ele está organizado da seguinte maneira: na Seção 2.1 é apresentado o padrão DICOM e a sua importância para a área médica. Nas Seções 2.2 a 2.10 são apresentadas as técnicas para extrair informações das imagens utilizadas nos trabalhos que serão mencionados no Capítulo 4. Finalmente, na Seção 2.11, são apresentadas as consideração finais deste capítulo. 2.1 Imagens médicas digitais e o padrão DICOM Uma imagem digital é um arquivo que pode ser processado por meio do computador. Geralmente, esse arquivo é composto por duas partes: cabeçalho e dados da imagem. O cabeçalho contém informações tais como largura e altura da imagem em píxeis, tipo da imagem (colorida, escala de cinza, preto e branco), número de bits por píxel, entre outras. Quais informações são armazenadas e como elas são representadas variam conforme o formato do arquivo. Essas informações permitem que a imagem original seja reconstruída a partir dos dados que estão contidos na segunda parte do arquivo (Berry, 2008). A segunda parte do arquivo contém uma lista de números que representam as intensidades de luz na imagem. A maneira como essa lista é armazenada também depende do formato do arquivo. Dentre os diferentes formatos existentes para arquivos de imagem, os mais conhecidos são o BMP (BitMaP image file), o WMF (Windows MetaFile), o TIF (Tagged Image File), o GIF (Graphical Interchange Format file) e o JPG (JPEG, Joint Photographic Experts Group). No entanto, esses formatos não são os mais adequados para uso na área médica. Seus cabeçalhos, por exemplo, não possuem recursos apropriados para armazenar detalhes do 7

25 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS 8 exame que originou a imagem e nem informações sobre o paciente. Ademais, alguns desses formatos utilizam métodos de compressão que alteraram os valores dos píxeis quando são armazenados no arquivo (Berry, 2008). Tanto os requisitos não suportados pelos formatos existentes, quanto a necessidade de se padronizar a maneira como as imagens e informações associadas a elas eram transferidas e armazenadas entre os dispositivos produzidos por diferentes fabricantes, foram reconhecidos pela American College of Radiology (ACR) e pela National Electrical Manufacturers Association (NEMA) que se uniram em 1983 para conceber um novo padrão. Atualmente denominado DICOM(Digital Imaging and Communications in Medicine), esse padrão não estabelece apenas um formato de arquivo para imagens médicas, mas também um padrão para comunicação entre dispositivos (NEMA, 2011). Além dos dados que permitem a reconstrução da imagem original, o cabeçalho de um arquivo no formato DICOM pode armazenar também dados referentes ao paciente, ao equipamento e à aquisição da imagem. A matriz de números, contida na segunda parte do arquivo, é armazenada sem perda de informações, utilizando os métodos de compressão JPEG 2000 (Berry, 2008). Em imagens em tons de cinza, cada número dessa matriz, é o valor que cada píxel possui para representar a intensidade de luz no seu espaço. Se o valor do píxel for representado por 8 bits, a intensidade de luz pode assumir qualquer valor entre 0 e 255, ou seja, 2 8 possíveis valores. Quanto mais escura for a região, mas próximo de 0 será o valor do píxel e quanto mais clara, mais próximo de 255 será o valor do píxel. Assim, regiões brancas possuem píxeis de valor 255 e regiões pretas possuem píxeis de valor 0. Na Figura 2.1 é mostrado um exemplo de imagem em níveis de cinza e sua respectiva lista de valores Figura 2.1: Uma região de uma imagem e os respectivos valores para os tons de cinza apresentado. Em imagens coloridas e que utilizam o modelo de cores RGB, são necessários três canais representar os píxeis da imagem. Um canal para representar o R (Red, vermelho),

26 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS 9 outro canal para representar o G (Green, verde) e o último para representar B (Blue, azul). Se cada canal tiver 8 bits, um píxel será representado por 24 bits. As cores das imagens são obtidas por meio da combinação da intensidade de luz de cada canal. Há uma grande sensibilidade à mudança de escala, translação ou rotação ao discriminar ou comparar imagens usando como características os valores brutos de seus píxeis. Para contornar esse problema, diversas abordagens foram propostas para constituir características discriminantes a partir de informações obtidas do conteúdo da imagem. As mais tradicionais baseiam-se em cores, texturas e bordas. A seguir, são apresentados detalhes de algumas dessas abordagens. 2.2 Histograma de cor Umhistogramaéumgráficoquerepresentaafrequênciadealgoemumespaço. Porsua vez, um histograma de cor representa a frequência com que diferentes cores ou intensidades de luz aparecem na imagem. Uma maneira mais compacta de representar uma imagem para fins de criar uma função discriminante é utilizar seu histograma de cor ou níveis de cinza. O histograma dos níveis decinza(figura2.2b)contémafrequênciacomquecadaníveldecinzaaparecenaimagem (Figura 2.2a). (a) (b) Figura 2.2: A imagem (a) e seu respectivo histograma de níveis de cinza (b). O uso de histograma gera uma perda de informação. Conforme é ilustrado na Figura 2.3, as duas imagens (Figura 2.3a e 2.3b) possuem o mesmo histograma (Figura 2.3c). Apesar de existir a mesma quantidade de píxeis que possuem os mesmo valores de níveis

27 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS 10 de cinza nas imagens (a) e (b) da Figura 2.3, tais píxeis estão distribuídos de formas diferentes no espaço em cada figura. Entretanto, ambas as imagens serão representadas pelo mesmo histograma (Figura 2.3c). (a) (b) (c) Figura 2.3: Imagens distintas (a) e (b) com o mesmo histograma dos níveis de cinza (c). No exemplo ilustrado na Figura 2.3, o histograma de níveis de cinza não são características discriminantes para a tarefa de comparação de imagens. 2.3 Histograma de bordas O histograma de bordas representa a frequência de diferentes tipos de bordas na imagem (Figura 2.4c). Essa abordagem utiliza a técnica denominada EHD (do inglês, Edge Histogram Descriptor - Descritor de Histograma de Bordas) para obter o histograma de bordas. A técnica EHD consiste, inicialmente, em dividir a imagem em n 2 subimagens de tamanhos iguais (Figura 2.4a para n = 4). Subimagem (0,0) Subimagem (0,1) Subimagem (0,2) Subimagem (0,3) Subimagem (1,0) Subimagem (2,0) Subimagem (1,1) Subimagem (2,1) Subimagem (1,2) Subimagem (2,2) Subimagem (1,3) Subimagem (2,3) Subimagem (2,3) Frequência Subimagem (3,0) Subimagem (3,1) Subimagem (3,2) Subimagem (3,3) V H 45º 135º ND Bordas (a) (b) (c) Figura 2.4: Obtenção do histograma de bordas. (a) imagem original, (b) subimagem da imagem original e (c) histograma de bordas da subimagem.

28 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS 11 A seguir, para cada subimagem (Figura 2.4b) é calculada a frequência de bordas horizontais, bordas verticais, bordas diagonais em 45 graus, bordas diagonais em 135 graus e bordas não direcionais, que seriam quaisquer outras configurações que não fossem uma das quatro bordas anteriores. Cada subimagem deve ser dividida em blocos não sobrepostos que serão usados para determinar os tipos de bordas e as suas respectivas frequência em uma subimagem. O tamanho dos blocos de imagens varia conforme a resolução da imagem, no entanto, espera-se que esse valor seja um múltiplo de dois (Won et al., 2002). De acordo com (Eom and Choe, 2005), o número de blocos de imagens é algo em torno de 1100 e em seu trabalho foi utilizado o tamanho de 2 2 píxeis por bloco de imagem. Em seguida, é verificado se cada bloco de imagem possui um único tom. Se for verdadeiro, o respectivo bloco é descartado da contagem da frequência do histograma (Won et al., 2002; Eom and Choe, 2005). Na Figura 2.5 são apresentadas as matrizes de coeficientes usadas para filtrar os blocos que possuem mais de um tom. Cada matriz de coeficiente é usada para multiplicar o bloco de píxeis. Calcula-se então a norma de cada matriz produto. O tipo de borda associada ao bloco é aquele correspondente à matriz com a maior norma da matriz produto (a) (b) (c) (d) (e) Figura 2.5: Coeficientes de filtro para detecção de borda. (a) Coeficientes para bordas horizontais, (b) para bordas verticais, (c) para bordas diagonais com 45 graus, (d) para bordas diagonais com 135 graus e (e) para bordas não-direcionais. Adaptado de Won et al. (2002). Note que o coeficiente utilizado para obter as bordas não direcionais (Figura 2.5e) é apenas uma heurística. Uma vez que esse tipo de borda não possui uma direção específica, é dificil a definição de um coeficiente aplicável a todos os tipos de bordas não direcionais. Uma alternativa para lidar com esse problema é verificar se o bloco de imagem pertence a alguma das quatro direções após o passo de verificar se o bloco de imagem possui um único tom. Se não pertencer, o bloco de imagem já fica caracterizado como não direcional (Won et al., 2002). No exemplo ilustrado na Figura 2.4, a imagem foi dividida em 16 subimagens e como para cada subimagem são contados 5 tipos de bordas, um vetor de 80 características é constituído para representar uma imagem.

29 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS Histograma de características invariantes à mudança de escala O histograma de características invariantes à mudança de escala contém a frequência de pontos específicos que ocorrem na imagem. Tais pontos identificados são distintos e invariantes e podem ser usados para associar imagens de objetos ou cenas que estão em diferentes escalas ou rotação (Lowe, 2004). Para a construção desse histograma são necessárias todas as imagens de um conjunto de treinamento, ao invés de somente uma imagem em questão como descrito nas técnicas de histograma de bordas e de tons de cinza. A computação desse histograma é um processo constituído de 3 fases, na qual a primeira fase é extrair todos os pontos-chave de cada uma das imagens por meio da técnica SIFT 1 (Lowe, 2004). Essa técnica identifica regiões que, mesmo a imagem estando rotacionada ou tiver variação na sua escala ou ainda uma pequena mudança no ângulo de visão em relação a outra imagem, será possível encontrar esses mesmos pontos (Figura 2.6). Figura 2.6: Possíveis variações da imagem (Adaptado de Philbin et al. (2007)). A região em destaque pode ser transladada, ampliada (ou reduzida) ou rotacionada, que uma técnica invariante a essas transformações deve identificar como sendo a mesma região. Para computar o histograma de características invariantes à mudança de escala, os pontos-chave obtidos a partir do conjunto de imagens (Figura 2.7a) são agrupados em n grupos, representados por 5 grupos na Figura 2.7b. Por fim, cada imagem possuirá um histograma de n características (Figura 2.7c) que contém a frequência de cada um de seus pontos-chave nos respectivos grupos identificados. 2.5 Histograma de padrões binários locais O histograma de padrões binários locais é utilizado para discriminar texturas em imagens de tons de cinza. Os padrões binários aos quais o nome dessa técnica se refere são obtidos dos valores dos píxeis que compõem as texturas da imagem. O operador LBP (do 1 Do inglês, Scale Invariant Feature Transform - Característica Invariante à Mudança de Escala

30 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS Frequência (a) (b) Grupos (c) Figura 2.7: Exemplo de construção de histograma de pontos-chave locais. (a) os pontos invariantes são encontrados usando a técnica SIFT, (b) os pontos são agrupados usando alguma técnica de agrupamento e (c) o histograma de pontos é computado. inglês Local Binary Patterns, Padrões Binários Locais) é utilizado em cada píxel da imagem para obter um padrão binário. Ao final dessa operação, são calculadas as frequências em que cada padrão binário ocorre na imagem. A quantidade de padrões binários gerada varia conforme a quantidade escolhida de vizinhos de um píxel que são utilizados para constituir os padrões. Considerando um píxel qualquer da imagem, a quantidade de vizinhos é definida em função de seu centro e do valor de um raio. Conforme é definido em Ojala et al. (2002), para um valor de cinza g de um píxel central g c e valor de raio R = 1.0, poderia-se definir o total de vizinhos P = 4 ou P = 8 distribuídos de acordo como apresentado na Figura 2.8. g R = 1.0 g 2 g c g g (a) (b) (c) Figura 2.8: Definição de vizinhança para um píxel central em LBP. (a) definição de vizinhos do píxel central g c com R = 1, (b) identificação dos vizinhos g 0,g 1,g 2 eg 3 de g c para P = 4 e (c) valores numéricos dos píxeis com R = 1 e P = 4 vizinhos em destaque. Conforme apresentado na Figura 2.8, a vizinhança de g c seria composta por g p = {145,34,80,167} para P = 4 ou g p = {145,80,34,11,80,150,167,196} para P = 8. Após definir a quantidade e a ordem dos P vizinhos em relação a um píxel central g c, os padrões binários que representaram a textura T são obtidos a partir da diferença do valor de intensidade de cinza de um píxel central g c entre os valores de intensidade de cinza g P de seus vizinhos. Assim, T = {s(g 0 g c ),s(g 1 g c ),...,s(g P 1 g c )}, no qual

31 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS 14 s(x) é uma função que retorna 1 se x for positivo ou 0 se x for negativo (Ojala et al., 2002). Em seguida, esse padrão é convertido em um único número LBP P,R para caracterizar a estrutura espacial da textura local da imagem: P 1 LBP P,R = s(g p g c ) 2 P. (2.1) P=0 Observe que este operador é invariante à escala de cinza que estiver sendo utilizada na imagem, pois a informação mais relevante é o sinal resultante da função s(x) e que P em 2 P é que determina a faixa de valores relacionadas no histograma. No entanto, se a imagem for rotacionada conforme é ilustrada na Figura 2.9, os valores dos níveis de cinza devem ocupar outras posições, como por exemplo g 0 = 167 e g P 1 = 80 para P = 4 e assim um valor LBP P,R diferente seria obtido para a mesma imagem (a) (b) Figura 2.9: Efeito da rotação da imagem. (a) representação dos valores dos píxeis em sua posição original e (b) exemplo de rotação da imagem no sentido anti-horário. Para remover esse efeito, um único identificador é atribuído para quaisquer variações que o padrão binário puder resultar, sendo LBP ri P,R = min{ror(lbp P,R,i) i = 0,1,...,P 1}, (2.2) em que ROR(x,i) é uma função que executa i vezes uma rotação circular à direita no padrão binário x (Ojala et al., 2002). Seja a Figura 2.9a a representação dos valores dos píxeis em sua posição original, os efeitos da função ROR(x, i) são representados na Figura Para P = 4 obtém-se um histograma que contém a frequência de 16 (2 4 ) padrões binários e se P = 8, a frequência de 256 (2 8 ) padrões binários que ocorrem na imagem.

32 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS (a) (b) (c) (d) Figura 2.10: Rotação circular à direita do padrão binário. (a) distribuição dos valores do padrão para P = 4 e i = 0, (b) a distribuição para P = 4 e i = 1, (c) a distribuição para P = 4 e i = 2 e (d) a distribuição para P = 4 e i = Histograma do modelo de cor HSV AsiglaHSV(doinglêsHue, Saturation, Value Matiz, SaturaçãoeValor)étambém encontrada como HSB(Hue, Saturation, Brightness Matiz, Saturação e Brilho). Nesse modelo, as cores são representadas de maneiras diferentes do espaço de cor RGB. Em HSV, o canal matiz (H) é um valor entre 0 o e 360 o que define a tonalidade de cor do píxel. Na Figura 2.11, o matiz está dividido em intervalos de 20 o graus. O intervalo de 0 o a 20 o contém tons de vermelho, de 20 o a 40 o tons de laranja e seguindo por esse sentido até finalizar no intervalo de 340 o a 360 o com tons de rosa. Figura 2.11: Ilustração do espaço de cor HSV (Mathworks, 2012).

33 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS 16 No canal saturação (S) um valor entre 0 e 1 é utilizado para definir a pureza da cor. Conforme a Figura 2.11, cores com o valor de saturação próximo de 1 são mais fortes (puras) e com valor próximo de zero 0, mais fracas. O intervalo do terceiro canal, valor (V) ou brilho (B), também varia de 0 a 1 e define a quantidade de luz refletida na cor. Cores com o valor de brilho baixo, próximo de 0, são mais escuras e com valor de brilho alto, próximo de 1, são mais claras. O histograma do modelo de cor HSV fornece características que podem ser discriminantes em imagens coloridas. Em problemas de segmentação de imagens por meio da cor, apenas o canal matiz seria necessário para fornecer características discriminantes (Nuñez, 2006). A utilização de histograma do modelo de cor HSV como descritor de imagens é usado em Zhao et al. (2009), trabalho relacionado que é mencionado no Capítulo 4. Nesse trabalho, o conjunto de dados é constituído por valores obtidos de características de imagens coloridas como obras de artes, retratos e paisagens. As imagens utilizadas para constituir o conjunto de dados neste trabalho estão em níveis de cinza. O canal que possivelmente forneceria as informações mais relevantes seria o (B). No entanto, o problema dessa característica seria similar ao do histograma de níveis de cinza, que apresenta distribuição de intensidades de luz iguais para imagens diferentes. Por esse motivo, essa técnica não é abordada com mais detalhes neste trabalho. Maiores informações sobre o uso do modelo de cor HSV para obter características de imagens podem ser vistas em Nuñez (2006) e Oliveira et al. (2010). 2.7 Filtros de Gabor Esse filtro realça o contraste das texturas existentes na imagem. O resultado ideal depende da escolha dos parâmetros utilizados no filtro (Viola, 2006). Além das coordenadas x e y da imagem, para aplicar o filtro de Gabor são necessárias as definições empíricas da frequência espacial f, extensão espacial σ e da orientação θ do filtro. O equilíbrio entre os parâmetros espacias, frequência f e extensão σ, influenciam em como o contraste se comporta na região. Por exemplo, um valor alto para σ é melhor para remover ruídos da textura, mas não é efetivo para realçar os detalhes. Já um valor baixo para σ realça mais os detalhes, mas não tem efeito relevante para os ruídos. A definição da orientação θ influencia em quais características da textura o filtro terá maior impacto. O contraste é mais realçado na textura que tiver detalhes na orientação equivalente ao do filtro.

34 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS 17 A função de Gabor adaptada para duas dimensões pode ser definida como [ g(x,y,f,θ,σ) = exp 1 ( )] x 2 2 θ + y2 θ exp(2 π i f x σx 2 σy 2 θ ), (2.3) em que x θ = x cosθ y senθ, y θ = x senθ+y cosθ e i = 1. A função retorna um valor complexo e por isso não pode ser representado diretamente na imagem. Uma alternativa é utilizar o valor absoluto resultante da convolução da imagem I(x,y) pelo filtro de Gabor g(x,y) (Angelo, 2000), definido como f(x,y) = I(x,y) g(x,y) 2. (2.4) Outra alternativa, é decompor esse filtro complexo em componentes reais e imaginários, conforme as equações 2.5 e 2.6 (Viola, 2006) { g real (x,y,f,θ,σ) = exp 1 [ ]} x 2 2 θ + y2 θ cos(2 π f x σx 2 σy 2 θ ); (2.5) { g imag (x,y,f,θ,σ) = exp 1 [ ]} x 2 2 θ + y2 θ sin(2 π f x σx 2 σy 2 θ ). (2.6) Um exemplo dos resultados das projeções das duas funções com os respectivos parâmetros pré-definidos é ilustrado na Figura Como pode ser observado nessa figura, não há diferença relevante na operação de convolução da imagem se for considerado somente o resultado proveniente do componente real (Mena-Chalco, 2012). g real(x,y) x y (a) (b) (c) Figura 2.12: Exemplo de projeção resultante das funções g real e g imag. (a) representação de g real em superfície e (b) em 2-D. (c) representação de g imag em 2-D (Adaptado de Soares (2007)). Normalmente esse filtro é aplicado utilizando um banco composto por vários conjuntos de valores para os parâmetros f, θ e σ.

35 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS 18 Filtros de Gabor são bastante citados em problemas de biometria de digitais (Jain et al., 2000; Ross et al., 2002b,a), que consiste em identificar uma pessoa a partir das informações das direções e quantidades de cristas e vales existentes em uma impressão digital. Na Figura 2.13 são mostradas as definições de cristas e vales em uma imagem de impressão digital. crista vale Figura 2.13: Definição de cristas e vales em uma impressão digital. Uma abordagem clássica para resolução desse problema é mencionada em Jain et al. (2000). Nesse trabalho, são determinados a região de interesse de uma imagem de impressão digital e um ponto de referência (Figura 2.14a). Em seguida, essa imagem é dividida em 80 partes em torno do ponto de referência (Figura 2.14b). (a) (b) Figura 2.14: Definição de setores (b) em torno do ponto de referência (a) (Adaptado de Jain et al. (2000)). A seguir, utilizando um banco de filtros de Gabor, filtra-se em oito diferentes direções a região de interesse. Nesse passo, além de remover possíveis ruídos da imagem e preservar as estruturas originais das cristas e dos vales, a filtragem provê informações contidas nas respectiva direção θ. As oitos direções normalmente definidas para θ e que compõe o banco de filtros de Gabor são: 0, 22,5, 45, 67,5, 90, 112,5, 135, 157,5. Na Figura

36 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS , são apresentados os resultados de uma imagem de impressão digital filtrada por esse banco. Figura 2.15: Impressão digital filtrada por um banco de filtros de Gabor (Adaptado de Jain et al. (2000)). O parâmetro f foi definido em função da distância média K entre as cristas, que é de aproximadamente 10 píxeis. Esse valor, no entanto, pode variar de acordo com o número de pontos por polegadas (dpi, do inglês dots per inche). Assim, f = 1/K. Os valores de σ x e σ y foram definidos empiricamente como 4,0. Para convolução do filtro, foi utilizada uma máscara de tamanho 33px 33px em imagens de tamanho 508px 480px. O vetor de características é construído com valores obtidos a partir dessas oitos imagens. Para cada setor S i, com i {0, 1,..., 79}, de cada imagem filtrada com o parâmetro θ {0, 22,5,..., 157,5 } é calculado o AAD (do inglês Average Absolute Deviation, Desvio Médio Absoluto), definido em Jain et al. (2000) como V iθ = 1 N ( n i F iθ (x,y) P iθ ), (2.7) sendo n i o número de píxeis no setor S i, F iθ (x,y) a imagem filtrada na θ-direção do setor S i e P iθ a média dos valores dos píxeis no setor da imagem filtrada F iθ (x,y). Dessa maneira, para esse exemplo, é construído um vetor com 640 (80 setores 8 filtros) características para cada impressão digital. 2.8 Descritor de Fourier Os descritores de Fourier são um conjunto de valores obtidos a partir de informações das bordas de uma imagem. Para obter esse conjunto, primeiramente um detector de bordas é aplicado a uma imagem segmentada (Figura 2.16). Dessa maneira, os contornos dos objetos na imagem são realçados (Silva et al., 2007).

37 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS 20 (a) (b) Figura 2.16: Resultado da aplicação do operador de Sobel (b) em uma radiografia digital de uma mão esquerda (a). Em seguida, por meio de uma função de perseguição do contorno que percorre a fronteira de um componente conexo, é formada uma lista contendo pares de coordenadas (x k, y k ) de todos os pontos P que compõem esses contornos (Figura 2.17). Assumindo um sentido (horário ou anti-horário) e um ponto inicial (x 0, y 0 ) qualquer, k = {0,1,2,...,N 1} e N corresponde a quantidade de pontos que compõem esses contornos (Stivanello and Gomes, 2006; Silva et al., 2007). Figura 2.17: Definindo pares de coordenadas por meio da perseguição do contorno. Cada par de coordenada (x k, y k ) dessa lista é então representada por um único número complexo s(k), sendo s(k) = x(k)+j y(k). (2.8)

38 CAPÍTULO 2. CARACTERIZAÇÃO DE IMAGENS 21 Os descritores de Fourier a(u) são então obtidos por meio do cálculo da Transformada Discreta de Fourier com essa lista de números complexos s(k). Assim, a Transformada Discreta de Fourier é definida por a(u) = 1 N N 1 k=0 s(k)exp[ j 2 πu k/n]. (2.9) Podem ser obtidos N descritores a(u), no entanto, várias formas de contornos podem ser diferenciadas com uma quantidade relativamente pequena de informação (Stivanello and Gomes, 2006). Além disso, não considerar todos os pontos extraídos do objeto pode eliminar ruídos do contorno (Silva et al., 2007). Um número maior de descritores é necessário quando mais detalhes das características são relevantes na imagem (Stivanello and Gomes, 2006). 2.9 Momentos de Zernike Os momentos de Zernike também podem ser utilizados como descritor de formas. Diferentemente do descritor de Fourier, ele não necessita de limites fechados e bem definidos. Constituído por um conjunto de polinômios, os momentos de Zernike são usados para descrever formas disjuntas e complexas (Bugatti, 2008). Encontrar o valor dos momentos de Zernike consiste no cálculo de três polinômios: 1. Cálculo do polinômio radial R nm (ρ); 2. Cálculo do polinômio de Zernike V nm (ρ); 3. Cálculo dos momentos de Zernike Z nm ; As definições desses polinômios são descritas a seguir. Primeiramente, para calcular os momentos de Zernike de uma imagem é necessário mapear as coordenadas (x,y) de seu plano cartesiano para o sistema polar ρ de um círculo unitário ρ = x 2 +y 2. (2.10) Dado o centro da imagem ser a origem do círculo (Figura 2.18), ρ é o comprimento do ponto T formado pelas coordenadas (x,y) até a origem O.