UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ CÂMPUS CORNÉLIO PROCÓPIO DIRETORIA DE PESQUISA E PÓS-GRADUAÇÃO PROGRAMA DE PÓS-GRADUAÇÃO EM INFORMÁTICA

Transcrição

1 UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ CÂMPUS CORNÉLIO PROCÓPIO DIRETORIA DE PESQUISA E PÓS-GRADUAÇÃO PROGRAMA DE PÓS-GRADUAÇÃO EM INFORMÁTICA GEOVANA VELOSO LOUREIRO DE LIMA PROPOSTA DE BAG-OF-VISUAL-WORDS POR MEIO DE REDES COMPLEXAS DISSERTAÇÃO DE MESTRADO CORNÉLIO PROCÓPIO 2017

2 GEOVANA VELOSO LOUREIRO DE LIMA PROPOSTA DE BAG-OF-VISUAL-WORDS POR MEIO DE REDES COMPLEXAS Dissertação de Mestrado apresentada ao Programa de Pós-Graduação em Informática da Universidade Tecnológica Federal do Paraná - UTFPR como requisito parcial para a obtenção do título de Mestre em Informática. Orientador: Prof. Dr. Pedro Henrique Bugatti. CORNÉLIO PROCÓPIO 2017

3 Ministério da Educação Universidade Tecnológica Federal do Paraná Câmpus Cornélio Procópio Programa de Pós-Graduação em Informática Título da Dissertação Nº 37: PROPOSTA DE BAG-OF-VISUAL WORDS POR MEIO DE REDES COMPLEXAS. Geovana Veloso Loureiro de Lima Orientador: Pedro Henrique Bugatti por Esta dissertação foi apresentada como requisito parcial à obtenção do grau de MESTRE EM INFORMÁTICA Área de Concentração: Computação Aplicada, pelo Programa de Pós-Graduação em Informática PPGI da Universidade Tecnológica Federal do Paraná UTFPR Câmpus Cornélio Procópio, às 16h do dia 01 de agosto de O trabalho foi pela Banca Examinadora, composta pelos professores: Prof. Dr. Pedro Henrique Bugatti (Presidente UTFPR-CP) Profa. Dra. Priscila Tiemi Maeda Saito (UTFPR-CP) Prof. Dr. Fabrício Martins Lopes (UTFPR-CP) Prof. Dr. Daniel dos Santos Kaster (UEL-PR) Visto da coordenação: André Takeshi Endo Coordenador do Programa de Pós-Graduação em Informática UTFPR Câmpus Cornélio Procópio A Folha de Aprovação assinada encontra-se na Coordenação do Programa. Av. Alberto Carazzai, Cornélio Procópio PR. Tel. +55 (43) / ppgi-cp@utfpr.edu.br /

4 AGRADECIMENTOS Em primeiro lugar a Deus, que iluminou o meu caminho durante esta caminhada. A minha família, pelo amor, carinho, compreensão e apoio incondicional. Agradeço de forma especial a minha mãe e ao meu pai, por não medirem esforços para que eu pudesse levar meus estudos adiante. Ao professor Dr. Pedro Henrique Bugatti, pela orientação, apoio, paciência e confiança. A professora Dr a. Priscila Tiemi Maeda Saito, pela colaboração, empenho e paciência. Ao Marcelo Ferreira, pelo apoio, força e por me trazer paz e alegria nos momentos de tristeza. Aos amigos e companheiros de laboratório e projetos, pelo auxílio, contribuições, alegrias, tristezas e dores compartilhadas. Aos colegas que de alguma maneira contribuíram para o desenvolvimento desse trabalho. A esta universidade, seu corpo docente, direção e administração. A todos que de forma direta e indireta contribuíram com esse trabalho. Muito obrigada.

5 RESUMO LIMA, Geovana Veloso Loureiro de. PROPOSTA DE BAG-OF-VISUAL-WORDS POR MEIO DE REDES COMPLEXAS. 116 f. Dissertação de Mestrado Programa de Pós-Graduação em Informática, Universidade Tecnológica Federal do Paraná. Cornélio Procópio, O uso de sementes vigorosas é primordial para o sucesso da lavoura. Dentre as técnicas de análise de sementes que objetivam identificar o vigor do lote das sementes, o teste tetrazólio se destaca pelo número de informações fornecidas. Porém, o teste tetrazólio tem o resultado fortemente atrelado ao empirismo dos analistas de sementes. O presente trabalho objetiva o desenvolvimento de uma metodologia de avaliação automática por meio de imagens do vigor da sementes de soja submetidas ao teste tetrazólio, que sirva de contraprova para o analista de sementes, a fim de aumentar a confiabilidade e acelerar os resultados. Foi utilizado o método Bag-of-Visual-Words e realizado experimentos com diferentes detectores e descritores da literatura a fim de encontrar o pipeline que apresentasse o melhor custo-benefício na categorização do vigor de sementes, sendo obtido 78.95% de acurárica média como melhor resultado. Neste trabalho também foi proposto a utilização de Redes Complexas na etapa de descrição do método Bag-of-Visual-Words. A metodologia proposta utilizando apenas um limiar na etapa de análise de subgrafos apresentou resultados melhores que utilizando todos os limiares, além de apresentar maior custo-benefício do que alguns métodos de descrição em Bag-of-Visual-Words populares na literatura. Tais resultados identificam o conjunto de detectores e descritores do método Bag-of-Visual-Words que apresentam maior acurácia e melhor custo-benefício para a análise do vigor das sementes submetidas ao teste tetrazólio, além da proposta da fusão dos métodos Bag-of-Visual-Words e Redes Complexas e da utilização de apenas um limiar na descrição de imagens utilizando Redes Complexas. Palavras-chave: Teste Tetrazólio; Sementes de Soja; Bag-of-Visual-Words; Visão Computacional; Redes Complexas.

6 ABSTRACT LIMA, Geovana Veloso Loureiro de. A BAG-OF-VISUAL-WORDS APPROACH THROUGH COMPLEX NETWORKS f. Dissertação de Mestrado Programa de Pós-Graduação em Informática, Universidade Tecnológica Federal do Paraná. Cornélio Procópio, The use of vigorous seeds is paramount to the success of the crop. Among the techniques of seed analysis that aim to identify seed batch vigor, the tetrazolium test stands out for the number of information provided. However, the tetrazolium test has the result strongly tied to the empiricism of the seed analysts. The present work aims to develop a methodology of automatic evaluation by means of images of the vigor of the soybean seeds submitted to the tetrazolium test, which serves as a check for the seed analyst, in order to increase the reliability and accelerate the results. It was used the Bag-of-Visual-Words method and conducted experiments with different detectors and descriptors of the literature in order to find the pipeline that presented the best cost-benefit in the categorization of seed vigor, obtaining 78.95% of average accuracy as the best result. In the present work it was also proposed the use of Complex Networks in the description stage of the Bag-of-Visual-Words method. The methodology proposed using only one threshold in the subgraph analysis step presented better results than all the thresholds, in addition to being more cost-effective than some methods of description in Bag-of-Visual- Words popular in the literature. These results identify the set of detectors and descriptors of the Bag-of-Visual-Words method that are more accurate and cost-effective for the vigor analysis of the seeds submitted to the tetrazolium test, besides the proposed merger of the Bag-of- Visual-Words and Complex Network Keywords: Tetrazolium Test; Soybean Seeds; Bag-of-Visual-Words; Computer Vision; Complex Networks.

7 LISTA DE FIGURAS FIGURA 1 Corte longitudinal da semente de soja e suas estruturas embrionárias FIGURA 2 Exemplo de sementes submetidas ao teste tetrazólio sem danos FIGURA 3 Exemplo de sementes submetidas ao teste tetrazólio que apresentam danos mecânicos FIGURA 4 Exemplo de sementes submetidas ao teste tetrazólio que apresentam danos por umidade FIGURA 5 Exemplo de sementes submetidas ao teste tetrazólio que apresentam danos por percevejo FIGURA 6 Exemplo de construção de D(x,y,σ) FIGURA 7 Detecção dos máximos e mínimos da DoG FIGURA 8 Exemplo de interpolação utilizando os pontos candidatos FIGURA 9 Exemplo do processo de seleção de pontos de interesse FIGURA 10 Derivadas de segunda ordem e suas aproximações FIGURA 11 Exemplo da formação da imagem integral FIGURA 12 Detecção de pontos de interesse com o método FAST FIGURA 13 Criação do padrão binário com o método LBP FIGURA 14 Exemplo do processo de descrição dos pontos de interesse FIGURA 15 Núcleos de convolução Haar Wavelet FIGURA 16 Definição da orientação dominante ao redor do ponto de interesse FIGURA 17 Processo de descrição do ponto de interesse FIGURA 18 Visão geral do método BoVW FIGURA 19 Exemplo da estrutura da árvore de decisão FIGURA 20 Obtenção da diferença entre os hiperplanos canônicos FIGURA 21 Exemplo de imagens de uma semente em que a classe da semente não condiz com a classe dos lados da semente FIGURA 22 Visão geral da metodologia proposta FIGURA 23 Visão geral da metodologia proposta com apenas um limiar FIGURA 24 Boxplot dos testes realizados com a base Sementes FIGURA 25 Boxplot dos testes realizados com a base Sementes FIGURA 26 Boxplot dos testes realizados com a base Smear FIGURA 27 Boxplot dos testes realizados com a base Pulmão

8 LISTA DE TABELAS TABELA 1 Descrição das classes e distribuição das amostras na base de imagens Sementes TABELA 2 Descrição das classes e distribuição das amostras na base de imagens Sementes TABELA 3 Descrição das classes e distribuição das amostras na base de imagens Pulmão TABELA 4 Descrição das classes e distribuição das amostras na base de imagens Pap Smear TABELA 5 Medidas extraídas das redes geradas TABELA 6 Melhores resultados dos experimentos com o descritor Redes com todos os limiares e apenas um limiar com a base Sementes TABELA 7 Melhores resultados dos experimentos com o descritor Redes com todos os limiares e apenas um limiar com a base Sementes TABELA 8 Melhores resultados dos experimentos com o descritor Redes com todos os limiares e apenas um limiar com a base Smear TABELA 9 Experimento com a base Pulmão, detector FAST, descritor Redes com um limiar e vocabulário de palavras construído com o k-means TABELA 10 Média harmônica entre a acurácia média obtida e a dimensão dos descritores dos melhores resultados obtidos com a base de Sementes TABELA 11 Média harmônica entre a acurácia média obtida e a dimensão dos descritores dos melhores resultados obtidos com a base de Sementes TABELA 12 Média harmônica entre a acurácia média obtida e a dimensão dos descritores dos melhores resultados obtidos com a base Smear TABELA 13 Média harmônica entre a acurácia média obtida e a dimensão dos descritores dos melhores resultados obtidos com a base Pulmão TABELA 14 Média ± Desvio padrão obtidos com o detector SIFT e descritor SIFT utilizando a base de Sementes TABELA 15 Média ± Desvio padrão obtidos com o detector SURF e descritor SIFT utilizando a base de Sementes TABELA 16 Média ± Desvio padrão obtidos com o detector ORB e descritor SIFT utilizando a base de Sementes TABELA 17 Média ± Desvio padrão obtidos com o detector HARRIS e descritor SIFT utilizando a base de Sementes TABELA 18 Média ± Desvio padrão obtidos com o detector FAST e descritor SIFT utilizando a base de Sementes TABELA 19 Média ± Desvio padrão obtidos com o detector SIFT e descritor SURF utilizando a base de Sementes TABELA 20 Média ± Desvio padrão obtidos com o detector SURF e descritor SURF utilizando a base de Sementes TABELA 21 Média ± Desvio padrão obtidos com o detector ORB e descritor SURF utilizando a base de Sementes TABELA 22 Média ± Desvio padrão obtidos com o detector HARRIS e descritor

9 SURF utilizando a base de Sementes TABELA 23 Média ± Desvio padrão obtidos com o detector FAST e descritor SURF utilizando a base de Sementes TABELA 24 Média ± Desvio padrão obtidos com o detector SIFT e descritor Fourier utilizando a base de Sementes TABELA 25 Média ± Desvio padrão obtidos com o detector SURF e descritor Fourier utilizando a base de Sementes TABELA 26 Média ± Desvio padrão obtidos com o detector ORB e descritor Fourier utilizando a base de Sementes TABELA 27 Média ± Desvio padrão obtidos com o detector HARRIS e descritor Fourier utilizando a base de Sementes TABELA 28 Média ± Desvio padrão obtidos com o detector FAST e descritor Fourier utilizando a base de Sementes TABELA 29 Média ± Desvio padrão obtidos com o detector SIFT e descritor BIC utilizando a base de Sementes TABELA 30 Média ± Desvio padrão obtidos com o detector SURF e descritor BIC utilizando a base de Sementes TABELA 31 Média ± Desvio padrão obtidos com o detector ORB e descritor BIC utilizando a base de Sementes TABELA 32 Média ± Desvio padrão obtidos com o detector HARRIS e descritor BIC utilizando a base de Sementes TABELA 33 Média ± Desvio padrão obtidos com o detector FAST e descritor BIC utilizando a base de Sementes TABELA 34 Média ± Desvio padrão obtidos com o detector SIFT e descritor LBOC utilizando a base de Sementes TABELA 35 Média ± Desvio padrão obtidos com o detector SURF e descritor LBOC utilizando a base de Sementes TABELA 36 Média ± Desvio padrão obtidos com o detector ORB e descritor LBOC utilizando a base de Sementes TABELA 37 Média ± Desvio padrão obtidos com o detector HARRIS e descritor LBOC utilizando a base de Sementes TABELA 38 Média ± Desvio padrão obtidos com o detector FAST e descritor LBOC utilizando a base de Sementes TABELA 39 Média ± Desvio padrão obtidos com o detector SIFT e descritor LBP utilizando a base de Sementes TABELA 40 Média ± Desvio padrão obtidos com o detector SURF e descritor LBP utilizando a base de Sementes TABELA 41 Média ± Desvio padrão obtidos com o detector ORB e descritor LBP utilizando a base de Sementes TABELA 42 Média ± Desvio padrão obtidos com o detector HARRIS e descritor LBP utilizando a base de Sementes TABELA 43 Média ± Desvio padrão obtidos com o detector FAST e descritor LBP utilizando a base de Sementes TABELA 44 Média ± Desvio padrão obtidos com o detector SIFT e descritor Redes utilizando a base de Sementes TABELA 45 Média ± Desvio padrão obtidos com o detector HARRIS e descritor Redes utilizando a base de Sementes TABELA 46 Média ± Desvio padrão obtidos com o detector FAST e descritor Redes

10 utilizando a base de Sementes TABELA 47 Média ± Desvio padrão obtidos com o detector SIFT e descritor SIFT utilizando a base de Sementes TABELA 48 Média ± Desvio padrão obtidos com o detector SURF e descritor SIFT utilizando a base de Sementes TABELA 49 Média ± Desvio padrão obtidos com o detector ORB e descritor SIFT utilizando a base de Sementes TABELA 50 Média ± Desvio padrão obtidos com o detector HARRIS e descritor SIFT utilizando a base de Sementes TABELA 51 Média ± Desvio padrão obtidos com o detector FAST e descritor SIFT utilizando a base de Sementes TABELA 52 Média ± Desvio padrão obtidos com o detector SIFT e descritor SURF utilizando a base de Sementes TABELA 53 Média ± Desvio padrão obtidos com o detector SURF e descritor SURF utilizando a base de Sementes TABELA 54 Média ± Desvio padrão obtidos com o detector ORB e descritor SURF utilizando a base de Sementes TABELA 55 Média ± Desvio padrão obtidos com o detector HARRIS e descritor SURF utilizando a base de Sementes TABELA 56 Média ± Desvio padrão obtidos com o detector FAST e descritor SURF utilizando a base de Sementes TABELA 57 Média ± Desvio padrão obtidos com o detector SIFT e descritor Fourier utilizando a base de Sementes TABELA 58 Média ± Desvio padrão obtidos com o detector SURF e descritor Fourier utilizando a base de Sementes TABELA 59 Média ± Desvio padrão obtidos com o detector ORB e descritor Fourier utilizando a base de Sementes TABELA 60 Média ± Desvio padrão obtidos com o detector HARRIS e descritor Fourier utilizando a base de Sementes TABELA 61 Média ± Desvio padrão obtidos com o detector FAST e descritor Fourier utilizando a base de Sementes TABELA 62 Média ± Desvio padrão obtidos com o detector SIFT e descritor BIC utilizando a base de Sementes TABELA 63 Média ± Desvio padrão obtidos com o detector SURF e descritor BIC utilizando a base de Sementes TABELA 64 Média ± Desvio padrão obtidos com o detector ORB e descritor BIC utilizando a base de Sementes TABELA 65 Média ± Desvio padrão obtidos com o detector HARRIS e descritor BIC utilizando a base de Sementes TABELA 66 Média ± Desvio padrão obtidos com o detector FAST e descritor BIC utilizando a base de Sementes TABELA 67 Média ± Desvio padrão obtidos com o detector SIFT e descritor LBOC utilizando a base de Sementes TABELA 68 Média ± Desvio padrão obtidos com o detector SURF e descritor LBOC utilizando a base de Sementes TABELA 69 Média ± Desvio padrão obtidos com o detector ORB e descritor LBOC utilizando a base de Sementes TABELA 70 Média ± Desvio padrão obtidos com o detector HARRIS e descritor

11 LBOC utilizando a base de Sementes TABELA 71 Média ± Desvio padrão obtidos com o detector FAST e descritor LBOC utilizando a base de Sementes TABELA 72 Média ± Desvio padrão obtidos com o detector SIFT e descritor LBP utilizando a base de Sementes TABELA 73 Média ± Desvio padrão obtidos com o detector SURF e descritor LBP utilizando a base de Sementes TABELA 74 Média ± Desvio padrão obtidos com o detector ORB e descritor LBP utilizando a base de Sementes TABELA 75 Média ± Desvio padrão obtidos com o detector HARRIS e descritor LBP utilizando a base de Sementes TABELA 76 Média ± Desvio padrão obtidos com o detector FAST e descritor LBP utilizando a base de Sementes TABELA 77 Média ± Desvio padrão obtidos com o detector SIFT e descritor Redes utilizando a base de Sementes TABELA 78 Média ± Desvio padrão obtidos com o detector HARRIS e descritor Redes utilizando a base de Sementes TABELA 79 Média ± Desvio padrão obtidos com o detector FAST e descritor Redes utilizando a base de Sementes TABELA 80 Média ± Desvio padrão obtidos com o detector SIFT e descritor SIFT utilizando a base Smear TABELA 81 Média ± Desvio padrão obtidos com o detector SURF e descritor SIFT utilizando a base Smear TABELA 82 Média ± Desvio padrão obtidos com o detector ORB e descritor SIFT utilizando a base Smear TABELA 83 Média ± Desvio padrão obtidos com o detector HARRIS e descritor SIFT utilizando a base Smear TABELA 84 Média ± Desvio padrão obtidos com o detector FAST e descritor SIFT utilizando a base Smear TABELA 85 Média ± Desvio padrão obtidos com o detector SIFT e descritor SURF utilizando a base Smear TABELA 86 Média ± Desvio padrão obtidos com o detector SURF e descritor SURF utilizando a base Smear TABELA 87 Média ± Desvio padrão obtidos com o detector ORB e descritor SURF utilizando a base Smear TABELA 88 Média ± Desvio padrão obtidos com o detector HARRIS e descritor SURF utilizando a base Smear TABELA 89 Média ± Desvio padrão obtidos com o detector FAST e descritor SURF utilizando a base Smear TABELA 90 Média ± Desvio padrão obtidos com o detector SIFT e descritor Fourier utilizando a base Smear TABELA 91 Média ± Desvio padrão obtidos com o detector SURF e descritor Fourier utilizando a base Smear TABELA 92 Média ± Desvio padrão obtidos com o detector ORB e descritor Fourier utilizando a base Smear TABELA 93 Média ± Desvio padrão obtidos com o detector HARRIS e descritor Fourier utilizando a base Smear TABELA 94 Média ± Desvio padrão obtidos com o detector FAST e descritor Fourier

12 utilizando a base Smear TABELA 95 Média ± Desvio padrão obtidos com o detector SIFT e descritor BIC utilizando a base Smear TABELA 96 Média ± Desvio padrão obtidos com o detector SURF e descritor BIC utilizando a base Smear TABELA 97 Média ± Desvio padrão obtidos com o detector ORB e descritor BIC utilizando a base Smear TABELA 98 Média ± Desvio padrão obtidos com o detector HARRIS e descritor BIC utilizando a base Smear TABELA 99 Média ± Desvio padrão obtidos com o detector FAST e descritor BIC utilizando a base Smear TABELA 100 Média ± Desvio padrão obtidos com o detector SIFT e descritor LBOC utilizando a base Smear TABELA 101 Média ± Desvio padrão obtidos com o detector SURF e descritor LBOC utilizando a base Smear TABELA 102 Média ± Desvio padrão obtidos com o detector ORB e descritor LBOC utilizando a base Smear TABELA 103 Média ± Desvio padrão obtidos com o detector HARRIS e descritor LBOC utilizando a base Smear TABELA 104 Média ± Desvio padrão obtidos com o detector FAST e descritor LBOC utilizando a base Smear TABELA 105 Média ± Desvio padrão obtidos com o detector SIFT e descritor LBP utilizando a base Smear TABELA 106 Média ± Desvio padrão obtidos com o detector SURF e descritor LBP utilizando a base Smear TABELA 107 Média ± Desvio padrão obtidos com o detector ORB e descritor LBP utilizando a base Smear TABELA 108 Média ± Desvio padrão obtidos com o detector HARRIS e descritor LBP utilizando a base Smear TABELA 109 Média ± Desvio padrão obtidos com o detector FAST e descritor LBP utilizando a base Smear TABELA 110 Média ± Desvio padrão obtidos com o detector SIFT e descritor Redes utilizando a base Smear TABELA 111 Média ± Desvio padrão obtidos com o detector SURF e descritor Redes utilizando a base Smear TABELA 112 Média ± Desvio padrão obtidos com o detector HARRIS e descritor Redes utilizando a base Smear TABELA 113 Média ± Desvio padrão obtidos com o detector FAST e descritor Redes utilizando a base Smear TABELA 114 Média ± Desvio padrão obtidos com o detector SIFT e descritor SIFT utilizando a base Pulmão TABELA 115 Média ± Desvio padrão obtidos com o detector SURF e descritor SIFT utilizando a base Pulmão TABELA 116 Média ± Desvio padrão obtidos com o detector ORB e descritor SIFT utilizando a base Pulmão TABELA 117 Média ± Desvio padrão obtidos com o detector HARRIS e descritor SIFT utilizando a base Pulmão TABELA 118 Média ± Desvio padrão obtidos com o detector FAST e descritor SIFT

13 utilizando a base Pulmão TABELA 119 Média ± Desvio padrão obtidos com o detector SIFT e descritor SURF utilizando a base Pulmão TABELA 120 Média ± Desvio padrão obtidos com o detector SURF e descritor SURF utilizando a base Pulmão TABELA 121 Média ± Desvio padrão obtidos com o detector ORB e descritor SURF utilizando a base Pulmão TABELA 122 Média ± Desvio padrão obtidos com o detector HARRIS e descritor SURF utilizando a base Pulmão TABELA 123 Média ± Desvio padrão obtidos com o detector FAST e descritor SURF utilizando a base Pulmão TABELA 124 Média ± Desvio padrão obtidos com o detector SIFT e descritor Fourier utilizando a base Pulmão TABELA 125 Média ± Desvio padrão obtidos com o detector SURF e descritor Fourier utilizando a base Pulmão TABELA 126 Média ± Desvio padrão obtidos com o detector ORB e descritor Fourier utilizando a base Pulmão TABELA 127 Média ± Desvio padrão obtidos com o detector HARRIS e descritor Fourier utilizando a base Pulmão TABELA 128 Média ± Desvio padrão obtidos com o detector FAST e descritor Fourier utilizando a base Pulmão TABELA 129 Média ± Desvio padrão obtidos com o detector SIFT e descritor LBP utilizando a base Pulmão TABELA 130 Média ± Desvio padrão obtidos com o detector SURF e descritor LBP utilizando a base Pulmão TABELA 131 Média ± Desvio padrão obtidos com o detector ORB e descritor LBP utilizando a base Pulmão TABELA 132 Média ± Desvio padrão obtidos com o detector HARRIS e descritor LBP utilizando a base Pulmão TABELA 133 Média ± Desvio padrão obtidos com o detector FAST e descritor LBP utilizando a base Pulmão TABELA 134 Média ± Desvio padrão obtidos com o detector SIFT e descritor Redes utilizando a base Pulmão TABELA 135 Média ± Desvio padrão obtidos com o detector SURF e descritor Redes utilizando a base Pulmão TABELA 136 Média ± Desvio padrão obtidos com o detector ORB e descritor Redes utilizando a base Pulmão TABELA 137 Média ± Desvio padrão obtidos com o detector HARRIS e descritor Redes utilizando a base Pulmão TABELA 138 Média ± Desvio padrão obtidos com o detector FAST e descritor Redes utilizando a base Pulmão

14 LISTA DE SIGLAS PCA BIC DoG FAST ORB LBP DFT LBOC BoVW OPF SVM NB MST Principal component analysis Border/Interior Classification Difference of Gaussians Features from Accelerated Segment Test Oriented FAST and Rotated BRIEF Local Binary Patterns Discrete Fourier Transform Local Bag-of-Colors Bag-of-Visual-Words Optimum-Path Forest Support Vector Machine Naive Bayes Minimum Spanning Tree

15 SUMÁRIO 1 INTRODUÇÃO JUSTIFICATIVA OBJETIVOS Objetivo Geral Objetivos Específicos FUNDAMENTAÇÃO TEÓRICA ANÁLISE DE SEMENTES Teste Tetrazólio em Sementes de Soja Trabalhos relacionados PROCESSAMENTO DIGITAL DE IMAGENS Detectores de pontos de interesse SIFT SURF FAST Harris Detector Descritores de imagens LBP Fourier BIC LBOC SIFT SURF Descrição de Imagens Utilizando Redes Complexas Bag-of-Visual-Words RECONHECIMENTO DE PADRÕES Métodos de aprendizado supervisionado Árvore de Decisão Support Vector Machine Naive Bayes Optimum-Path Forest Métodos de aprendizado não supervisionado k-means CONSIDERAÇÕES FINAIS MATERIAIS E MÉTODOS DESCRIÇÃO DAS BASES DE IMAGENS Base de imagens de sementes de soja submetidas ao teste tetrazólio Outras bases de bioimagens utilizadas METODOLOGIA PROPOSTA RESULTADOS E DISCUSSÕES CONCLUSÕES E TRABALHOS FUTUROS REFERÊNCIAS

16 Apêndice A -- RESULTADOS DA BASE DE SEMENTES Apêndice B -- RESULTADOS DA BASE DE SEMENTES Apêndice C -- RESULTADOS DA BASE SMEAR Apêndice D -- RESULTADOS DA BASE PULMÃO

17 16 1 INTRODUÇÃO Atualmente, o Brasil é o segundo maior produtor de soja do mundo. De acordo com o Acompanhamento da Safra Brasileira de Grãos, realizado pela Companhia Nacional de Abastecimento, a safra 2014/15 teve recorde na produção de soja com 96,2 milhões de toneladas, apresentando aumento de 10,4% na produção em relação à temporada anterior (ABASTECI- MENTO, 2015). Segundo o Ministério da Agricultura, Pecuária e Abastecimento, o complexo de soja (grão, farelo e óleo) é o principal movimentador do mercado cambial do Brasil, chegando a negociações anuais que ultrapassam US$ 20 bilhões (AGRICULTURA, 2005). Devido ao papel importante que a cultura da soja desempenha na economia nacional, vem-se buscando incrementar a sua produção por meio do aumento da área cultivada e da produtividade. Dentre os diversos fatores importantes para uma alta produtividade das lavouras de soja, a utilização de sementes de soja de alto vigor é primordial (NETO et al., 1998, 2012; VI- EIRA et al., 2004; COSTA et al., 2008; KOLCHINSKI et al., 2014, 2005; KRZYZANOWSKI; NETO, 2001; PINTO et al., 2007, 2009). Sementes de soja com alto vigor apresentam germinação mais rápida e resultam em plantas maiores e com maior produção de vagens e grãos. Entre os testes que realizam a análise do vigor das sementes de soja, o teste tetrazólio se destaca pelo número de informações fornecidas, pois além de avaliar o vigor das sementes e o potencial de germinação, ele também fornece as causas da redução do vigor do lote de sementes, e assim é possível tomar decisões que poderão aumentar o vigor daquele e/ou de outros lotes daquela lavoura. O teste tetrazólio atualmente é realizado de maneira individual, manual e por inspeção visual, com o seus resultados fortemente atrelados ao empirismo dos analistas de sementes. O presente trabalho objetiva o desenvolvimento de uma metodologia em que seja possível realizar a análise e a classificação do vigor de sementes de soja submetidas ao teste tetrazólio utilizando visão computacional, para que tal metodologia sirva de contraprova ao analista de sementes.

18 JUSTIFICATIVA Como mencionado anteriormente, o vigor da semente é um dos principais fatores para o sucesso de uma lavoura e os níveis de vigorosidade das sementes podem ser obtidos por meio do teste tetrazólio. Apesar do teste tetrazólio ser um teste simples, requerer recursos de baixo custo e resultar em uma boa avaliação das sementes, é um teste que exige muito estudo, treino, paciência e perspicácia, além de ocupar uma grande quantidade de horas do analista de sementes (NETO et al., 1998). Pela subjetividade do teste os resultados podem variar de analista para analista (HOFFMASTER et al., 2003) e os fatores apresentados contribuem com a possibilidade de uma análise inconsistente do vigor das sementes. Quando os testes de análise de sementes são demorados e/ou imprecisos as tomadas de decisões relativas à colheita, ao processamento, à armazenagem e à comercialização são afetadas, resultando em sérios prejuízos aos produtores de sementes (NETO et al., 1998). Com o desenvolvimento de uma metodologia de avaliação automática do vigor da sementes de soja por meio do teste tetrazólio utilizando métodos da área de visão computacional, a realização dos testes de tetrazólio serão otimizadas e a confiabilidade dos resultados será aumentada. 1.2 OBJETIVOS OBJETIVO GERAL Este trabalho objetiva propor um método de descrição de imagens com o principal intuito de de avaliar de maneira automática o vigor da semente de soja submetidas ao teste tetrazólio, porém extensível a outras aplicações OBJETIVOS ESPECÍFICOS Aquisição e organização de uma base de imagens de sementes de soja submetidas ao teste tetrazólio referentes aos seus níveis de vigor; Desenvolvimento de uma nova metodologia de descrição de imagens. Desenvolvimento de uma abordagem baseada em visão computacional que permita a análise das sementes com relação ao seu vigor, definindo os tipos de características mais ade-

19 18 quados para o contexto em questão e gerando como resultado o nível de vigorosidade da semente analisada;

20 19 2 FUNDAMENTAÇÃO TEÓRICA Neste Capítulo serão apresentados os conceitos importantes para o presente trabalho, como a análise de sementes, o teste tetrazólio e a metodologia Bag-of-Visual-Words, bem como suas etapas e as principais técnicas presentes na literatura para a realização de cada etapa. 2.1 ANÁLISE DE SEMENTES A necessidade de analisar e avaliar as sementes se tornou importante na Europa na segunda metade do século XIX, época em que a comercialização de sementes se intensificou (NOVEMBRE, 2001). Eram recorrentes os casos de adulteração nas vendas de sementes, boas sementes eram misturadas a sementes de menor valor comercial ou a outros objetos (e.g. areia misturada às sementes de trevo), e tais adulterações levavam a grandes perdas nas lavouras e prejuízos econômicos. Com o intuito de avaliar a qualidade das sementes foram criadas técnicas de análise de sementes, e para a regulamentação do comércio de sementes surgiram as Regras de Análise de Sementes. Em 1928, a Associação Internacional de Análise de Sementes (ISTA), publicou a sua primeira versão da Regras para a Análise de Sementes, tal versão vem sendo melhorada desde então. Atualmente o Ministério da Agricultura utiliza as regras adotadas pelo ISTA para a regulamentação da análise de sementes no Brasil, as regras garantem que as sementes comercializadas apresentem alto vigor. Sementes com alto vigor apresentam germinação mais rápida mesmo em condições de estresse e maior taxa de crescimento e produção de vagens e grãos (NETO et al., 2012). O uso de sementes vigorosas é primordial para o sucesso da lavoura (NETO et al., 1998, 2012; VIEIRA et al., 2004; COSTA et al., 2008; KOLCHINSKI et al., 2014, 2005; KRZYZANOWSKI; NETO, 2001; PINTO et al., 2007, 2009). As técnicas utilizadas atualmente para a análise de sementes são atividades realizadas em sua maioria de maneira individual, manual e por inspeção visual, estando fortemente

21 20 atrelada ao empirismo dos analistas de sementes. Tais técnicas apresentam ao menos duas limitações: resultados podem variar de analista para analista e os testes requerem muito tempo (HOFFMASTER et al., 2003). Quando os testes de análise de sementes são demorados e/ou imprecisos as tomadas de decisões relativas à colheita, ao processamento, à armazenagem e à comercialização são afetadas, resultando em sérios prejuízos aos produtores de sementes (NETO et al., 1998). Segundo Hoffmaster et al. (2003) e Dell Aquila (2007), tais problemas podem ser resolvidos por meio do uso de técnicas de processamento de imagens digitais aplicadas na análise das sementes TESTE TETRAZÓLIO EM SEMENTES DE SOJA Entre os testes de vigor de sementes, o teste tetrazólio se destaca pelo número de informações fornecidas. Além de avaliar o vigor das sementes e o potencial de germinação, ele fornece as causas da redução da qualidade do lote de sementes. O Brasil lidera o ranking de países que aplicam o teste tetrazólio a nível de rotina (NETO et al., 1998). O teste tetrazólio se fundamenta na redução do sal de tetrazólio (2,3,5 - Trifenil Cloreto de Tetrazólio) nos tecidos vivos, realizada pelas enzimas desidrogenas. Tais enzimas catalisam as reações respiratórias nas mitocôndrias durante a glicólise e o ciclo de Krebs. Quando ocorre a reação de redução do sal de tetrazólio é formado o composto trifenilformazan, que é vermelho, estável e não-difusível. Para a realização do teste tetrazólio é utilizada uma amostragem de 100 sementes (2 subamostras com 50 cada) do lote, que devem ser pré-condicionadas por 16 horas em temperatura de 25 o C ou por 6 horas em temperatura de 41 o C. Após, as sementes devem ser submersas a solução de sal de tetrazólio com concentração de 0,075% durante 150 a 180 minutos. Então as sementes são cortadas longitudinalmente através do eixo embrionário (Figura 1), analisadas e avaliadas. Após a a aplicação do teste tetrazólio o tecido vigoroso apresenta uma coloração vermelho carmim claro, tal coloração é a indicação positiva da viabilidade da semente por meio da identificação de respiração celular, o tecido em deterioração apresenta um vermelho mais intenso e o tecido morto apresenta a cor branca. Na Figura 2 pode-se visualizar exemplos de sementes submetidas ao teste tetrazólio, em que a coloração carmim claro uniforme indica sementes sem danos. O teste tetrazólio possibilita a identificação dos seguintes danos: Danos mecânicos: gerados por impactos físicos sofridos pelas sementes, podem acontecer

22 21 Figura 1: Corte longitudinal da semente de soja e suas estruturas embrionárias. Fonte: Adaptado de (NETO et al., 1998). Figura 2: Exemplo de sementes submetidas ao teste tetrazólio sem danos. Fonte: (COSTA et al., 2008). desde a colheita até a semeadura. São identificados por lesões de coloração vermelha escura (Figura 3). Danos por umidade: gerados por exposição das sementes a ciclos alternados de ambientes úmidos e secos. São identificados por lesões de coloração vermelho intensa ou branca nos cotilédones, na região oposta ao hilo e/ou sobre o eixo embrionário (Figura 4). Danos por percevejo: gerados devido a inoculação da levedura Nematospora coryli Peglion, quando o inseto se alimenta da semente de soja. São identificados por lesões circulares esbranquiçadas, às vezes esverdeadas, amareladas ou acinzentadas (Figura 5). As sementes são classificadas em nível de viabilidade de 1 ao 8, sendo 1 a semente que apresenta o mais alto vigor e 8 a semente que apresenta o vigor mais baixo. Tal viabilidade é dada de acordo com a localização e quais estruturas da semente o dano está afetando. A literatura apresenta os exemplos mais recorrentes na classificação do nível de viabilidade das sementes, alguns deles são explicados por Neto et al. (1998). Após a avaliação de todas as sementes selecionadas na amostragem, determina-se o

23 22 Figura 3: Exemplo de sementes submetidas ao teste tetrazólio que apresentam danos mecânicos. Fonte: (COSTA et al., 2008). Figura 4: Exemplo de sementes submetidas ao teste tetrazólio que apresentam danos por umidade. Fonte: (COSTA et al., 2008). Figura 5: Exemplo de sementes submetidas ao teste tetrazólio que apresentam danos por percevejo. Fonte: (COSTA et al., 2008). percentual de sementes classificadas em cada nível de viabilidade. O potencial de germinação do lote é determinado pelo somatório do percentual de sementes classificadas nos níveis de viabilidade 1 ao 5. O vigor do lote é determinado pelo somatório do percentual de sementes classificadas nos níveis de viabilidade 1 ao 3. A classificação do vigor do lote de sementes é realizada de acordo como apresentado por Neto et al. (1998): Vigor muito baixo: inferior ou igual a 49%. Vigor baixo: entre 50% e 59%. Vigor médio: entre 60% e 74%.

24 23 Vigor alto: entre 75% e 84%. Vigor muito alto: igual a 85% ou superior. Quanto ao percentual de sementes classificadas nos níveis 6 e 8 de viabilidade, se for inferior a 6% o lote é considerado sem restrições, se for entre 7% e 10% o lote é considerado com problemas sérios e se for superior a 10% o lote é considerado com problemas muito sérios. Entre as limitações do teste tetrazólio apresentadas por Neto et al. (1998), estão o alto nível de treinamento sobre estruturas embrionárias das sementes, experiência e senso crítico requeridos aos analistas de sementes, além de paciência e energia devido a estrutura do teste TRABALHOS RELACIONADOS Segundo Dell Aquila (2007), As perspectivas futuras dos analistas e pesquisadores de sementes concentram-se na introdução de um sistema de visão computacional nos laboratórios de sementes. Na literatura estão presentes diversos trabalhos que objetivam a identificação de danos nas sementes e avaliar o vigor das mesmas por meio de visão computacional. Ahmad et al. (1999), propôs a identificação de sementes de soja imaturas e com danos causados por fungos e vírus. Para a detecção e descrição das áreas danificadas foram utilizados a limiarização multinível e os valores dos canais de cor RGB, para a redução de dimensionalidade foi utilizado os coeficientes de correlação de Pearson. Hoffmaster et al. (2003), propôs uma metodologia para a análise automática do vigor das sementes de soja submetidas ao teste de germinação, em que as imagens são segmentadas e após são criadas representações binárias das plântulas, a classificação das plântulas em normais e anormais são realizada de acordo com a relação da área das caixa delimitadoras das partes das plântulas. Narvankar et al. (2009), analisou e classificou sementes de soja infestadas por fungos utilizando técnicas de visão computacional em imagens de raio-x das sementes. Foram utilizados os valores de máximo, mínimo, média, mediana, desvio padrão, variância e 7 características extraídas das matrizes de coocorrência de níveis de cinza (energia, homogeneidade, contraste, correlação, média, entropia e máxima entropia) nas orientações 0 o, 45 o, 90 o e 135 o para descrição das imagens e a técnica Principal component analysis (PCA) para a redução de dimensionalidade. A realização da análise automática do vigor de sementes de soja submetidas ao teste tetrazólio é pouco explorada na literatura. Santanna et al. (2014), propuseram analisar o vigor

25 24 das sementes de soja submetidas ao teste tetrazólio utilizando técnicas de visão computacional e recuperação por conteúdo. As características intrínsecas das imagens foram extraídas utilizando os descritores Border/Interior Classification (BIC), Histograma de Cor Global, Histograma de Cor Local, Histograma de Cor Acumulado, Quantized Compound Change Histogram e descritores de Haralick. Para a recuperação das imagens foi utilizada a técnica de k vizinhos mais próximos, com k sendo igual a 15. Os melhores resultados foram obtidos com o descritor BIC. O grande número de trabalhos na literatura e os crescentes esforços para a automatização da análise de sementes evidenciam as dificuldades encontradas na aplicação das metodologias tradicionais de análise de sementes.

26 PROCESSAMENTO DIGITAL DE IMAGENS A área de Processamento Digital de Imagens desperta expressivo interesse na área acadêmica e na área industrial pela sua vasta aplicação em quase todos os ramos da atividade humana (FILHO; NETO, 1999). O processamento digital de imagens tem como objetivos a melhoria da informação visual das imagens para a interpretação humana e a extração de informações intrínsecas das imagens para a percepção automática por meio de máquinas (GONZALEZ; WOODS, 2006), sendo o segundo objetivo denominado visão computacional. As etapas presentes em um sistema de visão computacional dependem do domínio do problema e objetivos a serem alcançados com tal sistema, porém existem etapas típicas encontradas na maioria dos sistemas de visão computacional, como: aquisição, pré-processamento, segmentação, extração de características e reconhecimento, todas essas etapas considerando o domínio do problema e a base de conhecimento. A etapa de aquisição das imagens pode ser realizadas por meio de câmera, scanner, raio-x, etc. A etapa de pré-processamento da imagem objetiva melhorar a qualidade da imagem, como realce de contraste, nivelamento do brilho, remoção de ruídos, etc. A etapa de segmentação tem como principal objetivo dividir a imagem em objetos de interesse. A etapa de extração de características objetiva extrair informações úteis da imagem, de modo que na etapa de reconhecimento seja possível realizar a distinção entre imagens de diferentes classes. Os métodos de extração de características podem ser classificados em globais e locais. Os descritores globais descrevem as imagens como um todo e os descritores locais descrevem regiões da imagem. Tais regiões podem ser definidas por meio de métodos de detecção de pontos de interesse DETECTORES DE PONTOS DE INTERESSE Pontos de interesse são partes das imagens que contém rica informação local (JIANG et al., 2010; YANG et al., 2007). Métodos de detecção de pontos de interesses procuram por padrões que se diferenciam da sua vizinhança na imagem e que podem ser facilmente rastreados e comparados (TUYTELAARS; MIKOLAJCZYK, 2008). Tais padrões são geralmente encontrados em: Linhas: região qual a intensidade mude abruptamente.

27 26 Cantos: intersecção entre duas linhas retas. Blob: região na qual os pixels são considerados similares e diferentes de sua vizinhança. São encontrados diversos outros detectores de pontos interesses na literatura. Entre os detectores de pontos de interesse, o mais simples é o de seleção randômica, em que os pontos são escolhidos aleatoriamente na imagem. Entretanto, por não ser considerada nenhuma informação para a seleção dos pontos tal método não apresenta bons pontos de interesse (AFONSO et al., 2012). A seguir, serão explanados outros métodos de detecção de pontos de interesse populares na literatura SIFT O método SIFT é o detector e descritor pontos de interesses mais popular na área de processamento digital de imagens (BHATTACHARYA; GAVRILOVA, 2013), sendo invariante a escala, rotação e parcialmente invariante a ponto de vista e iluminação. Segundo Lowe (2004), o método de detecção de pontos do SIFT é dividido em: Detecção de extremos, localização dos pontos de interesse e identificação da orientação. A detecção de extremos tem como objetivo detectar pontos de interesse que sejam estáveis em diferentes escalas e diferentes pontos de vista. Primeiramente é criado o espaço de escala da imagem, para isso a imagem é convolucionada com o filtro gaussiano. O espaço de escala da imagem é definido pela Equação 1. A utilização da função gaussiana tem como objetivo obter amostras das imagem em que detalhes indesejados e ruídos sejam eliminados e características fortes realçadas. L(x,y,σ) = G(x,y,σ) I(x,y), (1) onde I(x,y) é a imagem de entrada, é o operador de convolução e G(x,y,σ) é a função gaussiana, que é definida pela Equação 2. G(x,y,σ) = 1 2πσ 2 e (x2 +y 2 )/2σ 2 (2) Lowe (1999) propôs o método Difference of Gaussians (DoG) para a identificação de pontos de interesses, neste método é realizada a subtração entre imagens de escalas próximas separadas por uma constante k. DoG é uma aproximação da Laplacian of Gaussian com a escala normalizada, sendo definido pela Equação 3.

28 27 D(x,y,σ) = L(x,y,kσ) L(x,y,σ) (3) Na Figura 6 pode-se visualizar um exemplo da construção de D(x,y,σ). Dada uma imagem de entrada, esta imagem é convolucionada com filtros gaussianos produzindo imagens separadas pela constante k no espaço de escala. Considerando que a oitava será dividida por um valor inteiro s, então serão criadas s + 3 imagens convolucionadas por oitava e a contante k é definida por k = 2 1 s. As imagens convolucionadas são subtraídas de suas vizinhas de escala para a criação das imagens provenientes da DoG. Após cada oitava, a imagem gaussiana é remostrada com o dobro do valor inicial de σ e o processo é repetido na nova oitava. - - Escalas - - Oitavas Figura 6: Exemplo de construção de D(x,y,σ). Fonte: Autoria própria. Para detectar os máximos e mínimos de D(x,y,σ), cada pixel (ponto alvo) é comparado aos seus outros vizinhos locais e aos seus nove vizinhos das escalas acima e abaixo (conforme a Figura 7). Se o ponto alvo tiver valor menor ou maior que todos os seus vizinhos ele é selecionado como um possível ponto de interesse. Os pontos candidatos a serem pontos de interesse são analisados, pontos que apresentam baixo contraste ou má localização aos longo das bordas são rejeitados. Para se obter o reconhecimento dos pontos mais estáveis é utilizada a abordagem proposta por Brown e Lowe (2002), em que é realizado o ajuste de uma função quadrática 3D para determinar a localização interpolada do ponto máximo (Figura 8). Para encontrar a localização interpolada do ponto máximo é utilizada a expansão de Taylor da função D(x,y,σ) transladada, com a origem desta expansão no ponto candidato, definida pela Equação 4.

29 28 Figura 7: Detecção dos máximos e mínimos da DoG. O pixel alvo (marcado com x) é comparado com os pixeis vizinhos (marcado com círculos). Fonte: Adaptado de (LOWE, 2004). Figura 8: Exemplo de interpolação utilizando os pontos candidatos. Fonte: (AFONSO, 2013). D(x) = D + DT x x xt 2 D x 2 x (4) D e suas derivadas são avaliadas no ponto candidato e x = (x,y,σ) T define o deslocamento a partir do ponto. A localização do extremo ( ˆx) é obtida com a derivada desta função se igualando a zero, conforme definido na Equação 5. ˆx = 2 1 D D x 2 x (5) O valor da função do extremo, D( ˆx), é utilizada para rejeitar extremos instáveis. Realizando a substituição da Equação 4 na Equação 5 obtemos a Equação 6. D( ˆx) = D + 1 D T ˆx (6) 2 x Assumindo que os pixels da imagem estejam no intervalo entre 0 e 1, Lowe (2004)

30 29 sugere que sejam rejeitados os extremos que apresentarem os valores de D( ˆx) inferiores a Para analisar a localização ao longo das bordas são analisadas as curvaturas principais, uma grande curvatura principal através da borda mas pequena na direção perpendicular é sinônimo de um pico mal formado na DoG. Tais curvaturas são calculadas a partir de uma matriz hessiana de dimensões 2x2, computada na localização e escala do ponto candidato (Equação 7). H = [ Dxx D xy D xy D yy ] (7) Tal procedimento tem como objetivo mensurar a razão entre as curvaturas principais. Os autovalores da matriz hessiana são proporcionais as curvaturas principais de D. Sendo α e β os autovalores com maior e menor magnitude, respectivamente, é computado a soma dos autovalores pelo traço e o produto pela determinante da matriz hessiana (Equações 8 e 9). Caso a determinante seja negativa o ponto candidato é rejeitado. Tr(H) = D xx + D yy = α + β (8) Det(H) = D xx D yy (D xy ) 2 = αβ (9) Considerando que α = rβ e r é a razão entre os autovalores de maior e menor magnitude, tem-se a igualdade definida pela Equação 10. Tr(H) 2 (α + β)2 (rβ + β)2 (r + 1)2 = = Det(H) αβ rβ 2 = r (10) Analisando a Equação 11 é possível conferir se a razão entre as curvaturas principais é menor que determinado limiar r, assim os pontos candidatos que tiverem a razão entre as curvaturas principais maiores que o limiar r são rejeitados. Lowe (2004) sugere que o valor de r seja igual a 10. Tr(H) 2 (r + 1)2 < Det(H) r (11) Na Figura 9 pode-se visualizar um exemplo do processo de seleção de pontos estáveis. Um ponto de interesse com a orientação bem definida e descrito por essa orientação se torna invariante a rotação (LOWE, 2004). Assim, a próxima etapa é definição da orientação

31 30 Figura 9: Exemplo do processo de seleção de pontos de interesse. (a) Imagem original. (b) Os iniciais 832 pontos candidatos máximos e mínimos da função DoG. (c) Os 729 pontos candidatos selecionados após a aplicação do limiar de mínimo contraste. (d) Os 536 pontos candidatos selecionados após a seleção de acordo com razão das curvaturas principais. Fonte: (LOWE, 2004). dos pontos de interesses. Para cada pixel da imagem é calculada a magnitude do gradiente e a orientação. Para cada ponto candidato é criado um histograma de orientações contendo 36 bins, tais bins abrangem os 360 graus de possíveis orientações. Cada amostra adicionada no histograma é ponderada pelo valor da magnitude do gradiente e por um janela gaussiana com 1.5σ da escala em que o ponto candidato está localizado. O bin com maior valor e os bins locais que apresentem o valor de no mínimo 80% do maior valor são utilizados para a criação do ponto de interesse com tais orientações. Após, os três valores mais próximos dos bins selecionados são interpolados, para se obter uma melhor precisão SURF O método SURF objetiva detectar e descrever os pontos de interesse de uma imagem com rapidez. Proposto por Bay et al. (2008), o método se destaca pelos bons resultados e baixo custo computacional, sendo invariante a escala e rotação. O detector de pontos de interesse SURF é baseado na matriz hessiana. Considerando o ponto x = (x,y) da imagem I, a matriz hessiana em x na escala σ é definida pela Equação 12. [ Lxx (x,σ) L xy (x,σ) H = L xy (x,σ) L yy (x,σ) ] (12)

32 31 Sendo L xx (x,σ) e L xy (x,σ) definidos pelas Equações 13 e 14, em que a imagem no ponto x é convolucionada com a derivada gaussiana de segunda ordem. L xx (x,σ) = I(x) 2 g(σ) (13) x2 L xy (x,σ) = I(x) 2 g(σ) (14) xy As derivadas gaussianas de segunda ordem são recortada e discretizada e após são aproximadas em filtros de caixa. Na Figura 10 pode-se visualizar as derivadas de segunda ordem recortadas e discretizadas e suas aproximações com σ = 1.2. Figura 10: Derivadas de segunda ordem recortadas e discretizadas e suas aproximações (as áreas cinzas são iguais a 0). (a) Derivada de segunda ordem recortada e discretizada em y (L yy ). (b) Aproximação da derivada de segunda ordem em y (D yy ). (c) Derivada de segunda ordem recortada e discretizada em xy (L xy ). (d) Aproximação da derivada de segunda ordem em xy (D xy ). Fonte: Adaptado de (BAY et al., 2008). Para assegurar a conservação da energia das gaussianas após as aproximações a determinante deve ser ponderada por uma constante w, conforme definido pela Equação 15. Bay et al. (2008) sugerem que seja utilizado o valor 9 para a constante w. Det(H) = D xx D yy (wd xy ) 2 (15) Com o intuito de garantir a rapidez e o baixo custo computacional do método, ao invés de variar o tamanho da imagem para analisar a imagem em diferentes escalas, como o SIFT, o SURF varia o tamanho dos núcleos de convolução, considerando o conceito de oitavas, i.e., o mesmo núcleo é aplicado com tamanhos diferentes na imagem, que se mantêm no seu tamanho original. Além da utilização de imagens integrais para realizar as somas dos valores dos pixels

33 32 e multiplicá-los pelas posições correspondente no núcleo de convolução. Proposto por Viola e Jones (2001), as imagens integrais são representações intermediárias das imagens. Considerando a imagem I, a imagem integral de I(x,y) será a soma dos valores do pixels localizados acima e à esquerda de I(x, y), inclusive o valor de I(x, y) (Equação 16). Na Figura 11 pode-se visualizar um exemplo da formação da imagem integral. ii(x,y) = I(x,y ) (16) x x,y y Figura 11: Exemplo da formação da imagem integral. O valor da imagem integral na localização do ponto 1 é a soma dos pixels no retângulo A, na localização do ponto 2 é a soma dos pixels presentes em A+B, na localização do ponto 3 é a soma dos pixels presentes em A+C e na localização do ponto 4 é a soma dos pixels presentes em A+B+C+D. Fonte: (VIOLA; JONES, 2001). Após a convolução da imagem em diferentes oitavas, são realizadas as localizações dos máximos e mínimos, como descrito na Seção Para selecionar apenas os pontos de interesse mais estáveis e representativos é aplicado o método proposto por Brown e Lowe (2002) como explanado na Seção FAST O método de detecção de pontos de interesse Features from Accelerated Segment Test (FAST) tem como principal proposta ser mais rápido que outros métodos conhecidos na literatura, e.g. SIFT e SURF, sem sacrificar a eficiência (ROSTEN; DRUMMOND, 2006). Sendo o pixel p candidato a ser selecionado como ponto de interesse, I p a intensidade do pixel p, t um valor de threshold e a vizinhança de um círculo de 16 pixels de raio 3 ao redor do pixel p. O pixel p é classificado como ponto de interesse se um conjunto de 12 pixels contíguos no círculo tiverem intensidade maior que I p + t ou menor que I p t. Para melhorar o desempenho, primeiramente são testados apenas os pixels 1 e 9 e depois 3 e 15, ao menos

34 33 3 destes pixels devem ter a intensidade maior que I p + t ou menor que I p t para então serem testados os outros pixels da vizinhança de p e a verificação da existência do conjunto de 12 pixels contíguos no círculo, conforme a Figura 12. Figura 12: Detecção de pontos de interesse com o método FAST. Sendo p o pixel candidato, os pixels em destaque os vizinhos de p e o tracejado definindo o conjunto dos 12 pixels contíguos com a intensidade maior que a intensidade do pixel p mais o valor definido para o threshold t ou menor pixel p menos o valor definido para o threshold t. Fonte: (ROSTEN; DRUMMOND, 2006). Para a melhoria do algoritmo FAST, é introduzida uma abordagem de aprendizado de máquina que apresenta duas etapas. Na primeira etapa, é aplicada a detecção de pontos de interesse FAST explanada anteriormente, em que é extraído um círculo de 16 pixels ao comparado os valores das intensidades dos pixels com um limiar. Para o pixel candidato p, cada localização no círculo x {1,2,...,16} pode ser denotado por p x. Assim, cada pixel pertencente p x, deve estar em um estado (S p x ) como definido na Equação 17. d, I p x I p t (Mais escuro) S p x = s, I p t < I p x < I p +t (Similar) b, I p +t I p x (Mais claro) (17) Sendo P um conjunto de todos os pixels das imagens de treinamento. Escolhendo um candidato x, o conjunto P é divido nos subconjuntos P d, P s e P b. O subconjunto P d é composto por todos os pixels em que x é mais escuro que o pixel central menos limiar, o subconjunto P b é composto por todos os pixels em que x é mais brilhante que o pixel central mais o limiar e o subconjunto P s é composto por todos os pixels em que x é similar ao pixel central. Na segunda etapa é aplicado o algoritmo ID3, um algoritmo de árvore de decisão, objetivando selecionar o x que produz o maior ganho de informação medido pela entropia de k p, sendo k p uma variável booleana que é verdadeira se o pixel candidato p é um canto e falso se não for. Para um conjunto de pixels Q, a entropia total é definida como na Equação 18.

35 34 H(Q) = (c + c)log 2 (c + c) c log 2 c c log 2 c, (18) onde c = {p k p é verdadeiro} e c = {p k p é falso}. O ganho de informação é definido pela Equação 19. H g = H(P) H(P b ) H(P s ) H(P d ) (19) A minimização da entropia é aplicada recursivamente nos três subconjuntos, até que a entropia do subconjunto seja igual a zero. A árvore de decisão criada é convertida em código C, criando uma longa sequência de instruções de if-else e sendo usada como o detector de cantos. Após a detecção dos pontos de interesse é aplicada a supressão não máxima com o objetivo de eliminar o problema de detecção de pontos adjacente um ao outro. Para cada ponto de interesse detectado é calculado uma pontuação, que é definida pela somatória da diferença absoluta entre os pixels pertencentes no círculo da vizinhança do ponto de interesse e o pixel central. Tendo dois pontos de interesse adjacentes, as suas pontuações são comparadas e o que tiver o menor valor é descartado. O método FAST apresenta bons resultados e utiliza pouco recursos computacionais mas não é invariante a orientação, o método Oriented FAST and Rotated BRIEF (ORB) utiliza o detector de cantos Harris para qualificar os pontos de interesse detectados com o FAST e refina a orientação de tais pontos com o método Rosin (ROSIN, 1999) com os centróides de intensidade, sendo tais etapas realizadas em cada nível de uma pirâmide da imagem escalonada com um fator de 1.4 (RUBLEE et al., 2011; KRIG, 2014) HARRIS DETECTOR Proposto por Harris e Stephens (1988), o método de detector de cantos Harris foi proposto como melhoria para o método detector de cantos de Moravec s, utilizando o diferencial da pontuação do canto em relação à direção em vez de usar patches deslocados. Em primeiro momento é utilizada a soma do quadrado das diferenças em uma janela para detecção de variações no gradiente da imagem, considerando uma imagem I, uma área da imagem (u,v) e desloca-lá para (x,y), a soma do quadrado das diferenças é definida pela Equação 20.

36 35 E(x,y) = u w(u,v)(i(u + x,v + y) I(u,v)) 2 (20) v Para maximizar E(x, y) é utilizada a expansão de Taylor. Após a aplicação da expansão de Taylor e alguns passos matemáticos a Equação fica como definida na Equação 21. E(x,y) [x,y]m x, (21) y onde: M = u v w(u, v) I2 x I xy I xy I 2 y = I2 x I xy (22) I xy Iy 2 Após, é criada uma medida de qualidade de cantos para a realização da seleção de pixels de cantos. Tal medida de qualidade definida em termos dos autovalores de M é definida na Equação 23. R = Det(M) k(tr(m)) 2, (23) onde: Det(M) = λ 1 λ 2 Tr(M) = λ 1 + λ 2 λ 1 e λ 2 são os autovalores de M. Se R é um valor baixo a região é plana, se R < 0 a região é uma linha e se R é um valor alto a região é um canto DESCRITORES DE IMAGENS A descrição de imagens é a etapa que descreve as informações intrísecas das imagens em informações quantitativas de interesse que melhor diferenciem a imagem de uma classe das imagens de outras classes.

37 LBP Proposto por Ojala et al. (1996), o método Local Binary Patterns (LBP) é baseado na ideia de que as texturas podem ser descritas por padrões espaciais locais e o contraste dos níveis de cinza. Considerando um pixel na imagem, o código LBP desse pixel é criado da comparação da sua intensidade com o valor das intensidades dos pixels que compõem a sua vizinhaça de tamanho 3x3, se a intensidade do pixel central for maior ou igual a intensidade do pixel vizinho é adicionado ao código o número 1, caso seja menor é adicionado o número 0. Tal comparação é iniciada do vizinho superior esquerdo do pixel central e realizada no sentido horário. O valor decimal correspondente do número binário gerado é utilizada como descrição do pixel central (HUANG et al., 2011). A visão geral da criação do padrão binário no método LBP pode ser visualizada na Figura Binário: Decimal: 19 Figura 13: Criação do padrão binário com o método LBP. Fonte: Autoria própria. Então, é criado um histograma com os valores obtidos. Como a vizinhança consiste em 8 pixels, é possível obter 2 8 padrões binários, i.e, o histograma criado é de tamanho 256 (PIETIKÄINEN et al., 2011) FOURIER O descritor Fourier é utilizado em processamento de imagens para a análise de textura das imagens. Com a Discrete Fourier Transform (DFT) a imagem é decomposta em seus senos e cossenos, i.e., a imagem é transformada do domínio espacial para o domínio de frequência (AZENCOTT et al., 1997). Tendo uma imagem de tamanho MxN a DFT bidimensional é dada pela Equação 24, sendo f o valor da imagem no domínio espacial, F no domínio da frequência e i = 1.

38 37 F(u,v) = M 1 x=0 N 1 ux i2π( f (x,y)e M + vy N ) (24) y=0 A transformada de fourier resulta em número complexos, i.e., composta por uma parte real e uma parta imaginária ou por magnitude e fase (GONZALEZ; WOODS, 2006). A magnitude é definida como na Equação 25. M(u,v) = [R 2 (u,v) + I 2 (u,v)] 1 2 (25) A magnitude é melhor interpretada se a origem for movida para o meio do período ( M 2, N 2 ). Após a operação de deslocamento o espectro bidimensional do Fourier é dividido em 64 setores radiais com oito de distância radial do centro e oito ângulos. O vetor de características produzido com o descritor de Fourier é de tamanho 64, composto pela soma dos valores absolutos de aspectros em cada setor BIC Proposto por Stehling et al. (2002), o descritor BIC classifica os pixels que compõem a imagem como pixels de borda e pixels de interior, utilizando o espaço de cor RGB quantizado em 64 cores. O pixel é classificado como pixel de interior se os seus 4 vizinhos (superior, inferior, esquerda e direita) tiverem a mesma cor quantizada que ele, caso contrário o pixel será classificado como pixel de borda. Após a classificação dos pixels são computados um histograma de cor considerando apenas os pixels de borda e outro histograma considerando apenas os pixels de interior. Ao final os dois histogramas são concatenados, sendo a representação das características extraídas com o descritor BIC LBOC Proposto por Wengert et al. (2011), o método de descrição Local Bag-of-Colors (LBOC) é utilizado após a aplicação de um detector de pontos de interesse, preferencialmente após a aplicação do detector de pontos de interesse SIFT, e da vizinhança representativa do ponto de interesse é extraída a cor de maior ocorrência, gerando um vetor de características de 3 dimensões para cada ponto de interesse. Esse método propicia uma rica combinação entre as propriedades cor e textura das

39 38 imagens (WENGERT et al., 2011). Wengert et al. (2011) sugere que as imagens estejam no espaço de cor CIE-Lab, por ser um espaço de cor uniforme definido de modo que a distância euclidiana entre duas cores é proporcional a distância visual (XU et al., 1999) SIFT O método de descrição SIFT, é geralmente utilizado após a detecção de pontos de interesse. Assim, cada ponto de interesse é descrito por um vetor de características de 128 dimensões. Na Figura 14 pode se visualizar o processo de descrição dos pontos de interesse. Para manter o método invariante a rotação, as coordenadas do descritor e as orientações dos gradientes são rotacionadas para a mesma orientação do ponto de interesse que será descrito. Uma janela é definida ao redor do ponto de interesse com nxn regiões com kxk pixels cada, Lowe (2004) sugere que seja utilizado o valor de 4 para n e k. A imagem é desfocada com a função gaussiana utilizando a mesma escala em que o ponto de interesse se encontra. Então, são computadas as magnitudes dos gradientes e as orientações dos pixels que estão no interior da janela formada, tais magnitudes são ponderadas por uma função gaussiana com o valor de σ sendo igual a metade da largura da janela. São criados histogramas das magnitudes em oito orientações para cada região n. O vetor de características então é formado pela concatenação de tais histogramas. A fim de que o descritor seja invariante a iluminação, o vetor de características é normalizado SURF O método de descrição SURF é geralmente utilizado após a detecção de pontos de interesse. Assim, cada ponto de interesse é descrito por um vetor de características de 64 dimensões. Para que o método seja invariante a rotação, é necessário que seja atribuída a mesma orientação dos vizinhos do ponto de interesse ao descritor. Para a atribuição da orientação, é criada uma janela circular de raio 6s ao redor do ponto de interesse, considerando s a escala em que se encontra o ponto de interesse. A área desta janela é convolucionada com dois núcleos de tamanho 4s, que podem ser visualizados na Figura 15. As respostas obtidas são ponderadas com uma função gaussiana (σ = 2s) centrada na localização do ponto de interesse. Para cada pixel presente na área da janela são obtidas respostas no eixo x e no eixo y, tais valores são representados como pontos do espaço, com a resposta do eixo x ao longo da abscissa e a resposta do eixo y ao longo da ordenada. Considerando uma janela deslizante

40 39 Figura 14: Exemplo de descrição dos pontos de interesse. (a) Rotação das coordenadas do descritor e as orientações dos gradientes para a mesma orientação do ponto de interesse. (b) Desfocagem da imagem com a função gaussiana e definição da janela a ser usada pelo descritor. (c) Computação e ponderação das magnitudes dos gradientes e criação do histograma de magnitudes em oito orientações (representados como o comprimento das setas). (d) Criação e normalização do vetor de características pela concatenação dos histogramas. Fonte: Adaptado de (SOARES, 2012). Figura 15: Núcleos de convolução Haar Wavelet que computam respostas na direção x e na direção y, respectivamente. A área preta tem peso -1 e a área branca tem peso +1. Fonte: (BAY et al., 2008). de tamanho π 3, para cada área que janela cobrir os pontos presentes serão contados, a área que apresentar maior número de pontos define a orientação dominante. Na Figura 16 pode-se visualizar um exemplo do processo de atribuição de orientação. Após a atribuição da orientação, é criada uma janela de tamanho 20s ao redor do ponto de interesse. Tal janela é dividida de modo que se obtenha 16 sub-janelas. Os núcleos de convolução (Figura 15) são aplicados nas sub-janelas com os eixos alinhados a orientação atribuída. As respostas obtidas da convolução são ponderadas com a função gaussiana (σ = 3.3s) centrada no ponto de interesse. Assim, para cada sub-janela é obtido um vetor de características contendo:

41 40 Figura 16: Definição da orientação dominante ao redor do ponto de interesse. Os pontos são as respostas obtidas após a convolução, a área em azul é a janela deslizante e a seta vermelha é a orientação dominante. Fonte: Adaptado de (FREITAS, 2015). d x : a soma dos valores variantes na direção do eixo x. d y : a soma dos valores variantes na direção do eixo y d x : módulo de d x. d y : módulo de d y. A Figura 17 ilustra o processo de descrição do ponto de interesse após a atribuição da sua orientação. Os vetores de cada sub-janela são concatenados gerando um vetor de características de 64 dimensões para cada ponto de interesse detectado. Figura 17: Processo de descrição do ponto de interesse. Primeiramente a janela criada de tamanho 20s é dividida em 16 sub-janelas e para cada sub-janela é aplicado os núcleos de convolução alinhados a orientação atribuída. Para cada região são obtidas as somas de d x, d y, d y, d x. Fonte: (BAY et al., 2008) DESCRIÇÃO DE IMAGENS UTILIZANDO REDES COMPLEXAS A utilização da teoria de Redes Complexas para a descrição de imagens tem se mostrado altamente relevante e muitos trabalhos com a utilização de redes complexas para a análise

42 41 de textura das imagens têm surgido (LIMA et al., 2015; BACKES et al., 2013, 2010; COUTO et al., 2015). Redes complexas são grafos que apresentam uma estrutura não trivial e podem ser modeladas para a resolução de problemas específicos (BARABÁSI, 2003). Um grafo é composto por vértices que são interligados por meio de arestas (NEWMAN, 2003). Considerando um grafo G = (V,E), tal que os elementos de V são os vértices e os elementos de E são as arestas do grafo. Um vértice V é incidente a uma aresta se V E, dois vértices são adjacentes se eles são incidentes da mesma aresta. Um grafo pode ser ponderado, quando é associado um valor a cada uma de suas arestas, geralmente denominado peso da aresta. Se existem duas arestas incidentes do mesmo vértice, orientado ou não orientado, entre outras propriedades, a estrutura é denominada multigrafo (BOCCALETTI et al., 2006). A utilização das redes complexas para a descrição de imagens usualmente possui duas etapas: a modelagem das imagens como grafos e a extração de medidas dessa rede. Para a modelagem da imagem em rede complexa, cada pixel da imagem passa a corresponder a um vértice do grafo. Para a construção das conexões entre os vértices é adotado o método de construção de adjacência de lattice conectada por raio, em que são conectados todos os vértices que representam os pixels vizinhos que estão dentro de um raio r. Esse método facilita a relação de afinidade local por meio de diferentes regiões (CASANOVA, 2013). Se a distância euclidiana entre os dois pixels p = (x,y) P e p = (x,y ) P for menor ou igual que r, os dois vértices correspondentes aos pixels em questão são conectados por uma aresta. Para cada aresta e E do grafo G é associado um peso, que é calculado através das coordenadas dos dois pixels que formaram a aresta, suas respectivas intensidades, o raio utilizado para a criação das arestas e o maior valor de intensidade presente na imagem (L), como visto na Equação 26. Os pesos das arestas estão presentes entre o intervalo de 0 e 1. d(e) = (x x ) 2 + (y y ) 2 + r 2 (I(x,y) I(x,y ) L r 2 + r 2 (26) Para a análise comportamental do grafo é realizada a análise de subgrafos derivados, um conjunto de limiares T = [t 1,t 2,...,t L ] é aplicado no grafo e para cada limiar t é obtido um novo subgrafo do grafo original. Tal limiar t é aplicado no conjunto de arestas do grafo e se a aresta tiver o peso menor ou igual ao limiar t ela é mantida no subgrafo. Para a etapa de extração de medidas, existem alguns conjuntos de medidas propostas na literatura. Backes et al. (2013) propuseram a utilização de estatísticas de primeira ordem para a descrição da rede. Tendo um histograma de conectividade da rede, é computada a função

43 42 densidade probabilidade para cada bin do histograma. Assim, são utilizados para a descrição da rede o contraste, a energia e a entropia da função de densidade probabilidade do histograma de conectividade da rede. Também há as medidas propostas por Lima et al. (2015), que são: - Grau médio: o grau médio é a soma do número de arestas divida pelo número de vértices do grafo. - Histograma de conectividade: o histograma de conectividade p(φ) computa quantos vértices existem com grau φ. - Caminho mínimo médio: o caminho mínimo médio é a média de todos os caminho mínimos dos pares de nós da rede (BOCCALETTI et al., 2006). - Centralidade média: a centralidade média é dada pela proporção das centralidades de intermediação dos nós da rede pelo número total de nós. A medida de centralidade de intermediação de um nó tem como objetivo quantificar a importância de cada nó para os caminhos mínimos rede (BOCCALETTI et al., 2006). A centralidade de intermediação é definida pela Equação 27, sendo n jk o caminho mínimo entre os vértices j e k e n jk (i) o caminho mínimo entre os vértices j e k que passa por i. b i = n jk (i) (27) j,k, j k n jk - Transitividade: a transitividade é a probabilidade média da rede de que se o vértice i e o vértice j estão conectados ao vértice k, eles também estarão conectados entre si. - Número de Comunidades: define o número de subgrafos da rede em que os vértices estão fortemente conectados, i.e., todos os nós do subgrafo estão conectados entre si. - Motifs: quantifica os motifs que aparecem na rede. Motifs são pequenos padrões de interconexões que ocorrem em um grafo com uma frequência significamente maior do que o esperado em sua versão randômica (KONAGURTHU; LESK, 2008). O grau de significância de um motif é dado pelo Z-score (Equação 28). Z M = n M < n rand M > σ rand n M, (28) onde n M é quantas vezes o motif M apareceu no grafo e o n rand M e σ n rand M são a média e o desvio padrão do número de vezes que o motif M apareceu na rede aleatória, respectivamente.

44 BAG-OF-VISUAL-WORDS O método Bag-of-Visual-Words (BoVW), proposto por Csurka et al. (2004), é inspirado no método Bag-of-Words da área de categorização de textos, em que um documento é classificado de acordo com a sua frequência de palavras. Em BoVW uma imagem é classificada de acordo com a sua frequência de palavras visuais. O método BoVW têm recebido crescente atenção da comunidade de processamento de imagens e visão computacional. É um método simples, flexível, robusto e com baixo custo computacional. Se apresenta invariante a escala, rotação e translação e parcialmente invariante a ruído, iluminação, ponto de vista, oclusão e clutter. Resumidamente, em BoVW os pontos de interesses são detectados e descritos, as descrições de tais pontos são agrupadas para a construção do vocabulário de palavras visuais. Uma vez o vocabulário de palavras visuais construído, para cada imagem do conjunto de teste é gerado um histograma de palavras visuais, i. e., um vetor de características com a frequência de cada palavra visual da imagem. Tal histograma é utilizado como vetor de características da imagem para a classificação e/ou recuperação da mesma. As principais etapas a serem realizadas em BoVW são: 1. Fase de Treinamento: (a) Detecção dos pontos característicos das imagens de treinamento. (b) Descrição de cada ponto. (c) Agrupamento dos descritores para a geração do vocabulário de palavras, composto por palavras visuais. 2. Fase de Teste: (a) Detecção dos pontos característicos das imagens de teste. (b) Descrição de cada ponto. (c) Representação de cada imagem de teste como um histograma de palavras visuais do vocabulário. A visão geral do método BoVW pode ser visualizada na Figura 18. Para a realização da etapa de detecção e descrição dos pontos de interesse existem diversos métodos literatura, como os explanados Seção

45 44 Conjunto de treinamento Detecção dos pontos de interesse Agrupamento Criação do dicionário de palavras Descrição dos pontos de interesse {10,23,123,13,...} Conjunto de teste Detecção dos pontos de interesse Criação dos histogramas do conjunto de teste {8,129,0,92,...} Descrição dos pontos de interesse Treinamento Teste? Resultado Figura 18: Visão geral do método BoVW. Dadas as imagens de treinamento, os seus pontos de interesse são detectados e descritos. Tais descrições são submetidas a técnicas de agrupamento para a criação do vocabulário de palavras visuais. Dadas as imagens de teste, são gerados os seus histogramas de frequência das palavras visuais de acordo com o vocabulário de palavras visuais. Fonte: Autoria própria. A etapa de construção do vocabulário de palavras é primordial no método BoVW (TIAN et al., 2011). Por meio do vocabulário de palavras que serão gerados os histogramas de palavras visuais, que são as representações do método BoVW, que serão usados para a classificação ou recuperação das imagens. Esta etapa objetiva selecionar as k amostras mais representativas de um dado problema, a partir de um conjunto de exemplos de treinamento. Cada amostra é uma palavra visual e o conjunto de palavras visuais é o vocabulário de palavras visuais. Existem abordagens na literatura exploradas para a criação do vocabulário de palavras visuais. A abordagem de seleção aleatória é a mais simples, em que as palavras visuais que

46 45 irão compor o dicionário de palavras visuais são escolhidas aleatoriamente. Apesar da rapidez, tal abordagem em geral não apresenta bons resultados, devido a não ser considerada nenhuma informação para a seleção das palavras visuais ou análise para a definição se as palavras visuais selecionadas são ou não discriminativas. A criação do vocabulário de palavras visuais utilizando o método de aprendizado não supervisionado k-means é a abordagem mais comumente utilizada (CHATFIELD VIC- TOR LEMPITSKY; ZISSERMAN, 2011). Nesta abordagem, os descritores das imagens são agrupados em k grupos com o algoritmo k-means e, ao final do agrupamento, cada centróide gerado corresponde a uma palavra visual do vocabulário de palavras (PERRONNIN et al., 2006; MUKHERJEE et al., 2014; CSURKA et al., 2004; LI et al., 2011; TIRILLY et al., 2008). As abordagens de seleção aleatória e k-means necessitam que seja definido o tamanho do dicionário que será criado. Não existe um consenso sobre o tamanho ideal do vocabulário de palavras visuais (YANG et al., 2007). Segundo Csurka et al. (2004), o vocabulário deve ser grande o bastante para seja possível realizar a distinção entre as partes das imagens, mas não deve ser tão grande a ponto de que seja possível realizar a distinção de partes irrelevantes das imagens (e.g. ruídos). Na literatura estão presentes muitos trabalhos que definem o tamanho do vocabulário de palavras de modo empírico. Afonso et al. (2012) propuseram a utilização do método de aprendizado não supervisionado Optimum-Path Forest (OPF) para a criação do vocabulário de palavras. Esta metodologia encontra o melhor tamanho de dicionário de palavras visuais automaticamente. Após a criação do vocabulário de palavras visuais das imagens, são gerados os histogramas de palavras visuais das imagens do conjunto de teste. Dada uma imagem I, os pontos dessa imagem são extraídos e descritos. Para cada descrição da imagem é calculada a sua distância com cada palavra visual do vocabulário de palavras visuais. A palavra visual que apresentar a menor distância terá o bin que a representa no histograma de palavras visuais incrementado uma unidade. O histograma de palavra visual é definido pela frequência de cada palavras visual do vocabulário de palavras visuais na imagem. Tal histograma é a representação final da imagem, sendo utilizado para a sua classificação ou recuperação. 2.3 RECONHECIMENTO DE PADRÕES O reconhecimento de padrões é a área que estuda como máquinas podem observar o ambiente, distinguir padrões de interesse e realizar decisões razoáveis (JAIN et al., 2000). Segundo Mitchell (1997a), um software aprende com experiências de determinadas classes de

47 46 tarefas, i.e, o aprendizado ocorre por meio de um conjunto de exemplos de um determinado problema. Um conjunto de exemplos é composto por exemplos contendo valores de atributos dispostos em forma de vetor, onde os atributos descrevem características ou aspectos do exemplo. Em alguns casos, o vetor de características contém na sua última posição o rótulo da classe do exemplo. As classes descrevem o que se deseja aprender e para fazer previsões a respeito. Segundo Jain (2010), as tarefas de reconhecimento de padrões em geral apresentam três tipos de aprendizagem: Supervisionada: As amostras de treinamento apresentam rótulos de suas classe. Não supervisionada: As amostras não apresentam rótulos. Semi-supervisionada: Uma pequena parte das amostras de treinamento apresentam rótulos de suas classes. Existem duas abordagens principais em métodos de aprendizado semi-supervisionado. Na primeira abordagem as amostras rotuladas são utilizadas para a criação de restrições de pares para a aplicação de métodos de aprendizado não supervisionado, tais restrições são: mustlink, que exige que as duas amostras devem serem atribuídas ao mesmo grupo, e cannot-link, que exige que as amostras não podem pertencer ao mesmo grupo (JAIN, 2010). Na segunda abordagem são utilizadas as informações contidas nas amostras rotuladas e não rotuladas para a construção do modelo nos métodos de aprendizado supervisionado, utilizada principalmente quando não é possível obter um grande número de amostras rotuladas (JAIN et al., 2000). Os métodos de aprendizado supervisionado e não supervisionado serão descritos nas subseções a seguir MÉTODOS DE APRENDIZADO SUPERVISIONADO Os métodos de aprendizado supervisionado têm como principal objetivo classificar amostras não rotuladas de acordo com um modelo de classificação criado a partir de amostras rotuladas. Tais métodos usualmente apresentam duas etapas: treinamento e teste. No treinamento é criado um modelo de classificação considerando um conjunto de amostras rotuladas. No teste o modelo de classificação treinado é usado para classificar amostras não rotuladas (COSTA; CESAR, 2009). Nas subseções a seguir os métodos de aprendizado supervisionado árvores de decisão C4.5, Support Vector Machine (SVM), Naive Bayes (NB) e Optimum-Path Forest serão descritos.

48 ÁRVORE DE DECISÃO Os métodos de aprendizado supervisionado de árvore de decisão apresentam a estrutura de um fluxograma ou de árvores e a classificação das amostras é realizada por meio de um sistema de decisão multiestágio em que as classes são sequencialmente rejeitadas até ser alcançada uma classe aceitável (THEODORIDIS; KOUTROUMBAS, 2009c). A estrutura da árvore formada pelo treinamento, em geral, é formada pelo nó raiz, conectado com ramos a outros nós até as folhas da árvore (Figura 19). Os nós denotam testes aos valores dos atributos que compõem o vetor de características, os ramos representam as respostas dos testes realizados nos nós e as folhas representam os rótulos possíveis do determinado problema (DUDA et al., 2001b; MITCHELL, 1997b). X1 < 5 sim não ω1 x2 = 20 sim não ω2 x3 = -1 sim não ω4 ω3 Figura 19: Exemplo da estrutura da árvore de decisão construída com um conjunto de treinamento composta por rótulos possíveis sendo {ω 1,ω 2,ω 3,ω 4 }. Fonte: Adaptado de (THEODORIDIS; KOUTROUMBAS, 2009c). Entre os métodos de aprendizado supervisionado de árvore de decisão o C4.5 é o mais popular (DUDA et al., 2001b). Tal método utiliza o critério de ganho de informação para a seleção de atributos que serão utilizados na árvore e a estratégia pós-poda para diminuição da altura da árvore e generalização do modelo criado. Outro método que apresenta bons resultados e boa generalização entre os métodos de aprendizado supervisionado de árvore de decisão é o Random Forest. Em tal método são geradas subamostras do conjunto de amostras de treinamento utilizando o método bootstrap de reamostragem. Para cada subamostra definida é gerado um modelo de árvore de decisão utilizando um conjunto de variáveis selecionadas aleatoriamente para cada nó. Uma nova amostra não rotulada após ser classificada pelas n árvores criadas recebe a rotulação que o maior número de árvores a classificou.

49 SUPPORT VECTOR MACHINE O método de aprendizado supervisionado SVM tem como objetivo encontrar um hiperplano ótimo, i.e., um hiperplano que seja o mais distante possível dos vetores de suporte. Vetores de suporte são as amostras de fronteiras entre uma classe e outra e mais próximas do hiperplano (DUDA et al., 2001a). Isso garante que o modelo de classificação gerado com as amostras rotuladas execute satisfatoriamente a classificação de amostras não rotuladas, sendo um modelo com performance em generalização (DUDA et al., 2001a; THEODORIDIS; KOU- TROUMBAS, 2009b). Considerando um conjunto de dados de treinamento D, composto por n amostras, D = {x 1,...,x n } e seus respectivos rótulos y i = {+1, 1} sendo linearmente separáveis. Tais amostras podem ser separadas por um hiperplano, que é definido na Equação 29. f (x) = w x + b (29) Considerando o hiperplano H 3 sendo definido por w x + b = 0, as amostras x 1 e x 2 sendo as amostras mais próximas do hiperplano H 3 de cada classe e os seus respectivos hiperplanos canônicos H 1 e H 2, é possível obter a distância entre os hiperplanos H 1 e H 2 projetando a diferença entre as amostras x 1 e x 2 para a direção w e perpendicular ao hiperplano H 3. A obtenção de tal diferença pode ser visualizada na Figura 20 e é definida pela Equação 30. x 1 - x 2 x 1 x 2 d w H2 H 3 H 1 Figura 20: Obtenção da diferença entre os hiperplanos canônicos. H 1 e H 2 são os hiperplanos canônicos, o hiperplano H 3 é definido por w x + b = 0 e d é a distância entre os hiperplanos H 1 e H 2. Fonte: Autoria própria. d = 2 w (30)

50 49 Assim, a distância mínima entre o hiperplano H 3 e as amostras de fronteira das clas- 1 ses é w. Logo, a maximização da distância entre as amostras de fronteira das classes e o hiperplano H 3 é obtida realizando a minimização de w, para a resolução desse problema de otimização são empregadas técnicas de otimização lagrangiana NAIVE BAYES O método de aprendizado supervisionado NB se baseia no teorema de probabilidade de Bayes para prever a classe de um conjunto de dados. O Teorema de Bayes define a relação entre uma probabilidade condicional e sua inversa, i.e., tenta determinar as probabilidades das causas a partir dos efeitos observados. O Teorema de Bayes é dado pela Equação 31. P(A B) = P(A B) P(B) = P(A) P(B A), (31) P(B) em que P(A B) é a probabilidade a posteriori de A dada a observação de B, P(B A) a verossimilhança de A com relação a B, P(A) a probabilidade a priori de A e P(B) a probabilidade de B. Considerando as classes ω 1 e ω 2 e P(ω 1 x) a probabilidade posteriori de ser classe ω 1 dada a observação de x e P(ω 2 x) a probabilidade posteriori de ser classe ω 2 dada a observação de x, a probabilidade de erro é definida pela Equação 32. A decisão é tomada de acordo com a classe que minimize a probabilidade de erro. P(erro x) = { P(ω1 x), se decidir por ω 2 P(ω 2 x), se decidir por ω 1 (32) OPTIMUM-PATH FOREST Proposto por Papa et al. (2009), o método de aprendizado supervisionado OPF (Optimum- Path Forest) não precisa de ajuste parâmetros e apresenta a fase de treinamento mais rápida que a fase de treinamento do método SVM (PAPA et al., 2012, 2009). Considerando um conjunto de dados D em que cada amostra p D seja um vetor de características de n-dimensões, é formado um grafo completo (D,A) em que os nós são as amostras presentes em D e A são as arestas formadas. Para o treinamento, primeiramente é computada a Minimum Spanning Tree (MST) do grafo gerado. De tal processo é obtido um grafo conexo acíclico com arestas não direcionais,

51 50 em que tais arestas são ponderadas pela distância dos nós que elas conectam. As amostras conectadas na MST que forem de classes distintas são selecionadas como protótipos do grafo. Uma classe deve ser representada ao menos por um protótipo. Após, algumas arestas são novamente ponderadas com o objetivo principal de impossibilitar que protótipos de uma classe conquistem elementos de outras classes. Tais arestas são: Arestas que conectam protótipos a amostras de outra classe são ponderadas com o valor +. Arestas que conectam nós de classes diferentes são ponderadas com o valor +. Para a classificação, dada uma amostra de teste a mesma é inserida no grafo como nó e conectada aos outros nós. As arestas do nó teste são então ponderadas de acordo com a distância dos nós que elas conectam. A amostra de teste é então classificada com o rótulo do protótipo que apresentar o caminho ótimo mais fortemente conexo MÉTODOS DE APRENDIZADO NÃO SUPERVISIONADO Os métodos de aprendizado não supervisionado, chamados também de métodos de agrupamento, têm como principal objetivo agrupar os dados. Considerando um conjunto D de dados, os métodos de agrupamentos encontram k grupos baseando-se na similaridade das amostras, de tal modo que amostras do mesmo grupo tenham alta similaridade e as amostras de grupos diferentes tenham baixa similaridade (JAIN, 2010; THEODORIDIS; KOUTROUM- BAS, 2009a). Na subseção a seguir será descrito o método de aprendizado não supervisionado k-means K-MEANS Proposto por MacQueen (1967), o método de agrupamento k-means tem como objetivo criar k grupos em que sejam minimizadas as distâncias intraclasse e maximizadas as distâncias interclasse. Considerando um conjunto de dados D em que cada amostra p D seja um vetor de características de n-dimensões, o parâmetro de entrada k representa a quantidade de grupos a serem criado e C = {c 1,c 2,...,c k } os centróides. Centróides são os representantes dos grupos formados.

52 51 Na primeira iteração a localização dos centróides é dada de modo aleatório. Para cada centróide é calculada a sua distância para cada amostra presente em D, as amostras passam a pertencer a classe do centróide que apresentar menor distância. Após todas as amostras serem atribuídas a uma classe, a localização do centróide é ajustada. Para cada classe é calculada a média da localização das amostras pertencentes a essa classe, a média obtida é a nova localização do centróide. O processo de classificação das amostras e de ajuste da localização dos centróides se repete até a convergência de uma função critério. A função de erro quadrático, definida pela Equação 33, é comumente usada como função critério. E = k i=1 p c i p m i 2, (33) em que k é o número de grupos, p representa as amostras pertencentes as mesmas classes que c i e m i é a localização média das amostras pertencentes a c i. 2.4 CONSIDERAÇÕES FINAIS No presente Capítulo o teste tetrazólio foi explanado detalhadamente e foram e apresentadas as dificuldades relativas a execução do teste tetrazólio, além da importância da análise de sementes e trabalhos que utilizaram métodos de visão computacional para a análise da qualidade das sementes. Também foram apresentados métodos de detecção de pontos de interesse, descrição de imagens e o método BoVW, além dos métodos de aprendizado supervisionados e não supervisionados.

53 52 3 MATERIAIS E MÉTODOS 3.1 DESCRIÇÃO DAS BASES DE IMAGENS Para os experimentos foram utilizadas as bases de bioimagens: sementes de soja oriundas do teste tetrazólio, Pap Smear e Pulmão BASE DE IMAGENS DE SEMENTES DE SOJA SUBMETIDAS AO TESTE TETRA- ZÓLIO Foram construídas duas bases de imagens de sementes de soja oriundas do teste tetrazólio no presente projeto, ambas foram construídas com o auxílio dos especialistas em análise de sementes que compõem o Laboratório de Análise de Sementes da Unidade de Beneficiamento de Sementes da empresa Belagrícola. As etapas realizadas para a construção das bases de imagens de sementes foram: 1. Definição de uma grande e variada amostragem de sementes de soja. 2. Execução do teste tetrazólio nas sementes selecionadas pelos especialistas do laboratório conforme descrito na Seção 2.1.1, e a avaliação das mesmas. 3. Digitalização das sementes utilizando um scanner de mesa. Devido ao pequeno número de amostras presentes em algumas classes, para a construção das bases foram consideradas apenas classes utilizadas para a avaliação do vigor do lote de sementes (perfeita, danos de nível 2 e 3). As imagens foram recortadas manualmente e segmentadas como sugerido por Pereira et al. (2016), em primeiro momento as imagens passaram pela transformação de espaço de cor de RGB para HSV, após foi realizada uma segmentação de limiar baseada na matiz e a criação de uma máscara binária para a segmentação. A base de imagens Semente 1 é composta por imagens, a descrição das classes e o número de amostras obtidas para cada classe da base de Sementes 1 podem ser visualizados

54 53 na Tabela 1. Tabela 1: Descrição das classes e distribuição das amostras na base de imagens Sementes 1. Classe Descrição Amostas 0X Semente perfeita 260 2M Semente com dano mecânico de nível P Semente com dano de percevejo de nível U Semente com dano de umidade de nível M Semente com dano mecânico de nível P Semente com dano de percevejo de nível U Semente com dano de umidade de nível 3 68 Foi observado que na maioria das vezes a classe dada a uma semente não condiz com a classe de cada lado da semente, conforme na Figura 21. Isso ocorre devido a análise das duas porções da semente para a sua classificação e definição do vigor. Devido a divergência entre a classe definida e o que estava presente na imagem, se tornou necessária a criação de uma segunda base de imagens de sementes de soja. Figura 21: Exemplo de imagens de uma semente classificada como nível 3 de dano por percevejo em que a classe da semente não condiz com a classe de cada lado da semente. Na primeira imagem a porção da semente apresenta dano por percevejo e as outras partes da semente não apresentam danos. Fonte: Autoria própria. A base de imagens Semente 2 é composta por imagens, a descrição das classes e o número de amostras obtidas para cada classe da base de Sementes 2 podem ser visualizadas na Tabela 2. Na base de Sementes 2 as imagens foram categorizadas pelos analistas de sementes por meio de um site, em que as imagens da base de Sementes 1 eram exibidas e os analistas reclassificaram essas imagens OUTRAS BASES DE BIOIMAGENS UTILIZADAS A base de imagens Pulmão é uma base de imagens de lesões difusas de pulmão em exames de tórax de tomografia computadorizada e foi construída por especialistas do Hospital Clínico de Ribeirão Preto da Universidade de São Paulo (PONCIANO-SILVA et al., 2009). Tal base é composta de 247 imagens coletadas de 108 exames distintos de pacientes do Hospital