Combinação de classificadores para identificação de plantas a partir da imagem da folha Voncarlos Marcelo de Araújo¹, Alceu de Souza Britto Jr², Rosane Falate³ Departamento de Informática Universidade Estadual de Ponta Grossa Ponta Grossa, Paraná, Brasil {voncarlos13a@hotmail.com¹, alceubritto@uepg.br², rfalate@uepg.br³} RESUMO A identificação de espécies de plantas tem recebido atenção especial de pesquisadores da área de reconhecimento de padrões nos últimos anos dada a importância das plantas para a humanidade. O foco deste trabalho está em identificar a espécie de uma planta a partir da imagem de sua folha. Para tal, foi considerada a extração de três diferentes descritores: Transformação de Características Invariantes à Escala (SIFT), Características Robustas Aceleradas (SURF) e Histograma de Gradiente Orientado (HOG) a partir da imagem da folha para o treinamento de classificadores de Máquina de Vetor de Suporte (SVM). Os classificadores foram avaliados individualmente e combinados usando diferentes estratégias (Voto Majoritário, Produto e Soma). O protocolo experimental baseado em validação cruzada com 5 folds, e considerando 1000 imagens de folhas de plantas, divididas em 20 espécies distintas demonstrou que a combinação dos classificadores propostos permite um ganho de 5.2 pontos percentuais quando comparado com o melhor classificador individual. Outrossim, a comparação com trabalhos relacionados aponta que o método proposto é promissor. PALAVRAS-CHAVE: Identificação de vegetais, Extração de características, Conjunto de classificadores, Reconhecimento de padrões, Descritores. ABSTRACT The identification of plant species has received special attention from researchers of the pattern recognition area in recent years given the importance of plants to mankind. The focus of this work is to identify the species of a plant from the image of your leaf. To this end, it considers the extraction of three different descriptors (Scale-Invariant Feature Transform (SIFT), Speeded Up Robust Features (SURF) and Histogram of Oriented Gradients (HOG))
from the leaf image for training Support Vector Machine (SVM) classifiers. Classifiers were evaluated individually and combined using different strategies (majority vote, product and sum). The experimental protocol based on 5-folds cross-validation, and considering 1,000 images divided into 20 different plant species has shown that the proposed combination of classifiers allows us a gain of 5.2 percentage points as compared with the single best classifier. Furthermore, the comparison with related works has shown that the proposed method is promising. KEYWORDS: Vegetable identification, Feature extraction, Ensemble of classifiers, Pattern recognition, Descriptors. INTRODUÇÃO A biodiversidade de plantas é indispensável para o ecossistema terrestre, pois todos os seres vivos dependem, direta ou indiretamente, das inúmeras espécies de plantas que proporcionam diferentes formas de energia na natureza (GHASAB et al., 2015). As plantas são consideradas os principais fornecedores de oxigênio na Terra, uma vez que estas convertem gás carbônico em oxigênio (essencial para a maioria dos organismos vivos). A importância das plantas para o ser humano ainda vai além. As diferentes espécies de plantas são utilizadas para uma ampla gama de aplicações industriais e em diferentes setores como o da nutrição, da produção de ervas e plantas medicinais e dos biocombustíveis, usados na geração de energia sustentável e renovável como mencionado em Prochnow et al. (2009) e Adam et al. (2012). Além disso, as plantas ajudam a regular o clima, servindo de habitat e comida para insetos e outros animais. Um bom conhecimento sobre a flora é crucial para aumentar a produtividade agrícola e garantir a sustentabilidade do planeta. Nesta direção, tornam-se importantes técnicas que permitam identificar espécies novas e raras ou ainda realizar a categorização de diferentes espécies de plantas a partir de seus componentes, tais como: folha, caule (ou tronco), flores e frutos. Vale destacar que a identificação através da folha, objeto de estudo deste trabalho, tem recebido atenção especial devido a sua maior disponibilidade, indiferentemente do período do ano em que se analisa a planta. A abordagem tradicional para a identificação de espécies de plantas requer um especialista, o qual possui o conhecimento necessário para examinar uma amostra e atribuir um rótulo taxinômico com base na análise de amostras de espécies de plantas normalmente disponíveis em imagens. No entanto, esse trabalho é dispendioso, dado o elevado número de
espécies de plantas a ser examinado. Além disso, o treinamento de novos especialistas é caro e demanda um longo prazo. Diante disso, há um crescente interesse em se automatizar o processo de identificação de espécies de plantas a partir de técnicas de visão computacional e reconhecimento de padrões. Alguns estudos têm demonstrado que métodos de identificação baseados na componente folha permitem a classificação de espécies de maneira eficaz. Isto se confirma no trabalho de Gwoa et al. (2013) e Lee e Chen (2006). Observa-se que no contexto de classificação de plantas, a folha é uma das partes mais descritivas de uma espécie, pelo fato de ter propriedades inerentes da planta, e que são facilmente acessíveis quando comparadas aos demais componentes, como caule, ramos e frutos. Na literatura é possível encontrar uma série de características e parâmetros que podem ser extraídos da folha com o objetivo de fazer uma classificação da planta, tais como: forma, cor, textura, estrutura de veias, etc. Du et al. (2007) abordaram características de forma, representadas através de contornos, para classificar folhas. Os autores utilizaram uma base de imagens que possui 20 espécies de plantas, para classificar folhas, sendo que cada espécie contém 20 exemplares (Figura 1). A base foi dividida em 10 amostras de cada espécie para treinamento e o restante foi usado para teste. Relatou-se uma percentagem de acerto de 91% usando um método de classificação chamado Centro de Movimento Mediano (MMC). Figura 1 Banco de Imagens de diferentes espécies de folhas de plantas utilizada no trabalho de Du et al. (2007). Fonte: (DU et al., 2007) Pérez et al. (2000) desenvolveram um método para detecção de ervas daninhas de folhas largas em culturas de cereais em condição reais de campo. Os autores utilizaram informações de cores para distinguir vegetação e fundo, enquanto técnicas de análise de forma foram aplicadas para distinguir entre cultura e plantas daninhas. Bama et al. (2011), combinaram as
características da forma das folhas com informações de cor e textura. Para a extração de cor os autores utilizaram espaço de cor HSV (Hue-Saturaton-Value, Matiz-Saturação- Intensidade), e o filtro Log-Gabor apresentado por Field (1987), o qual foi implementado para a extração de informações de textura. Os autores ainda consideraram o uso do método desenvolvido por Lowe (1999) que extrai pontos característicos de uma imagem, invariantes à escala e rotação, chamado de Transformação de Características Invariantes à Escala (Scale- Invariant Feature Transform - SIFT). Seus resultados foram de 97.9% de acerto, considerando um ranking de recuperação de imagens de até 100 resultados para uma imagem de consulta, utilizaram uma base de 500 imagens de plantas pertencentes a 45 espécies diferentes. Há também trabalhos que buscam extrair características das folhas em outros espaços de representação através do uso de Análise de Fourier (YANG; WANG, 2012) e Wavelets (WANG et al., 2010). Além disto, é possível constatar o uso de diferentes classificadores, dentre estes: Redes Neurais Artificiais (PAN; HE, 2008), Máquina de Vetor de Suporte ( PRIYA; BALASARAVANAN, 2012), e K-médias (VALLIAMMAL; GEETHALAKSHMI, 2012). O objetivo deste trabalho é desenvolver uma técnica para a identificação de espécies de plantas a partir da imagem de sua componente folha. Para tal, serão avaliados três descritores para descrever uma folha: Transformação de Características Invariantes à Escala (SIFT - Scale-Invariant Feature Transform), Características Robustas Aceleradas (SURF - Speeded Up Robust Features)) e Histograma de Gradiente Orientado (HOG - Histogram of Oriented Gradients). Tais descritores serão utilizados no treinamento de um ensemble (Kuncheva, 2007) de classificadores de Máquina de Vetor de Suporte (SVM) multi-classe. A combinação destes classificadores será avaliada, assim como o desempenho individual de cada classificador. Para avaliar a combinação dos classificadores, foram selecionadas três estratégias de combinação: Voto Majoritário, Produto e Soma. MATERIAL E MÉTODOS Base de imagens Os experimentos para demonstrar a eficácia da abordagem proposta são realizados em um conjunto de 1000 imagens divididas em 20 classes/espécies com 50 imagens por classe. Uma amostra de algumas classes é apresentada na Figura 2. Esta base foi disponibilizada no congresso de identificação de plantas denominado ImageCLEF (JOLY et al., 2014) e consiste em imagens de mais de 100 espécies de folhas de plantas digitalizadas com um fundo branco.
Figura 2 Algumas espécies da base de imagens ImageCLEF (JOLY et al., 2014) Fonte: (JOLY et al., 2014) Extração de características Conforme Du et al. (2006), a tarefa difícil na identificação de plantas está associada à extração de características que sejam capazes de distinguir as várias espécies de plantas existentes. Diferentes características são necessárias para separar categorias de plantas a partir das folhas. Por exemplo, enquanto a forma de uma folha pode ser suficiente para distinguir entre algumas espécies, outras espécies podem ter formas muito semelhantes, havendo diferença em termos de cor e/ou textura. De maneira geral é difícil de encontrar um padrão, que pode ser suficiente para separar todas as categorias. Isso torna a tarefa de definição do método de extração de características desafiadora e justifica o uso de diferentes descritores conforme sugerido neste trabalho. Descritor histograma de gradiente orientado (HOG) Proposto por Dalal e Triggs (2005), HOG tem sido comumente aplicado em diferentes aplicações de reconhecimento de padrões. Cria-se uma janela central no ponto de interesse e esta janela é dividida em uma grade regular (n x n), onde n é o número de pixels. Dentro de cada célula da grade a frequência do histograma é calculada para representar a distribuição de orientações de borda no interior da célula. As orientações de borda são computadas e
quantificadas em x (bins). As contagens dos histogramas são concatenadas para formar um vetor de características para cada célula, que são novamente concatenados para formar um vetor final de características para a janela. Descritor transformação de características invariantes à escala (SIFT) SIFT é um algoritmo para extração de características proposto por Lowe (1999). As características extraídas deste algoritmo são invariantes a escala e rotação. Além disso, o algoritmo é capaz de fornecer informações sobre a mudança na posição da imagem, da iluminação e da quantidade de ruídos presentes nela. Para realizar a detecção dos pontos de interesse invariantes a escala e rotação são utilizadas funções Gaussianas, utilizando uma expansão de Taylor da função diferença de Gaussianas aplicada à imagem. Após a localização dos pontos de interesse é atribuída a orientação para estes pontos, através de características locais. Por fim é realizada a construção do descritor, no qual constam as características relacionadas aos pontos de interesse. Descritor características robustas aceleradas (SURF) Inspirado no SIFT, o algoritmo SURF é um sólido detector de pontos de interesse em imagens, porém com um custo computacional menor (RACHID; PEREIRA, 2009). O algoritmo SURF, assim como o SIFT, trabalha com dois principais elementos: detecção de pontos de interesse e a descrição dos pontos de interesse. Esse algoritmo consiste em detectar os pontos de interesse utilizando imagens integrais e matriz Hessiana e depois utilizar o conceito de supressão não máxima em 3D para detectar os pontos de interesse em diversas escalas. Após a detecção, inicia o processo de descrição, utilizando-se os conceitos de cálculo de orientação dominante para invariância a rotação e distribuição de Haar Wavelets para gerar um vetor de 64 atributos para cada ponto de interesse. Método de classificação com máquina de vetor de suporte (SVM) O algoritmo SVM consiste em uma técnica de aprendizagem supervisionada, que tem uma alta capacidade para analisar e processar dados em grande escala, sendo também um algoritmo de decisão, que é capaz de classificar dados de entrada em vários grupos (BOSER et al., 1992). Neste trabalho para o treinamento dos SVMs foi utilizada a ferramenta WEKA (WEKA, 2015), com a biblioteca LIBSVM (LIBSVM, 2015), essa biblioteca faz tarefas de aprendizado de máquina, onde os usuários podem facilmente fazer um link com os seus próprios programas, neste caso, foi utilizado o programa WEKA. Utilizou-se uma abordagem de
validação cruzada com 5 folds. Cada um dos SVMs foi treinado com o Kernel Linear, sendo que os valores dos parâmetros de Kernel, custo e gama, foram definidos usando um procedimento automatizado de procura de melhores parâmetros, chamado GridSearch disponibilizado no ambiente WEKA. Combinação de classificadores (ensembles) - voto majoritário, produto e soma Naturalmente o que se espera de um classificador é um alto nível de acurácia ao tentar reconhecer novos padrões, ou seja, ter capacidade de generalização. Contudo, construir um classificador que seja capaz de cobrir adequadamente todo o espaço de características é muitas vezes impraticável. Uma alternativa tem sido a construção de ensembles (conjuntos) de classificadores. Para utilizar totalmente as informações obtidas de um grupo de classificadores, a saída de cada classificador pode ser combinada com as demais, permitindo uma decisão final que na maioria dos casos, apresenta uma maior capacidade de generalização. A Figura 3 apresenta uma visão geral do sistema de múltiplos classificadores proposto neste trabalho para a classificação de imagens de plantas. Atributos ou descritores são extraídos da imagem de entrada. Tais descritores são fornecidos como entrada para os classificadores. Cada classificador produz uma saída, ou seja, fornece uma probabilidade para cada uma das classes (espécie de planta) possíveis no sistema. Os resultados de cada classificador são combinados segundo alguma regra de combinação (KITTLER et al., 1998). Neste trabalho foram usadas as regras de combinação: Voto majoritário, Produto e Soma. Figura 3 Diagrama de um sistema de combinação de classificadores
Fonte: Elaborada pelo autor RESULTADOS E DISCUSSÃO Nesta seção são apresentados os resultados da avaliação experimental do sistema proposto para identificação de folhas de plantas. Primeiro é comparado o desempenho entre os classificadores individuais. O desempenho foi avaliado em termos de taxa de reconhecimento ou classificação correta considerando a base de dados contendo 1000 imagens, sendo 20 classes (espécies florestais), 50 imagens por classes, e validação cruzada com 5 folds. A Tabela 1 apresenta os resultados obtidos por cada SVM. Observa-se que os SVMs treinados com os descritores SIFT e SURF apresentam resultados similares e superiores ao SVM treinado com HOG. Tabela 1 Resultados individuais dos classificadores SIFT, SURF e HOG. Classificador SIFT SURF HOG Números de Acertos 904 902 884 Classificação Correta (%) 90.4% 90.2% 88.4% Os próximos experimentos consideraram todas as possíveis combinações entre os três classificadores avaliados por meio das estratégias de voto majoritário, soma e produto. Os melhores resultados alcançados são apresentados na Tabela 2. Observa-se que as diferentes
formas de combinação apresentam resultados similares e superiores aos resultados observados quando da utilização de maneira individual apresentados na Tabela 1. Tabela 2 Resultados das estratégias de combinação de classificadores voto majoritário, soma e produto. Estrátegia de Combinação Voto Majoritário Soma Produto Números de Acertos 956 954 952 Classificação Correta (%) 95.6% 95.4% 95.2% Pode-se observar que para as imagens de folhas de planta os classificadores SIFT e SURF superaram o HOG. Acredita-se que o uso de informações locais a partir de pontos de interesse detectados na imagem da folha, foi importante no processo de diferenciação das espécies de plantas. Considerando a combinação de classificadores, pode ser verificado um aumento considerável no acerto. Ao comparar o melhor classificador individual (SIFT, com 90.4% de acerto) com o melhor resultado do ensemble (Voto Majoritário, com 95.6% de acerto) tem-se uma melhora na taxa de acerto de 5.2 pontos percentuais. Esse resultado está coerente com o apresentado por Jain et al., (2000), aonde se afirmou que a combinação de classificadores pode ampliar o desempenho de um sistema de classificação. Os resultados obtidos são satisfatórios quando comparados a trabalhos relacionados conforme é possível observar na Tabela 3. Foram selecionados quatro trabalhos que de alguma forma se relacionam para comparação de desempenho. Um dos modelos foi apresentado por Du et al., (2007), usaram para a identificação de plantas um conjunto de características de contorno da folha. Outro trabalho de identificação de plantas foi apresentado por Uluturk e Ugur (2012), os autores utilizaram características morfológicas da folha neste estudo, foram extraídas 10 características morfológicas como, diâmetro, área, perímetro, forma, entre outras, todas elas foram usadas como entrada para fazer a classificação em uma rede neural probabilísticas. Foram treinadas 1.120 imagens de folhas com 32 espécies distintas de plantas, e 160 imagens foram usadas para teste. Esta aplicação obteve o resultado de 92.5% de reconhecimento. (PANWAR et al., 2014) propuseram um método que extrai características de diâmetro, área e perímetro, além das estruturas de veias da folha. Eles ainda utilizaram um classificador KNN (IB1), da ferramenta WEKA, para classificação com 5- folds, e criaram uma base de dados com 32 espécies distintas, aonde cada uma das espécies continha em média 50 imagens. Por fim, em (ELHARIRI et al., 2014), classificaram folhas de plantas usando Análise Linear Discriminante, e informações de forma, cor e textura. A
avaliação foi realizada em um conjunto de imagens de 30 diferentes espécies de plantas com um total de 340 imagens de folhas, usando a técnica de validação cruzada com 10-folds. Tabela 3 Comparação da precisão de classificação do método proposto com outros encontrados na literatura. Referência Técnicas utilizadas N N Taxa de Classificação Imagens Espécies (%) (Uluturk; Ugur, 2012) Características morfológicas da planta 1120 32 92.5% (Panwar et al., 2014) Diâmetro, área, perímetro e estrutura das veias 1684 32 79.4% (Du et al., 2007) Contorno da folha 130 20 91% (Elhariri et al., 2014) Combinação de cor, textura e forma 340 30 92.65% Método Proposto Combinação de características de cor, textura, forma e classificadores. 1000 20 95.6% CONCLUSÕES Neste trabalho foi apresentado um método para a classificação de espécies florestais a partir de imagem da componente folha. Foram avaliados três diferentes descritores: SIFT, SURF e HOG e, com base em cada descritor, foi treinado classificadores SVMs. Avaliou-se o desempenho de cada classificador, assim como a combinação destes usando diferentes abordagens. Os resultados experimentais demonstraram que a combinação dos três classificadores usando voto majoritário proporcionou um ganho de 5.2 pontos percentuais quando comparado com o melhor classificador individual. Foi também possível identificar um melhor desempenho dos descritores SIFT e SURF com relação ao descritor HOG. Embora a comparação com a literatura possa ser questionável, devido às diferenças entre os protocolos experimentais, pode-se afirmar que o método proposto apresenta resultados promissores, pois o número de imagens e o número de espécies avaliadas são semelhantes. Dentre os trabalhos futuros pretende-se avaliar novos descritores para compor o método de classificação proposto, assim como avaliar o uso do espaço de dissimilaridade visando reduzir o custo envolvido na inclusão de novas classes ao sistema. REFERÊNCIAS Adam, Z., Khamis, S., Ismail, A., and Hamid, M. (2012). Ficus deltoidea: A Potential Alternative Medicine for Diabetes Mellitus. Evidence-Based Complementary and Alternative Medicine 2012.
Arun Priya, C., and Balasaravanan, T. (2012). An efficient leaf recognition algorithm for plant classification using support vector machine. In "Pattern Recognition, Informatics and Medical Engineering (PRIME), 2012 International Conference on", pp. 428-432. IEEE. Bama, B. S., Valli, S. M., Raju, S., and Kumar, V. A. (2011). Content based leaf image retrieval using shape, color and texture features. Indian Journal of Computer Science and Engineering 2, 9. Boser, B. E., Guyon, I. M., and Vapnik, V. N. (1992). A training algorithm for optimal margin classifiers. In "Proceedings of the fifth annual workshop on Computational learning theory", pp. 144-152. ACM. Chia-Ling Lee, S.-Y. C. (2006). Classification of leaf images. International Journal of Imaging Systems and Technology 16, 15-23. Dalal, N., and Triggs, B. (2005). Histograms of Oriented Gradients for Human Detection. In Computer Vision and Pattern Recognition, p 886 893. Du, J.-X., Huang, D.-S., Wang, X.-F., and Gu, X. (2006). Computer-Aided Plant Species Identification (CAPSI) Based on Leaf Shape Matching Technique. Du, J.-X., Wang, X.-F., and Zhang, G.-J. (2007). Leaf shape based plant species recognition. 185, 883 893. Elhariri, E., Fac. of Comput. Sci. & Inf., F. U., Fayoum, Egypt, El-Bendary, N., and Hassanien, A. E. (2014). Plant classification system based on leaf features. In "Computer Engineering & Systems (ICCES), 2014 9th International Conference on", pp. 271-276. IEEE. Field, D. J. (1987). Relations between the statistics of natural images and the response properties of cortical cells. JOSA A, Vol. 4, Issue 12, pp. 2379-2394. Ghasab, M. A. J., Khamis, S., Mohammad, F., and Fariman, H. J. (2015). Feature decisionmaking ant colony optimization system for an automated recognition of plant species. 42, 2361 2370. Gwoa, C.-Y., Weia, C.-H., and Lib, Y. (2013). Rotary matching of edge features for leaf recognition. 91, 124 134. Jain, A. K., Duin, R. P. W., and Mao, J. (2000). Statistical Pattern Recognition: A Review. IEEE Transactions on Pattern Analysis and Machine Intelligence 22, 4-37. Joly, A., Goëau, H., Glotin, H., Spampinato, C., Bonnet, P., Vellinga, W.-P., Planque, R., Rauber, A., Fisher, R., and Müller, H. (2014). LifeCLEF 2014: Multimedia Life Species Identification Challenges. In "CLEF", pp. 229-249. Springer International Publishing. J. Kittler, M. Hatef, Robert P.W. Duin, J. Matas (1998). On combining classifiers. IEEE Transactions on Pattern Analysis and Machine Intelligence. 20(3):226-239. Kuncheva, L. I. (2007). Combining Pattern Classifiers: Methods and Algorithms. Neural Networks, IEEE Transactions on 18, 964-964. LIBSVM (2015). LIBSVM -- A Library for Support Vector Machines, Disponível em: http://www.csie.ntu.edu.tw/~cjlin/libsvm/ [Acedido a 12 de fevereiro 2015].
Lowe, D. G. (1999). Object recognition from local scale-invariant features. International Conference on Computer Vision, p. 1150-1157. Pan, J., and He, Y. (2008). Recognition of plants by leaves digital image and neural network. International Conference on Computer Science and Software Engineering, 906 910. Panwar, R., Goyal, K., Pandey, N., and Khanna, N. (2014). Imaging system for classification of local flora of Uttarakhand region. Power, Control and Embedded Systems (ICPCES), 2014 International Conference on, 1-6. Pérez, A. J., López, F., Benlloch, J. V., and Christensen, S. (2000). Colour and shape analysis techniques for weed detection in cereal fields. 25, 197 212. Prochnow, A., Heiermann, M., Plöchla, M., Linkea, B., Idlera, C., Amonb, T., and Hobbs, P. J. (2009). Bioenergy from permanent grassland A review: 1. Biogas. 100, 4931 4944. Rachid, L. C. C. L., Pereira, A. A. S. (2009). Algoritmos de busca sift e surf no uso de dispositivos móveis. II SEMULT - II Encontro Multidisciplinar da Unipac Ubá, v. 02, p. 05 Uluturk, C., and Ugur, A. Recognition of leaves based on morphological features derived from two half-regions. In: International Sympsium on Innovations in Inteligent Systems and Applications (INISTA), p.1-4. IEEE (2012). Valliammal, N., and S.N.Geethalakshmi (2012). Leaf Image Segmentation Based On the Combination of Wavelet Transform and K Means Clustering. International Journal of Advanced Research in Artificial Intelligence(IJARAI) 1. p. 37-43 Wang, Q.-P., University, H., wqp86@126.com, Du, J.-X., University, H., Sciences, C. A. o., jxdu77@gmail.com, Zhai, C.-M., and University, H. (2010). Recognition of Leaf Image Based on Ring Projection Wavelet Fractal Feature. 240-246. WEKA (2015). Weka Machine Learning Project Disponível em: http://www.cs.waikato.ac.nz/~ml/index.html [Acedido a 20 de Janeiro 2015]. Yang, L.-W., and Wang, X.-F. (2012). Leaf Image Recognition Using Fourier Transform Based on Ordered Sequence. 393-400.