Classificação automática de amostras de sementes utilizando visão computacional

Transcrição

1 Classificação automática de amostras de sementes utilizando visão computacional Luiz Alberto Bordignon 1, Lucas Ferrari de Oliveira 1,2 1 Programa de Pós-Graduação em Eng. Elétrica - Universidade Federal do Paraná (UFPR) Centro Politécnico, Caixa Postal CEP Curitiba, PR, Brasil, luizlab@gmail.com 2 Departamento de Informática - Universidade Federal do Paraná (UFPR), lferrari@inf.ufpr.br RESUMO Medidores de umidade vem se tornando cada vez mais tecnológicos com o passar do tempo, onde tornar o processo mais automático reduz erros e aumenta a produtividade. Parte importante nesse processo de leitura de umidade é selecionar o tipo de semente que será amostrada. Visando contribuir com esse cenário de desenvolvimento tecnológico, o presente artigo apresenta um método de classificação automática utilizando visão computacional. Um conjunto de dados foi criado para para o treinamento e testes do método aqui proposto, utilizando 13 diferentes tipos de sementes.o método utilizou 3 técnicas de descritores de características para compor o vetor de treinamento e de testes do classificador (LPQ, LBP e LCP). O modelo de classificador utilizado foi o SVM, com variações de kernels. Os resultados obtidos com o método mostraram-se satisfatórios em 10 dos 13 tipos de sementes testadas, ficando ruim principalmente nas classes ervilha inteira e soja. PALAVRAS-CHAVE: Classificação automática, Amostras de sementes, Visão computacional. ABSTRACT Grain moisture testers are becoming highly technological, and make the process more automatic reduces mistakes and increases productivity. An important part of the moisture reading process is select the grain you are will measure. In order to contribute with the technological evolution of the grain moisture testers, this article presents an Automatic Classification Method, using computational vision. A set of data was acquired for training and testing the method proposed here, using 13 different grains. Method three has used characteristics descriptors and classifying tests(lpq, LBP and LCP) to compose the training vector. The chosen classifying method was SVM, with kernel variations. The results obtained with this method has proven to be satisfying in 10 out of 13 grains tested, and specially unsatisfactory for soybeans and green peas. KEYWORDS: Automatic classifier, Seed samples, Computer vision.

2 INTRODUC A O O Brasil e um dos maiores produtores de gra os do mundo, no ano de 2014 teve a maior safra de sua histo ria, 192,3 milho es de toneladas de gra os configurando um crescimento de 2,2% em relac a o a Os fatores que influenciam este crescimento sa o: tecnologia, mecanizac a o, cre dito, relac o es de troca, melhoria na organizac a o e na gesta o dos nego cios (OLIVEIRA, 2014). Conforme mostra o estudo realizado pelo Ipea (Instituto de Pesquisa Econo mica Aplicada) o principal fator para o aumento da produtividade e a tecnologia, que em instituic o es de pesquisa vem se desenvolvendo, como por exemplo a Empresa Brasileira de Pesquisa Agropecua ria (Embrapa) (GASQUES et al., 2004). Uma parte do processo de medir o teor de umidade de gra os e a selec a o da espe cie de semente a ser amostrada, nos me todos convencionais a selec a o do tipo do gra o e feita manualmente pelo operador de forma visual. Esta selec a o esta sujeita a erros intra e interoperadores, visto que depende da experie ncia do operador e do seu estado fı sico e mental. Para minimizar o problema nessa fase do processo, me todos automatizados podem ser utilizados. A proposta deste trabalho foi criar uma base de imagens de amostras de sementes visando testar te cnicas de visa o computacional para a classificac a o de algumas variedades de sementes. Duas base de dados foram criadas, uma referente a safra de 2013 e outra da safra de Te cnicas de extrac a o de caracterı sticas, tais como, Haralick, LCP, LPQ, CLBP, LBP, Gabor e Histograma foram aplicadas nesse conjunto de dados e foi utilizado o classificador SVM com seus diferentes kernels de classificac a o. MATERIAL E ME TODOS Base de Imagens Por na o existir nenhum tipo de base de imagens para amostras de sementes disponı veis, foi necessa rio a montagem da nossa base. Nesta parte inicial do trabalho alguns cuidados foram tomados na aquisic a o para garantir imagens padronizadas e de boa qualidade. Na figura 1 e mostrada uma imagem com o recipiente transparente e outra com o revestimento, e possı vel verificar que o ambiente externo tem bastante influe ncia na imagem adquirida. Figura 1: A esquerda o copo transparente com as sementes e a direita o copo com um revestimento para evitar que a iluminac a o externa e outros objetos atrapalhem a aquisic a o das imagens. Fonte (O Autor, 2015)

3 A Figura 2 mostra os equipamentos utilizados para a aquisição das imagens das sementes. O método consiste em fazer uma foto em uma resolução definida, com sementes a uma altura pré-determinada para que as sementes fiquem sempre na mesma distância em relação a lente da câmera em todas as fotos.na Figura 2 é possível ver o copo revestido, o dispositivo de encaixe e a câmera fotográfica. O encaixe foi desenvolvido para que a câmera não sofresse alterações de posicionamento entre as aquisições de imagens. O fixador foi projetado em uma impressora 3D de acordo com as dimensões da câmera fotográfica utilizada (modelo SAMSUNG T-65). Figura 2: Da esquerda para a direita o copo para colocar sementes, o dispositivo fixador da câmera e a câmera fotográfica. Fonte (O Autor, 2015) A resolução de 1 Mega pixel (1024x768) foi utilizada. O conjunto de dados obtido foi separado em 2 partes, Safra 2013 e Safra Cada safra contém 13 classes diferentes, que foram divididas pelo tipo de sementes. Na tabela 1 estão representados os tipos de sementes. Para a realização do trabalho todas as imagens foram processadas e classificadas utilizando o software MATLAB 2012b. Tabela 1: Tipos de Sementes, Safra e Quantidades Tipo Safra 2013 Safra 2014 Canola Cevada Cevadinha Ervilha Inteira Ervilha Partida Feijão Cavalo Gergelim Lentilha Linhaça Milho Quinoa Soja Torta de Algodão Total Safra

4 Blocos de Imagens Para aumentar nosso conjunto de dados e poder processar mais rápido as imagens durante as etapas de extração de características e classificação das sementes as imagens foram divididas em sub-imagens. O tamanho de bloco escolhido foi de 96x96 pixeis, pois neste tamanho as sementes maiores ficaram contidas dentro dos blocos. As sub-imagens foram obtidas da parte interna das imagens originais, descartando as bordas onde aparece a cor do revestimento do copo. No centro da imagem foi definido um retângulo, que indica a área útil para o recorte das imagens. A figura 3 mostra um exemplo do modelo utilizado. Este procedimento foi realizado em todas as imagens obtidas e para o tamanho do bloco estudado obtivemos um total de 16 blocos por imagem. Figura 3: Representação do modelo de criação dos blocos. Fonte (O Autor, 2015) Extração de Características No total 7 tipos de descritores de características foram testados, as características extraídas são estatísticas, estruturais e espectrais. A escolha dos descritores levou em conta a utilização em trabalhos da literatura que são relacionados à classificação (ORLANDO, 2003) (BARBOSA, 2009) (FILHO et al., 2014). Na Tabela 2 um resumo de todos os descritores testados neste trabalho e a quantidade de informação de cada um deles. Tabela 2: Resumo dos descritores usados neste trabalho. ID Nome Dimensão 1 Haralick 13 2 CLBP LBP (optmized) 59 4 GABOR Histograma LCP 81 7 LPQ 256 Porém, visando sintetizar o artigo e deixá-lo mais objetivo iremos apresentar somente os três descritores que obtiveram os melhores resultados.

5 LBP Local binary pattern (LBP) é um método de descrição de textura que vem apresentado um bom desempenho em diversas áreas de pesquisa (FILHO et al., 2014). Essencialmente o LBP é a comparação do ponto central de uma região delimitada (normalmente 3x3) com seus vizinhos, então é gerado um código para substituir o valor do ponto central (OJALA; PIETIKAINEN; MAENPAA, 2002). Neste trabalho utilizamos um LBP (8, 1) que relaciona os 8 vizinhos mais próximos do pixel central e gera um vetor de 59 características. LCP Local configuration pattern (LCP) decompõe as informações da imagem em dois níveis, 1) informação sobre a estrutura local, 2) informação de configuração microscópica e relações de interação de pixel-wise. Para estruturas de informações locais o método utiliza LBP para extração de características, enquanto um modelo de configuração microscópica é utilizado para extrair informações de configuração microscópica (GUO; ZHAO; PIETIKÄINEN, 2011). LPQ Mesmo em ambientes controlados para a aquisição de imagens como é feito em nosso trabalho, as imagens podem sofrer degradações, que podem ocorrer devido ao movimento no instante da captura, ou a imagem ficar fora de foco. Essas degradações podem limitar a aplicação de métodos de texturas (OJANSIVU; HEIKKILÄ, 2008). Local phase quantization (LPQ) é um método bastante robusto em imagens desfocadas, pois utiliza o método de invariância ao borramento do espectro de fase de Fourier para classificar texturas, para isso utiliza a transformada discreta 2D de Fourier (Discrete Fourier Transform - DFT) processada sobre uma janela local para cada pixel da imagem (OJANSIVU; RAHTU; HEIKKILA, 2008). SVM Máquina de vetores de suporte (SVM) é uma técnica de aprendizagem que vem sendo utilizada amplamente em problemas de classificação onde envolvem grande volume de dados. De forma simplificada o funcionamento do SVM consiste em: dado dois conjuntos o algoritmo separa esses dados, os pontos que tem a menor distância entre esses dados são chamados de vetor de suporte. Na figura 4 mostra um exemplo simples de um SVM de duas classes. Figura 4: Exemplo de SVM com duas classes. Fonte (O Autor, 2015)

6 Na figura 4 os círculos sólidos e o retângulo são os vetores de suporte, as linhas P 1 e P 2 formam o hiperplano, e a linha em negrito representa a linha de separação ótima. Multiclasses SVMs por definição operam com problemas de duas classes, já que seu algoritmo separa dois conjuntos de dados para formar um vetor de suporte separado por um hiperplano. Porém existem métodos para contornar essa limitação separando o problema em múltiplos problemas binários. Basicamente existem dois métodos para resolver SVMs multiclasses: um-contra-todos (one-versus-all) e um-contra-um (one-versus-one). Na estratégia um-contra-todos são criados N SVMs, onde N é o número total de classes do problema. Para o treinamento nesse modelo, uma classe é separada das demais, e todas as outras são consideradas a outra classe, seguindo essa lógica todas as classes são separadas e treinadas contra as outras até que chegue a última classe do problema. No final o SVM que tiver o melhor resultado de classificação é definido como a saída. O método um-contra-um o SVM faz a classificação entre duas classes presentes no problema. Neste caso os SVMs treinados são formados por duas classes. Assim para um novo padrão a ser classificado ele passará por todos os SVMs treinados, e o qual tiver a melhor classificação será considerado pertencente a esta classe. Kernel Os kernels utilizados neste trabalho são os fornecidos por padrão na função svmtrain do software MATLAB. São eles: LINEAR Linear kernel. QUADRATIC Quadratic kernel. POLYNOMIAL Polynomial kernel. RBF Gaussian Radial Basis Function. MLP Multilayer Perceptron kernel. Treinamento SVM O modelo de treinamento para o SVM utilizado neste trabalho foi o método um-contra-todos, onde as classes foram organizadas em duas, uma contendo a classe objetivo, e a outra classe contendo todas as outras sementes. Analises individuais dos descritores foram realizadas, testes com tipos diferentes de kernels também foram alvo de análise. O treinamento dos SVMs foi feito com as imagens da safra de 2013 e os teste dos SVMs com as imagens da safra de 2014, evitando assim uma tendência do classificador em utilizar imagens da mesma safra para treino e teste.

7 Métricas de Avaliação As métricas de avaliação utilizadas neste trabalho foram a sensibilidade e a especificidade. Sensibilidade é a capacidade de identificar uma imagem como pertencente a uma determinada classe. A tabela 3 mostra todos os casos possíveis de resultados. Tabela 3: Relação entre o resultado do teste e a classificação obtida. Classe Correta Classe Predita P N Verdadeiro Falso P Positivo Negativo (VP) (FN) Falso Verdadeiro N Positivo Negativo (FP) (VN) O cálculo de sensibilidade é representado pela equação 1: Sensibilidade = V P V P + F N onde V P corresponde a Verdadeiro Positivo, e F N corresponde a Falso Negativo. Especificidade por sua vez é a capacidade de excluir imagens que não pertencem a determinada classe testada. O cálculo para especificidade é representado pela equação 2: (1) Especif icidade = V N V N + F P onde V N corresponde a Verdadeiro Negativo, e F P corresponde a Falso Positivo. (2) RESULTADOS E DISCUSSÃO Os testes com o SVM e todos os cinco kernels foram feitos com todos os descritores citados na seção Extração de Características, porém iremos apresentar somente os 3 melhores resultados que foram obtidos com os descritores LPQ, LBP e LCP, respectivamente. Resultados LPQ Mesmo tendo adquirido imagens em um ambiente controlado, sem variação de luminosidade externa, com distância controlada e cuidados no ajuste do foco, algumas imagens saíram borradas e ou fora de foco. Essas degradações tem impacto direto na extração de características. A técnica LPQ é bastante robusta a esse tipo de problema, e foi utilizada neste trabalho com o objetivo de minimizar defeitos na aquisição das imagens. A configuração que apresentou melhores resultados foi com uma janela de 3x3 com parâmetro de correlação igual a 1. A combinação dos 256 valores do histograma LPQ treinados com o kernel QUADRATIC do SVM apresentou os melhores resultados.

8 Comparado com todas as técnicas testadas o método LPQ obteve o melhor resultado em sensibilidade, demostrando uma maior capacidade de discriminar as classes.conforme mostrado na Tabela 4 as classes cevadinha, ervilha inteira e soja apresentam os piores resultados. Tabela 4: Resultados obtidos utilizando os códigos LPQ com SVM kernel QUADRATIC. Classe Sensibilidade Especificidade Canola 1,0000 1,0000 Cevada 0,8924 0,9690 Cevadinha 0,6355 0,9647 Ervilha inteira 0,5619 0,9986 Ervilha partida 0,8333 0,9746 Feijão cavalo 0,9583 0,9822 Gergelim 0,9707 0,9974 Lentilha 0,9783 0,9810 Linhaça 0,9558 0,9923 Milho 0,9314 0,9841 Quinoa 0,9556 0,9990 Soja 0,6747 0,9436 Torta de algodão 1,0000 0,9990 Média 0,8729 0,9835 Resultados LBP Nos experimentos utilizando a técnica LBP os códigos foram extraídos utilizando uma matriz de 3x3 com raio R = 1. Isso caracteriza computar o valor do pixel central a partir dos 8 vizinhos mais próximos num raio de 1. Essa configuração obteve melhores resultados em nossos experimentos. Os códigos LBP foram extraídos e resultaram em um vetor de 59 características que foi utilizado para treinar um classificador SVM. O treinamento do classificador SVM com os códigos LBP teve como melhor resultado o kernel com a função QUADRATIC. Os valores obtidos são apresentados na Tabela 5. Resultados LCP A técnica LCP combina o método LBP com a extração de características microscópicas, é considerado um método robusto a ruídos. O método faz uma análise de frequência utilizando as informações microscópicas obtidas, tornando o modelo invariante a rotações, o que em nosso experimento foi bastante importante, pois as sementes eram alocadas de forma aleatória, tendo variações em todas os ângulos e rotações. O modelo LCP que apresentou os melhores resultados foi com uma matriz de 3x3 com raio de 2. O vetor de saída do método LCP gerou 81 características, o classificador SVM com kernel QUADRATIC foi o que apresentou os melhores resultados que estão apresentados na Tabela 6.

9 Tabela 5: Resultados obtidos utilizando os códigos LBP com SVM kernel QUADRATIC. Classe Sensibilidade Especificidade Canola 1,0000 1,0000 Cevada 0,8750 0,9581 Cevadinha 0,6496 0,9798 Ervilha inteira 0,5341 0,9955 Ervilha partida 0,9130 0,9708 Feijão cavalo 0,9892 0,9820 Gergelim 0,9524 1,0000 Lentilha 0,9028 0,9856 Linhaça 0,8167 0,9887 Milho 0,8632 0,9818 Quinoa 0,9793 0,9990 Soja 0,6383 0,9532 Torta de algodão 1,0000 0,9997 Média 0,8549 0,9842 Tabela 6: Resultados obtidos utilizando os códigos LCP com SVM kernel QUADRATIC. Classe Sensibilidade Especificidade Canola 1,0000 0,9997 Cevada 0,9080 0,9609 Cevadinha 0,6204 0,9772 Ervilha inteira 0,5952 0,9939 Ervilha partida 0,8142 0,9712 Feijão cavalo 0,9321 0,9891 Gergelim 1,0000 0,9994 Lentilha 0,8895 0,9775 Linhaça 0,9957 0,9977 Milho 0,7723 0,9785 Quinoa 0,9836 1,0000 Soja 0,5039 0,9453 Torta de algodão 0,7762 0,9993 Média 0,8301 0,9838 Discussão É possível observar em todos os três descritores que as classes Cevadinha, Ervilha Inteira e Soja apresentam os piores resultados na sensibilidade, ou seja, os classificadores não conseguem acertar essas classes. Um dos motivos é que as sementes que compõem as classes são muito parecidas e isso gera a confusão dos classificadores. Mesmo apresentando somente os três melhores resultados é possível observar que para as três classes em questão os métodos não conseguem chegar a 70% de sensibilidade, isso gera uma incerteza na classificação das sementes, pois não temos uma alta precisão para as três classes. Por outro lado, outras classes tem variações entre seus valores de sensibilidade a classe Torta de Algodão, por exemplo, com o LCP tem sensibilidade de 77,62%, porém tem 100%

10 de sensibilidade nos descritores LPQ e LBP. Isso indica que é melhor utilizar um descritor em detrimento ao outro. Outra situação foram alguns casos que a sensibilidade oscila entre 80% e 90%, caso da classe Ervilha Partida. Esse tipo de situação indica que as características podem ser complementares e funcionarem bem se combinadas. O único caso que os três classificadores acertam em todos os testes é o da classe Canola, mostrando uma sensibilidade de 100% nos classificadores. Indicando que qualquer um dos três terá um resultado satisfatório. CONCLUSÕES Os testes realizados com os 3 tipos de descritores de características apresentaram resultados bastante parecidos entre si, principalmente quando analisadas as classes que tiveram os piores resultados. Nas 3 técnicas de extração de características, as classes Cevadinha, Ervilha Inteira e Soja tiveram resultados de sensibilidade menor que 70%, isso ocorreu devido a semelhança dessas classes com outras. No caso específico da Ervilha Inteira e da Soja a semelhança entre as classes ocorre em tamanho e forma, o que dificultou na extração de características que fossem discriminantes entre ambas as classes. Na figura 5 é mostrada a grande semelhança entre as classes Ervilha Inteira e Soja. (a) (b) Figura 5: Comparação entre as classes Soja (a) e Ervilha inteira (b). Como proposta para trabalhos futuros, a combinação de descritores de textura pode melhorar a discriminação das classes que apresentaram resultados ruins, pois algumas características podem ser complementares quando extraídas de técnicas diferentes, como por exemplo, incluir no vetor de características, cor, fase, ou textura. De maneira geral o método proposto parece ser promissor, já que 10 das 13 classes apresentaram resultados de sensibilidade superior a 80%, e também bastante robusto, já que foi testado com sementes de outra safra, onde as mesmas podem sofrer variações de tamanho, cor e forma, devido a muitos motivos, como por exemplo, transporte, alocação, clima, temperatura, etc. REFERÊNCIAS BARBOSA, D. P. Avaliação de descritores texturais geoestáticos e de Haralick para o reconhecimento de plantas daninhas. Tese (Doutorado) Universidade Federal de Viçosa, Minas Gerais, Brasil, 2009.

11 FILHO, P. L. P. et al. Forest species recognition using macroscopic images. Machine Vision and Applications, Springer-Verlag Berlin Heidelberg 2014, p , jan , GASQUES, J. G. et al. DESEMPENHO E CRESCIMENTO DO AGRONEGÓCIO NO BRASIL. Brasília, Brasil: IPEA, GUO, Y.; ZHAO, G.; PIETIKÄINEN, M. Texture classification using a linear configuration model based descriptor. In: CITESEER. BMVC. [S.l.], p OJALA, T.; PIETIKAINEN, M.; MAENPAA, T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. Pattern Analysis and Machine Intelligence, IEEE Transactions on, IEEE, v. 24, n. 7, p , OJANSIVU, V.; HEIKKILÄ, J. Blur insensitive texture classification using local phase quantization. In: Image and signal processing. [S.l.]: Springer, p OJANSIVU, V.; RAHTU, E.; HEIKKILA, J. Rotation invariant local phase quantization for blur insensitive texture analysis. In: IEEE. Pattern Recognition, ICPR th International Conference on. [S.l.], p OLIVEIRA, N. de. IBGE: Safra de grãos será 2,2% maior que em Acesso em: 1 mai Disponível em: < ORLANDO, R. C. Sistema de visão artificial para discriminação entre plantas daninhas e milho. Tese (Doutorado) Universidade Federal de Viçosa, Minas Gerais, Brasil, 2003.