CLASSIFICAÇÃO DE LARANJAS BASEADA EM PADRÕES VISUAIS

Transcrição

1 CLASSIFICAÇÃO DE LARANJAS BASEADA EM PADRÕES VISUAIS Alexandre da Silva Simões 1,2, Anna Helena Reali Costa 1 Laboratório de Técnicas Inteligentes 1 EPUSP - Escola Politécnica da Universidade de São Paulo Av. Prof. Luciano Gualberto, trav. 3, São Paulo, SP. UNESP - Universidade Estadual Paulista 2 Campus de Sorocaba Av. Três de março, Sorocaba, SP. Resumo. O método usual para a seleção e classificação em sistemas de produção de frutas é a inspeção visual humana. Atributos relevantes nesta tarefa tais como cor e forma das frutas são padronizados por instituições especializadas. A automação deste processo baseada em imagens digitais das frutas apresenta como dificuldades principais: i) inexistência de uma descrição formal dos padrões das frutas; ii) inexistência de ferramentas computacionais e modelos consolidados para a classificação de frutas; iii) dependência das condições de iluminação do ambiente. O presente trabalho propõe um sistema automático completo para tarefa da classificação de laranjas baseado no padrão brasileiro de cores (CEAGESP, 2000) e investiga a aplicabilidade da quantização vetorial para a tarefa da comparação de padrões. A aplicação prática desta metodologia é fortemente estimulada pelos resultados obtidos, que tem como característica inerente a robustez à variação das condições de iluminação do ambiente. Palavras Chaves: Automação agrícola, classificação de cores, redes neurais artificiais, quantização vetorial. Abstract. The usual method for sorting and classification in fruits production systems is the human visual inspection. Important attributes in this task like shape and color of fruits are standardized by special institutions. The automation of this process based on digital images of fruits brings as main problems: i) inexistence of a formal description of fruits patterns; ii) inexistence of well-known models and computational tools designed for fruits classification and iii) dependence of the ambient illumination conditions. Present work proposes a whole automatic system to process the oranges classification task according to Brazilian color patterns (CEAGESP, 2000) and investigate the applicability of the vector quantization technique in fruit matching task. The practical application of this methodology is largely stimulated by experiments results. The system presents as an intrinsic characteristic the robustness with respect to ambient illumination conditions. Keywords: Agricultural automation, color classification, artificial neural networks, vector quantization. 1 INTRODUÇÃO Mesmo depois da automação de muitos setores industriais, a inspeção de frutas tem se mostrado uma tarefa melhor realizada por humanos. Grande parte das abordagens automáticas para Artigo Submetido em 01/04/03. 1a. Revisão em 08/08/03; 2a. Revisão em 10/08/03. esta tarefa concentram-se na análise de algum tipo de imagem digital do espectro visível ou não visível tais como os raios-x (Barcelon et. al. 1999) para avaliar tais frutos. A análise de imagens do espectro visível, de particular interesse neste trabalho, pode então ser entendida como a automação do processo de inspeção visual realizado por especialistas humanos utilizando técnicas da visão computacional. As inspeções de frutas realizadas por humanos usualmente tomam como base padronizações realizadas por instituições especializadas. Para o caso específico da laranja no Brasil, uma das escassas referências é o Centro de Qualidade em Horticultura (CEAGESP, 2000), adotada no contexto deste trabalho. O padrão brasileiro propõe a classificação de laranjas baseada em padrões de cor e qualidade, descritos com mais detalhes na seção 2. Contudo, freqüentemente a linguagem utilizada pelas instituições em suas padronizações não é própria para a automação, isto é, não apresenta descrição formal dos padrões. Um sistema autônomo eficiente para a classificação de frutas deve ser apto a realizar sua tarefa com base nestas descrições de alto nível. Alguns trabalhos têm sido propostos utilizando técnicas de processamento de imagens digitais para a análise da forma e tamanho de frutos (Throop et al, 2001) e para detecção de defeitos (Leemans et al, 1998; Leemans et al. 1999; Tao, 1999). Para o problema do reconhecimento de padrões no domínio da agricultura, algumas abordagens utilizam métodos estatísticos (Luo et. al., 1999), redes neurais artificiais (Nakano, 1997) e análise sob espaço de características (Zhang et. al., 1997). Embora diversos trabalhos tenham sido propostos nesse sentido, particularmente a classificação robusta de frutas baseada no parâmetro cor permanece ainda como um problema aberto. O presente trabalho propõe uma metodologia para a classificação de laranjas baseada em informações visuais, com ênfase para o tratamento do padrão de cor, e encontra-se organizado da seguinte forma: a seção a seguir apresenta a padronização brasileira para a classificação da laranja. Na seção 3 a abordagem proposta para o problema é discutida. As seções 4 e 5 trazem respectivamente materiais e métodos e os resultados obtidos. Finalmente, a seção 6 apresenta as conclusões deste trabalho. 2 CLASSIFICAÇÃO DE LARANJAS O padrão brasileiro de classificação de laranjas segundo o centro de qualidade em horticultura (CEAGESP, 2000) - adotado neste trabalho - propõe a classificação das frutas segundo dois aspectos distintos: cor e qualidade. O parâmetro 77

2 qualidade é observado segundo a ocorrência de defeitos de ordem mecânica, patológica, presença e intensidade de manchas e podridão. Já o parâmetro cor, as laranjas são agrupadas em cinco diferentes classes (C1 a C5) e toda a informação fornecida sobre esta classe é a informação visual mostrada na figura 1. C1 C2 C3 C4 C5 Figura 1 Padrões de cores para classificação de laranjas. Seja uma imagem digital composta por uma laranja de cada classe (como na figura 1) e sua transformação para o espaço RGB, mostrada na figura 3. Na grande maioria dos casos, um humano observando tais laranjas classifica os pixels da imagem como pertencentes às classes: VE (verde-escuro), VC (verdeclaro), A (amarelo), LC (laranja-claro) ou LE (laranja-escuro). A tarefa de separar pixels de diferentes cores na imagem original pode ser entendida como a tarefa de separar os grupos de pixels no espaço de cores (figura 3) através de bordas complexas. 3 ABORDAGEM PROPOSTA A arquitetura de uma grande quantidade dos sistemas propostos para a classificação de frutas apresenta quatro etapas bem definidas: i) classificação das cores dos pixels da imagem; ii) segmentação da imagem; iii) extração de padrões e iv) comparação de padrões encontrados com padrões previamente conhecidos. Todavia, as estratégias e ferramentas adequadas para processar de forma adequada estas subtarefas não são consensuais. A figura 2 ilustra as quatro fases usualmente presente nessas abordagens. Para a tarefa da automação da classificação de laranjas baseado nas informações visuais mostradas na seção 2, propôs-se uma abordagem utilizando: i) redes neurais artificiais do tipo perceptron multicamada para a classificação de pixels; ii) segmentação de imagens pelo algoritmo do crescimento da região; iii) contagem simples para a extração de padrões e iv) agrupamento em células de Voronoi para a comparação dos padrões. As seções a seguir destacam cada um destes tópicos bem como as razões para sua adoção e as abordagens usuais. Figura 3 Imagem com uma laranja típica de cada classe (C1 a C5) no espaço RGB. Em trabalhos prévios (Simões, 2000) a aplicabilidade do perceptron multicamada (MLP) treinado com o algoritmo da retropropagação do erro no contexto da classificação de cores foi demonstrada. A RNA proposta pode ser vista na figura 4. Tal rede mapeia cada um dos pixels da imagem em uma das 5 cores apresentadas, acrescidas de uma cor para o fundo da imagem (branco) e uma cor para a identificação de manchas. Na camada oculta, 20 neurônios mostraram-se empiricamente suficientes para implementar a função desejada. classificação de pixels segmentação classe da fruta classificação de padrões Figura 2 Abordagem proposta para a classificação de laranjas baseada em cores. 3.1 Classificação de pixels extração de padrões Embora aparentemente imediato para humanos, a identificação de cores envolve muitas noções de ordem física e psicológica. Nesse sentido, a classificação de cores de pixels pode ser vista como a aplicação de funções não-lineares sobre representações das cores dos pixels. Particularmente as redes neurais artificiais (RNAs) têm se mostrado uma ferramenta poderosa neste contexto (Littman e Hitter, 1997), uma vez que tal classificador pode implementar qualquer função. Figura 4 RNA usada na classificação de pixels. Também em trabalhos prévios foram estudadas metodologias para o fornecimento de exemplos à rede, de forma a estimular uma generalização robusta sob diferentes condições de iluminação, tais como: i) simples exemplos extraídos do domínio, ii) exemplos das cores do domínio em diferentes saturações, iii) exemplos das cores do domínio sob diferentes intensidades luminosas. A figura 5 ilustra a capacidade de generalização da RNA para diferenciar as cores do domínio da classificação de laranjas. A figura 5a apresenta horizontalmente uma paleta em degradê com as tonalidades das cores do domínio (VE, VC, A, LC e LE), e verticalmente variação de saturação nessas cores. Após o treinamento da rede com dois exemplos de cada uma dessas cores (pontos em destaque), toda a imagem foi submetida à classificação pixel a pixel. A figura 5b ilustra o resultado desta classificação. Evidentemente, generalizações mais complexas no sentido da robustez às condições de iluminação poderão ser conseguidas apresentando à rede mais exemplos destas grandezas em seu treinamento. 78

3 (a) VE VC A LC LE BR saturação PR No contexto do presente trabalho, a característica mais marcante das laranjas é o vetor de cores (ilustrado na figura 7), isto é, a quantidade de pixels pertencentes a cada uma das classes de cores (VE, VC, A, LC e LE). Observe que a quantidade de pixels do tipo M (manchas) pode ser relevante na análise da rejeição da fruta, mas não é uma característica determinante da classe da fruta (C1 a C5). tonalidade Rmax (b) Height Rmin Widt h Rmax Rmin Widt h Height Figura 5 Capacidade da generalização da RNA: (a) várias tonalidades e saturações das cores do domínio e os dois exemplos de cada cor utilizados no treinamento; (b) Imagem anterior classificada após o treinamento. De fato, MLPs têm se mostrado uma solução eficiente para a classificação de cores no domínio de frutas e grãos (Luo et. al, 1999; Kondo et. al., 2000). Uma abordagem bastante similar à proposta neste trabalho foi adotada por Nakano (1997), que classificou pixels de imagens de maçãs em cinco classes. Embora similares, a abordagem atual apresenta diferenças fundamentais em relação a esta: i) busca-se uma classificação de cores robusta a variação nas condições de iluminação; ii) é proposta na fase de classificação de pixels a classe mancha (ver figura 4). 3.2 Segmentação da imagem Tomando-se como base uma imagem com seus pixels classificados, a segmentação da imagem no contexto do presente trabalho consiste em agrupar corretamente os pixels pertencentes às laranjas em questão, ou, em outros termos, particionar a imagem de entrada em regiões disjuntas. Um grande número de algoritmos tem sido proposto para a tarefa de segmentar frutas e sementes, tais como análise de discriminantes lineares (Moltó et. al. 1995), análise de textura (Tao et. al., 1995), análise baseada no código de Chain (Moltó, 1995), entre outras. No presente trabalho, o conhecido algoritmo de crescimento da região (Gonzalez e Woods, 1997) foi adotado, principalmente devido a sua simplicidade e baixo custo computacional. Tal algoritmo mapeia pixels individuais a conjuntos de pixels denominados regiões, isto é, laranjas são identificadas considerando áreas conectadas de pixels classificados como uma das cores importantes no domínio (VE, VC, A, LC, LE ou M: mancha). 3.3 Extração de padrões Uma vez identificadas as laranjas na imagem, sua análise pode iniciar. Padrões comumente analisados são o número de pixels da fruta, altura, largura, razão altura-largura, maior e menor raios. De forma geral estes descritores têm se mostrado suficientes para uma boa análise das características da fruta e para uma grande capacidade de rejeição, outras têm sido propostas. Throop et. al. (2001), por exemplo, utilizou 19 características na análise de maçãs. A figura 6 mostra um exemplo das grandezas para a análise da forma de frutas. As especificações de forma podem ser obtidas de imagens digitais utilizando um grande leque de técnicas de processamento de imagens, e conferem ao sistema uma boa capacidade de rejeitar frutas com formas irregulares. Figura 6 Extração dos padrões de forma de laranjas. VE V C A LC Figura 7 Extração dos padrões de cores de uma laranja: uma laranja C2 típica e seu vetor de cores. 3.4 Comparação de padrões de cor Neste trabalho, a comparação dos padrões presentes na imagem com padrões de laranjas previamente conhecidos consiste em mapear as laranjas da imagem em uma das classes apresentadas na figura 1 (ou nenhuma delas). Este processo apresenta algumas características particulares: i) a classificação das laranjas depende das saídas do estágio de classificação de pixels; ii) o estágio da classificação de pixels pode apresentar erros; iii) a comparação precisa ser realizada baseada em informações visuais imprecisas (ver seção 2). Para o problema da comparação de padrões no domínio da automação agrícola, diversas ferramentas têm sido propostas, entre elas: métodos estatísticos (Luo et. al., 1999), redes neurais artificiais (Nakano, 1997) e análise no espaço de características (Zhang, 1997), entre outras. No contexto deste trabalho, um subproduto dos estágios anteriores é o vetor de cores da laranja sob análise. Supondo-se então que se conheça o vetor típico (centro) de cada uma das classes de laranjas (C1 a C5), a tarefa da comparação de padrões pode ser revista simplesmente como uma tarefa de aproximação de vetores neste caso vetores em R 5. Nestes termos, um ponto do espaço de atributos será considerado pertencente à célula cujo centro estiver à menor distância Euclidiana do ponto. A figura 8 ilustra a divisão do espaço de atributos em células, conhecidas como células de Voronoi. Característica A C2 C3 Característica B C4 Figura 8 Diagrama de Voronoi em R 2 com quatro células, onde Cn é o centro da região n. C1 79

4 4 MATERIAIS E MÉTODOS 4.1 Calibração do sistema Inicialmente, laranjas foram colocadas sobre um fundo branco e imagens foram adquiridas utilizando uma câmera colorida Hitachi KP-D50 sob iluminação aproximada de 800 Lux sem qualquer cuidado especial. O sinal S-VHS da câmera foi convertido para imagem de 24 bits RGB por uma placa digitalizadora BT-848 com resolução de 200x200 pixels. A RNA foi treinada com 25 exemplos de cada uma das cores importantes no domínio (VE, VC, A, LC, LE e M) utilizando como exemplos cores do domínio em diferentes saturações e condições de iluminação. O número e a qualidade dos exemplos mortraram-se empiricamente suficientes para uma boa generalização da rede, verificada pelo método da validação-cruzada. Após o treinamento, 5 laranjas típicas de cada classe (C1 a C5), classificadas por um humano, foram submetidas, pixel a pixel, à classificação de cores da RNA. Após este processo, seus vetores de cores foram observados. Os 5 vetores de cada uma das classes de laranjas foram submetidos ao algoritmo fuzzy C-means (FCM) (Bezdek, 1981) de forma a determinar aproximadamente o vetor típico de cada uma das 5 classes. A tabela 1 apresenta os valores obtidos que foram anotados para uso no processo de classificação de padrões. Tabela 1 Vetores típicos de cada classe de laranjas. Padrão C1 C2 C3 C4 C5 VE VC A LC LE Para a demonstrar a robustez do sistema às condições de iluminação, pixels de uma laranja C1 típica sob diferentes condições de iluminação foram classificados pela RNA, e seu vetor de cores foi anotado em cada caso. Os resultados são apresentados no gráfico mostrado na figura 9, que apresenta a composição de cores do vetor representante da laranja (%) em função da iluminação (lux). Finalmente, foram apresentadas à rede laranjas com padrões de cor bastante distantes daqueles mostrados na figura 1. Uma vez que as imagens de tais laranjas (mostradas na figura 10a) são classificadas pela RNA (figura 10b) e extraídos seus padrões de cores, a abordagem propicia a rejeição destas frutas por incompatibilidade de padrões de cores, através da simples imposição de um limiar à distância das laranjas no espaço de atributos ao centro da classe (cluster) em questão. 5 RESULTADOS Tabela 2 Análise quantitativa da partição dos pixels de uma imagem pelo sistema. F: fundo, VE: verde-escuro, VC: verde-claro, A: amarelo, LC: laranja-claro; LE: laranjaescuro, M: mancha. Classificação do sistema F VE VC A LC LE M F 95 % 0.9 % 1.9 % 1.3 % 0 % 0.8 % 0 % VE 8 % 86 % 6 % 0 % 0 % 0 % 0 % VC 2.4 % 7.8 % 89 % 1.1 % 0 % 0 % 0 % Classe (segundo classificação humana) A 3.4 % 0.1 % 2.6 % 92 % 0 % 2.3 % 0 % LC 0 % 0 % 0.2 % 3.3 % 92 % 4 % 0.4 % LE 2 % 0.6 % 0.9 % 4.1 % 0.5 % 92 % 0 % M 0 % 0 % 4.1 % 1.4 % 14 % 0 % 81 % 4.2 Testes do sistema Depois da calibração do sistema, um conjunto de testes foi proposto para examinar o poder de classificação da abordagem. Nos testes foram utilizadas imagens de 120 laranjas distintas, igualmente divididas em cada uma das classes C1 a C5. Os testes foram divididos em dois grupos, de forma a avaliar: i) o poder de classificação de pixels e ii) o poder de classificação do sistema. Como testes complementares à abordagem em caráter demonstrativo procurou-se evidenciar as principais características da abordagem destacando: i) a robustez da classificação às condições de iluminação e ii) o poder de rejeição do sistema. Para o teste do poder de classificação de pixels, uma imagem com uma laranja típica de cada classe válida (similar à figura 1) foi oferecida à rede e a um humano para classificação da cor de seus pixels (um a um). A classificação realizada pelo humano foi tomada como base para determinar a taxa de acerto da classificação da rede. Define-se a taxa de acerto T para cada classe (cor) de pixels como: T=(N C /N T ) x100%, onde N C é o número de pixels classificados (pela rede) na classe considerada e N T é o número total de pixels da classe atual (segundo o humano). A tabela 2 apresenta tal resultado. Para avaliar o poder de classificação do sistema, a totalidade das 120 laranjas foi apresentada ao sistema completo, e a taxa de acerto na classificação for anotada. De forma similar à análise anterior, a classificação realizada por um humano foi tomada como referência. Houve 100% de acerto nesta fase, para todas as classes. Figura 9 Avaliação da dependência da iluminação: porcentagem de pixels presentes em cada classe de cores na imagem de uma laranja C1 típica sob diferentes condições de iluminação e uma RNA treinada a 800 Lux. (a) (b) Figura 10 Laranjas rejeitadas pelo sistema por excederem o limiar de distância dos centros das classes. 6 CONCLUSÕES No presente trabalho, foram apresentadas modelagem, implementação e testes de um sistema para seleção e classificação de laranjas baseada exclusivamente em informações visuais das frutas. A abordagem é constituída de 80

5 quatro fases: i) classificação de pixels; ii) segmentação da imagem; iii) extração de padrões e iv) comparação de padrões de cores. Considerando-se que a classificação de pixels é uma tarefa árdua até mesmo para humanos, a tabela 2 evidencia que a RNA e a metodologia de treinamento adotadas em trabalhos prévios são aplicáveis para o treinamento da rede no sentido de obter uma generalização próxima à do humano no domínio adotado. Depois da segmentação e extração das características de cores de cada laranja presente na imagem, os padrões encontrados foram comparados com padrões previamente conhecidos utilizando a quantização vetorial. Como principais características da abordagem, podemos citar: i) Robustez a variações nas condições de iluminação do ambiente (vide figura 9); ii) Robustez com relação à eliminação de rejeitos (vide figura 10); iii) Robustez contra erros de classificação dos pixels; iv) Fácil adequação a outros padrões de classificação; v) Apresenta como subproduto da abordagem o grau de confiança na classe atribuída à laranja, que é a própria distância até o centro de sua classe. O desempenho global do sistema motiva largamente a aplicação desta metodologia para a tarefa proposta (vide seção 4.2) bem como sua extensão a outros domínios, onde demonstra enorme potencial. Contudo, embora a aplicabilidade do método tenha sido comprovada pelos experimentos realizados, é preciso ressaltar que a classificação de padrões utilizando como ferramenta a quantização vetorial não é capaz de implementar qualquer função de classificação. Isso equivale a dizer que, embora o sistema tenha se mostrado adequado para o domínio proposto, outros domínios podem levar a ferramenta a não efetuar a classificação a contento. Nakano (1997), por exemplo, resolveu este problema utilizando-se de uma segunda rede neural para implementar a classificação de padrões. Neste tipo de abordagem, contudo, torna-se um problema o treinamento das rejeições do sistema, visto que a RNA não pode ser treinada para rejeitar qualquer fruta diferente dos padrões apresentados. Este claro compromisso entre a complexidade da função de classificação e a capacidade de rejeição sugere, para domínios mais complexos, a aplicação de um classificador fuzzy, visto que, embora computacionalmente menos eficaz que a quantização vetorial, atende às duas restrições apresentadas. REFERÊNCIA BIBLIOGRÁFICA Barcelon, E.G.; Tojo, S. and Watanabe, K. (1999). X-ray CT imaging and quality detection of peach at different physiological maturity. Transactions of the ASAE - American society of agricultural engineers. Vol. 42(2), pp Kondo, N.; Ahmad, U.; Monta, M. and Murase, H. (2000). Machine vision based quality evaluation of Iokan orange fruit using neural networks. Elsevier. Computers and electronics in agriculture. Vol. 29, pp Leemans, V.; Magein, H.; Destain, M. F. (1998). Defects segmentation on Golden Delicious apples by using colour machine vision. Computers and Electronics in Agriculture, 20, Leemans, V.; Magein, H. and Destain, M. F. (1999). Defect segmentation of jonagold apples using colour vision and a Bayesian classification method. Elsevier. Computers and electronics in agriculture. Vol. 23, pp Littman, E. and Ritter, H. (1997). Adaptive color segmentation: a comparison of neural and statistical methods. IEEE Transactions on neural networks. Vol 8 (1), January, Luo, X.; Jayas, D. S. and Symons, S. J. (1999). Comparison of statistical and neural network methods for classifying general grains using machine vision. Transactions of the ASAE, 42(2), Moltó, E.; Ruiz, L.A.; Aleixos, N.; Vazquez, J. (1995). Machine vision for non destructive evaluation of fruit quality. Acta Horticulturae, International Society for Horticultural Science, 42, Nakano, K. (1997) Application of neural networks to the color grading of apples. Computers and Electronics in Agriculture, 18, Simões, A. S. (2000) Segmentação de imagens por classificação de cores: uma abordagem neural. Dissertação de mestrado. Escola Politécnica da Universidade de São Paulo, São Paulo - SP. Tao, Y; Wen, Z. (1999). An adaptative spherical image transform for high-speed fruit defect detection. Transactions of the ASAE - American society of agricultural engineers. Vol. 42(1), pp Throop, J. A.; Aneshansley, D. J.; Upchurch, B. L.; Anger, B. (2001). Apple orientation on two conveyors: performance and predictability based on fruit shape characteristics. Transactions of the ASAE - American society of agricultural engineers. Vol. 44(1), pp Zhang, J.; Sokhansanj, S. ; Wu, S. ; Frang, R. And Yang, W. (1997). A trainable grading system for tobacco leaves. Computers and Electronics in Agriculture, 16, Bezdek, J. C. (1981). Pattern recognition with fuzzy objective function algorithms. Plenum Press, New York. CEAGESP (2000). Programa brasileiro para a melhoria dos padrões comerciais e embalagens de hortifrutigranjeiros: classificação da laranja: programa de adesão voluntária. CEAGESP: Centro de qualidade em horticultura, São Paulo. Gonzales, R.C. and Woods, R. E. (1997). Digital image processing. Addison-Wesley, Reading, MA, USA. 81