UTILIZANDO UM CLASSIFICADOR FUZZY PARA A SELEÇÃO VISUAL DE LARANJAS RESUMO ABSTRACT

Transcrição

1 UTILIZANDO UM CLASSIFICADOR FUZZY PARA A SELEÇÃO VISUAL DE LARANJAS Alexandre da Silva Simões, Anna Helena Reali Costa, Marco Túlio Carvalho de Andrade Laboratório de Técnicas Inteligentes Depto. de Engenharia de Computação e Sistemas Digitais Escola Politécnica da Universidade de São Paulo Av. Prof. Luciano Gualberto, trav. 3, São Paulo-SP Brasil (alexandre.simoes, anna.reali, marco.andrade)@poli.usp.br RESUMO Um problema comum em sistemas de produção de frutas é sua seleção. Um processo usual para a realização desta tarefa consiste na inspeção visual humana considerando-se características gerais das frutas como cor e tamanho. Em um sistema automático para esta tarefa, estas características poderiam ser obtidas de imagens digitais, utilizando-se técnicas convencionais de processamento de imagens. Já o atributo cor, devido aos problemas de variação na saturação e luminosidade do ambiente, é um problema de difícil modelagem. Em trabalho prévio, foi estudada uma metodologia para extrair as características de cor de laranjas. A etapa a seguir no processo de classificação tem como objetivo realizar uma comparação das características observadas na fruta com padrões previamente estabelecidos. Assim sendo, visto que as características de cor apresentam-se de forma imprecisa, busca-se no presente trabalho investigar a aplicabilidade de um sistema de classificação baseado na teoria fuzzy para esta tarefa. ABSTRACT A common problem in fruit production system is sorting. A usual process to carry out this task is based on human visual inspection considering general fruit attributes such as color and size. In automatic classification systems for this purpose, characteristics like fruit size can easily be obtained from digital images using standard image processing techniques. Color attribute, however, due to problems like illumination, color brightness, and saturation variations is a difficulty problem to model. In previous work a methodology to extract color characteristics from oranges was studied. Next step of classification process requires a matching between these observed characteristics and previously established patterns. Considering that color characteristics are vague, in this work we investigate the applicability of a fuzzy classification system based on fuzzy theory to this task. 1 INTRODUÇÃO O processo para a seleção de frutas consiste usualmente na inspeção visual humana considerando-se duas características principais: a cor e o tamanho dos frutos. Um sistema automático para tal finalidade, que possa substituir a inspeção humana deve, portanto, estar apto a identificar adequadamente estes dois parâmetros. Técnicas convencionais de processamento de imagem permitem extrair de imagens de frutos suas características geométricas (Gonzales e Woods, 1992). Já a característica cor, embora aparentemente imediata para os seres humanos, envolve noções físicas e psicológicas, tornando muito complexa sua modelagem. No contexto do presente trabalho, centraremos nossa atenção no problema da seleção de frutas utilizando o atributo cor. O processo de classificação automática de frutas baseado em cores pode ser entendido como um problema com duas fases distintas: i) extração das características de cor da fruta em questão e ii) a comparação das características observadas com os padrões pré-existentes. Em trabalhos prévios (Simões, 2000; Simões e Reali Costa, 2000a), o problema da extração das características de cor de objetos foi abordado realizando-se a classificação de cores. O classificador utilizado foi uma rede neural artificial (RNA) do tipo perceptron multicamada treinada com o algoritmo da retropropagação do erro. A escolha do classificador por RNA se deu com base nos seguintes aspectos principais (Simões, 2000): Capacidade de classificação robusta a variações na intensidade luminosa do ambiente e à saturação das cores envolvidas; Capacidade de aproximação de qualquer função (Hecht-Nielsen, 1990); Capacidade de aprender através de exemplos; Capacidade de generalização para situações em que a rede não foi treinada. Tal classificador foi treinado para mapear os pixels de uma imagem digital em um conjunto de classes de cores previamente conhecidas. A forma de treinamento, a generalização da RNA e o sistema de representação de cores mais adequado para a classificação de cores também foram estudados previamente (Simões e Reali Costa, 2000b; Simões e Reali Costa 2000c), concluindo pela representação RGB das cores, treinamento com a saturação média das cores (cores mais vivas) e sob intensidade de luz variando de 500 a 1000lux. Contudo, uma vez extraídas as características de composição de cores de uma fruta, necessita-se de algum método capaz de classificá-la segundo alguma das classes previamente conhecidas. Tal classificação apresenta alguns pontos importantes, tais como: i) Capacidade de manipulação de dados de forma imprecisa, visto que a grandeza cor e a interpretação desta por parte de uma RNA não são claramente definidas; ii) Robustez a ruídos, uma vez que o estágio de classificação de cores pode conter falhas de iii) classificação; Capacidade de rejeitar padrões de entrada que apresentem certa distância das classes definidas, sem a necessidade de fornecimento de exemplos desses padrões de falha. Motivado pelas considerações acima apresentadas, o presente trabalho realiza uma investigação acerca da aplicabilidade de um classificador fuzzy no contexto da

2 classificação de laranjas. Este classificador fuzzy teria como entrada as composições de cores previamente identificadas (rotuladas) a cada laranja, na imagem digital de entrada, cores estas classificadas pela RNA. Este artigo encontra-se organizado da seguinte maneira: na seção 2 apresenta-se a padronização brasileira para a seleção de laranjas. Na seção 3 a classificação de cores é abordada. Na seção 4 é apresentada a abordagem proposta para o problema, utilizando um classificador fuzzy. A seguir, na seção 5, apresentam-se os resultados obtidos e, por fim, as conclusões são fornecidas na seção 6. retropropagação do erro. Diferentes formas para o fornecimento de exemplos à rede bem como sua generalização foram estudadas em trabalho prévio (Simões, 2000). 2. A SELEÇÃO DE LARANJAS De acordo com o padrão brasileiro de qualidade em horticultura (Centro de qualidade em horticultura, 2000), laranjas são classificadas segundo diferentes aspectos, tais como tamanho, cor e presença de defeitos. Cinco diferentes classes são definidas para a classificação baseada em cores: a) C1, b) C2, c) C3, d) C4 e e) C5. As laranjas típicas representantes de cada classe são mostradas na figura 1. (a) (b) (c) (d) (e) Fig. 1 As 5 classes de laranjas segundo sua cor: a) C1; b) C2; c) C3; d) C4; e)c5. Um problema adicional para a seleção de frutos é a identificação de rejeitos. Laranjas que apresentem características como pontos de podridão ou outros tipos de danos visuais devem ser classificadas como rejeitadas, não cabendo portanto à classificação segundo os padrões apresentados. Uma laranja rejeitada típica é apresentada na figura 2. Grande parte dos motivos de rejeição visualmente identificável apresenta coloração típica. Alguns tipos específicos de fungos, entretanto, podem apresentar colorações diferenciadas, de difícil modelagem a priori. Fig 3 Uma laranja da classe C3 e sua transformação para o espaço RGB Observando o padrão brasileiro de classificação de laranjas, pudemos identificar visualmente 5 diferentes classes de cores presentes nos pixels que compõem as imagens dos frutos: verde-escuro, verde-claro, amarelo, laranja-claro e laranja-escuro. Exemplos dessas classes, extraídos de laranjas típicas classificadas por um humano, foram utilizados no treinamento da rede. A RNA utilizada na classificação de cores pode ser vista na figura 4. Trata-se de uma rede do tipo perceptron multicamada, treinada com o algoritmo da retropropagação do erro. A rede apresenta três neurônios na camada de entrada (destinados a receber a trinca RGB de um dado pixel da imagem digital de cada laranja analisada) e sete neurônios de saída (representando as 5 classes de cores identificadas na figura 1, uma cor característica de dano e a cor branca representando o fundo da imagem). Apresentados a esta RNA todos os pixels de uma imagem (um a um), obtivemos na saída tais pixels classificados como uma das classes de cores para as quais a rede foi treinada. Uma contagem destes fornece a proporção de pixels de cada classe presentes em uma fruta. Branco Verde Claro R Verde Escuro G Amarelo Fig 2 Uma laranja rejeitada. B. Laranja Claro Laranja Escuro 3. A CLASSIFICAÇÃO DE CORES Danificado Considere-se uma laranja típica da classe C3 amostrada por uma câmera. Tal imagem transformada para o espaço de cores RGB é apresentada na figura 3. O problema da classificação de cores dos pixels da imagem segundo padrões pré-estabelecidos pode agora ser revisto como o problema da determinação de bordas particionadoras do espaço RGB para as cores em questão. Para tanto, utiliza-se uma RNA do tipo perceptron multicamada treinada com o algoritmo da Fig 4 A RNA utilizada. 4. A ABORDAGEM PROPOSTA PARA A COMPARAÇÃO DE PADRÕES 4.1 O Classificador Fuzzy Como segundo estágio para a classificação de laranjas, torna-se necessário algum método que permita

3 realizar o mapeamento das características de cor extraídas pela RNA da fruta sob análise para uma das possíveis classes de laranjas. O classificador fuzzy proposto para tal tarefa pode ser visto na figura 5. Tipicamente espera-se que, apresentando-lhe a quantidade de pixels de cada classe presente em uma imagem de uma fruta (dado extraído da imagem pela RNA e transformado na forma percentual), ele seja capaz de identificá-la segundo alguma das classes vistas na figura 1 ou como uma classe genérica de rejeitos. A rejeição de uma laranja pode se dar em uma das duas etapas: (i) ou é rejeitada com base na aplicação de um limiar simples no número de pixels classificados como danificado pela RNA, pixels estes que compõem a imagem da laranja, ou (ii) é rejeitada por composição inadequada das cores de interesse (verde-escuro, amarelo, etc). Assim, no classificador fuzzy foram desconsideradas as quantidades de pixels em uma imagem classificados como branco (fundo da imagem) ou como danificado, (considerado na etapa anterior de rejeição prévia). A seguir é apresentado o processo de obtenção das funções de pertinência e das regras do classificador fuzzy. 4.2 Entradas O fato de a camada fuzzy ser precedida por uma camada de classificação via RNAs é um fator que dificulta a elaboração, por parte de um humano, da partição nebulosa que define os predicados lingüísticos das variáveis envolvidas e as funções de pertinência correspondentes, visto que a classificação é fortemente dependente das cores para as quais a rede foi treinada. Uma observação de grande relevância nesse contexto, no entanto, é a de que um grupo fuzzy é representado por um exemplo típico (o centro do grupo) e o grau de pertinência de um exemplo ao cluster vai decaindo com o aumento da distância ao centro do cluster (Klawonn e Keller, 1997; Klawonn e Kruse, 1995; Núrenberger e Klose, 1998). onde: c n m 2 J ( X, U, v) = ( µ ). d ( v, x ) (1) i= 1 k = 1 ik µ ik : é o grau de pertinência de xk ao cluster i ; v i, x ) x ao cluster i ; d ( k : é a distância do dado k v i : é o membro típico da classe i ; c : é o número de classes; m : é o índice de fuzificação. Um algoritmo bastante simples para a determinação dos grupos fuzzy é o fuzzy c-means (FCM) (Bezdek, 1981), onde a distância d é simplesmente a distância Euclidiana. Outras abordagens, como o método de procura por hiperplanos elipsoidais de tamanho variável, também são usuais (Kosko, 1997). Visando determinar os exemplos ótimos de cada grupo utilizando tal método, tomou-se um conjunto de amostras de laranjas típicas das cinco classes, classificadas visualmente por um humano conforme o padrão adotado. As imagens de cada uma das laranjas foram submetidas à RNA (pixel a pixel) e, após efetuada a classificação das imagens, obtive-se o percentual de cada classe de cor presente em cada fruta. O conjunto de vetores contendo os percentuais de identificação de cada cor de interesse presentes em cada classe de laranja foi submetido ao FCM, com o objetivo de determinar os vetores típicos de cada classe de laranjas. Os valores encontrados podem ser vistos na tabela 1. O vetor típico da classe C X foi interpretado no decorrer do trabalho como pertencente à classe X com grau de certeza µ Cx = 1. Observa-se que, após a aplicação do algoritmo FCM, o vetor típico encontrado como centro do cluster não necessariamente mantém a relação percentual entre os pixels das diversas cores que o compõem, como acontecia com os vetores após a saída da rede neural. i k Tabela 1- Os vetores típicos de cada classe obtidos através do FCM. Padrão C1 C2 C3 C4 C5 Verde escuro Verde claro Amarelo Laranja claro Laranja escuro Fig 5 O classificador nebuloso utilizado. Nesse sentido, dado um conjunto de exemplos X = { x1, x2,..., xn} Rn é possível determinar os membros típicos de cada grupo que minimizam o funcional: Com base nos vetores encontrados e na relevância da variação de cada uma das classes de cores para a classificação final da fruta, adotaram-se as variáveis lingüísticas e os correspondentes predicados (ou valores) lingüísticos mostradas na tabela Saídas Na figura 6 pode ser vista a partição nebulosa adotada para a variável lingüística classe. Tal variável pode assumir 6 valores lingüísticos distintos: C1, C2, C3, C4,

4 C5 ou rejeitada. Observe que a classe rejeitada nesse contexto diz respeito às frutas que não atenderam à similaridade desejada com alguma das demais classes de cores, e não às laranjas rejeitadas por possuírem um certo número de pixels classificados como danificado. Tabela 2- As variáveis lingüísticas de entrada. Variáveis Valores lingüísticos lingüísticas Verde escuro baixo, médio-alto e muito alto Verde claro baixo, médio e alto Amarelo baixo, médio baixo, médio alto e alto Laranja claro baixo, médio baixo, médio-alto e alto Laranja escuro baixo, médio e alto 4.4 Regras A base de regras fuzzy utilizada, que expressa o conhecimento do especialista na classificação de laranjas, pode ser vista abaixo. Observe que a função else foi implementada utilizando-se as mesmas regras anteriores (1 a 5), acrescidas da partícula not com um peso igual a 0,1. Nesses termos, laranjas que não sejam classificadas como pertencentes às classes C1 a C5 tipicamente são rejeitadas pelo sistema. 1. IF (verde-escuro= muito alto ) THEN classe=c1 2. IF (verde-escuro= médio-alto ) AND (laranja-claro= médio-baixo ) THEN classe=c2 3. IF (amarelo= médio-alto ) AND (laranja-claro= médio-baixo ) THEN classe =C3 4. IF (amarelo= médio-baixo ) AND (laranja-claro= médio-alto ) THEN classe =C4 5. IF (laranja-claro= médio-baixo ) AND (laranja-escuro= alto ) THEN classe =C5 6. ELSE classe=rejeitada. A figura 7 ilustra a aplicação on-line do conjunto de regras adotado. Neste sistema encontram-se descritas as regras 1 a 5 acima representadas pelas regras 1 a 5 no sistema fuzzy. A regra 6 foi implementada utilizando-se a negação das regras anteriores. As regras podem ser vistas horizontalmente. No exemplo apresentado, o sistema é testado para o vetor de entrada [30, 2, 5, 40, 20], onde tais níveis correspondem respectivamente às percentagens de pixels verde-escuro, verde-claro, amarelo, laranja-claro e laranja-escuro identificados pela RNA. As regras ativadas pelo sistema são destacadas em amarelo e no final de cada linha pode-se acompanhar o desempenho da variável de saída classe. O exemplo apresentado foi considerado distante dos vetores padrão de cada classe (mostrados na tabela 1) e, portanto, classificado como rejeitado. 5 RESULTADOS O método fuzzy acima descrito foi implementado utilizando-se o software Matlab. O diagrama de blocos utilizado pode ser visto na figura 8. Fornecida uma quíntupla representando o percentual de cada tipo de pixel encontrado na fruta, tipicamente o classificador retornou a classificação desta como uma das classes possíveis. Depois de refinadas as funções de pertinência de cada uma das classes de entrada, o classificador foi testado para diversas amostras de laranja. Erros de classificação foram detectados em apenas dois casos: i) Para laranjas cujas imagens foram capturadas quando as mesmas estavam localizadas em regiões da cena de iluminação não-homogênea; ii) Quando a classificação das laranjas, por observação de suas imagens, era incerta mesmo para humanos. 6 CONCLUSÕES Neste trabalho foi apresentado um método para a seleção de laranjas baseada apenas em características visuais de cor. Pela abordagem proposta a classificação foi realizada em dois estágios: i) classificação de cores pixel a pixel; ii) classificação da fruta propriamente dita. Para a classificação de pixels foi utilizada uma RNA treinada com o algoritmo da retropropagação do erro. Para a classificação da fruta foi utilizado um classificador fuzzy, objeto de investigação do trabalho. A utilização de um classificador fuzzy mostrou-se aderente à abordagem visto que: i) Conferiu à abordagem robustez aos erros de classificação do primeiro estágio; ii) Possui um custo computacional pequeno, se comparado com outros classificadores aplicáveis à mesma tarefa, sobretudo quando comparado às RNAs; iii) Possui um sistema de regras claras para a classificação, e não requer exemplos de todos os vetores não pertencentes a uma determinada classe; iv) Fornece como subproduto da classificação o grau de confiança na classificação realizada. Dentre as características observadas, destaca-se a facilidade de expressar o conhecimento de que um determinado padrão não pertence às demais classes. Essa característica confere ao sistema a capacidade de rejeitar todos os padrões de laranjas que não se assemelhem a nenhuma das classes definidas, com o simples acréscimo de uma regra na base de conhecimento. Desta forma, cores não esperadas na primeira fase da classificação podem implicar em rejeição da fruta na segunda fase. Em outros classificadores, como as RNAs, a implementação de tal rejeição tipicamente tornaria necessário o treinamento exaustivo para todas as possíveis combinações de entrada, o que é inviável. O refinamento das regras e das funções de pertinência para a rejeição adequada de uma maior quantidade de rejeitos permanecem como trabalhos futuros para este sistema, que, mediante as análises efetuadas, mostrou-se fortemente aderente à proposta do trabalho.

5 REFERÊNCIAS BIBLIOGRÁFICAS BEZDEK, J.C. Pattern Recognition with fuzzy objective function algorithms, Plenum Press, New York, (Appud Klawonn e Kruse, 1995). CENTRO DE QUALIDADE EM HORTICULTURA CEAGESP Classificação da laranja programa de adesão voluntária. São Paulo..(Orange classification voluntary adoption program) SIMÕES, A. S. and REALI COSTA, A. H.. Classificação de Cores por Redes Neurais usando a Representação HSV. INTERNATIONAL JOINT CONFERENCE IBERAMIA'2000 and SBIA'2000, Open Discussion Track Proceedings, M. C. Monard & J. S. Sichman (eds.), November 19-22, 2.000, pp (c) GONZALES, R. C.; WOODS, R. E.; Digital Image Processing. Addison-Wesley publisher Company. 2 nd edition KLAWONN, F. and KELLER, A. Fuzzy clustering and fuzzy rules. In html,1997. Em 05/2001. KLAWONN, F. and KRUSE, R. Derivation of fuzzy classification rules from multidimensional data. In ml Em 05/2001. KOSKO, B. Fuzzy Engineering. Prentice Hall, New Jersey, NÜRENBERGER, A. and KLOSE, A. and KRUSE, R. Discussing cluster shapes of fuzzy classifiers. SIMÕES, A. S.; REALI COSTA, A. H.; HIRAKAWA, A. R..; SARAIVA, A. M. Applying neural networks to automated visual fruit sorting. WORLD CONGRESS OF COMPUTER IN AGRICULTURE WCCA A ser publicado. SIMÕES, A. S. Segmentação de imagens por classificação de cores: uma abordagem neural. DISSERTAÇÃO DE MESTRADO. ESCOLA POLITÉCNICA DA USP. São Paulo SIMÕES, A. S. and REALI COSTA, A. H.. Using Neural Color Classification in Robotic Soccer Domain. INTERNATIONAL JOINT CONFERENCE IBERAMIA'2000 and SBIA'2000, Workshop Proceedings, Meeting on Multi-Agent Collaborative and Adversarial Perception, Planning, Execution, and Learning. L. N. Barros, R. M. Cesar Jr., F. G. Cozman, A. H. Reali Costa (eds.). São Paulo, ISBN , November 2.000, Atibaia, SP, Brazil, pp (a) SIMÕES, A. S. and REALI COSTA, A. H.. Segmentação de imagens por classificação de cores: uma abordagem neural para a representação RGB. In: WORKSHOP DE COMPUTAÇÃO WORKCOMP'2000, Carlos H. C. Ribeiro & Milton T. S. Sakude (eds.), Instituto Tecnológico de Aeronáutica - ITA, São José dos Campos, SP, Pg (b)

6 Fig 6 A variável lingüística de saída classe. Fig 7 As regras para a classificação. Fig 8 O diagrama de blocos do classificador utilizado.