Alexandre da Silva Simões, Anna Helena Reali Costa

Transcrição

1 Classificação de Cores por Redes Neurais Artificiais: Um Estudo do Uso de Diferentes Sistemas de Representação de Cores no Futebol de Robôs Móveis Autônomos Alexandre da Silva Simões, Anna Helena Reali Costa Laboratório de Técnicas Inteligentes Departamento de Engenharia de Computação e Sistemas Digitais - Escola Politécnica da Universidade de São Paulo (EPUSP) Av. Prof. Luciano Gualberto, trav. 3, São Paulo-SP Brasil assimoes@cyberspace.com.br, anna.reali@poli.usp.br Abstract. In previous works we have investigated the influence of the use of different color representations in the performance of a multilayer perceptron Artificial Neural Network used for color image segmentation. The RGB, HSV and YUV color representations were tested in tasks of color-based segmentation, aiming at robustness to variations in the illumination of the environment. In the present work we verify the usefulness of this approach applied to the robotic soccer domain. Our goal consists in defining the most suitable color representation to this domain, since it is a real-time domain that presents serious restrictions about the calibration time. Resumo. Em trabalhos prévios a influência das diferentes formas de representação de cores RGB, HSV e YUV no desempenho de uma rede neural artificial (RNA) do tipo perceptron multicamada foi investigada para a segmentação de imagens coloridas baseada no atributo cor dos pixels, buscando robustez a variações na iluminação do ambiente. No presente trabalho, buscamos testar a aplicabilidade desta abordagem no domínio de futebol de robôs móveis autônomos, visando definir a representação de cores que propicia um melhor desempenho do sistema. O futebol de robôs autônomos é um domínio que exige atuação em tempo real e que oferece restrições em relação ao tempo de calibração e ajuste de parâmetros do time. 1. Introdução O domínio do futebol de robôs móveis autônomos [Reali Costa and Pegoraro, 2000] possui como uma de suas características fundamentais a necessidade de um sistema adequado de visão computacional baseado em cores. A implementação de técnicas para a segmentação de imagens neste domínio, deve observar as seguintes restrições: i) O setup do sistema precisa ser o mais rápido possível, já que o tempo de calibração é limitado para partidas oficiais (normalmente, não mais que 10 minutos); ii) Devido à não uniformidade na iluminação do campo, o sistema tem que apresentar robustez em relação à variação da luminosidade do ambiente.

2 Um algoritmo clássico para a classificação de cores, denominado método de imposição de limiares, tem como idéia fundamental determinar paralelepípedos que envolvam grupos de pixels de uma mesma cor no espaço de cores. Nesse sentido, tal algoritmo mostra-se inadequado para uma série de situações práticas onde os grupos de pixels não são separáveis por paralelepípedos. Assim, novas ferramentas tais como a lógica fuzzy [Koug and Kosko, 1992] [Bonventi and Reali Costa, 2000] e as redes neurais artificiais [Littman and Ritter, 1997] têm sido propostas para a tarefa da classificação de cores. Em trabalho prévio [Simões, 2000], a rede neural artificial (RNA) do tipo perceptron multicamada (MLP) treinada com o algoritmo de retropropagação de erros foi adotada como ferramenta para a classificação de cores por apresentar algumas características de grande relevância [Mitchell, 1997]: i) pode aproximar qualquer função; ii) é capaz de aprender através de exemplos sem a necessidade de modelagem matemática do sistema; iii) é dotada de poder de generalização para situações não treinadas; iv) é robusta a erros de treinamento. Embora o MLP treinado com o algoritmo de retropropagação de erros ofereça características interessantes para aplicação em tarefas de particionamento, os grupos de cores podem se apresentar mais ou menos propícios à separação, de acordo com o sistema de representação de cores utilizado. Além da separabilidade, outras características como o tipo de generalização encontrada e o tempo de treinamento necessário para a convergência da rede também são alterados. Tal fato motivou a realização de um estudo mais detalhado de alguns dos sistemas de representação de cores considerados relevantes. Inicialmente foram realizados estudos para o sistema de representação de cores RGB [Simões and Reali Costa, 2000a], visto que se trata do sistema mais próximo do implementado por um humano (dada a conhecida similaridade entre os comprimentos das primárias do sistema e os comprimentos de onda amostrados pelos três tipos de cones presentes na retina humana). Buscando maximizar o desempenho da classificação, realizou-se um estudo com o sistema HSV [Simões and Reali Costa, 2000b]. O estudo desse sistema foi motivado pelo fato de as cores estarem organizadas de forma mais intuitiva para um humano (distribuídas segundo tonalidade e saturação). O sistema de representação de cores YUV também foi considerado nos estudos gerais aplicados à segmentação de imagens coloridas [Simões, 2000], por ser uma representação que permite uma fácil obtenção da grandeza iluminação do sistema (o próprio eixo Y) e não apresentar descontinuidades nas grandezas. No presente trabalho foi realizada uma comparação entre os resultados alcançados no uso de diferentes sistemas de representação de cores na segmentação de imagens coloridas voltadas a aplicações no domínio de futebol de robôs móveis autônomos e um estudo da aplicabilidade das técnicas desenvolvidas em trabalhos anteriores neste domínio. Neste caso, a segmentação de imagens é aplicada na extração automática de informações de interesse do jogo, tais como posição e orientação da bola, dos robôs do time e dos jogadores adversários. Esta segmentação é baseada nas cores dos objetos de interesse (a bola é alaranjada, um time e sua área de gol é amarelo, o outro, azul, etc),

3 Na seção a seguir é apresentada uma descrição dos três sistemas de representação de cores utilizados. Na seção 3 efetua-se uma comparação entre os diferentes sistemas abordados, salientando as dificuldades para a segmentação de imagens baseada no atributo cor. A descrição do trabalho proposto pode ser encontrada na seção 4, incluindo a arquitetura e treinamento do MLP e os resultados da aplicação da abordagem no domínio do futebol de robôs. As discussões dos resultados obtidos encontram-se na seção 5. Finalmente, as conclusões obtidas a partir dos experimentos são resumidas na seção Sistemas de Representação de Cor 2.1 O Sistema de Representação RGB Para a obtenção da equivalência de qualquer cor pode-se mostrar que é condição necessária e suficiente a adoção de três ondas eletromagnéticas denominadas primárias tal que duas delas não produzam a terceira [Novakovsky, 1975]. Intuitivamente, visto que esse sistema é similar ao sistema sensóreo humano, as primárias adotadas correspondem aproximadamente aos comprimentos de onda amostrados pelos cones (vermelho, verde e azul). Nesta representação as três cores primárias são vistas como eixos ortogonais de um sistema de coordenadas. Todas as demais cores podem ser expressas em função destas em algum ponto no espaço ortogonal (agora denominado espaço de cores). As cores monocromáticas aparecem no espaço de cores usualmente como uma curva na forma de ferradura denominada spectrum locus. A projeção destas cores sobre um determinado plano desse sistema, denominado plano de Maxwell, conforme ilustra a figura 1, é usualmente denominada crominância. Essa grandeza define uma cor, a menos de sua variação de luminosidade. 2.2 O Sistema de Representação HSV Alguns sistemas de representação se utilizam de notações baseadas em conceitos intuitivos para representar uma cor. Algumas medidas perceptíveis de cores costumeiramente utilizadas por estes sistemas são: Tonalidade (Hue): identificação do comprimento de onda dominante (comparação entre uma cor em observação e exemplos previamente conhecidos); Saturação (Saturation): grau de pureza da cor. Isto é, alguma graduação que representa uma cor como uma grandeza entre uma onda monocromática (espectro de freqüências com um único fasor na freqüência da onda) e a luz branca (que contém todas as cores). Assim ondas monocromáticas têm saturação máxima, e a luz branca, mínima (zero). Luminância (Luminance): É uma grandeza relacionada com o brilho. É expressa em termos de fluxo luminoso; Brilho (Brightness): É determinado estabelecendo-se uma equivalência visual com um tom de cinza. Dentre esses sistemas encontra-se o HSV (Hue-saturation-value). Nesse sistema a tonalidade é expressa em termos de um ângulo. A saturação varia ao longo do raio do ângulo e o eixo value ortogonal aos demais relaciona-se à iluminação (vide figura

4 2). Os valores para S e H a partir da representação RGB podem ser calculados da seguinte forma: 1 3. min( R, G, B) [( R G) + ( R B)] S = 1 1 Intensidade H = cos ( R G) + ( R B)( G B) Value [0:100] Saturation [0:100] Hue [0:360] Figura 1 O espaço de cores, plano de Maxwell e o spectrum locus. Figura 2 O sistema de representação HSV (Hue-saturation-value). 2.3 O Sistema de Representação YUV O sistema YUV tem como fundamento principal separar a iluminação (aqui representada pelo eixo Y) e crominância, que passa a ser representada pelos eixos U e V. Tais eixos são conhecidos respectivamente como os eixos azul-vermelho e magenta-verde. Nesses casos, o cálculo da luminância do sistema (para as primárias utilizadas) e dos demais eixos, a partir do RGB, passa a ser dado por: Y=0,177R + 0,813G + 0,011B. U=0,494.(R-Y) V=0,877.(B-Y) 3. Comparação Entre os Sistemas 3.1 O Estudo do Espalhamento dos Pixels no Espaço de Cores Seja a imagem vista na figura 3 e suas respectivas distribuições no espaço de cores RGB (figura 4), HSV (figura 5) e YUV (figura 6). O problema da classificação de cores em imagens pode agora ser revisto como o problema da determinação de bordas ótimas para cada classe de cores, isto é, bordas que envolvam todas os elementos pertencentes à classe em questão. Observando o espalhamento das cores pelo espaço de cores, fica evidenciado que o sistema de representação de cores exerce influência sobre a classificação implementada, visto que os pixels de mesma cor tornam-se mais ou menos agrupados. A ferramenta adotada o MLP é sabidamente capaz de realizar tal classificação, por mais complexos que sejam os sólidos envolvendo as diferentes classes de cores. Contudo, para a abordagem proposta, desejamos obter uma classificação robusta a variações de intensidade luminosa sobre a imagem original (figura 3), isto é, gostaríamos de obter bordas complexas que envolvessem não apenas as classes de interesse, mas algumas regiões ao redor de cada uma delas. Nesse sentido, torna-se necessário o estudo da generalização obtida pelo MLP treinado com retropropagação de erros.

5 Figura 3: Uma paleta de cores impressa em papel e amostrada por uma câmera. Figura 4: A imagem da figura 3 no espaço de cores RGB. Figura 5: A imagem da figura 3 no espaço de cores HSV. Figura 6: A imagem da figura 3 no espaço de cores YUV. 3.2 A obtenção da generalização desejada Seja um conjunto de exemplos {B,C,D} apresentado a um MLP, como o mostrado na figura 7. Uma vez treinada a rede, quando excitada por uma entrada B esta responderá com uma saída G(B) para a qual a rede foi treinada, e assim sucessivamente para o conjunto de exemplos de treinamento. Seja agora a entrada A (não presente no universo de treinamento) apresentada ao MLP. A resposta da rede para esta entrada é dita dependente da generalização encontrada durante o processo de aprendizado. Embora um MLP possa aproximar qualquer função contínua, não existe nenhum método conhecido para que, dado um problema, obtenha-se a RNA com um certo tipo prédefinido de generalização. Transportando tal análise para o universo da classificação de cores de pixels em imagens coloridas, observa-se que a generalização da rede é função de alguns parâmetros tais como:

6 i) a arquitetura da rede (número de camadas e número de neurônios por camada); ii) o sistema de representação de cores adotado; iii) os exemplos apresentados na fase de treinamento. Figura 7: o MLP e duas das possíveis generalizações para um conjunto de exemplos. A forma encontrada para estimular a generalização no sentido de possibilitar maior robustez à variação de luminosidade foi o oferecimento de alguns exemplos adicionais ao sistema. Nos trabalhos anteriores [Simões, 2000] [Simões and Reali Costa, 2000a-c], diferentes metodologias foram testadas para tal, buscando-se a melhor relação entre a generalização conseguida e o tempo de treinamento da rede. Ao contrário das expectativas, concluiu-se que o oferecimento de exemplos simples das cores envolvidas (com saturação média de cada cor-exemplo, sob condições normais de iluminação dadas pelas regras do jogo como sendo por volta de lux) é suficiente para garantir uma classificação de cores robusta, desde que não existam variações drásticas de iluminação no ambiente (fato que normalmente é garantido pelas condições das competições). A figura 8 ilustra o particionamento do espaço de cores implementado pela RNA em cada um dos sistemas de representação de cores (RGB, HSV e YUV, conforme exemplificado, respectivamente, nas figuras 4, 5 e 6) baseada nas classes de pixels da imagem na figura 3. Pode-se observar a generalização conseguida como função do sistema de representação de cores adotado. (a) (b) (c) Figura 8 A partição do espaço de cores obtida com a metodologia do fornecimento de exemplos de cores contínuas para cada tipo de representação de cores: a) RGB; b) HSV; c) YUV

7 4. O Trabalho Proposto 4.1 A RNA adotada Para a implementação da classificação foi usado o perceptron multicamada mostrado esquematicamente na figura 9 com três neurônios na camada de entrada, 10 neurônios na camada oculta e 6 neurônios na camada de saída, correspondentes às 6 classes de interesse. À entrada do MLP apresenta-se uma trinca expressa em algum sistema de representação de cor (RGB, HSV ou YUV) de cada um dos pixels pertencentes a uma imagem (um a um), tanto no treinamento quanto na execução. Na saída da rede obtém-se a cor classificada como pertencente a uma das 6 classes de cores para as quais o sistema foi treinado (pixels de cor laranja, rosa, verde, amarelo, branco e preto). Laranja H S V ou Y U V R ou G B Rosa Verde Amarelo Branco Preto Figura 9 O MLP proposto: 3 neurônios de entrada, 10 neurônios na camada intermediária e 6 neurônios de saída representativos das classes de interesse. 4.2 Treinamento da RNA Uma vez que se pretende investigar a aplicabilidade da classificação via RNAs para as cores nas imagens do futebol de robôs móveis autônomos, adotamos para testes uma das imagens comuns nesse âmbito, que pode ser vista na figura 10. Figura 10 Imagem do campo de futebol de robôs utilizada para testes. Nessa imagem podemos identificar classes distintas de cores de interesse: laranja, rosa, verde, amarelo, branco, azul. Algumas outras cores presentes no fundo da imagem não são de interesse para o jogo e foram aqui reunidas em uma única classe genérica: preto. Baseando-se no fato de havermos obtido em trabalhos anteriores [Simões, 2000] uma classificação robusta utilizando como exemplos apenas alguns representantes de cada uma das classes de cores presentes no domínio (sem variação de iluminação ou

8 saturação) um pixel da imagem vista na figura 10 foi escolhido aleatoriamente para representar cada classe (e dois para representar a classe fundo, devido às diferenças entre as cores dos pixels englobados nesta classe). Os pixels usados no treinamento para a classificação de cores representados no sistema RGB encontram-se listados na tabela 1. As trincas no sistema de representação RGB apresentadas na tabela 1 foram fornecidas à rede para treinamento. Depois de treinada a RNA, a imagem original (figura 10) foi reapresentada a esta, na totalidade de seus pixels, para execução da classificação. Este processo foi repetido, transformando o sistema de representação de cores para HSV e YUV (para treinamento e validação). Os resultados obtidos são mostrados na forma de imagens, com cada pixel sendo apresentado de acordo com a classe a ele atribuída pela rede, conforme observado na figura 11. R G B Classe Laranja Rosa Verde Amarelo Branco Preto Preto Tabela 1 O conjunto de exemplos fornecidos para o treinamento da RNA na representação de cores RGB para cada uma das 6 classes de interesse. (a) (b) (c) Figura 11 Imagens de resposta resultantes da apresentação da imagem da figura 10 às RNAs treinadas utilizando os sistemas de representação de cores: a) RGB; b) HSV e c) YUV. 5. Discussões Analisando inicialmente as imagens da distribuição dos pixels da figura 3 no espaço de cores para os sistemas RGB, HSV e YUV (figuras 4, 5 e 6 respectivamente), pode-se observar que a melhoria na distribuição de pixels esperada teoricamente não se confirmou. Claramente as regiões de cores encontram-se mais agrupadas nos sistemas YUV e HSV, e mais disjuntas e portanto melhor separáveis no sistema RGB. A função de mapeamento da RNA será tão melhor quanto maior o número de exemplos apresentados à rede. Busca-se neste trabalho, contudo, a melhor aproximação para a função com o menor número de exemplos possível, devido às restrições no tempo de calibração, antes dos jogos. Tendo-se em vista o número de exemplos reduzido, pode-se esperar que o melhor desempenho do classificador será dado para o sistema de representação de cores onde as classes estejam mais facilmente separáveis no espaço de

9 cores. O fato das classes serem mais facilmente separáveis deve-se a dois fatores básicos: i) o sistema de representação de cores adotado e ii) a natureza das cores tipicamente presentes no domínio adotado e sua variação de tonalidade e saturação. Estabelece-se então um compromisso entre a separabilidade das classes e o domínio de imagens em estudo, motivo pelo qual uma imagem real da aplicação em questão (figura 10) foi utilizada. Conforme os resultados esperados após a avaliação da distribuição espacial dos pixels no espaço de cores, o sistema RGB foi aquele que apresentou os melhores resultados visuais para a imagem típica do futebol de robôs (figura 11a-c). O sistema YUV ficou em qualidade um pouco abaixo deste, apresentando ainda uma boa classificação, mas com um nível de ruído muito maior. A classificação utilizando o sistema de representação HSV retornou os piores resultados, tipicamente por possuir uma função de mapeamento mais complexa e descontínua. Vale observar que apenas 1 (um) exemplo de cada classe foi utilizado. Certamente a resposta da rede para todos os sistemas de representação de cores tenderia a ser homogênea quando treinada à exaustão. Para ambientes com treinamento reduzido, contudo, classificamos o sistema RGB como o mais adequado. Tal resultado corrobora com o obtido por trabalhos similares como Littman and Ritter (1997), que determinaram a maior acuidade de resposta para um sistema classificador de cores com entradas no formato RGB, embora no trabalho em questão o classificador utilizado não tenha sido o MLP e sistemas de representação como o HSV não tenham sido abordados. 6. Conclusões Apresentamos no presente artigo a conclusão de uma série de trabalhos onde propusemos o uso de uma RNA do tipo MLP treinada com o algoritmo da retropropagação do erro como classificadora de pixels em imagens coloridas. Três sistemas de representação de cores foram estudados individualmente, visando determinar a melhor relação entre o tempo gasto no treinamento da rede e sua generalização. Dentre os sistemas estudados, obtivemos os resultados mais satisfatórios para o sistema RGB, visto que este apresenta a melhor distribuição espacial de pixels no espaço de representação de cores (vide seção 3). Uma vez determinada a forma de representação de cores que maximiza o desempenho de um sistema visual que dependa da classificação de cores, pretende-se aplicar a metodologia desenvolvida a outras classes de problemas de aplicação diversa. Uma classificação de cores robusta a variações no nível de iluminação do ambiente e saturação das cores pode ser de grande relevância em um sem número de aplicações práticas, tais como: identificação de objetos em ambiente robóticos, reconhecimento de alvos militares, identificação da qualidade de frutas, inspeção de objetos, entre outros. Tais aplicações tornam-se agora objetivos de trabalhos futuros. 7. Agradecimentos Alexandre da Silva Simões recebeu bolsa de mestrado do CAPES, através da Escola Politécnica da Universidade de São Paulo, de 1998 a Este projeto foi parcialmente financiado pelo FINEP, projeto RECOPE-MANET, Proc. n o , e pelo NSF/CNPQ ProTeM-CC projeto MAPPEL, Proc. n o /99-8.

10 8. Referências Bonventi, W. and Reali Costa, A. H. (2000) Comparação entre métodos de definição de conjuntos nebulosos de cores para a classificação de pixels. International Joint Conference IBERAMIA'2000 and SBIA'2000, Open Discussion Track Proceedings, M. C. Monard and J. S. Sichman (eds.), November 19-22, pp Haykin, S.; Neural Networks: A Comprehensive foundation. New Jersey, 2nd edition, Koug, S. G. and Kosko, B. (1992) Image coding with fuzzy image segmentation. In: D Dubois and H. Prade editors, IRRR International Conference in fuzzy Systems, San Diego, pp Littman, H. and Ritter, E. (1997) Adaptive color segmentation: a comparison of neural and statistical methods. In: IEEE Transactions on neural networks, 8(1), January. Mitchell T. M.; Machine Learning. McGraw-Hill, Boston, Novakovsky, S. V.; Colour tele vision: A theory of colour reproduction. MIR Publishers, Reali Costa, A. H. and Pegoraro, R. (2000) Construindo robôs autônomos para partidas de futebol: o time GUARANÁ. In: Controle & Automação, SBA, vol. 11, no. 2, pp Simões, A. S.; Segmentação de imagens por classificação de cores: uma abordagem neural. Dissertação de mestrado. Escola Politécnica da USP. São Paulo, junho, Simões, A. S.and Reali Costa, A. H. (2000) Segmentação de imagens por classificação de cores: uma abordagem neural para a representação RGB. In: Workshop de Computação WORKCOMP'2000, Carlos H. C. Ribeiro and Milton T. S. Sakude (eds.), Instituto Tecnológico de Aeronáutica - ITA, São José dos Campos, SP, Outubro, Pg (a) Simões, A. S. and Reali Costa, A. H. (2000) Classificação de Cores por Redes Neurais usando a Representação HSV. International Joint Conference IBERAMIA'2000 and SBIA'2000, Open Discussion Track Proceedings, M. C. Monard and J. S. Sichman (eds.), November 19-22, pp (b) Simões, A. S.; Reali Costa, A. H. (2000) Using Neural Color Classification in Robotic Soccer Domain, Em: International Joint Conference IBERAMIA'2000 and SBIA'2000, Workshop Proceedings, Meeting on Multi-Agent Collaborative and Adversarial Perception, Planning, Execution, and Learning. L. N. Barros, R. M. Cesar Jr., F. G. Cozman, A. H. Reali Costa (eds.). São Paulo, ISBN , November, Atibaia, SP, Brazil, pp (c)