SEGMENTAÇÃO E CLASSIFICAÇÃO DE IMAGENS DE LARANJEIRAS UTILIZANDO JSEG E PERCEPTRON MULTICAMADAS



Documentos relacionados
ORANGE TREES IMAGE SEGMENTATION WITH SELF-ORGANIZED MAPS ABSTRACT

Figura 5.1.Modelo não linear de um neurônio j da camada k+1. Fonte: HAYKIN, 2001

Introdução. Capítulo. 1.1 Considerações Iniciais

Classificação da imagem (ou reconhecimento de padrões): objectivos Métodos de reconhecimento de padrões

Segmentação de Imagens

Aula 5 - Classificação

Modelos Pioneiros de Aprendizado

PALAVRAS-CHAVE: Massas Nodulares, Classificação de Padrões, Redes Multi- Layer Perceptron.

Redes Neurais Artificiais na Engenharia Nuclear 2 Aula-1 Ano: 2005

Classificação de Imagens

Simulador de Redes Neurais Multiplataforma

Redes Neurais. A IA clássica segue o paradigma da computação simbólica

4 Avaliação Experimental

Detecção em tempo real de movimentos de olhos e boca em um vídeo em cores

2 Classificação de Imagens de Sensoriamento Remoto

UFGD FCA PROF. OMAR DANIEL BLOCO 6 CLASSIFICAÇÃO DE IMAGENS

Nota Técnica 113/2007 SRD/SRE/ANEEL Metodologia para Projeção de Investimentos para o Cálculo do Fator X Contribuição da Audiência Publica 052/2007

Análise de componentes independentes aplicada à avaliação de imagens radiográficas de sementes

Segmentação de Imagens de Placas Automotivas

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO DEPARTAMENTO DE INFORMÁTICA PÓS GRADUAÇÃO EM INFORMÁTICA

3DODYUDVFKDYH Visão Computacional, Inteligência Artificial, Redes Neurais Artificiais.

A limiarização é uma das abordagens mais importantes de segmentação de imagens. A limiarização é um caso específico de segmentação.

Reconhecimento de Padrões Utilizando Filtros Casados

Métodos de mapeamento para fenômenos qualitativos e quantitativos

SEGMENTAÇÃO DE IMAGENS EM PLACAS AUTOMOTIVAS

Complemento II Noções Introdutória em Redes Neurais

Aplicação de Redes Neurais Artificiais na Caracterização de Tambores de Rejeito Radioativo

CLASSIFICAÇÃO AUTOMÁTICA DE PATENTES COM O MODELO VETORIAL DE REPRESENTAÇÃO DE DOCUMENTOS

3. Fase de Planejamento dos Ciclos de Construção do Software

Universidade Católica Dom Bosco

APLICATIVOS GRÁFICOS (AULA 4)

Desenvolvimento de um Sistema Híbrido para Rastreamento

Manual de Utilização

Descritores de textura na análise de imagens de microtomografia computadorizada

Programa Integrado de Monitoria Remota de Fragmentos Florestais e Crescimento Urbano no Rio de Janeiro

Do neurônio biológico ao neurônio das redes neurais artificiais

2 Fundamentação Conceitual

Processamento Digital de Imagens

I Seminário da Pós-graduação em Engenharia Elétrica

Palavras chave: defeitos de solda, pulso eco, redes neurais artificiais, transformada de wavelet

Reconhecimento de Padrões. Reconhecimento de Padrões

1 INTRODUÇÃO 1.1 CONCEITO DE PARADIGMAS DE LINGUAGEM DE PROGRAMAÇÃO PARADIGMAS DE LINGUAGEM DE PROGRAMAÇÃO

MLP (Multi Layer Perceptron)

Aplicação de Ensembles de Classificadores na Detecção de Patologias na Coluna Vertebral

RECONHECIMENTO DE AVES DE NOMES ONOMATOPÉICOS

Análise e visualização de dados utilizando redes neurais artificiais auto-organizáveis

Verificação de Qualidade de Imagens de Fundo de Olho a Partir de Descritores Baseados em Histogramas. Marina Silva Fouto - Reconhecimento de Padrões

BIOSYS: sistema de captura e armazenamento de imagens para exames oftalmológicos em biomicroscópios - Fase 1 1

Bem-vindo ao curso delta Gerenciamento de peso para a versão 9.1. Este curso aborda a nova solução de peso introduzida nessa versão.

Gerência de Redes: Uso da técnica de Máquina de Regras para Análise Causa-Raiz na Manutenção

de Bordas em Imagens Digitais

Estudo comparativo de métodos de segmentação de imagens digitais de aves

Aprendizagem de Máquina

Cálculo de volume de objetos utilizando câmeras RGB-D

ESTEREOSCOPIA INTRODUÇÃO. Conversão de um par de imagens (a)-(b) em um mapa de profundidade (c)

3 Metodologia de Previsão de Padrões de Falha

Aula 2 Revisão 1. Ciclo de Vida. Processo de Desenvolvimento de SW. Processo de Desenvolvimento de SW. Processo de Desenvolvimento de SW

Modelagem Digital do Terreno

Módulo 9 A Avaliação de Desempenho faz parte do subsistema de aplicação de recursos humanos.

Sensoriamento Remoto

ESTUDO DE CASO: LeCS: Ensino a Distância

IDENTIFICAÇÃO DE MARCADORES DE PAVIMENTAÇÃO NA ORIENTAÇÃO DE CEGOS

Relatório da Aula Prática sobre Redes Neurais Artificiais

Projeto de inovação do processo de monitoramento de safra da Conab

AULA 2 Planos, Vistas e Temas

18º Congresso de Iniciação Científica IMPLEMENTAÇÃO DE UM MODELO DE TESTE DE APLICAÇÕES WEB

Sumário. 1. Instalando a Chave de Proteção Novas características da versão Instalando o PhotoFacil Álbum 4

AMOSTRAGEM ESTATÍSTICA EM AUDITORIA PARTE ll

O ENSINO DE CÁLCULO NUMÉRICO: UMA EXPERIÊNCIA COM ALUNOS DO CURSO DE CIÊNCIA DA COMPUTAÇÃO

MONITORAMENTO DA TEMPERATURA DE SUPERFÍCIE EM ÁREAS URBANAS UTILIZANDO GEOTECNOLOGIAS

IFRS TESTE DE RECUPERABILIDADE CPC 01 / IAS 36

c. Técnica de Estrutura de Controle Teste do Caminho Básico

Orientações para Usuários

SIG. Uma plataforma para introdução de técnicas emergentes no planejamento urbano, regional e de transportes

SISTEMAS DE INFORMAÇÃO GERENCIAIS

White-box test: Também conhecido como teste estrutural, tem por objetivo validar os dados derivados das funções do sistema.

TRANSMISSÃO DE DADOS Prof. Ricardo Rodrigues Barcelar

textos documentos semi-estruturado

Influência do Encaminhamento de Mensagens na Topologia de Redes Sociais

Teste de Software: Um Breve Estudo do Importante Processo no Desenvolvimento de Softwares

SISTEMA DE SERVIÇOS DE INFRA-ESTRUTURA DA UFRGS

Projeto FlexiGrid IWA. Sistema de Armazenamento e Comunicação de Imagens

3 Estratégia para o enriquecimento de informações

Estudo de Casos Estudo de Caso 1: Velocidade Intervalar e Espessura da Camada

Interpolação de Curvas de Nível por Difusão de Calor

ANÁLISE DOS RESULTADOS DOS PROGRAMAS DE APOIO ÀS PMEs NO BRASIL Resumo Executivo PARA BAIXAR A AVALIAÇÃO COMPLETA:

CLASSIFICAÇÃO DA COBERTURA DA TERRA DE ANGRA DOS REIS RJ, A PARTIR DE ANÁLISE DE IMAGEM BASEADA EM OBJETO E MINERAÇÃO DE DADOS

Auditoria como ferramenta de gestão de fornecedores durante o desenvolvimento de produtos

Gerenciamento do ciclo de vida de um documento Simone de Abreu

Análise e Projeto de Software

4 Aplicativo para Análise de Agrupamentos

Reconhecimento de padrões de calibração em estereofotogrametria através de redes neurais

Dicas de uso - Render Up (versão ou superior)

Roteiro SENAC. Análise de Riscos. Planejamento do Gerenciamento de Riscos. Planejamento do Gerenciamento de Riscos

SEGEMENTAÇÃO DE IMAGENS. Nielsen Castelo Damasceno

Desenvolvimento de uma Etapa

Respostas do Estudo Dirigido do Capítulo 14 Classical pattern recognition and image matching"

2 Engenharia de Software

1 Propagação de Onda Livre ao Longo de um Guia de Ondas Estreito.

Transcrição:

SEGMENTAÇÃO E CLASSIFICAÇÃO DE IMAGENS DE LARANJEIRAS... 189 SEGMENTAÇÃO E CLASSIFICAÇÃO DE IMAGENS DE LARANJEIRAS UTILIZANDO JSEG E PERCEPTRON MULTICAMADAS Felipe Alves Cavani Rafael Vieira de Sousa Arthur José Vieira Porto Laboratório de Simulação e Controle, EESC, USP, Av. Trabalhador São-carlense, 400, CEP 13566-590, São Carlos, SP, Brasil, e-mails: fcavani@gmail.com, rafael@cnpdia.embrapa.br, ajvporto@sc.usp.br Mário Luiz Tronco Instituto de Biociências, Letras e Ciências Exatas, UNESP, Rua Cristóvão Colombo, 2265, São José do Rio Preto, SP, Brasil, e-mail: mariot@ibilce.unesp.br Resumo Sistemas automáticos de inspeção ou robôs móveis se beneficiam das técnicas de visão computacional existentes. Neste trabalho essas técnicas são usadas com o objetivo de segmentar imagens e classificar os segmentos para identificar os principais elementos de cenas agrícolas. As imagens utilizadas foram adquiridas em pomares de laranjeiras. A segmentação dessas imagens é feita automaticamente com o algoritmo JSEG. Posteriormente, os segmentos são classificados com o perceptron multicamadas. São avaliadas diferentes topologias do perceptron multicamadas, cada uma construída para classificar um tipo de vetor de características. Os resultados mostram que as topologias que usam os vetores de características extraídos do espaço de cores HSV apresentam melhor desempenho quando comparadas com as demais topologias testadas. Os algoritmos usados mostraram-se adequados para os objetivos estabelecidos. Palavras-chave: visão computacional, redes neurais artificiais, histograma, cores. Introdução A identificação automática de objetos em uma imagem digital tem diversas aplicações. Sistemas de visão computacional podem ser usados, por exemplo, em sistemas de inspeção ou em robôs móveis. Isto é viabilizado por algoritmos em que não é necessário o ajuste de muitos parâmetros. Também, estes algoritmos estão preparados para trabalhar com vários tipos de imagens, o que favorece a autonomia do sistema. A automação agrícola pode se beneficiar dos recursos oferecidos pela visão computacional, a qual pode ser aplicada a diferentes tarefas, como, por exemplo, inspeção (Brosnan & Sun, 2002), classificação de plantas (Tang et al., 2003; Neto et al., 2003; Steward et al., 2004), estimativa de produção (Annamalai et al., 2004), colheita automatizada (Plebe & Grasso, 2001) e guiagem autônoma de máquinas. A visão computacional, quando usada em ambientes abertos e não estruturados como na inspeção de lavouras, exige o uso de algoritmos preparados para tais situações. Esses algoritmos trabalham com imagens compostas por objetos complexos, texturas, sombras, brilhos, etc. Vários algoritmos de segmentação propostos na literatura (Liu & Zhou, 2004; Chen et al., 2002; Hill, 2002) foram projetados para processar diversos tipos de imagens, dentre estas, as originadas em ambientes abertos. A flexibilidade desses algoritmos é desejada desde que não resulte em segmentações com baixa qualidade. Para identificar automaticamente os objetos é necessário, após a segmentação, classificar os segmentos. Cada segmento pode ser representado por um vetor de características. Várias métricas podem fazer parte de um vetor de características; entretanto, é necessário escolher um subconjunto destas e avaliar quais descrevem adequadamente as classes dos segmentos. O presente trabalho usa o algoritmo de segmentação JSEG (Deng et al., 1999a) e o perceptron multicamadas (PMC) para segmentar imagens agrícolas e classificar os segmentos nas seguintes classes: folhas, frutas, céu, solo e demais plantas. Foram testadas duas abordagens para a classificação dos segmentos. Uma utiliza uma rede neural

190 CAVANI et al. artificial (RNA) para classificar os segmentos nas cinco classes. A outra abordagem utiliza cinco RNA; uma para classificar cada tipo de segmento. Para esta última abordagem são avaliados 20 vetores de características. Os vetores de características de ambas as abordagens são formados com os histogramas dos canais de cores. Após o treinamento, os erros quadráticos médios (EQM) obtidos nos testes das diferentes topologias de RNA indicam qual topologia é a mais adequada. Os resultados obtidos com a classificação dos segmentos são usados para criar o mapa de classes da imagem. Em função dos resultados experimentais obtidos, são apresentadas e discutidas as principais conclusões levantadas neste contexto. Materiais e Métodos Materiais Neste trabalho são usadas imagens de laranjeiras adquiridas em diferentes dias e horários, durante a época em que as frutas estavam maduras. A resolução dessas imagens é de 2.048 1.536 pixels. Um conjunto de 658 imagens forma o banco de imagens, que é dividido em três grupos: um que mostra as árvores desde o solo até o topo; outro que mostra apenas folhas e frutos; e outro que mostra as fileiras de árvores, o solo e o céu. Esses três tipos de imagens são ilustrados pela Figura 1. O treino das RNA foi realizado com um conjunto de 9.834 padrões, que foram extraídos dos segmentos. As RNA foram testadas com um conjunto de 967 padrões. Os padrões de teste não foram usados no treinamento. Os algoritmos usados neste trabalho foram implementados para o ambiente Octave (Eaton et al., 2006). O Octave é um ambiente para computação numérica que disponibiliza ao usuário linguagem de programação de alto nível. Esta linguagem é muito semelhante à usada pelo Matlab (The MathWorks, Inc.). Alguns dos algoritmos necessários a este trabalho foram implementados como módulos do Octave, usando a linguagem C++. As RNA foram construídas, treinadas e testadas com os módulos para Octave da biblioteca Fann (Nissen et al., 2006). Métodos Neste trabalho é adotada uma estratégia modular para atingir os objetivos desejados. Primeiro, a imagem é segmentada com um algoritmo projetado para segmentar vários tipos de imagens de forma não supervisionada. O usuário não informa o que deve ser segmentado; somente a imagem é fornecida ao algoritmo. Depois, a classificação dos segmentos é feita automaticamente. Entretanto, o classificador usado necessita de treinamento supervisionado. Os algoritmos empregados nas duas etapas não dependem um do outro para funcionar, assim, é possível escolher outras estratégias de segmentação ou classificação. Essas duas etapas são unidas pela extração de características dos segmentos. Então, o trabalho é resumido da seguinte forma: segmentação das imagens; extração das características dos segmentos; classificação dos segmentos; e, por último, geração da imagem com as classes. A Figura 2 ilustra essas etapas para os segmentos que contêm laranjas. Segmentação da Imagem Cenas naturais exigem que o algoritmo de segmentação considere, além da cor, a textura dos objetos, pois imagens de cenas naturais podem ser formadas por regiões de cor não homogênea. Imagens com regiões de cor homogênea podem ser segmentadas usando-se um algoritmo para formar clusters no espaço de cores (Moreira & Costa, 1996; Comaniciu & Meer, 1997; Tian & Slaughter, 1998). Uma das maneiras de segmentar imagens com texturas é considerar a disposição espacial dos pixels usando técnica de crescimento de região, em que um critério de homogeneidade é definido e os pixels que satisfazem esse critério são agrupados à região (Gonzalez & Wintz, 1987). Além disso, para segmentar imagens com texturas é importante considerar diferentes escalas das imagens. Figura 1 Tipos de imagens usadas neste trabalho.

SEGMENTAÇÃO E CLASSIFICAÇÃO DE IMAGENS DE LARANJEIRAS... 191 Figura 2 Etapas de processamento para obter um segmento classificado na classe que representa as laranjas. Um algoritmo de segmentação adequado para imagens de cenas naturais em cores e com texturas deve ser escolhido. Ele deve ser automático, ou seja, não exigir ajustes dos parâmetros para cada imagem, pois assim não será necessária a interferência do usuário. Também, o algoritmo deve considerar as texturas de forma simples. O algoritmo JSEG foi escolhido pois tem estas características. Os autores do JSEG reportam na literatura da área que o algoritmo segmenta adequadamente imagens de cenas naturais. O algoritmo JSEG segmenta as imagens em três etapas: quantização do espaço de cores; crescimento de regiões; e fusão das regiões com cores semelhantes. Na primeira etapa, o espaço de cores é quantizado com pouca degradação usando o algoritmo perceptivo de quantização (Deng et al., 1999b). O objetivo dessa etapa é definir as regiões da imagem utilizando um mínimo de cores. Cada cor é associada a uma classe. A imagem original tem os pixels substituídos pelas classes, o que dá origem ao mapa de classes que será usado na próxima etapa. Antes de realizar o crescimento de regiões, a J-imagem deve ser criada. Os valores dos pixels da J-imagem serão usados como critério de similaridade pelo algoritmo de crescimento de região. Os valores dos pixels da J-imagem são chamados de valores J e são calculados a partir de uma janela posicionada sobre a imagem quantizada, em que o valor J a ser calculado é o do pixel no centro da janela. Para calcular o valor J, primeiro define-se Z como o conjunto de todos os pontos da imagem quantizada, então faz-se z = (x, y), com z Z e m sendo a média de todos os elementos em Z. O C é o número de classes obtido na quantização. Então, Z é classificado em C classes. Os Z i são os elementos de Z que pertencem à classe i, em que i = 1,..., C; m i são as médias dos elementos em Z i. O valor J é SB ( ST Sw) J= = (1) SW SW em que 2 S T = z m (2) z Z e W C 2 i (3) i= 1 z Z S = z m São usados diversos tamanhos de janelas: as maiores detectam as fronteiras de regiões com texturas, as menores detectam mudanças de cores e/ou de intensidade da luz. Cada tamanho de janela está associado a uma escala de análise da imagem. O conceito de J-imagem, juntamente com as diversas escalas, viabiliza a segmentação de regiões com texturas. As regiões da J-imagem com os menores valores são chamadas de vales. Os menores valores são encontrados com uma heurística proposta pelos autores deste algoritmo. Assim, é possível determinar os pontos iniciais do crescimento de forma eficiente. Então, o algoritmo agrega as regiões que são mais semelhantes aos vales. O fim do algoritmo ocorre quando não há mais pixels para serem agregados às regiões. A J-imagem é recalculada para cada uma das novas regiões com uma janela menor que a usada anteriormente. Após o uso da menor janela o algoritmo agrupa as regiões com cores semelhantes. Este algoritmo necessita de apenas três parâmetros para funcionar. O primeiro, o limiar do algoritmo de quantização das cores, está relacionado ao número de conjuntos em que as cores são agrupadas. O segundo, número de escalas, influencia como o JSEG trata os detalhes das imagens. O último parâmetro é o limiar usado pelo algoritmo que agrupa as regiões com cores semelhantes. Além desses parâmetros é necessário definir a resolução espacial das imagens. Como uma das classes corresponde aos frutos das laranjeiras, faz-se necessário escolher uma resolução que possibilite ao algoritmo JSEG separar os frutos dos demais segmentos. Como a segmentação da imagem é um processo subjetivo, escolher os parâmetros ótimos é tarefa difícil, por isso, os parâmetros e a resolução da imagem neste trabalho são escolhidos manualmente com o auxílio da inspeção visual das imagens segmentadas. Os parâmetros

192 CAVANI et al. e a resolução que resultam na segmentação das regiões de folhas, céu, solo, demais plantas e frutos são adotados. Nesse processo, os frutos determinam os parâmetros e a resolução, pois estes podem ser os menores objetos que devem ser segmentados. O valor escolhido para o limiar da quantização é o 10. A escala inicial é a dois e a final é a um, que correspondem, respectivamente, às janelas com 17 17 pixels e com 9 9 pixels. A resolução espacial das imagens é de 2.048 1.536 pixels. Optou-se por não executar o algoritmo de fusão de regiões, pois os segmentos serão classificados posteriormente, o que resultará na fusão dos segmentos que pertencerem à mesma classe. Em decorrência da resolução espacial adotada e da limitação da quantidade de memória do microcomputador usado neste trabalho é necessário segmentar as imagens por partes. As imagens são divididas em partes com tamanho de 512 384 pixels. Estas são submetidas ao algoritmo de segmentação. Os segmentos vizinhos que estão nas bordas das partes são unidos após a classificação dos segmentos. Isso evita a formação de segmentos com formas artificiais. Classificação Manual dos Segmentos Após a segmentação foram selecionados 10.801 segmentos de 40 imagens, os quais foram classificados manualmente com o auxílio de uma interface gráfica, como mostrado na Figura 3, nas classes: folhas, céu, solo, demais plantas e frutos. Os segmentos que contêm plantas, que não são árvores de laranjas, são considerados demais plantas, como, por exemplo, as ervas daninhas que crescem nos corredores. Esses segmentos foram separados em dois conjuntos. O primeiro é o conjunto de treinamento com 9.834 segmentos. O segundo é o conjunto de teste com 967 segmentos. Os conjuntos de teste e de treinamento não possuem interseção. Os segmentos classificados manualmente são usados nos treinos e nos testes dos classificadores. Extração das Características dos Segmentos Muitos dos sistemas de visão computacional necessitam caracterizar imagens ou objetos presentes nestas imagens. Neste trabalho são usados os objetos segmentados da imagem e não a imagem como um todo, pois o propósito é identificar os objetos que compõem a cena. Os objetos devem ser identificados usando alguma informação contida nos pixels ou no seu contorno. Para isso, são usadas métricas, que são calculadas a partir dos pixels do objeto. Os valores resultantes das métricas são armazenados na forma de um vetor, denominado vetor de características. As métricas escolhidas devem descrever as propriedades relevantes dos objetos para o sistema. Também, os vetores de características devem discriminar adequadamente as classes dos objetos no espaço de características, o que resultará em um classificador mais simples. O uso das cores como característica é bastante comum em sistemas de visão computacional agrícolas, pois esta pode descrever adequadamente os objetos de interesse, como, por exemplo, as frutas. Exemplos de trabalhos que usam as cores são: Neto et al. (2003); Steward et al. (2004); Annamalai et al. (2004); Plebe & Grasso (2001). Também é possível usar a textura como característica, como no trabalho de Tang et al. (2003). A métrica utilizada neste trabalho foi o histograma. O cálculo do histograma das cores, em que são considerados os três componentes, é muito custoso, pois a quantidade de combinações é muito grande (Cheng et al., 2001). Entretanto, é possível calcular o histograma de cada canal separadamente, o que é computacionalmente simples. Os histogramas dos canais são unidos em um vetor de características. Este vetor não considera a informação de cor como um todo, mas é adequado para representar o conteúdo pictórico dos segmentos. Figura 3 Interface gráfica para selecionar e classificar segmentos.

SEGMENTAÇÃO E CLASSIFICAÇÃO DE IMAGENS DE LARANJEIRAS... 193 O sistema de cores usado no cálculo dos histogramas pode resultar em vetores de características que definem adequadamente ou não as classes. Para isso, são avaliados os vetores de características gerados a partir de diferentes espaços de cores. Os espaços de cores testados foram o RGB, RGB normalizado (RGBn) e HSV. Também foram testados histogramas com 32, 64, 128 e 256 categorias. Os tipos de vetores de características testados neste trabalho são os formados pelo(s) histograma(s): do canal H; dos canais H e S; dos canais H, S e V; dos canais R, G e B; e dos canais do RGBn. Classificação Automática dos Segmentos Em razão da natureza não linear dos vetores de características adotados é necessário utilizar um classificador que crie as superfícies de decisões adequadas. O uso de RNA na classificação de padrões é bastante comum, pois esta classifica adequadamente padrões complexos. Além disso, as RNA são conhecidas pela rápida velocidade de processamento dos dados. Neste trabalho, a RNA adotada para classificar os segmentos é o PMC (Haykin, 2001). Uma RNA com a arquitetura do PMC deve ser treinada para classificar padrões com o algoritmo adequado. O backpropagation é um desses algoritmos, que treina adequadamente RNA destinadas a classificar padrões complexos, ou seja, padrões que são separados por superfícies de decisões não triviais ou padrões degradados por ruídos. Entretanto, a velocidade de treinamento é lenta, pois são necessárias muitas iterações do algoritmo para a rede convergir, se a convergência for possível. Um dos algoritmos derivados do backpropagation é o irprop (Igel & Hüsken, 2000). O irprop é um algoritmo rápido e acurado. Os parâmetros dele são intuitivos e fáceis de ser ajustados. Por esses motivos e pelo fato de estar disponível para Octave na forma de um módulo, o irprop é adotado neste trabalho. Essas são as propriedades mais relevantes para este trabalho; em Igel & Hüsken (2003) são descritas outras vantagens do algoritmo e o algoritmo é comparado com outros. A primeira abordagem para a classificação dos segmentos utiliza uma RNA em que as entradas são associadas aos histogramas dos canais do espaço de cores HSV; cada um dos histogramas tem 256 categorias. Essa rede foi testada com 60, 70 e 90 neurônios na camada escondida. A camada de saída tem cinco neurônios; cada um deles é associado a uma das classes predeterminadas. As camadas desta RNA são totalmente conectadas. Todas as topologias de RNA são treinadas com os padrões de treinamento até o EQM ser menor que 0,0001 ou o número de iterações do algoritmo ser igual a 200.000. Os padrões de treino são embaralhados antes de cada treinamento. A função de ativação dos neurônios é a tangente hiperbólica com o parâmetro igual a 0,9. Os pesos sinápticos dos neurônios são iniciados com valores aleatórios. Os demais parâmetros do algoritmo de treinamento usam os valores-padrão da biblioteca FANN. Após os treinos, as topologias são testadas com os padrões de testes. Assim, garante-se que a topologia generalize adequadamente as informações apreendidas no treino. As RNA usadas na primeira abordagem foram treinadas três vezes. As RNA que nos testes tiverem o menor EQM são consideradas mais adequadas que as demais. Com o objetivo de reduzir a complexidade do classificador, este foi dividido em cinco. Cada um dos classificadores é responsável por classificar um tipo de segmento específico. Essa abordagem foi testada com diversos vetores de características, já que o treinamento dessas RNA é mais simples. Cada tipo de vetor de característica deve ser classificado por uma RNA de topologia adequada. O número de neurônios na primeira camada varia de acordo com os tamanhos dos vetores de características. Por exemplo, o vetor com os histogramas dos três canais do RGB, em que cada histograma tem 32 categorias, resulta em um vetor com 96 elementos e topologia com 96 neurônios na primeira camada. A segunda camada tem 35 neurônios e a camada de saída tem um neurônio, que indica se o padrão pertence ou não à classe. Por isso, são construídas RNA específicas para classificar cada uma das classes. As camadas das RNA são totalmente conectadas. Para facilitar a identificação de cada topologia é adotada a seguinte notação: as letras que representam os canais são seguidas do número de categorias do histograma. Para o exemplo acima temos: RGB-32. No caso do RGB normalizado, são usadas as letras que representam os canais juntamente com a letra n, que é seguida pelo número de categorias. Por exemplo: RGBn-32. O treinamento dessas topologias utiliza os mesmos parâmetros usados anteriormente, com exceção do número máximo de iterações do algoritmo, que é igual a 100.000. Cada uma das diferentes topologias de RNA foi treinada e testada três vezes. Os testes com os maiores EQM são desprezados. As topologias escolhidas que classificam o mesmo tipo de objetos são comparadas. A topologia com menor EQM é a escolhida. Caso duas topologias tenham desempenho semelhante, a topologia com menor número de neurônios é adotada. Com isso, cinco RNA são escolhidas, cada uma para detectar uma classe de segmento. Mapa de classes Os cinco classificadores escolhidos são usados para classificar cada segmento. A classe a que o segmento pertence é determinada comparando-se os valores das saídas de

194 CAVANI et al. cada rede. A rede com o maior valor de saída determina a classe à qual o segmento pertence. Quando duas redes retornam o maior valor, o segmento não é classificado. Se nenhuma das redes classificar o segmento, ou seja, a saída da RNA foi igual a zero, o segmento não é classificado. Os resultados obtidos são apresentados na forma de imagem, em que os pixels recebem valores que representam cada classe. Essa imagem tem o propósito de ilustrar os resultados obtidos na classificação. Resultados e Discussão Segmentação O JSEG foi testado inicialmente com imagens com resolução espacial de 512 384 pixels, o que resultou na segmentação das folhas, céu e solo, como mostrado na Figura 4. O uso dessa resolução é indicado a sistemas que não necessitam segmentar detalhes como os frutos. Como um dos objetivos é segmentar os frutos, então, a resolução de 2.048 1.536 pixels é adotada. As regiões onde as folhas estavam mais escuras em função das sombras são separadas das demais folhas em outro segmento. Os autores do algoritmo também reportam essa influência das sombras na segmentação da imagem. A segmentação dessas imagens resulta em maior número de segmentos. O algoritmo cria segmentos mais detalhados e também segmenta os frutos das demais regiões. Os frutos que apresentam vários tons de cores ou manchas são segmentados em várias partes, pois a etapa final do algoritmo de segmentação não é executada. A Figura 5 mostra o resultado da segmentação de uma das partes de uma imagem com 2.048 1.536 pixels. As regiões das fronteiras do céu com as folhas, onde é possível ver o fundo da imagem entre as folhas e galhos, são aquelas onde o algoritmo teve maior dificuldade para definir as fronteiras dos segmentos. As regiões com muita iluminação ou com pouca iluminção também foram prejudicadas, pois o sistema de cores CIE-L*a*b* é instável nessas situações. Figura 4 Imagem com 512 384 pixels segmentada com o JSEG. Figura 5 Imagem segmentada com o JSEG.

SEGMENTAÇÃO E CLASSIFICAÇÃO DE IMAGENS DE LARANJEIRAS... 195 Classificação dos segmentos A medida usada para avaliar os resultados dos treinamentos e dos testes das RNA é o EQM. Também é observado o número de iterações do algoritmo de treinamento. Esse valor indica o quão complexo é o aprendizado, ou seja, o algoritmo de treinamento tem dificuldade em ajustar os pesos para que o erro seja minimizado. A quantidade de iterações não indica necessariamente que o EQM nos testes é baixo ou alto. As topologias com cinco neurônios na última camada foram treinadas e testadas. Essas redes atingiram o EQM menor que 0,0001 antes de o algoritmo de treinamento atingir o número máximo de iterações. Os resultados dos testes são apresentados na Tabela 1, em que é possível observar que essas topologias não generalizam adequadamente, pois o EQM é elevado. As RNA treinadas com os vetores de características extraídos do canal H são as redes que tiveram maior número de iterações do algoritmo de treinamento. Como as demais redes treinam em menos iterações, as redes que usam somente o vetor de características extraído do histograma do canal H não são adequadas para classificar os segmentos das classes frutos, folhas, solo e demais plantas. Algumas RNA treinadas com histogramas com 32 e 64 categorias tiveram comportamento semelhante. O treinamento das topologias RGB-32 e RGB-64 que classificam segmentos nas classes folhas e solo alcançou o número máximo de iterações. As redes RGBn-32 treinadas para classificar os segmentos em folhas e frutos apresentaram o mesmo problema. As topologias mais adequadas para classificar os segmentos são as que usam os vetores de características extraídos do espaço de cores HSV. Para classificar a classe dos frutos, a rede com menor EQM no teste foi a HSV- 64; para a classe folhas, a HSV-128; para a classe solo, a HSV-256; para a classe demais plantas, a HS-128; e para a classe céu, a HS-32. Os resultados dos testes estão na Tabela 2. Mapa de classes Os mapas de classes constituem ferramenta adequada para visualizar o resultado da classificação. Entretanto, não são adequados para avaliar os classificadores. Como não há intenção de conhecer todos os objetos simultaneamente, os EQM dos testes das RNA são mais adequados para isso. A Figura 6 mostra um exemplo de mapa de classes em que é possível visualizar a região de folhas, frutos e céu. Com a estratégia de dividir a imagem e então segmentála é possível notar algumas das fronteiras artificiais. Conclusões Neste trabalho, imagens de cenas agrícolas foram segmentadas e classificadas. Com isso, foi possível testar o algoritmo de segmentação JSEG para imagens de laranjeiras. O algoritmo gerou os segmentos conforme o esperado, ou seja, separou os elementos da cena (folhas, frutos, céu e solo). O uso de classificadores separados para cada tipo de segmento mostrou-se mais adequado para esse problema, podendo-se concluir que o uso de RNA modulares pode ser uma opção para a classificação dos segmentos. A classificação dos segmentos usando diferentes tipos de vetores de características possibilitou determinar quais as métricas mais adequadas para classificar os segmentos com as RNA adotadas. Foi observado que os vetores de características extraídos do espaço de cores HSV apresentaram menor EQM nos testes realizados. Tanto o JSEG quanto o PCM mostraram-se adequados para a construção de um sistema de reconhecimento de imagens de laranjeiras, em que não será necessária a intervenção do usuário. Os resultados obtidos neste trabalho serão usados em aplicação de contagem de frutos. No futuro devem ser avaliados outros algoritmos de segmentação. Também deve ser construído um único classificador, o que deve resultar em método mais robusto para gerar os mapas de classes. Tabela 1 Menores EQM obtidos nos testes das topologias com cinco neurônios na camada de saída. Neurônios Treino 1 Treino 2 Treino 3 60 0,392242 0,376298 0,456225 70 0,379660 0,404654 0,369543 90 0,341351 0,322347 0,362854

196 CAVANI et al. Figura 6 Imagem com os segmentos classificados. Tabela 2 Menores EQM obtidos no teste de cada topologia. MSE Laranjas Folhas Solo Céu Demais plantas H 32 0,079117 0,055898 0,032880 0,006759 0,010898 64 0,110642 0,061823 0,059293 0,004736 0,016785 128 0,141799 0,094724 0,059965 0,007099 0,010150 256 0,126210 0,113552 0,056493 0,006999 0,009831 HS 32 0,063554 0,068381 0,019112 0,004004 0,008003 64 0,063885 0,067278 0,017575 0,005402 0,003904 128 0,055309 0,053761 0,020842 0,004591 0,002837 256 0,056182 0,051813 0,018000 0,006927 0,003665 HSV 32 0,042277 0,058757 0,018408 0,005818 0,005178 64 0,038724 0,048902 0,021972 0,008847 0,004872 128 0,055219 0,048096 0,012403 0,008960 0,003878 256 0,054713 0,048764 0,007839 0,008116 0,004623 RGB 32 0,047323 0,077881 0,037679 0,009097 0,004940 64 0,048255 0,082303 0,062609 0,008529 0,009348 128 0,054309 0,067587 0,057061 0,010597 0,006327 256 0,062226 0,060036 0,053289 0,012748 0,005780 RGBn 32 0,073206 0,086487 0,031164 0,007517 0,012263 64 0,085067 0,089019 0,024066 0,007756 0,006864 128 0,072066 0,072449 0,023196 0,009517 0,005171 256 0,069992 0,084036 0,028111 0,006239 0,006653

SEGMENTAÇÃO E CLASSIFICAÇÃO DE IMAGENS DE LARANJEIRAS... 197 Agradecimentos Ao CNPq, pelo apoio financeiro dado a este projeto. Referências Bibliográficas ANNAMALAI, P.; LEE, W. S.; BURKS, T. F. Color vision system for estimating citrus yield in real-time. In: CSAE ANNUAL INTERNATIONAL MEETING, 2004. BROSNAN, T.; SUN, D. Inspection and grading of agricultural and food products by computer vision systems a review. Computer and Eletronics in Agriculture, v. 36, p. 192-213, 2002. CHEN, J.; PAPPAS, T. N.; MOJSILOVIC, A.; ROGOWITZ, B. Adaptive image segmentation based on color and texture. In: INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, 2002. v. 3, p. 777-780. CHENG, H. D.; JIANG, X.; SUN, Y.; WANG, J. Color image segmentation: advances and prospects. Pattern Recognition, v. 34, p. 2259-2281, 2001. COMANICIU, D.; MEER, P. Robust analysis of feature spaces: color image segmentation. In: CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, IEEE Computer Society, 1997. DENG, Y.; KENNEY, C.; MOORE, M. S.; MANJUNATH, B. S. Peer group filtering and perceptual color image quantization. In: PROCEEDINGS OF THE 1999 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS, 1999a. v. 4, p. 21-25. DENG, Y.; MANJUNATH, B. S.; SHIN, H. Color image segmentation. In: CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, IEEE Computer Society, 1999b. p. 446-451, v. 2. EATON, J. W. et al. Octave. Disponível em: http:// www.octave.org. Acesso em: 12 fev. 2006. GONZALEZ, R. C.; WINTZ, P. Digital image processing. 2. ed. New York, EUA: Adison-Wesley Publishing Company, 1987. HAYKIN, S. Redes neurais: princípios e prática. Porto Alegre: Bookman, 2001. HILL, P. R. Wavelet based texture analysis and segmetation for image retrieval and fusion. 2002. PhD (Thesis) University of Bristol, Department of Eletrical and Electronic Engineering. IGEL, C.; HÜSKEN, M. Improving the Rprop learning algorithm. In: PROCEEDINGS OF THE SECOND INTERNATIONAL SYMPOSIUM ON NEURAL COMPUTATION, ICSC Academic Press, 2000. p. 115-121. IGEL, C.; HÜSKEN, M. Empirical evaluation of the improved Rprop learning algorithm. Neurocomputing, v. 50, p. 105-123, 2003. LIU, Y.; ZHOU, X. Automatic texture segmentation for texture-based image retrieval. In: INTERNATIONAL MULTIMEDIA MODELLING CONFERENCE, 10., 2004. Prodeedings... IEEE Computer Society, 2004. p. 285-290. MOREIRA, J.; COSTA, L. de F. Neural based color image segmentation and classification using self-organizing maps. In: SIBGRAPI, 9., 1996. Anais... Sociedade Brasileira de Computação, 1996. p. 47-54. NETO, J. C.; MEYER, G. E.; JONES, D. D.; SURKAN, A. J. Adaptive image segmentation using a fuzzy neural network and genetic algorithm for weed detection. In: ASAE ANNUAL INTERNATIONAL MEETING, 2003. NISSEN, S. et al. Fann fast artificial neural network library. Disponível em: http://leenissen.dk/fann/. Acesso em: 12 fev. 2006. PLEBE, A.; GRASSO, G. Localization of spherical fruits for robotic harvesting. Machine Vision and Applications, v. 13, p. 70-79, 2001. STEWARD, B. L.; TIAN, L. F.; NETTLETON, D.; TANG, L. Reduced-dimension clustering for vegetation segmentation. Transactions of the ASAE, v. 47, p. 609-616, 2004. TANG, L.; TIAN, L.; STEWARD, B. L. Classification of broadleaf and grass weeds using gabor wavelets and an artificial neural network. Transactions of the ASAE, v. 46, p. 1247-1254, 2003. TIAN, L. F.; SLAUGHTER, D. C. Environmentally adaptive segmentation algorithm for outdoor image segmentation. Computers and Eletronics in Agriculture, v. 21, p. 153, 1998.