Uma abordagem baseada em objeto na análise de imagens com a utilização de segmentações independentes

Uma abordagem baseada em objeto na análise de imagens com a utilização de segmentações independentes Marcelo Musci Raul Queiroz Feitosa Gilson Alexandre Ostwald Pedro da Costa Pontifícia Universidade Católica do Rio de Janeiro PUC-Rio Caixa Postal 38097-22453-900 Rio de Janeiro - RJ, Brasil {musci,raul,gilson}@ele.puc-rio.br Abstract. Geographic Object-Based Image Analysis (GEOBIA) makes it possible to exploit a number of new features in the remote sensing image classification process. Such possibility is brought by the introduction of a segmentation step in the analysis process. High resolution images from remote sensors have multiscale nature, and include many details and information about the objects that compose them, it is important to segmentation these images effectively with all types of information and characteristics of these objects. The new features refer to aggregated spectral pixel values, textural, morphological and topological features computed for the different image segments. The usual segmentation approach in GEOBIA works relies on a hierarchy of segmentations, each level related to a number of object classes that have similar sizes, i.e., are detectable in a similar scale. We, therefore, propose an approach founded on the assumption that if segmentations are not specialized for each object class, then many of the new segment features cannot be properly exploited in the classification process. The usual practice do not consider independent segmentations for each class of interest in the problem of interpretation, grouping objects of same scale in a single segmentation, and this may miss important details about the objects it contains. The proposed approach relies on a specific rule to solve eventual spatial conflicts among different segmentations. Preliminary experimental results show that the proposed approach performed better that the usual one. Palavras-chave: remote sensing, image processing, segmentation, sensoriamento remoto, processamento de imagens, segmentação. 1. Introdução Atualmente, um grande número de trabalhos foram realizados segundo a abordagem GEOBIA (Blaschke et al., 2008), com o objetivo de superar as limitações das técnicas tradicionais baseadas em pixels, principalmente em relação aos dados originários de imagens de alta resolução. Tradicionalmente GEOBIA compreende três etapas básicas. Primeiro, uma segmentação baseada em regiões é realizada, identificando regiões homogêneas conforme um determinado critério. O processo de segmentação gera certo número de segmentos, também chamados de objetos de interesse da imagem, que serão posteriormente classificados. Em seguida, as características destes objetos são calculadas e utilizadas na etapa subsequente de classificação. Em relação às técnicas baseadas em pixels, GEOBIA proporciona um aumento significativo do número de características que podem ser consideradas no processo de classificação: utilizando além das informações espectrais, características texturais, morfológicas e topológicas (Hay e Castilla, 2008). Segundo Hay et al. (2003), os objetos interagem uns com os outros, dentro e através de uma hierarquia de domínios de escala, sendo a maneira usual utilizada para implementar essa hierarquia é associar cada escala com uma segmentação em particular. Além disso, a fim de respeitar restrições hierárquicas, ou seja, para produzir uma hierarquia de superobjetos e subobjetos, os segmentos nos níveis diferentes partilham fronteiras comuns, tais que os subobjectos estão completamente contidos dentro da extensão dos correspondentes superobjetos. Podemos indicar a abordagem mencionada no último parágrafo como segmentação hierárquica multiescala. Seguindo esta abordagem os níveis de hierarquia de segmentação 8230

podem ser construídos de duas formas diferentes, o que indicamos como top-down e bottomup. Na abordagem top-down, os segmentos que possuem áreas maiores são gerados em primeiro lugar, isto é, a hierarquia é construída a partir da escala mais grosseira para as escalas mais finas. Na abordagem bottom-up a hierarquia é construída a partir da escala mais fina para as escalas mais grosseiras, o que significa que os níveis mais grosseiros de segmentação são criados pela fusão de segmentos mais finos (isto é, os superobjetos são formados pela fusão dos subobjectos). Vários autores têm utilizado a abordagem de segmentação hierárquica multiescala para a análise e interpretação de imagens de sensores remotos. Alguns exemplos podem ser encontrados em Blaschke et al. (2008). Segundo o que foi exposto, embora GEOBIA tenha o potencial de fornecer uma riqueza de informações para o processo de classificação, isso só será útil se os objetos da imagem forem devidamente segmentados. Com base nessa premissa levantamos a seguinte questão: pode a abordagem de segmentação hierárquica formar objetos de imagem devidamente delineados? Em nosso trabalho utilizamos um algoritmo de segmentação para os quais as características espectrais, bem como a forma podem compor os critérios de homogeneidade no processo de crescimento de regiões, como é o caso do algoritmo proposto por Baatz e Schäpe (2000), um dos mais utilizados pela comunidade GEOBIA. Com a utilização da abordagem de segmentação hierárquica multiescala as classes de objetos de tamanhos semelhantes estão associadas ao mesmo nível hierárquico, ou seja, os respectivos objetos são representados no mesmo nível de segmentação. Se os objetos dessas classes puderem ser discriminados com base apenas em atributos espectrais, então o procedimento de classificação não seria prejudicado pelo fato de que os parâmetros utilizados para certo nível de segmentação não foram sintonizados ou específicos para uma classe particular, mas sim os valores devem ser apropriados para todas as classes de objetos que pertencem a um domínio de determinada escala. Agora, se tais classes são caracterizadas por formas particulares, então nenhum conjunto único de parâmetros de segmentação conseguiria acomodar todas as diferentes classes que pertencem ao mesmo domínio de escala. Segundo Ferreira et al. (2012) os autores demonstraram que a utilização de atributos de forma na composição do critério de homogeneidade de um algoritmo de segmentação como o utilizado em (Baatz e Schäpe, 2000) pode, efetivamente, melhorar o desempenho da segmentação. Mas, neste caso, os valores dos parâmetros de segmentação devem ser ajustados para uma classe em particular de objeto. Isso permitiria o procedimento de classificação usar adequadamente atributos de forma de modo a discriminar melhor os objetos dessa classe. No entanto, uma segmentação específica para um objeto em particular contrasta com a abordagem de segmentação hierárquica multiescala, devido a diferentes segmentações não poderem coexistir no mesmo nível hierárquico. Por outro lado, se segmentações não puderem ser específicas para classes de objetos em particular, a utilização de atributos de forma não pode ser de grande ajuda para o processo de classificação. Como uma alternativa à segmentação hierárquica multiescala, propomos uma abordagem em que objetos de uma classe particular de interesse são identificados em uma segmentação específica, para a qual os valores dos parâmetros de segmentação são otimizados para essa classe em particular. Chamamos isso de abordagem de segmentação independente. A principal dificuldade, inerente à abordagem de segmentação independente é que, como as segmentações são completamente independentes, objetos classificados de diferentes classes podem sobrepor-se espacialmente, e tal conflito deve ser tratado em uma etapa posterior à classificação. Nas próximas seções serão apresentadas aplicações particulares com a utilização da abordagem de segmentação independente. Inicialmente será feita uma descrição dessa implementação e, em seguida, serão apresentadas experiências que visam comparar a 8231

abordagem proposta com a abordagem de segmentação hierárquica. Por fim, serão apresentadas algumas considerações finais. 2. Metodologia de Trabalho Como mencionado anteriormente, a abordagem proposta envolve a realização de uma segmentação específica para cada classe de objeto de interesse, tornando assim possível a otimização dos valores dos parâmetros do algoritmo de segmentação para cada classe. Os objetos de referência para cada classe considerada foram delineados manualmente por um especialista. As referências são usadas tanto no procedimento de otimização, para encontrar automaticamente os valores ótimos dos parâmetros de segmentação para cada classe de objeto, e para avaliação da precisão dos resultados da classificação. O ajuste dos parâmetros de segmentação é realizado através de um método de otimização. Neste trabalho foi utilizada a técnica Generalized Pattern Search (GPS) (Audet e Dennis Jr, 2003), que pertence a um subconjunto de métodos de busca direta chamados de métodos pattern search e foram propostos por Torczon (1997). Neste trabalho, a função objetivo definida para o procedimento de GPS foi uma métrica de dissimilaridade chamada Reference Bounded Segments Booster (RBSB) proposta por Feitosa et al. (2006). A métrica RBSB compara os segmentos automaticamente produzidos com os segmentos de referência. No final, a métrica retorna um valor numérico que representa o grau de diferença entre ambos. Se a segmentação corresponde perfeitamente com a referência então o grau de divergência é igual à zero. De acordo com Ferreira (2011), a métrica RBSB mostra boa correlação com a percepção humana de qualidade segmentação. Uma vez que os valores dos parâmetros ótimos de segmentação para cada classe de objetos são encontrados, é realizada uma segmentação específica para cada classe na imagem em análise. Em seguida, uma série de características são extraídas para todos os segmentos a serem utilizados mais tarde no procedimento de classificação. A abordagem proposta é também caracterizada por classificações independentes. Em princípio, qualquer classificador pode ser usado para qualquer classe. Os segmentos em cada segmentação específica são classificados como pertencentes ou não a uma classe em particular. Como as segmentações para as diversas classes são independentes, conflitos espaciais entre os segmentos pertencentes a diferentes classes podem ocorrer. Uma maneira simples de resolver esses conflitos, e a forma adotada neste trabalho, é por intermédio dos valores de pertinência gerados pelos classificadores associados a cada segmento classificado. Se ocorrer um conflito, o segmento com o maior valor de pertinência vai prevalecer. Os segmentos com os menores valores de pertinência terão as partes sobrepostas simplesmente removidas do segmento original, ou seja, os segmentos com os valores mais baixos de pertinência ficarão menores. É importante notar que a resolução dos conflitos espaciais baseia-se no pressuposto de que os valores de pertinência gerados pelos procedimentos de classificação sejam comparáveis. Neste trabalho o mesmo tipo de classificador foi utilizado para todas as classes consideradas, a saber, máquinas de vetores de suporte (Support Vector Machines - SVM) (Vapnik, 1998; Mountrakis et al., 2011). Para cada classe construímos classificadores baseados em SVM com saída probabilística com base no projeto descrito em (Chang e Lin, 2001), utilizando o padrão de núcleo Gaussiano (RBF). Classificadores baseados em SVM para cada classe foram usados tanto na classificação hierárquica quanto na abordagem que faz uso de segmentação independente. 8232

3. Resultados e Discussão Esta seção apresenta os resultados da avaliação experimental da metodologia proposta, e compara estes resultados com os obtidos através da utilização do método de segmentação hierárquica. A imagem selecionada para a realização dos experimentos é um subconjunto de uma imagem pancromática Quickbird que apresenta uma parte da cidade do Rio de Janeiro (Brasil). A Figura 1 mostra a referida imagem, que foi adquirida em abril de 2012. Suas dimensões são de 870 por 1030 pixels. Apenas as bandas do vermelho, verde e azul, foram utilizadas. Os dados de referência foram manualmente delimitados e também são mostrados na Figura 1. As classes de interesse compreendem diferentes tipos de telhados e solo exposto. As experiências foram concebidas para avaliar o desempenho da metodologia proposta em termos de qualidade da segmentação, bem como a precisão da classificação de cada classe de objeto. A qualidade da segmentação foi medida em termos da métrica RBSB aferida para todos os objetos de cada classe com a utilização dos respectivos segmentos de referência de suas respectivas classes. A precisão da classificação foi medida em termos de acurácia do produtor e índice Kappa. Telhado1 Telhado2 Telhado3 Telhado4 Telhado5 Solo Figura 1. Imagem utilizada (esquerda) e a sua classificação de referência (direita). 3.1 Qualidade da Segmentação Estes experimentos visam comparar a qualidade da segmentação obtida pelo processo de segmentação independente com a abordagem de segmentação hierárquica. O procedimento utilizado para a segmentação foi uma implementação do algoritmo de crescimento de regiões proposto em (Baatz e Schäpe, 2000). Mais uma vez, um conjunto de valores de parâmetros de segmentação foi determinado para cada classe de objeto. Os valores dos parâmetros submetidos à otimização foram: o parâmetro de escala, o peso atribuído à forma (em relação ao peso da cor), o peso da compacidade contra a suavidade, e os pesos das bandas espectrais. A determinação dos valores dos parâmetros de segmentação foi realizada pela técnica de otimização GPS, tendo como função objetivo a métrica RBSB calculada sobre diferentes conjuntos de segmentos de referência. Para a abordagem de segmentação independente, a técnica de otimização foi utilizada para encontrar os parâmetros de segmentação para cada uma das seis classes de objetos. 8233

Na abordagem de segmentação hierárquica os tamanhos relativos dos objetos nas diversas classes de telhados são praticamente os mesmos, então as referências de todas as classes de telhado foram combinadas e utilizadas pelo procedimento de GPS, para calcular um único conjunto de parâmetros de segmentação para todas as classes de telhado. Esta é certamente uma restrição da abordagem de segmentação hierárquica: todas as classes de objetos de mesmo (aproximadamente) tamanho devem ser associadas ao mesmo nível de segmentação. Assim, a abordagem hierárquica, top-down e bottom-up, foram realizadas considerando dois níveis de segmentações: uma para telhados e outra para o solo. A Tabela 1 mostra os valores de dissimilaridade (RBSB) encontrados para cada abordagem. Os valores apresentados na Tabela 1 foram calculados utilizando-se todos os segmentos de referência para cada classe. Deve ser observado que quanto mais baixo o valor do RBSB, melhor a segmentação, isto é, o valor de dissimilaridade se aproxima de zero. Os resultados indicam a superioridade da segmentação independente sobre a abordagem da segmentação hierárquica para todas as classes em consideração. Pode ser observado que para a classe Solo, os resultados das abordagens de segmentação independente e hierárquica bottom-up foram os mesmos. Isso já era esperado, pois os objetos da classe Solo são os menores e foram otimizados "independentemente" na abordagem hierárquica bottom-up. O mesmo não pode ser dito para a abordagem hierárquica top-down, porque as fronteiras dos objetos de nível mais alto (telhados) foram respeitadas no nível mais baixo (Solo) de segmentação. Tabela 1. Valores de dissimilaridade RBSB. Classe Abordagem Independente Top-Down Bottom-Up Telhado1 0,22 0,43 1,22 Telhado2 0,31 0,44 0,49 Telhado3 0,41 0,56 0,76 Telhado4 0,40 0,44 0,75 Telhado5 0,31 1,18 1,27 Solo 0,45 0,79 0,45 Os resultados pobres para a classe Telhado5 na segmentação hierárquica (top-down e bottom-up) pode ser atribuída ao fato de que, embora os objetos desta classe possuírem áreas semelhantes quando comparados com as outras classes de telhado, as formas dos objetos Telhado5 são mais assimétrica (pouco retangulares). Na abordagem bottom-up, os segmentos de telhados são construídos por meio da fusão dos segmentos no nível de segmentação mais fina (solo). O resultado relativamente pobre para a classe Telhado1 nessa abordagem pode ser explicado pelo fato de que os telhados dessa classe são menores do que os telhados das outras classes. Além disso, como alguns pares de objetos de telhado estão muito próximos uns dos outros, o processo de segmentação tende a criar segmentos que fusionam esses pares de telhados. O resultado para a abordagem hierárquica top-down foi muito melhor para a classe Telhado1, provavelmente devido ao procedimento de otimização em face da variabilidade de tamanhos de telhados entre as diversas classes envolvidas. 3.2 Classificação O objetivo primário desta análise não foi a de maximizar a acurácia da classificação, mas tão somente comparar os resultados da abordagem proposta com a segmentação hierárquica. 8234

As características dos segmentos escolhidas para serem utilizadas como entrada dos classificadores compreende um conjunto de atributos espectrais a média das intensidades das bandas azul, vermelho e verde e um conjunto de características morfológicas suavidade, compacidade, robustez e área. Testes empíricos mostraram que atributos adicionais não aprimoraram o resultado da classificação para este cenário em particular. Foi utilizado um classificador SVM para cada classe de objeto em cada abordagem considerada independente, hierárquica top-down e hierárquica bottom-up. Os classificadores foram criados para classificar os segmentos como objetos de uma determinada classe ou como plano de fundo (background). As probabilidades atribuídas a cada segmento classificado como sendo de uma classe de interesse (isto é, como não sendo de fundo) foram consideradas como valores de pertinências e utilizadas para a resolução de eventuais conflitos espaciais, como descritos na Seção 2. Devido à escassez de amostras de treinamento, a estratégia de leave-one-out foi usada no treinamento dos classificadores. A Tabela 2 mostra os resultados obtidos com as diferentes abordagens. Os índices de acurácia foram calculados por pixel, ou seja, por meio da comparação dos pixels obtidos pelo resultado da classificação automática com a classificação de referência (Figura 1). A Tabela 2 ilustra a acurácia do produtor para cada classe e o valor do índice Kappa. Tabela 2. Resultados da classificação (Acurácia do produtor e índice Kappa) Classe Abordagem Independente Top-Down Bottom-Up Telhado1 0,79 0,78 0,78 Telhado2 0,80 0,74 0,63 Telhado3 0,83 0,64 0,62 Telhado4 0,76 0,68 0,63 Telhado5 0,89 0,87 0,84 Solo 0,89 0,85 0,90 Kappa 0,77 0,70 0,66 As diferentes métricas de acurácia mostram que a abordagem proposta está associada, na maioria dos casos, com a acurácia de melhor classificação. Isso fica claro em termos de índice Kappa, indicando que a abordagem de segmentação independente promoveu uma melhora de 8,6% e de 15,1% em relação às abordagens de segmentação hierárquica top-down e bottomup, respectivamente. Os índices de acurácia do produtor confirmam a superioridade do método proposto. É interessante observar que a acurácia para a classe Solo é um pouco melhor para a abordagem hierárquica bottom-up. Porém deve ser lembrado que as segmentações utilizadas para a classe Solo nas abordagens independente e bottom-up são as mesmas. Devido as grandes discrepâncias na desigualdade da métrica RBSB, utilizada para avaliar as diferentes segmentações, pode-se imaginar que o ganho nos resultados de classificação deva ser proporcional à melhoria dos resultados das segmentações obtidas pela abordagem de segmentação independente. Neste caso isto não é observado, principalmente porque a avaliação da acurácia de classificação foi calculada por pixel. Isto significa que, mesmo que os resultados da segmentação fossem melhores, em certos casos, os classificadores podem basear-se principalmente nas características espectrais. Este parece ser o caso para a classe Telhado5, onde os objetos apresentam uma cor vermelha muito distinta. 8235

4. Conclusões Neste trabalho foi proposta uma abordagem baseada em objetos para a interpretação de imagens de sensoriamento remoto com base em segmentações e classificações independentes para cada classe de interesse. Foram feitas comparações da abordagem proposta com aquelas mais usadas na comunidade GEOBIA, que são as abordagens baseadas em segmentações hierárquicas bottom-up e top-down. A suposição básica referente a nova abordagem, é que, se apenas segmentações independentes específicas para as classes de objetos envolvidas forem realizadas, pode-se explorar adequadamente todas as novas características obtidas dos segmentos ou objetos da imagem. Os experimentos mostraram que a abordagem proposta produziu melhores segmentos e quase sempre os resultados das classificações foram superiores as obtidas pelas abordagens de segmentações hierárquicas. Este trabalho representa a etapa inicial na investigação da abordagem de segmentação independente. Os resultados preliminares aqui apresentados indicam que os benefícios trazidos por essa abordagem pode ser mais significativa para as classes de objetos que não são facilmente identificadas pelo uso de atributos unicamente espectrais. Em trabalhos futuros iremos analisar o impacto da abordagem para novas classes de objetos, como por exemplo, para classes que possuam variabilidade espectral entre os seus objetos, mas são, por outro lado, diferentes em termos de forma e tamanho. Referências Bibliográficas Audet, C.; Dennis Jr., J. E.; Analysis of generalized pattern searches. SIAM Journal on Optimization, v. 13, p. 889-903, 2003. Blaschke, T.; Lang, S.; Hay, G. Object-based Image Analysis Spatial Concepts for Knowledge-Driven Remote Sensing Applications, Lecture Notes in Geoinformation and Cartography. Springer-Verlag, Berlin, 2008. 818p. Baatz, M.; Schäpe, A. Multiresolution Segmentation An Optimization Approach for High Quality Multiscale Image Segmentation. In: Strobl et al. (eds.): Angewandte Geographische Informationsverarbeitung XII, Wichmann-Verlag, Heidelberg, pp. 12-23, 2000. Chang, C. C.; Lin, C. J. LIBSVM: a library for support vector machines, 2001. Disponível em: <http://www.csie.ntu.edu.tw/~cjlin/libsvm>. Acesso em: 03 mar. 2011. Feitosa, R. Q.; Costa, G. A.; Cazes, T. B. ; Feijó, B. A Genetic Approach for the Automatic Adaptation of Segmentation Parameters. In: 1st International Conference on Object-based Image Analysis (OBIA 2006), July 4-5, 2006. Proceedings Salzburg, Stefan Lang, Thomas Blaschke & Elisabeth Schöpfer (Editors) 2006, v. 36, n. 4/C42. Ferreira, R. Uma abordagem multiescalar, multicritério para a segmentação de imagens. 2011. 113p. Dissertação (Mestrado em Engenharia Elétrica) - Pontifícia Universidade Católica do Rio de Janeiro Puc-Rio, Rio de Janeiro. 2011 Ferreira, R.; Feitosa, R. Q.; Costa, G. O. A multiscalar, multicriteria approach for image segmentation, In: 4th GEOBIA : Geographic object-based image analysis, May 7-9, 2012 Rio de Janeiro Brazil. Proceedings... São José dos Campos: INPE, 2012. ISBN 978-85-17-00059-1 p. 464. Disponível em: <http://mtcm18.sid.inpe.br/col/sid.inpe.br/mtc-m18/2012/05.18.13.07/doc/124.pdf>. Acesso em: 06 jun. 2012. Hay, G.; Blaschke, T.; Marceau, D.; Bouchard, A. A comparison of three image-object methods for the multiscale analysis of landscape structure. In: International Journal of Photogrammetry and Remote Sensing (57), pp. 327-345, 2003. 8236

Hay, G. J.; Castilla, G. Geographic Object-Based Image Analysis (GEOBIA): A new name for a new discipline. In: T. Blaschke, S. Lang & G. Hay (eds.): Object-Based Image Analysis Spatial Concepts for Knowledge-Driven Remote Sensing Applications. Lecture Notes in Geoinformation and Cartography, 18. Springer-Verlag, Berlin, 75-89 2008. Mountrakis, G.; Im, J.; Ogole, C. Support vector machines in remote sensing: A review. ISPRS Journal of Photogrammetry and Remote Sensing, 2011, 66(3), pp. 247 259 Torczon, V. On the Convergence of Pattern Search Algorithms. SIAM Journal on Optimization, v. 7, n. 1, p. 1-25, 1997. Vapnik, V. N. Statistical learning theory. 1 ed, Wiley, 1998. 8237