UM SISTEMA BIO-INSPIRADO PARA DETECÇÃO DE CONTORNOS EM IMAGENS COLORIDAS

Transcrição

1 UM SISTEMA BIO-INSPIRADO PARA DETECÇÃO DE CONTORNOS EM IMAGENS COLORIDAS KARIN SATIE KOMATI, EVANDRO OTTONI TEATINI SALLES, MARIO SARCINELLI-FILHO. Programa de Pós-Graduação em Engenharia Elétrica, Universidade Federal do Espírito Santo Av. Fernando Ferrari, 514, Goiabeiras, , Vitória, ES s: {evandro, Abstract This paper proposes a new unsupervised, fully automatic method for edge detection in color images, inspired in the human visual model of Grossberg. One of the hypotheses of Grossberg, the FACADE (Form-And-Color-And-Depth) defines complementary specialized streams at the bifurcation in the parvocellular pathway in the visual cortex: one of the branches performs the edge processing and the other performs surface processing. In a similar way, this proposal has two parallel processes that are integrated at the end. The edge processing is implemented through an edge-detection method, whereas the surface processing is performed through a region growing method. The proposed integration scheme eliminates false contours resulted from the region growing, guided by the result of edge detection, and eliminates the noise resulted from the edge detection, now guided by the result of the region growing, thus taking advantage of their complementary natures. Experiments on a large set of color images show that the results of the proposed system are closer to human perception than the individual methods that make it up, in both quantitative and qualitative terms. Keywords boundary detection, multifractal, bio-inspired systems, FACADE. Resumo Este trabalho propõe um novo método não supervisionado, totalmente automático, para detecção de contornos em i- magens coloridas, inspirado no modelo visual humano da teoria de Grossberg. Um das hipóteses de Grossberg, o FACADE (Form-And-Color-And-Depth), define fluxos especializados complementares na bifurcação do caminho parvocelular no córtex visual: uma das ramificações faz o processamento de borda e a outra de superfície. Da mesma forma, esta proposta tem dois processos em paralelo, que ao final são integrados. O processamento de borda é realizado através de um método de detecção de bordas, enquanto o processamento de superfície se faz por um método de crescimento de regiões. A integração proposta elimina os contornos falsos do resultado do crescimento de regiões, guiado pelo resultado da detecção de bordas, e elimina o ruído da detecção de bordas, agora guiado pelo resultado do crescimento de regiões, tirando vantagem de suas naturezas complementares. Experimentos com um grande conjunto de imagens coloridas mostram que os resultados do sistema proposto são mais próximos da percepção humana do que os métodos individuais que o compõem, tanto em termos quantitativos quanto qualitativos. Palavras-chave detecção de contornos, multifractal, sistemas bio-inspirados, FACADE. 1 Introdução Detecção de contornos é uma tarefa crucial em sistemas de visão computacional. O resultado de seu processamento, a delineação dos limites dos componentes de uma imagem, fornece informações valiosas para processos de alto nível subseqüentes, como reconhecimento de objetos, por exemplo. A detecção de contornos não supervisionada e totalmente automática é um problema complexo, pois não se conhece a priori quais tipos de regiões (uniforme, com gradação suave de cor e variações de texturas) existem em uma imagem, nem quantas regiões existem. Exemplos de variedade e complexidade de imagens podem ser constatados na Figura 1. (a) (b) (c) Figura 1. Exemplos de imagens, retirados de (Martin et. al, 2001). Na Figura 1(a) temos uma cobra no deserto, onde o elemento central e o fundo apresentam quase a mesma cor, causando imprecisão de bordas. Na Figura 1(b) temos uma mistura de texturas artificiais e naturais (a ponte possui padrões geométricos, bem diferente da textura natural do morro e do rastro de fumaça da locomotiva). Na Figura 1(c) temos um felino em uma árvore, o qual, apesar da complexidade da textura de seu pelo, a percepção humana reconhece como um único elemento. Até o momento, o instrumento mais eficiente para detectar e discriminar contornos é o olho humano, servindo, na maioria das vezes, como referência da exatidão em testes de algoritmos de detecção de contorno. Sistemas de visão computacional que são inspirados no sistema de visão humana (SHV) representam uma alternativa promissora (Marr, 1982; Hu et. al, 2009; Komati e De Souza, 2003; Köppen, Ruizdel-Solar, e Soille, 1998). No entanto, o conhecimento acerca da visão biológica, em particular da humana, não é completo e detalhado (Kandell, 2000; Olshausen e Field, 2005). Isto tem motivado muitos pesquisadores a propor teorias computacionais sobre como se dá o processo de visão biológica, para posterior comparação destas com o comportamento visual biológico observável. Tais teorias têm evoluído ao longo dos anos, baseadas na crescente compreensão do sistema visual biológico, através do qual nós percebemos as posições e propriedades dos objetos, assim como as relações entre eles e as leis físicas do ambiente que os cerca. ISSN: Vol. X 791

2 Este trabalho se inspira no modelo proposto pelo pesquisador Stephen Grossberg (1985, 1994, 2000, 2008), por ser este fruto de uma pesquisa ampla, iniciada na década de O modelo de SHV proposto por Grossberg é bem completo, e envolve explicações acerca da percepção humana, sugerindo soluções para a percepção 3D, visão binocular, dominância ocular, oclusão de bordas, aprendizado e memória, dentre outros desafios. Seguindo o modelo de Grossberg, este trabalho se concentra nas características associadas à detecção de contornos. 2 O sistema visual humano O processamento da informação visual ocorre em várias áreas do córtex cerebral (Kandell, 2000). O sistema tem início com a captação das imagens através dos olhos, por meio da retina, localizada no fundo olho, transformando a informação visual em sinais elétricos. Na Figura 2 observam-se as fibras do nervo óptico chegando a três áreas: núcleo geniculado lateral (NGL), colículo superior e núcleo do nervo óculo-motor. O colículo superior faz o sensoriamento que controla os movimentos sacádicos, que são os deslocamentos dos olhos quando se quer focalizar em um alvo determinado. Figura 2. Fluxo de informações visuais: olho NGL Córtex. Parte da informação visual chega ao núcleo do nervo óculo-motor. Imagem alterada e traduzida da original retirada de ( cx=partner-pub %3av0qd01- tdlq&cof=forid%3a9&ie=utf-8&q=optic%20nerve&sa=search#922) A maior parte da informação originada pela retina chega ao NGL, principal região subcortical envolvida no processamento da informação para a percepção. Os sinais canalizados através do nervo óptico estão divididos em duas vias visuais distintas: o caminho magnocelular (M) e o caminho parvocelular (P). O caminho P recebe informações principalmente dos cones e de células X, que são células responsáveis por cor e detalhes finos. Já o caminho M processa informação de luz/escuridão e de células Y, que são muito sensíveis ao movimento. Do NGL, os axônios seguem em direção ao córtex visual. É no córtex visual que ocorre o processamento das informações visuais, ou seja, as características de forma, profundidade, movimento e cor são analisadas. Ele é dividido em áreas: V1, V2, V3, V4 e V5 (também conhecido como MT). A partir de V1, o caminho P divide-se em dois caminhos paralelos, que se juntam novamente em V O Modelo Visual Humano de Grossberg Nesta seção, dar-se-á um resumo de algumas das hipóteses do modelo de Grossberg que foram utilizadas no sistema proposto neste trabalho, apresentadas a seguir: 1) segmentações de imagens geradas pelo modelo não são resultados de treinamento em exemplares de imagens; 2) o cérebro possui uma organização de processamentos paralelos e de naturezas complementares, teoria de nome Complementary Computing. A idéia é que existam pares de processamento de fluxos complementares, onde cada caminho exibe vantagens e desvantagens. Por causa dessa complementaridade, a proposta é que as interações entre estes caminhos sobrepujem suas deficiências complementares; 3) Grossberg insere em seu modelo o conceito The Two Streams Hypothesis, originalmente proposto por Mortimer e Ungerleider (1982). A hipótese considera que cada um dos caminhos das informações visuais se projeta para áreas diferentes e, logo, processam atributos distintos. Simplificadamente, o caminho M é especializado em responder à pergunta Onde (stream Where ), sendo usado para localização de objetos, enquanto o caminho P é especializado em responder à pergunta O que (stream What ), sendo usado para identificação de objetos; 4) a teoria neural, conhecida como FACADE (Form-And-Color-And-Depth), propõe que no caminho P uma das ramificações dentro do córtex visual faz o processamento de borda e a outra de superfície (Figura 3). Seguindo a teoria Complementary Computing, as interações entre o processamento de borda e de superfície selecionam o melhor grupamento de bordas entre as várias possibilidades de interpretação da cena. Através de suas propriedades complementares, o processamento de um caminho guia os sinais do outro caminho; 5) teoria Hierarchical Resolution of Uncertainty, onde incertezas devem ser superadas usando mais de uma fase de transformação para cada caminho, como, por exemplo, no processamento dos caminhos P ou M. As incertezas podem ser ISSN: Vol. X 792

3 interpretadas com o fato de que o resultado de cada estágio, ou unidade funcional do sistema, pode gerar resultados com falhas ou com graus diferentes de confiabilidade, que podem ser corrigidos gradativamente, estágio a estágio. Figura 3. Representação gráfica simplificada dos caminhos do modelo visual. 3 O Sistema Proposto A proposta é modelar um sistema inspirado no modelo de Grossberg, cujo objetivo é detectar contornos em imagens coloridas. O interesse é modelar o caminho P, pois sua finalidade é identificar objetos estáticos (a entrada deste sistema é apenas uma imagem estática e não uma seqüência de imagens). Assim, não há informação de entrada para tratar movimento, e, logo, o caminho M não será modelado. Figura 4. Arquitetura geral do método proposto. Observe sua inspiração no modelo proposto na Figura 2. O caminho P é dividido em dois sub-caminhos paralelos, um orientado para Borda e outro para Superfície, conforme a Figura 4. Neste trabalho, o caminho de Borda foi implementado por um processo de detecção de bordas clássico, o gradiente morfológico. A escolha se baseou em testes anteriores (Komati, Salles e Sarcinelli-Filho, 2010), nos quais o gradiente morfológico obteve melhores resultados. Para o pré-processamento de suavização da imagem usou-se o método de Kuwahara com máscara 5 5 (Kuwahara, Hashimura e Eiho, 1976). Este método apresenta a vantagem de suavizar a imagem e ao mesmo tempo preservar as bordas. Para o caminho de Superfície foi adotado um método de crescimento de regiões, MM-Frac, que será descrito na subseção 3.2. Este método possui características que seguem a teoria de Grossberg, pois é dividido em dois estágios: integração de medidas para o mapa utilizado como base para o crescimento de regiões e a integração (merge) dos resultados das várias escalas diferentes. Assim, combinamos duas técnicas complementares, a técnica por similaridade (região) e por descontinuidade (borda) de informação. 3.1 A Integração dos Métodos Para a integração dos resultados de bordas e regiões, utilizou-se o método KSS (Komati, Salles e Sarcinelli-Filho, 2010). O KSS é um método totalmente automático, que recebe duas entradas: uma imagem binária representando segmentação de regiões e uma imagem em escala de cinza representando o grau de confiança de cada pixel ser uma borda. Os resultados de detectores de borda apresentam lacunas e informações ruidosas, enquanto os resultados de métodos de crescimento de regiões tendem a apresentar super-segmentação, além de gerar contornos imprecisos e falsos (Muñoz et al., 2003). A estratégia do método KSS é tirar proveito da natureza complementar de cada método, isto é, retirar os contornos falsos das regiões através da informação de bordas e retirar o ruído da informação de bordas guiado pelos contornos do crescimento de regiões, integrando as duas entradas em um único resultado. O controle do KSS é baseado no resultado do detector de bordas. Quanto menos ruidoso for este resultado, maior é o seu grau de confiança. Para tanto, utiliza-se o formato do histograma da imagem resultante do detector de bordas. Assim, estima-se a quantidade de pixels que indicam que não há borda, (maior quantidade de pixels escuros, valores próximos de zero - entre 0 e 50), relativo à informação de certeza média de existência de borda (valores existentes no meio do histograma, entre 50 e 200 na escala de cinza). O valor da confiança é dado por confiança = = 50 h i= 0 i 200 h i 50 i, (1) onde i=[0, 255] é o valor do pixel. Quanto menos ruidosa é a imagem, mais se confia em seu resultado. ISSN: Vol. X 793

4 3.2 O Método de Crescimento de Regiões O método escolhido para o crescimento de regiões foi o MM-Frac (Komati, Salles e Sarcinelli-Filho 2011). Neste método, utilizam-se duas medidas de homogeneidade de regiões: J-value e medida multifractal. A medida J-value foi proposta no método JSEG em (Deng e Manjunath, 2001). A segunda medida é a medida multifractal (Chadhuri e Sarkar, 1995). Ambas as medidas recebem a imagem original e retornam imagens que podem ser interpretadas como mapas 3D. Seguindo a linha de pares complementares, temos uma medida de segunda ordem (Jvalue) e uma medida de alta ordem estatística (medida multifractal). Para integrar as duas medidas, utilizou-se uma média ponderada baseada na propriedade estatística global: o valor α (alpha). Esta medida se mostrou muito eficiente na classificação de imagens em categorias, conforme trabalho de Torralba e Oliva (2003). Eles observaram que a declividade do perfil da curva dada pelo espectro de potência das imagens: log(magnitude) log(freqüência) recai, na média, na forma 1/f α. Quanto menor o valor de α, maior o peso da medida multifractal e melhor é o reconhecimento de texturas. O método de crescimento de regiões é aplicado sobre este mapa 3D final. O mapa 3D é o critério de agrupamento e manteve-se o algoritmo de crescimento de regiões tal qual no método JSEG original. Estes mapas são calculados para várias escalas diferentes e eles são unidos em apenas uma imagem final, tal qual no método JSEG original, através de um processo de merge. Figura 5. Arquitetura do método MM-Frac. A arquitetura do MM-Frac é mostrada na Figura 5, onde todos os retângulos representam os processos que recebem imagens como entrada e retornam uma imagem como saída. Os retângulos sobrepostos representam a multi-escala, isto é, os processos serão repetidos para diferentes escalas. O processo com o texto alpha é o processo que recebe uma imagem como entrada e retorna um número real como saída. 4 Experimentos Para avaliarmos a proposta deste trabalho, utilizamos o banco de dados BSDS, composto de 100 imagens de treino e 100 de testes. Utilizamos todas as imagens coloridas armazenadas na base de testes do BSDS. Não usamos a base de treinamento, pois não há fase de treinamento (sistema não supervisionado). Comparações quantitativas de desempenho necessitam de referencial e métricas bem definidas. Ambos os requisitos podem ser encontrados no BSDS. Para cada imagem de teste no BSDS há pelo menos cinco imagens segmentadas por seres humanos, que constituem nosso referencial de percepção humana. As métricas padrão do BSDS são precisão, sensibilidade e medida-f (precision, recall, e F- measure) (Martin, Fowlkes, e Malik, 2004). O BSDS também fornece um conjunto de programas para o cômputo das medidas padrão, que aceitam programas aceitam imagens em escala de cinza. Para cada imagem, passa-se como parâmetro um número inteiro, indicando a quantidade de limiares a serem utilizados (que nos testes deste trabalho foi definida como 10). Cada imagem é binarizada para cada limiar calculado e, em seguida, calcula-se a precisão, sensibilidade e medida-f. A Figura 6 mostra alguns resultados: São mostrados a imagem de entrada (6(a)), o referencial humano (6(b)), os resultados das detecções de contorno correspondentes ao JSEG (6(c)), MM-Frac (6(d)), detecção de bordas via gradiente morfológico (6(e)) e após o processo KSS (6(f)). Em cada imagem encontra-se, também, a medida-f correspondente. Primeiramente, analisaremos qualitativamente os resultados com relação ao referencial humano. Antes, porém, é importante ressaltar que o algoritmo JSEG tende a super-segmentar as imagens, dividindo os objetos em muitas regiões menores e a abordagem MM-Frac, por sua vez, diminui a quantidade de segmentos. Por exemplo, as árvores no fundo na primeira imagem (imagem na Figura 6) não são detectadas, como no resultado do JSEG. Além disso, os resultados apresentam contornos mais precisos. Na imagem da cobra, a fronteira abrange todo o corpo do animal, e não fragmentos do mesmo. Apresentam-se na quinta coluna, os resultados da detecção de bordas. Os resultados são muito ruidosos, o que se deve, principalmente, ao fato de que as técnicas de detecção de bordas confiam inteiramente na informação local disponível na imagem. Existe resposta a todas as variações de contraste em relação às regiões de textura, como na área de areia na segunda linha da Figura 6, ou na grama da parte inferior esquerda da imagem do trem. Ao mesmo tempo, o método de detecção de bordas é responsável por destacar detalhes como o graveto na esquerda da área de neve, na primeira linha da Figura 6, e a ISSN: Vol. X 794

5 folha perto da cobra, na segunda imagem da Figura 6. Os resultados para o método KSS são apresentados na última coluna. Detalhes detectados pelo método de detecção de bordas são mantidos e o ruído é atenuado, desaparecendo após a binarização do BSDS. Agora, as bordas são mais precisas e mais próximas das imagens do referencial humano. Em (Deng e Manjunath, 2001), o maior problema observado no resultado do JSEG é causado pelas variações suaves de tonalidade, comumente geradas por uma fonte de iluminação, como pode ser observado no céu da imagem 42049, na última linha da Figura 6. Não há uma fronteira clara, e a percepção do referencial humano não distingue essa região. No entanto, o resultado do JSEG apresenta uma região circular na imagem. O resultado após KSS não apresenta este contorno. A explicação é que a detecção de bordas não percebe a variação suave como um contorno e o KSS apaga a borda. Da mesma forma, podemos verificar que o segmento acima da fumaça do trem foi removido. Em termos quantitativos, as métricas de sensibilidade, precisão e medida-f de cada método são a- presentados na parte superior da Tabela 1. A abordagem MM-Frac melhora a sensibilidade, sem diminuir a precisão, aumentando um pouco a medida-f. A detecção de bordas apresenta a menor precisão, devido aos pixels ruidosos. Após o método KSS, a medida-f aumenta para 0,61, sendo este valor mais próximo da medida-f do referencial humano. O BSDS gera gráficos com os resultados de cada imagem numa curva precisão versus sensibilidade. O valor máximo da medida-f nessa curva é a medida-f que sumariza o algoritmo. Além disso, foi calculado o resumo estatístico baseado na média simples das 100 imagens da base de testes, que é mostrado na parte inferior da Tabela 1. A partir de tais valores médios, observa-se que o KSS apresentou os melhores resultados de medida-f, em comparação com aqueles obtidos pelos outros métodos testados. Tabela 1. Métricas de cada método calculado pelo BSDS. Percepção Humana JSEG MM-Frac Detector de Borda KSS B sensibilidade S D precisão S medida-f sensibilidade precisão medida-f m e d i a 5 Conclusões Este trabalho propõe uma nova abordagem para detecção de contornos de imagens coloridas, inspirado no modelo visual humano. Como na teoria de Grossberg, o sistema é totalmente automático, não possui sintonia de parâmetros para imagens individuais e não possui fase de treinamento (não supervisionado). A abordagem foi processada em estágios: geração do resultado por superfície e integração deste com o resultado da detecção de bordas. Em cada estágio, os processamentos foram aos pares, em dois caminhos paralelos de natureza complementar. A integração de cada estágio tenta corrigir as falhas entre os pares. A conclusão é que a abordagem bio-inspirada proposta neste trabalho apresenta resultados que correspondem mais à percepção humana do que os resultados associados aos métodos isolados utilizados no sistema. Um grande passo futuro é a implementação do modelo completo de Grossberg utilizando técnicas de processamento digital de imagens aliadas a algoritmos de reconhecimento de padrões. Agradecimentos Gostaríamos de agradecer a bolsa de estudo fornecida pela CAPES para Karin Komati e ao Programa de Pós-Graduação em Engenharia Elétrica (PP- GEE) da UFES, por todo o suporte dado à pesquisa. Referências Bibliográficas Chaudhuri, B. B.; Sarkar, N., (1995). Texture segmentation using fractal dimension, IEEE Trans. Pattern Anal. Mach. Intell., 17 (1), Deng, Y. and Manjunath, B. S., (2001). Unsupervised segmentation of color-texture regions in images and video, IEEE Trans. Pattern Anal. Mach. Intell., 23 (8) pp Grossberg, S. and Mingolla, E., (1985). Neural dynamics of perceptual grouping: textures, boundaries, and emergent segmentations. Perception And Psychophysics, 38(2), p Grossberg, S., (1994). 3-D vision and figure-ground separation by visual cortex. Perception Psychophysics, 55(1), pp Grossberg, S. (2000). Linking Mind To Brain: The Mathematics of Biological Intelligence. Notices of the American Society. Vol. 47. pp Grossberg, S. (2008). The art of seeing and painting. Spatial Vision. Vol. 21(3-5). pp (24). doi: / Hu, D-K. Li, J-P., Yang, S. X. and Gregori, S. (2009) A Bio-inspired Model for Color Image Segmentation. Proc. of the International Conference on Apperceiving Computing and Intelligence Analysis, ICACIA pp Kandel, E. R., Schwartz, J. H. and Jessell, T. M. (2000). Principles of Neural Science. 4th ed. McGraw-Hill, New York. ISSN: Vol. X 795

6 Komati, K. S. and De Souza, A. F. (2003).Using Weightless Neural Networks for Vergence Control in an Artificial Vision System, Journal Of Applied Bionics And Biomechanics, Auckland, New Zealand, Vol 1, nº 1, pp Komati, K. S., Salles, E. O. T. and Sarcinelli-Filho, M., (2010). A Strategy for Image Boundary Detection Combining Region and Edge Maps, Computing in Science and Engineering, IEEE computer Society Digital Library. doi: /MCSE Komati, K. S., Salles, E. O. T. and Sarcinelli-Filho, M. (2011). Two-level Strategy for Image Boundary Detection. Proc. of the International Conference on Computer Vision Theory and Applications. VISAPP Vilamoura, Algarve, Portugal. pp Köppen, M., Ruiz-del-Solar, J. and Soille, P. (1998). Texture Segmentation by Biologically-Inspired Use of Neural Networks and Mathematical Morphology. Proc. of the Intrenational ICSC/IFAC Symposium on Neural Computation (NC). Vienna, Austria. pp Kuwahara, M., Hachimura, K., and Eiho, S. (1976). Processing of Riangiocardiographic Images, Digital Processing of Biomedical Images, Plenum, pp Marr, D. (1982). Vision. Freeman Publishers. Martin, D. R., Fowlkes, C. C., Tal, D. and Malik, J., (2001). A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In Proc. 8th IEEE Int l Conf. Computer Vision, Vol. 2, pp Martin, D. R., Fowlkes, C. C. and Malik, J., (2004). Learning to detect natural image boundaries using local brightness, color, and texture cues, IEEE Trans. Pattern Anal. Mach. Intell., Vol. 26(5), pp Mishkin, M. and Ungerleider, L. G. (1982). Contribution of striate inputs to the visuospatial functions of parieto-preoccipital cortex in monkeys. Behavioural Brain Research. Vol. 6(1), pp Muñoz, X., Freixenet, J., Cufí, X., Martí, J., (2003). Strategies for image segmentation combining region and boundary information, IEEE Pattern Recognition Letters, 24(1-3), Olshausen B.A. and Field, D. J. (2005). "How close are we to understanding V1?" Neural Computation. Vol. 17, pp Torralba, A. and Oliva, A., (2003). Statistics of Natural Image Categories, Institute of Physics Publishing: Computation in Neural Systems, Vol. 14, pp Imagem de Entrada Referencial Humano JSEG MM-Frac Detector de Bordas KSS Medida-F = 0.95 Medida-F = 0.62 Medida-F=0.88 Medida-F=0.92 Medida-F= Medida-F = 0.85 Medida-F=0.55 Medida-F=0.74 Medida-F=0.70 Medida-F= Medida-F = 0.80 Medida-F=0.62 Medida-F=0.70 Medida-F=0.64 Medida-F = Medida-F = 0.54 Medida-F=0.60 Medida-F=0.60 Medida-F=0.62 Medida-F = (a) Medida-F = 0.96 (b) Medida-F = 0.75 (c) Medida-F = 0.58 (d) Medida-F = 0.93 (e) Medida-F = 0.91 (f) Figura 6. Cinco exemplos de imagens da base de testes do BSDS. (a) imagem de entrada (b) referencial humano (c) resultado do JSEG (d) resultado do método MM-Frac (e) resultado do método de detecção de bordas (f) resultado após KSS. ISSN: Vol. X 796