Algoritmo genético para criação de mapas de disparidade estéreo

Transcrição

1 Algoritmo genético para criação de mapas de disparidade estéreo Gustavo Teodoro Laureano Universidade Estadual de São Paulo - USP Escola de Engenharia de São Carlos - EESC Laboratório de Visão Computacional - LAVI gustavoengdm@gmail.com Maria Stela Veludo de Paiva Universidade Estadual de São Paulo - USP Escola de Engenharia de São Carlos - EESC Laboratório de Visão Computacional - LAVI mstela@sel.eesc.usp.br Resumo Visão estéreo já é pesquisada por um longo tempo e trata-se de uma das áreas mais complexas de Visão Computacional. Ela aborda as estratégias de recuperação da informação tridimensional de uma cena comparando duas ou mais imagens da mesma, capturadas a partir de pontos de vista diferentes. Essa comparação permite criar o mapa de diferenças entre as imagens, evidenciando as características tridimensionais do ambiente. Este trabalho tem o objetivo de identificar a informação tridimensional de um ambiente aplicando algoritmo genético como um método de busca de superfícies de disparidades da cena. 1. Introdução Visão Estéreo é um importante segmento de Visão Computacional e tem como objetivo principal a identificação das informações tridimensionais de uma cena. Ela é consolidada sobre o fato de que um dado ponto físico no mundo tridimensional, caso possa ser visualizado a partir de pelo menos dois pontos de vista diferentes, pode ser estimada sua distância relativa ao sistema de observação. A Figura 1 ilustra um sistema de observação estéreo binocular. Os planos Π e e Π d são as representações geométricas de duas câmeras coplanares. O ponto P possui projeções p e e p d com coordenadas (u e, v e ) e (u d, v d ) respectivamente. A diferença entre essas coordenadas é chamada de disparidade e a profundidade z em que se encontra o ponto P pode ser determinada pela Equação 1 [5] z = b f x e x d onde x e x d é a disparidade, b a distância entre os centros focais das câmeras e f a distância focal. O conjunto das disparidades relacionadas com cada pixel é chamado de mapa de disparidades e representam as profundidades cena completa. (1) Figura 1. Sistema Binocular Estéreo A grande dificuldade enfrentada em visão estéreo é a identificação das reais projeções de mesmo ponto físico. Esse impasse é conhecido como Problema de Correspondência Estéreo. Em imagens reais nem sempre é possível distinguir os pontos com facilidade. A simples comparação ponto a ponto não é a estratégia mais inteligente. Para facilitar essa distinção, assume-se que a disparidade de um ponto é semelhante à disparidade de seus vizinhos e o processo de correspondência é feito entre regiões da imagem. Por outro lado, a mudança de perspectiva aliada às variações de iluminação e oclusões de parte dos pontos faz do processo de correspondência um problema mal condicionado. Considerando que as informações disponíveis são os níveis de cinza dos pixels que compõem os planos de imagem, a escolha dos pares de projeções é determinada por um custo de similaridade entre elas. Naturalmente, devido à mudança de perspectiva de uma câmera para a outra, as projeções do mesmo ponto tendem ser diferentes porém, para valores pequenos de b, essa diferença tende a ser mínima [5]. Definindo um dos planos como a imagem de re-

2 ferência e o outro como a imagem alvo, para cada ponto de referência a busca por seu correspondente é feita sobre a região definida por sua linha epipolar [1, 6]. O conhecimento prévio da geometria epipolar do sistema de observação permite definir com segurança a região que certamente a segunda projeção está localizada, o que reduz drasticamente o espaço de busca. Para uma configuração desconhecida das câmeras, as projeções podem estar em qualquer lugar da imagem e a busca por correspondências é feita nas duas dimensões. As linhas epipolares restringem o espaço de busca transformando-o em uma busca unidimensional. Na Figura 1, as linhas epipolares são representadas pelas retas e e e e d. Mesmo adotando a restrição do espaço de busca, ainda existem vários candidatos à correspondência, o que gera muita ambigüidade na determinação das projeções reais. Grande parte dos trabalhos na área é formulada sobre a construção de métricas de similaridade e algoritmos para a minimização dessas ambigüidades. Trabalhos como [7, 10] adotam o conceito qualitativo dos conjuntos fuzzy para tratar as ambigüidades das correspondências, mas fazem uma análise estritamente local das regiões das imagens. [2, 9, 11] propõem uma otimização global das disparidades aplicando técnicas de programação dinâmica na otimização de caminhos dentro do espaço de disparidades da imagem, mas a otimização é realizada somente linha a linha. Neste trabalho, o principal objetivo é a criação de mapas de disparidade estéreo considerando características globais à imagem. Para isso foi aplicado algoritmo genético para a otimização de superfícies de disparidades dentro do Espaço de Disparidade da Imagem (EDI). As próximas seções mostram como se deu o desenvolvimento do algoritmo genético bem como o cálculo do EDI a partir de imagens estéreo. 2. Espaço de Disparidades da Imagem Antes de imergir diretamente nesse assunto, é necessário definir qual métrica de correspondência deve ser usada para calcular a similaridade entre as regiões das imagens. Uma das métricas mais adotadas é a Correlação Cruzada Normalizada (CCN) por possuir maior robustez na presença de variação de luminosidade [4]. Por outro lado, essa métrica tem a desvantagem de apresentar alto custo computacional. O Erro Quadrático Médio (EQM), apesar de ser mais sensível ao ruído e às distorções provocadas pela mudança de perspectiva, apresenta menor custo computacional. No artigo [8] é possível encontrar um estudo comparativo entre essas e outras métricas de similaridade usadas em visão estéreo. Neste trabalho foi usado a Soma dos Quadrados das Diferenças (SQD) por apresentar baixo custo computacional e também por ser uma das métricas mais utilizadas nos trabalhos relacionados. Fazendo W r a janela de referência centralizada no pixel de coordenadas (x, y) e W a a janela alvo, ambas com dimensões (2n+1 2n+1), sendo n a quantidade de vizinhos considerados, a equação de similaridade entre as regiões é dada pela equação 2. EDI(x, y, d) = n i,j= n (W r (x+i, y+j) W a (x+i+d, y+j)) 2 (2) Esse processo resulta em uma matriz tridimensional EDI chamada de Espaço de Disparidade da Imagem. Esta matriz mapeia o custo de similaridade de cada disparidade para o pixel de referência no espaço (x, y, d), onde d é o deslocamento que varia entre [ w, +w], ver Figura 2. Figura 2. Representação do EDI Em um sistema estéreo coplanar, os pontos físicos possuem somente o deslocamento horizontal nos planos de imagem, sendo assim, tomando a imagem Π d como a imagem de referência, o deslocamento presente na imagem Π e possui o único sentido que vai da esquerda para a direita. Para efeito de evitar computações desnecessárias, o deslocamento adotado foi d = [0; +w]. A Figura 3 ilustra como é construído o espaço de disparidades. 3. Algoritmo Genético Introduzido por John Holland em 1975 [3], os algoritmos genéticos (AG) foram inspirados no sistema natural de evolução das espécies proposto por Charles Darwin e pela genética Mendeliana. De uma maneira geral AGs procuram simular os princípios básicos da evolução. Como na natureza, AGs possuem as seguintes estruturas hierárquicas evolucionárias [12]: População, Indivíduos, Cromossomos e Genes. De forma que o nível mais alto da pirâmide é composta por conjuntos dos níveis mais baixos. Normalmente usados para aplicações de otimização, de uma forma mais técnica, os AGs fazem parte de um conjunto sistemas inteligentes adaptativos. Cada indivíduo re-

3 (a) Imagem de referência (b) Imagem alvo Figura 3. Exemplo de processo de correspondência presenta uma possível solução para o problema em questão. Cada indivíduo é composto por cromossomos que, por sua vez, estão relacionados com seu comportamento ou com suas propriedades. Os melhores indivíduos são ditos os mais adaptados, e correspondem àqueles que representam a melhor solução perante toda a população. Na abordagem evolucionária, os mais adaptados ao meio possuem maior probabilidade de transmitir seus genes para a próxima geração. Após o cruzamento entre os indivíduos, os filhos são compostos pelos genes de seus pais e formam a nova geração de potenciais soluções. O cruzamento é fundamentado sobre a possibilidade de que os filhos possam herdar os melhores genes de seus pais e então estar melhor adaptado (evoluído) perante a população passada. O problema de correspondência estéreo pode ser modelado como uma problema de otimização de forma que Π d (x, y) Π e (x + d, y) = 0 (3) O significado da variável de disparidade d pode ser interpretado como o ajuste de coordenadas que indexam as projeções do mesmo ponto em ambos os planos de imagem, sendo (x, y) para Π d e (x + d, y) para Π e. A construção de mapas de disparidades fiéis às características tridimensionais do ambiente exigem que a grande maioria dos pontos sejam correlacionados com precisão. Cada correspondência possui um custo que está presente dentro do EDI. Os indivíduos representam, cada um, os mapas de disparidades em potencial. O melhor mapa de disparidade é aquele onde o deslocamento adotado leva ao custo mínimo de similaridade. Além disso, para preservar a continuidade das superfícies da cena, os valores vizinhos de disparidades devem diferenciar-se suavemente Representação dos indivíduos Cada indivíduo k é montado como uma matriz de mesma dimensão das imagens estéreo. O valor associado às coordenadas (x, y) representa a disparidade do ponto na imagem de referência. Π d (x, y) Π e (x + I k (x, y), y) = 0 (4) 3.2. Avaliação dos Indivíduos Essa etapa do AG consiste em relacionar a cada indivíduo um valor de Fitness 1 que mede o quanto ele está adaptado ao ambiente. Neste trabalho é considerado dois tipos de Fitness. Talvez essa seja a etapa que mais se diferencia dos AGs tradicionais. Para cada cromossomo do indivíduo existe um valor de aptidão associado, e o Fitness total é a média de todos os valores cromossomos. Essa estratégia é adotada com o objetivo de permitir a avaliação e competição de cromossomo a cromossomo dos mapas de disparidade. Como dito na seção passada, para o cromossomo associado à posição (x, y), existe uma disparidade da mesma posição. À esse valor de disparidade existe um custo de similaridade C k s (x, y) relacionado no EDI. C k s (x, y) = EDI(x, y, I k (x, y)) (5) Para conservar a continuidade das disparidades, seja uma matriz de vizinhança W k com dimensões m n centralizada em (x, y), a medida de continuidade é representada pela Equação 6. Neste trabalho, m e n são iguais a 7. 1 Fitness ou aptidão, é o termo que avalia o quão bom é o indivíduo perante sua população. É comumente empregado nos trabalhos sobre algoritmos genéticos independente de qual língua o texto é escrito.

4 C k c (x, y) = 1 m n i m,j n W k (i, j) I k (x, y) (6) O Fitness total relacionado a cada cromossomo do indivíduo é dado pela Equação 7 e o Fitness de cada indivíduo pela Equação 8. F k c (x, y) = w s C k s (x, y) + w c C k c (x, y) (7) F k = 1 u v i u,j v F k c (i, j) (8) Na Equação 7, w s e w c correspondem aos pesos relacionados a cada métrica Seleção Existem vários operadores de seleção utilizados em algoritmos genéticos, dentre eles os mais conhecidos são o método da roleta que atribui probabilidades de escolha proporcionais ao Fitness de cada um, o torneio, que permite a competição futura dos indivíduos na próxima geração e o elitismo que preserva sempre a melhor solução. O primeiro método parece ser a forma mais justa perante toda a população. De fato, quem é melhor adaptado, possui maior chance de transmitir seus genes para a próxima geração. Esse tipo de seleção é aplicável quando a geração do melhor indivíduo é apostada totalmente sobre os métodos de cruzamentos, já que os pais são descartados. A desvantagem associada é que, na presença de um indivíduo muito bom e a discrepância de Fitness é muito grande em relação ao restante da população, a evolução tende a gerar seres muito parecidos ao indivíduo com maior probabilidade de transmissão de genes, o que acarreta na redução da diversidade na população e maior chance de encontrar um valor ótimo local. O operador de torneio permite a permanência dos pais durante as próximas gerações. Dessa forma o melhor indivíduo é mantido e lhe é dada a chance de formar pares diferentes. A maior vantagem associada a essa estratégia é da melhor exploração do espaço de busca. Dando condições para a sobrevivência dos pais maior a possibilidade deles se recombinarem e produzirem filhos mais diversificados. Mas por outro lado o tempo de convergência ao ótimo global é mais longo. Em contrapartida, o operador de elitismo busca uma convergência mais rápida para o melhor resultado, sendo este local ou global. Neste trabalho a forma de seleção foi desenvolvida buscando integrar as vantagens desses três operadores. Para toda população existe um indivíduo melhor que todos. Além dele, existe uma pequena parcela da população que corresponde à elite, ou seja, aqueles que apresentam uma aptidão média. O restante corresponde ao lixo da população, por apresentar uma aptidão baixa. O esquema de seleção é representado pelo esquema ilustrado na Figura 4. A próxima geração é composta pelo melhor de todos os indivíduos, cruzamento entre o melhor e a elite, entre a elite e a elite, entre o melhor de todos com o lixo e a elite com o lixo. A permanência do melhor de todos na próxima geração favorece o elitismo e impede a perda do melhor indivíduo. Os outros cruzamentos buscam a evolução da população confiando na combinação certa dos genes paternos. A inserção de indivíduos aleatórios busca a melhor exploração do espaço de busca. Outra forma de se fazer isso é inserir operadores de mutação, mas devido à forma de cruzamento adotada nesse trabalho a mutação exerce papel irrisório na população. Como a evolução é feita considerando a aptidão de cada cromossomo, a inserção de aleatoriedade promove os aspectos necessários para a exploração dos melhores cromossomos Cruzamento A operação de cruzamento se dá de forma ligeiramente diferente dos AGs tradicionais. O método empregado nesse trabalho busca perpetuar os melhores cromossomos de cada indivíduo. Sendo que cada cromossomo carrega consigo um valor de disparidade, o cruzamento entre os cromossomo (x, y) do indivíduo a e b é formulado da seguinte forma: w a = I a (x, y) I a (x, y) + I c (x, y) (9) w b = I b (x, y) I a (x, y) + I c (x, y) (10) I f (x, y) = w b I a (x, y) + w a I b (x, y) (11) Onde I f é o filho resultante do cruzamento. O operador de cruzamento realiza uma média ponderada das disparidades relacionando o custo de cada uma. A atribuição dos pesos de acordo com o Fitness do cromossomo de cada pai permite que o filho una os melhores genes de cada um. 4. Resultados Nessa seção é apresentado os resultados gerados pelo algoritmo com os seguintes parâmetros: Disparidade máxima: d = [0; 20] Tamanho da população: 50 Quantidade de indivíduos de elite: 5 Quantidade de cruzamentos entre o melhor de todos e a elite: 5 Quantidade de cruzamentos entre a elite e o lixo: 30 Quantidade de indivíduos randômicos: 9

5 Figura 4. Esquema de seleção empregado para o cruzamento W v com dimensão 7 7 w s = 0.6 e w c = 0.4 As Figuras 5 e 6 apresentam os resultados obtidos utilizando o par de imagens estéreo conhecido como Tsukuba e Corridor respectivamente. Os pixels de maior intensidade, cor branca, correspondem aos pontos onde a disparidade possui maior intensidade, o que significa regiões mais próximas do sistema de observação. É fácil identificar que o algoritmo produziu melhor resultado na imagem de tsukuba. Por outro lado, a imagem corridor apresentou um mapa de disparidades com muitos pontos inválidos. Essa última trata-se de um caso bastante discutido em trabalhos de visão estéreo. Por ter baixa resolução, apenas , e também por apresentar muitas regiões repetitivas e com falta de textura, naturalmente a quantidade de ambigüidades é muito maior que no primeiro teste. Indiscutivelmente, todo o processo de otimização da superfície de disparidade é altamente dependente da métrica utilizada na construção do EDI. Uma medida de semelhança errônea implica em cromossomos defeituosos sendo propagados para as próximas gerações, corrompendo consigo parte de seus vizinhos, já que a medida de continuidade das disparidades deve ser considerada. 5. Conclusões Este trabalho apresentou um algoritmo genético para a estimação de mapas de disparidade estéreo. Normalmente, trabalhos da área apresentam soluções locais para a construção do mapa de disparidade. Somente a partir de 98 que métodos globais vêm se tornando freqüentes em trabalhos publicados em jornais e conferências. Grande parte dos algoritmos globais apresentam alto custo computacional e são altamente dependentes das técnicas de construção do EDI. Assim como este trabalho, a determinação do EDI tem grande influência no resultado final da otimização, isso porque os valores de custo são a peça chave para a evolução dos indivíduos da população. O uso de técnicas inteligentes na determinação de mapas de disparidades mais bem adaptados é uma promessa empolgante da solução do problema estéreo. Além do mais, AGs permitem utilizar um número infinito de estratégias de representação e evolução dos indivíduos, podendo também partir para algoritmos mais avançados utilizando interpretações multiobjetivo para a avaliação dos cromossomos. Devido às propriedades de aprendizado e generalização de soluções, essas estratégias inteligentes favorecem a recuperação da informação tridimensional globalmente mais adaptada. Referências [1] X. Armangué and J. Salvi. Overall view regarding fundamental matrix estimation. International Journal of Image and Vision Computing, IVC, 21(2): , February [2] A. Bensrhair, P. Miché, and R. Debrie. Fast and automatic stereo vision matching algorithm based on dynamic programming method. Pattern Recogn. Lett., 17(5): , [3] J. D. S. da Silva, P. O. Simoni, and K. K. Bharadwaj. Multiple correspondences in stereo vision under a genetic algorithm approach. In SIBGRAPI 00: Proceedings of the 13th Brazilian Symposium on Computer Graphics and Image Processing, pages 52 59, Washington, DC, USA, IEEE Computer Society. [4] A. J. Fitch, A. Kadryov, W. Christmas, and J. Kittler. Fast robust correlation. IEEE Transactions on Image Processing, 14(8): , August [5] R. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 40 West 20th Street, New York, NY , USA, second edition, 2003.

6 (a) Imagem original (b) Mapa de disparidades real (c) Evolução do melhor indivíduo (d) Mapa de disparidades Figura 5. Imagens da base Tsukuba. [6] J. Mallon and P. F. Whelan. Projective rectification from the fundamental matrix. Image and Vision Computing, 23(7): , July [7] C. Perwass and G. Sommer. A fuzzy logic algorithm for dense image point matching. pages 39 46, [8] N. Roma, J. Santos-Victor, and J. Tomé. A comparative analysis of cross-correlation matching algorithms using a pyramidal resolution approach. ECCV2000-2nd Workshop on Empirical Evaluation Methods in Computer Vision, [9] Y. Shao and J. Mayhew. A model-driven stereo correspondence algorithm using dynamic programming [10] G. Tolt and I. Kalaykov. Measures based on fuzzy similarity for stereo matching of color images. Soft Comput., 10(12): , [11] P. Torra and A. Criminisi. Dense stereo using pivoted dynamic programming. Image and Vision Computing, 22(10): , September [12] B. Wang, R. Chung, and C. lin Shen. Genetic algorithmbased stereo vision with no block-partitioning of input images. Proceedings 2003 IEEE International Symposium on Computational Intelligence in Robotics and Automation, pages , July 2003.

7 (a) Imagem original (b) Mapa de disparidades real (c) Evolução do melhor indivíduo (d) Mapa de disparidades Figura 6. Imagens da base corridor.