RELATIVA ENTRE AS CÂMERAS

Transcrição

1 SISTEMA DE VISÃO ESTÉREO HÍBRIDO COM RECUPERAÇÃO DA POSIÇÃO RELATIVA ENTRE AS CÂMERAS Igor Magri Vale, Julio Storch Dalfior, Raquel Frizera Vassallo Dpto. de Engenharia Elétrica, Universidade Federal do Espírito Santo Av. Fernando Ferrari 514 Vitória, ES, Brasil s: Abstract This paper proposes the usage of a hybrid stereo vision system formed by an omnidirectional camera and a perspective camera for recovering the 3D coordinates ooints seen in the field view of both cameras. The relative position between the cameras is estimated by using just a pair of images captured when both cameras point at the same scene. The results of this work suggest that the proposed method can be used in a reconfigurable hybrid stereo vision system since the relative position between cameras can be estimated allowing 3D reconstruction any time is needed. Keywords Computer Vision, Hybrid Stereo Vision System, 3D Reconstruction, Omnidirectional Vision Resumo Este artigo propõe a utilização de um sistema de visão estéreo híbrido, composto por uma câmera omnidirecional e uma câmera perspectiva, para reconstruir as coordenadas 3D de pontos vistos por essas câmeras. A posição relativa entre as câmeras é recuperada usando-se apenas um par de imagens e os resultados obtidos são promissores. Isto sugere que o método proposto pode ser usado em um sistema de visão estéreo reconfigurável, pois sempre que necessário é possível recuperar a posição relativa entre as câmeras e realizar a reconstrução 3D. Palavras-chave Sistema de Visão Estéreo Híbrido, Reconstrução 3D, Visão Omnidirecional. 1 Introdução Normalmente o controle de robôs móveis depende da incorporação de sensores externos, somada ao uso de algoritmos avançados de controle. Dos vários sensores utilizados na robótica, os sistemas de visão estão entre aqueles capazes de fornecer as informações mais completas sobre os ambientes de trabalho. Por isso são comumente utilizados mesmo sendo considerados bastante complexos. Câmeras adquirem imagens em D, mas em algumas situações existe a necessidade de se recuperar a informação 3D dos objetos de interesse. Nesse sentido existem os sistemas de visão estéreo. Porém, para obter informação tridimensional, deve-se conhecer previamente a posição relativa das câmeras que compõem o sistema de visão estéreo, o que, sem uma técnica para recuperar essa posição automaticamente, tornaria o uso desse sistema limitado a aplicações estáticas. Com base no cenário exposto, esse artigo propõe o uso de um sistema de visão estéreo híbrido, composto de uma câmera omnidirecional e uma câmera perspectiva para realizar a reconstrução tridimensional de pontos específicos das imagens. A idéia de se utilizar um sistema de visão estéreo híbrido se baseia na possibilidade de se desenvolver aplicações e tarefas em que se pode aproveitar as vantagens de cada uma das câmeras, ou seja, o grande campo visual da omnidirecional e a boa resolução da perspectiva. Considerando que cada câmera pode estar acoplada a um robô móvel ao invés de uma estrutura estática, nesse projeto foi desenvolvida uma metodologia de recuperação da posição relativa entre as câmeras utilizando-se apenas um par de imagens de uma mesma cena vista pelas duas. Algumas abordagens parecidas são vistas em (Voigtländer et al., 007 e (Zhu et al., 000. Em (Voigtländer et al., 007 um sistema omnidirecional e uma câmera perspectiva são usados conjuntamente para detectar a bola durante um jogo de futebol de robôs. Entretanto, este sistema estéreo é fixo e montado em um único robô não permitindo sua reconfiguração ou utilização individual por diferentes robôs. Em (Zhu et al., 000 dois robôs, equipados com câmeras PAL, formam um sistema estéreo móvel com o objetivo de rastrear seres humanos. A diferença está no fato do sistema estéreo não ser do tipo híbrido, utilizando dois sistemas omnidirecionais. O sistema de visão estéreo deste trabalho é o mesmo que o de (Roberti et al., 008 e (Roberti et al., 009. Contudo em (Roberti et al., 008, a posição das câmeras era fornecida e, em (Roberti et al., 009, existe um processo extra no qual o robô com o sistema omnidirecional deve buscar e estimar a posição do outro robô, e consequentemente da outra câmera, antes de realizar a reconstrução tridimensional. Diferentemente, neste trabalho, a posição relativa entre as câmeras é estimado diretamente das imagens sem a necessidade de nenhum processamento adicional. O algoritmo de recuperação da posição relativa segue a proposta de (Ma et al., 003, na qual são escolhidos pelo menos oito pontos correspondentes, entre duas imagens perspectivas, para estimar a rotação e translação entre as câmeras. Porém, como no sistema de visão estéreo uma das imagens é omnidirecional, foi utilizado e aprimo-

2 rado o processo apresentado em (Junior, 00 para retificar essa imagem, gerando uma imagem perspectiva virtual livre de distorções. Vale também mencionar que a translação recuperada pela proposta de (Ma et al., 003 ainda necessita de um fator de escala, que não é possível recuperar apenas com a metodologia apresentada e, portanto, torna-se necessário realizar uma estimativa. Na Seção, são apresentadas as características dos sistemas de visão utilizados para compor o sistema de visão estéreo híbrido, ou seja, os sistemas de visão perspectiva e omnidirecional, e o processo de retificação para geração de imagem perspectiva a partir de uma omnidirecional. O sistema de visão estéreo híbrido e o processo de recuperação da posição relativa entre as câmeras são discutidos na Seção 3. Na Seção 4, são apresentados os resultados experimentais obtidos e, finalmente, na Seção 5, estão as conclusões e os trabalhos futuros sugeridos. Nesse trabalho escolheu-se utilizar um sistema omnidirecional formado por um espelho hiperbólico fixo em frente à câmera perspectiva. O espelho hiperbólico possui a propriedade do centro único de projeção e pode ser definido pelo sistema de coordenadas centrado no ponto focal F, como mostrado na Figura 1, pela Equação. y = ( a 1 + x a b + b ( Os Dois Sistemas de Visão O sistema de visão estéreo utilizado nesse trabalho é uma combinação de outros dois sistemas de visão: perspectiva e omnidirecional, cujos modelos de representação serão descritos a seguir..1 Visão perspectiva Conforme descrito em (Ma et al., 003, um ponto P = [X, Y, Z] T terá como imagem o ponto p = [u, v] T, e ambos estarão relacionados pela Equação 1, que representa a projeção perspectiva. [ u v ] = f Z [ X Y ] (1 Na projeção perspectiva dada pela Equação 1, os pontos no espaço 3D estão no mesmo referencial da câmera. Além disso, a projeção obtida está em pixels e, portanto, a distância focal f também deve estar em pixels.. Visão omnidirecional O sistema de visão omnidirecional utilizado nesse trabalho é um sistema catadióptrico. Tipicamente, este tipo de sistema de visão consiste em utilizar um espelho convexo fixo em frente à uma câmera que também permanece fixa. Algumas formas de espelho associadas a determinados tipos de lente fazem com que o sistema de visão resultante tenha um centro único de projeção, o que permite a obtenção de imagens perspectivas livres de distorções a partir da imagem omnidirecional (Baker and Nayar, As imagens perspectivas assim obtidas são equivalentes a imagens adquiridas por uma câmera perspectiva com o foco localizado no centro único de projeção do sistema (Junior, 00. Figura 1: Geometria do espelho e da câmera (Junior, 00. Na Equação, a e b são parâmetros da hipérbole, sendo sua excentricidade e = a + b. Na Figura 1, h é a distância entre a borda do espelho e centro de projeção da câmera, e r topo o valor de x quando y = y topo, com y topo = h e que é a coordenada y do topo do espelho..3 Retificação da imagem omnidirecional para geração de imagem perspectiva O espelho hiperbólico possui a propriedade do centro único de projeção. Portanto, pode-se definir um plano de projeção perpendicular a qualquer reta que passe pelo foco da hipérbole e mapear os pixels da imagem omnidirecional adquirida. Conforme explicado em (Junior, 00, para definir esse plano de projeção da câmera perspectiva virtual são necessários estabelecer três parâmetros,, θ 0 e φ 0, que podem ser vistos na Figura. O parâmetro representa a distância, em pixels, do centro de projeção F ao plano definido, enquanto que θ 0 e φ 0 são os ângulos de direção azimutal e de elevação do plano, respectivamente. Após a definição do plano, para gerar uma imagem perspectiva é necessário encontrar para cada pixel (u p, v p desta imagem, a direção (φ, θ de um raio que passa pelo foco da hipérbole e pelo pixel (u p, v p. Isso pode ser feito por meio de relações geométricas dadas pelas Equações 3 e 4.

3 Figura : Plano de projeção da câmera perspectiva virtual (Junior, 00. tan θ = tan φ = fp sin φ0 + vp cos φ0 cos φ 0 v p sin φ 0 (3 (fp cos φ0 vp sin φ0 sin θ0 up cos θ0 ( cos φ 0 v p sin φ 0 cos θ 0 + u p sin θ 0 (4 A Equação 3 apresenta uma correção na relação para tan φ proposta por (Junior, 00, que não continha o termo v p sin φ 0 no denominador. Para o determinado raio (φ, θ, deve-se encontrar o ponto (x, y na superfície do espelho onde o raio é refletido. Isto pode ser feito resolvendose a Equação para y = tan φ. Por fim, para o ponto (x, y encontrado, o pixel (u, v na imagem omnidirecional que corresponde ao raio de luz definido pelos ângulos de direção (φ, θ pode ser encontrado usando as Equações 5 e 6, em que α = rp topo r topo e r ptopo é a medida em pixel de r topo visto na imagem omnidirecional gerada (maiores detalhes deste processo em (Junior, 00. x (e + ytopo α u = cos θ (x tan φ + e (5 x (e + ytopo α v = sin θ (x tan φ + e (6 3 Visão Estéreo O sistema de visão estéreo utilizado nesse trabalho segue o modelo apresentado por (Roberti et al., 008 e (Roberti et al., 009, que é composto por duas câmeras, uma perspectiva e outra, que em conjunto com o espelho hiperbólico, adquire uma imagem omnidirecional. A Figura 3 exibe o esquema do sistema, assim como os referenciais adotados em cada uma das câmeras. Na Figura 3, P = [X, Y, Z] T é um ponto visto pelas duas câmeras, p p = [u p, v p ] T e p o = [u o, v o ] T a projeção do ponto P em nas imagens perspectiva e omnidirecional, O p e O o são os centros de cada imagem, com e f o os seus focos das câmeras (em pixel, e o ponto P m = [X m, Y m, Z m ] T é o ponto Figura 3: Sistema de visão estéreo híbrido e os referenciais das câmeras. em que o raio incidente do ponto P, em direção ao centro único de projeção, cruza a superfície do espelho hiperbólico. O centro único de projeção se encontra no ponto F = [0, 0, e] T no referencial da câmera omnidirecional. O ponto P pode ser escrito no referencial da câmera perspectiva e da câmera omnidirecional, respectivamente, como P p = [X p, Y p, Z p ] T e P o = [X o, Y o, Z o ] T. Conhecendo-se a posição relativa entre essas câmeras, pode-se escrever a Equação 7, que é uma transformação de corpo-rígido que relaciona o ponto P visto por elas. P p = RP o + T, R = r 11 r 1 r 13 r 1 r r 3 r 31 r 3 r 33 e T = t 1 t t 3 Partindo da Equação 7 e considerando as relações de projeção para as câmeras perspectiva e omnidirecional, encontra-se um sistema de linear composto pelas Equações 8, 9 e 10, com o qual é possível determinar as profundidades Z o e Z p do ponto P no referencial das duas câmeras, além do fator γ que engloba características construtivas do sistema omnidirecional. (7 [r 11u o + r 1v o] γ + r 13Z o up Z p = t 1 (8 [r 1u o + r v o] γ + r 3Z o vp Z p = t (9 [r 31u o + r 3v o] γ + r 33Z o Z p = t 3 (10 Para encontrar as demais coordenadas, basta utilizar as Equações 11 e 1, e o fator γ obtido junto com as profundidades. X o = γ u o e Y o = γ v o (11 X p = Zp u p e Y p = Zp v p (1 3.1 Algoritmo de recuperação da posição relativa entre as câmeras Como mencionado anteriormente, para reconstruir as profundidades deve-se conhecer a posição

4 relativa entre as câmeras. Em (Ma et al., 003, para encontrar a posição relativa entre duas câmeras perspectivas, deve-se escolher pelo menos oito pontos correspondentes nas imagens de cada uma das câmeras. Nesse trabalho foi usada a mesma idéia. Contudo, por não se ter duas imagens em perspectiva, foi necessário retificar uma imagem omnidirecional para obter outra imagem perspectiva, como se fosse obtida por uma câmera virtual. Para um ponto P visto por duas câmeras perspectivas, as projeções desse ponto (p 1 e p no plano da imagem das câmeras devem satisfazer a restrição epipolar, dada pela Equação 13, em que E é a matriz Essencial. p T Ep 1 = 0, E R 3 3 (13 Com um conjunto de oito pontos correspondente ou mais, pode-se aplicar a restrição epipolar para cada um deles e obter um número suficiente de equações para recuperar os elementos da matriz E. O ideal seria encontrar E = Udiag{σ, σ, 0}V T, mas, na realidade, a decomposição em valor singular (SVD da matriz E é encontrada como sendo E = Udiag{σ 1, σ, σ 3 }V T, com σ 1 σ e σ 3 0. Contudo, a projeção no espaço essencial pode ser obtida pela Equação 14. Obtida a posição entre as câmeras perspectivas real e virtual, falta agora encontrar a posição relativa entre as câmeras do sistema de visão estéreo, ou seja, entre a câmera perspectiva real e a omnidirecional. Para isso, será necessário encontrar as matrizes de rotação e translação que representem tal relação. Assim, seja um ponto P visto pelas câmeras perspectiva e omnidirecional relacionados pela equação 19, sendo P p e P o o ponto nos respectivos referenciais. As matrizes R e T representam a posição relativa que deve ser recuperada. P p = R P o + T (19 Se P v é o ponto P visto pela câmera virtual, ele pode ser relacionado com a câmera perspectiva real pela Equação 0. Nessa equação, R 0 e T 0 são as matrizes de rotação e translação obtidas pelo algoritmo de recuperação da posição entre as câmeras perspectivas real e virtual. P p = R 0P v + λt 0 (0 Por outro lado, as câmeras omnidirecional e virtual estão relacionadas pela Equação 1. As matrizes R ov e T ov são a rotação e translação entre o referencial da câmera omnidirecional e o referencial da câmera perspectiva virtual. E = UΣV T, em que Σ = diag{1, 1, 0} (14 É importante mencionar que essa projeção no espaço essencial implica em recuperar uma matriz de translação com norma unitária. Dessa forma, o valor de T recuperado dever ser multiplicado por um fator de escala λ para obter a translação real. Em (Ma et al., 003, é mostrado que a matriz essencial encontrada pode ser decomposta em quatro pares de rotações R e translações T. As Equações exibem essas possíveis soluções, sendo que R z (θ denota uma rotação em z de um ângulo θ, e ˆT é a matriz anti-simétrica relativa a T. Apesar das quatro soluções, apenas uma delas garante que, em ambas as câmeras, todas as profundidades encontradas para os pontos 3D sejam positivas. Essa será a solução que representa a posição relativa entre a câmera perspectiva real e a virtual, obtida a partir do sistema omnidirecional. R = UR z T V T e ˆT = UR z ΣU T (15 R = UR z T V T e ˆT = UR z( π ΣU T (16 R = UR z( π T V T e ˆT = UR z( π ΣU T (17 R = UR z( π T V T e ˆT = UR z ΣU T ( Posição relativa final P o = R ovp v + T ov (1 Das Figuras e 3 nota-se que R ov é o produto de uma rotação de 90 o em x, seguida de uma rotação de φ 0 em z, e uma rotação em y de 90 o mais o ângulo θ 0 escolhido. Além disso, a translação T ov é simplesmente um deslocamento de e em z. Assim, a relação entre as câmeras omnidirecional e virtual pode escrita como na Equação. P o = R x R z (φ 0 R y + θ 0 P v e ( Substituindo a Equação na Equação 19, obtém-se outra forma de relacionar os pontos entre as câmeras perspectivas real e virtual, que está na Equação 3. Comparando esta equação com a Equação 0, pode-se relacionar R 0 e T 0 com as matrizes de rotação R e translação T, que devem ser recuperadas. O relacionamento entre essas matrizes está nas Equações 4 e 5. P p = R R x R 0 = R R x R z (φ 0 R y + θ 0 P v + R R z (φ 0 R y + θ0 λt 0 = R 0 0 e 0 0 e + T (3 (4 + T (5

5 Enfim, conhecendo-se R 0 e T 0, basta utilizar as Equações 6 e 7 para obter a posição relativa entre as câmeras omnidirecional e perspectiva. ( R = R 0 R y π ( π θ0 R z ( φ 0 R x 0 (6 T = λt 0 R 0 e (7 4 Resultados Experimentais A fim de validar o modelo de reconstrução das profundidades, assim como a recuperação automática das posições relativas das câmeras, tal sistema foi montado conforme a Figura 4. Figura 4: Esquemático do sistema de visão estéreo utilizado para o experimento. Vale mencionar que, para a realização do experimento, foi extraído um conjunto de pares de imagens perspectiva e omnidirecional, nas quais o objeto de interesse é uma caixa, cuja posição em relação à câmera perspectiva foi anotada para posterior análise. Os pontos correspondentes eram escolhidos manualmente, clicando-se diretamente nas imagens. As imagens utilizadas foram as mesmas usadas no trabalho (Roberti et al., 008 para efeito de comparação. 4.1 Recuperação da posição relativa entre as câmeras perspectivas real e virtual O algoritmo de recuperação retorna a posição relativa entre as câmeras perspectiva real e virtual, conforme a Equação 0. Definindo a matriz erro como sendo: matriz erro = matriz real matriz exp, as matrizes R 0erro e T 0erro se encontram nas Equações 8 e 9 para os erros referentes à R 0 e T 0. R 0erro = T 0erro = (8 (9 Pelas matrizes de erro obtidas, pode-se observar que os valores experimentais e reais estão bem próximos e coerentes, o que indica que a posição entre as câmeras perspectivas real e virtual foi recuperada com sucesso. Os pequenos desvios podem ser devidos à pequena resolução da imagem perspectiva virtual, uma vez que foi gerada de uma imagem omnidirecional, cuja característica é possuir uma menor resolução pois concentra maior quantidade de informação por pixel em relação à uma imagem perspectiva. 4. Recuperação posição relativa entre as câmeras perspectiva e omnidirecional Obtida a posição das câmeras perspectivas real e virtual, pode-se recuperar a posição das câmeras do sistema de visão estéreo. Para encontrar os valores de R exp e T exp, basta aplicar as Equações 4 e 5 aos valores de R 0exp T 0exp. Contudo, ainda não foi mencionado qual o valor de λ adotado. Conforme explicado na Seção 3.1, projetar a matriz essencial no espaço das matrizes essenciais implica em recuperar uma translação de norma unitária. Bastaria apenas então multiplicá-la por um fator de escala adequado, mas não foi encontrado um trabalho que explique a melhor forma de determinar esse fator. Para fins experimentais, decidiu-se seguir uma lógica apresentada em (Ma et al., 003. Ao realizar o caminho inverso, ou seja, tendo-se a rotação e a translação entre duas câmeras, quando decomposta em valor singular, a matriz essencial obtida pelo produto ˆT R apresenta uma matriz S de valores singulares com dois termos não nulos iguais à T. Experimentalmente, os dois termos não nulos da matriz S obtida não eram iguais, mas de valores numéricos próximos, o que representa um desvio do valor ideal devido a ruídos e imprecisões no processo experimental. Portanto, decidiu-se adotar a média geométrica entre eles como o valor de λ e as matrizes R erro e T erro referentes à posição relativa das câmeras perspectiva e omnidirecional são as apresentadas nas Equações 30 e 31. R erro = T erro = (30 (31 Como pode ser notado, a matriz de rotação para a posição relativa entre as câmeras do sistema de visão estéreo é obtida com qualidade, visto que os erros por elemento da matriz são muito pequenos, ou até nulos em alguns casos. Porém, também pode ser observado que não foi encontrada uma translação com qualidade. Isso se deve principalmente ao fator de escala λ, que teve que ser estimado, aumentando a imprecisão nos resultados. A melhora desta estimativa é um dos principais focos de trabalhos futuros.

6 4.3 Reconstrução das coordenadas 3D Posteriormente à recuperação da posição relativa das câmeras, realizou-se a reconstrução das coordenadas 3D de um objeto de interesse em 1 pares de imagens. Nestas imagens, as posições das câmeras foram mantidas constantes e apenas o objeto de interesse variou de localização. Como posição relativa entre as câmeras, utilizou-se a que foi recuperada experimentalmente. Os resultados em relação ao referencial da câmera perspectiva se encontram na Figura 5, onde se pode observar a posição real do ponto de interesse assinalada por um X e, por um círculo, a posição encontrada pelo sistema de visão estéreo. Nota-se uma boa precisão na determinação das coordenadas, principalmente para pontos mais próximos da câmera. escala pode ser um trabalho futuro com resultado promissor. Com a posição relativa entre as câmeras recuperada, o sistema foi testado para a reconstrução 3D de pontos vistos nas duas imagens. Apesar da dificuldade devido à translação não ter sido recuperada com qualidade, os resultados obtidos foram satisfatórios. Enfim, o sistema de visão estéreo, com a posição relativa recuperada pelo algoritmo proposto nesse trabalho, foi capaz de reconstruir as coordenadas 3D de pontos vistos simultaneamente pelas câmeras omnidirecional e perspectiva. Dessa forma, pode-se pensar em acoplar cada uma das câmeras em robôs móveis distintos e assim obter um sistema de visão estéreo reconfigurável. Este sistema poderá então ser usado em uma tarefa cooperativa onde as propriedades de cada câmera será explorada separadamente ou conjuntamente. Por exemplo, o campo visual ampliado da câmera omnidirecional é bastante conveniente para navegação enquanto a boa resolução da perspectiva facilita a detecção de detalhes do ambiente de trabalho, mas ainda assim as duas câmeras poderão ser utilizadas para a reconstrução 3D de objetos de interesse sempre que necessário. Referências Figura 5: Comparativo entre as reais posições e as obtidas experimentalmente, expressas no referencial da câmera perspectiva. 5 Considerações Finais Nesse trabalho, utilizou-se um sistema de visão estéreo híbrido, composto de uma câmera omnidirecional e uma câmera perspectiva, para reconstruir as coordenadas 3D de um ponto visto pelas duas câmeras. O arranjo com as duas câmeras permite combinar as qualidades de cada uma, o grande campo visual da omnidirecional e a boa resolução da perspectiva. Para reconstruir coordenadas 3D é preciso saber a posição relativa entre as câmeras. Nesse sentido, a grande contribuição desse trabalho é a recuperação da posição relativa entre as câmeras do sistema de visão estéreo híbrido, utilizando apenas um par de imagens capturado pelas duas câmeras. Os resultados obtidos mostram que a rotação que relaciona essas câmeras foi recuperada com sucesso, visto que os erros calculados foram próximos de zero. Por outro lado, a estimativa do fator de escala da translação não forneceu um resultado para o vetor de translação com tanta qualidade. Apesar disso, os resultados descritos sugerem que uma pesquisa na forma de recuperar esse fator de Baker, S. and Nayar, S. K. (1999. A theory of single-viewpoint catadioptric image formation, Int. Journal of Computer Vision 35(: 1. Junior, V. G. (00. Sistema de visão omnidirecional aplicado no controle de robôs móveis, Master s thesis, Escola Politécnica da Universidade de São Paulo. Ma, Y., Soatto, S., Kosecka, J. and Sastry, S. S. (003. An Invitation to 3-D Vision: From Imagens to Geometric Models, Springer-Verlag, LLC, New York. Roberti, F., Toibero, J., Soria, C., Vassallo, R. F. and Carelli, R. (009. Hybrid collaborative stereo vision system for mobile robots formation navigation, International Symposium on Robotics - ISR009. Roberti, F., Vassallo, R. F., Toibero, J. M. and Carelli, R. (008. 3D position sensing with a hybrid stereo vision system, CBA008. Voigtländer, A., Lange, S., Lauer, M. and Riedmiller, M. (007. Real-time 3d ball recognition using perspective and catadioptric cameras, European Conference on Mobile Robots. Zhu, Z., Rajasekar, K. D., Riseman, E. M. and Hanson, A. R. (000. Panoramic virtual stereo vision of cooperative mobile robots for localizing 3d moving objects, IEEE Workshop on Omnidirectional Vision pp