III Simpósio Brasileiro de Ciências eodésicas e Tecnologias da eoinformação Recife - PE, 7-30 de Julho de 00 p. 00-005 INJUNÇÕES DE ESTBILIDDE DS COMPONENTES D BSE E MTRIZ DE ROTÇÃO N CLIBRÇÃO DE UM SISTEM DUL DE CÂMRS JOSÉ MRCTO JUNIOR NTONIO MRI RCI TOMMSELLI ROBERTO D SILV RUY 3 MURÍCIO LO Universidade Estadual Paulista- UNESP Departamento de Cartografia, Presidente Prudente, SP PPCC Programa de Pós-raduação em Ciências Cartográficas, Presidente Prudente, SP jrmarcato@gmail.com, {tomaseli, galo}@fct.unesp.br 3 Engemap eoinformação ssis, SP roberto@engemap.com.br RESUMO O uso de um arranjo de câmaras digitais surgiu como uma alternativa para aumentar o recobrimento da área imageada. Como exemplos de sistemas imageadores comerciais que apresentam essa característica tem-se os sistemas DMC e UltraCam. o utilizar um conjunto de câmaras montadas em um suporte rígido, é possível admitir que haja uma estabilidade relativa entre as câmaras durante a etapa de aquisição das imagens. Essa estabilidade pode ser considerada no processo de calibração por meio de injunções de Orientação Relativa (OR entre as câmaras. O objetivo deste trabalho é apresentar um método de injunção de orientação relativa, no qual se considera as componentes da base e a matriz de rotação estáveis durante o processo de tomada das cenas. Para tanto foram realizados experimentos com dados sintéticos gerados, seguindo as características do sistema SPI. análise dos experimentos mostrou a viabilidade do uso de injunções de OR no processo de calibração, proporcionando melhores resultados quando comparado à calibração individual de cada câmara. BSTRCT Image acquisition systems based on multi-head arrangement of digital cameras are attractive alternatives enabling larger imaging area when compared to a single frame digital camera. DMC and UltraCam are examples of commercial systems that have these technical features. Considering that in multicamera systems the heads are tightly attached to an external mount, it can be supposed that relative position and orientation between cameras are stable during image acquisition. This stability can be stated in the calibration process through Relative Orientation (RO constraints between the cameras. The aim of this work is to present an approach based on simultaneous calibration of two cameras using constraints stating that the base components between the cameras heads are stable during the image acquisition period. Some experiments with simulated data, generated with SPI system technical features, were accomplished and the results showed the feasibility in using RO constraints in the calibration process, providing better results when compared with single camera calibration. INTRODUÇÃO s câmaras digitais de médio formato, embora não tenham sido projetadas para fins específicos de mapeamento, têm sido utilizadas como alternativa aos sistemas comerciais de aquisição de grande formato, proporcionando vantagens em termos de custo, portabilidade e processamento. Uma limitação apresentada por este tipo de sensor se refere a área imageada, que é menor do que a de câmaras de grande formato. Surge, assim, a possibilidade do uso de um arranjo de câmaras para aumentar a área de imageamento, reduzindo custos. o utilizar um conjunto de câmaras montadas em um suporte rígido, é possível admitir que haja uma estabilidade relativa entre as câmaras durante a etapa de aquisição das imagens. Esta estabilidade pode ser considerada no processo de calibração por meio de injunções de Orientação Relativa (OR entre as câmaras. Neste sentido, Bazan et al. (009 consideraram a matriz de orientação relativa e a distância entre os centros perspectivos (s das câmaras estáveis no processo de calibração. o analisar os resultados deste trabalho
III Simpósio Brasileiro de Ciências eodésicas e Tecnologias da eoinformação Recife - PE, 7-30 de Julho de 00 p. 00-005 verifica-se que a introdução das injunções de OR proporciona melhores resultados quando comparados à calibração individual de cada câmara, desde que sejam coletadas imagens em condições geométricas favoráveis. lém de considerar estável a orientação relativa entre as câmaras, como proposto por Bazan et al. (009, Tommaselli et al. (009, incluíram, por meio de injunção, a medida física da distância entre os Centros Perspectivos (s das câmaras. Bazan et al. (009 verificaram-se, contudo que, mesmo aplicando a injunção de orientação relativa entre as câmaras, as componentes da base (b X, b Y e b Z, estimadas no processo de calibração, apresentavam certa variabilidade. Devido à esta constatação, propõe-se considerar injunções de estabilidade das componentes de base, ao invés de fixar apenas a resultante (distância entre os pontos nodais. O objetivo deste trabalho consiste em apresentar esta técnica de calibração de um sistema dual de câmaras, com injunção de estabilidade na orientação relativa, bem como avaliá-lo a partir de comparação com os modelos apresentados por Bazan et al.(009 e Tommaselli et al. (009. Para tanto serão utilizados dados sintéticos considerando a geometria de um sistema dual composto por câmaras digitais Hasselblad HD ( Megapixels, simulando o sistema SPI (RUY et al. 007. CLIBRÇÃO DE UM SISTEM DUL Nas técnicas existente de calibração de um sistema dual de câmaras, em geral, o cálculo dos Parâmetros de Orientação Relativa (POR é realizado em três etapas: na primeira etapa, as câmaras são calibradas determinandose os Parâmetros de Orientação Interior (POI (em alguns casos por métodos de laboratório e; na segunda etapa os Parâmetros de Orientação Exterior (POE dos pares de imagens são estimados indiretamente por ajustamento em bloco por feixes de raios e; finalmente, são calculados os POR. O segundo passo pode ser realizado em conjunto com o primeiro, caso seja usada a técnica de calibração de campo. Destaca-se que na maioria dos métodos existentes a estabilidade da orientação relativa entre as câmaras não é considerada (Zhuang, 995; Doerstel et al, 00. No processo de calibração, geralmente, se utilizam as equações de colinearidade (Equações e acrescidas dos modelos de correção dos erros sistemáticos. m( + m ( Y Y + m3( Z Z x' = x0 + x f ( m3( + m3 ( Y Y + m33( Z Z m( + m ( Y Y + m3 ( Z Z, ( y' = y0 + y f m3( + m3 ( Y Y + m33 ( Z Z em que: x',y : coordenadas no sistema fotogramétrico refinadas; x 0, y 0 : coordenadas do Ponto Principal no sistemaimagem (com origem no centro da imagem e mesma orientação do sistema fotogramétrico; f: distância focal da câmara; m ij : elementos da matriz de rotação 3 x 3; (X, Y, Z: coordenadas dos pontos no espaço objeto; (X, Y, Z : coordenadas do centro perspectivo no espaço objeto e; x e y: funções modeladoras dos erros sistemáticos (Distorção radial simétrica, descentrada e, eventualmente, afinidade. Como pode ser visto em Bazan et al (009 a matriz de OR é definida por: R ( RO = RC RC, (3 em que R C e R C são as matrizes de rotação das imagens tomadas pelas câmaras e, respectivamente, para cada instante. t Considerando a matriz de OR ( R e o quadrado da distância entre os s ( D para o instante t e; t t analogamente, R + RO e D t +, para o instante t+, e assumindo que tanto a matriz R RO quanto as distâncias sejam estáveis nos instantes t e t+, tem-se que: t t+ RRO - RRO (4 RO D (5 t D t + Das equações 4 e 5, derivam-se as quatro equações de injunção (BZN et al., 009: 3 r 3r 3r r 3r 3r 3r3 33r3 33r3 (t - (t (t (r - (r - (r 4 = D t D t + = r 3r 3r 0 r 3r 3r 3r3 33r3 r3 33 (t+ (t + o introduzir o conceito de que os elementos de base (b x, b y e b z são estáveis, são mantidas as equações, e 3, e surgem mais três equações de injunção (Eq(s 6, 7 e 8 em substituição à Equação 4 de distância: bx (t - bx (t+ (6 by (t - by (t+ (7 bz (t - bz (t+ (8 em que: b X - X x = b RC Y - Y (9 y b z Z - Z distância da base (entre os pontos nodais pode ser diretamente medida, por exemplo, com um (t +
III Simpósio Brasileiro de Ciências eodésicas e Tecnologias da eoinformação Recife - PE, 7-30 de Julho de 00 p. 003-005 paquímetro, resultando em um valor observado. Posteriormente, além das quatro equações de injunção de OR ou seis, no caso das injunções das componentes de base, uma equação de injunção adicional baseada na distância medida também pode ser incluída. 3 EXPERIMENTOS E RESULTDOS Para atingir o objetivo proposto neste trabalho foram utilizados dados sintéticos, gerados a partir dos dados de projeto do sistema SPI (RUY et al. 007, conforme Tabela. Tabela : Parâmetros de orientação interior e de orientação relativa da câmara com relação a câmara. Parâmetros de Orientação Interior (POI Parâmetros de Orientação Relativa (POR Câmara Câmara f (mm 50,909 50,0936 bx (mm,5 x 0 (mm -0,3-0,6886 by (mm 0,3 y 0 (mm 0,0405-0,53 bz (mm -3, k (mm - -,8-5 -,8-5 Ω( -36 Φ( 0 K( 80 Com relação às coordenadas dos pontos de apoio no espaço objeto foram simulados dois conjuntos de pontos, conforme as Figuras e. No primeiro conjunto foram considerados 7 pontos de apoio, ao passo que no segundo considerou-se 59 pontos de apoio. Nos experimentos foram considerados 44 pontos de verificação e 6 pontos fotogramétricos. Y(m 405,00 404,50 404,00 403,50 403,00 40,50 40,00 40,50 40,00 400,50 400,00 399,50 98 00 0 04 06 08 0 X(m Fig. : Conjunto reduzido de pontos no espaço objeto. Y(m 46 44 4 40 408 406 404 40 400 398 396 394 70 80 90 00 0 0 30 X(m Fig. : Conjunto aumentado de pontos no espaço objeto. s coordenadas dos pontos no espaço imagem foram simuladas utilizando as equações de colinearidade. lém dos erros sistemáticos (distorção radial simétrica foram introduzidos erros randômicos variando de -0,5 a 0,5 pixels (0,0045mm. Foram geradas 7 imagens sintéticas para cada câmara, variando os POE de forma a produzir configurações adequadas em termos de geometria e também de enquadramento. Destas imagens, 5 de cada câmara foram consideradas como pares, podendo-se assim, aplicar a injunção de OR nestes pares. Tabela mostra uma síntese das diferentes configurações consideradas nos experimentos. Tabela : Descrição das configurações dos experimentos. Conjunto de da matriz Pontos de OR R (Reduzi do (umen tado Configuraç ões da distância da base dos component es da base da medida física observada da base B X X C X X D X X X E X X X B X X C X X D X X X E X X X s características dos experimentos, de acordo com a Tabela, são: : calibração de cada câmara individualmente e posterior cálculo dos POR; B: da matriz de OR e da distância da base; C: da matriz de OR e das componentes da base; D: similar a B, com injunção da medida física da distância entre os s; E: similar a C, com injunção da medida física da distância entre os s. Para cada configuração apresentada na Tabela, foram realizadas 0 repetições, sendo a calibração realizada no programa TMS (Triangulação MultiSensor, em desenvolvimento pelo rupo de pesquisa em Fotogrametria da FCT/Unesp. Para cada repetição foram calculados os erros verdadeiros nos POI e o erro médio quadrático (EMQ destes erros. O mesmo foi feito para os pontos de verificação. Nas Tabelas 3 e 4, apresenta-se a média do Erro Médio Quadrático (EMQ e do desvio-padrão dos POI estimados para cada configuração e de ambos os conjuntos de dados, aumentado e reduzido.
III Simpósio Brasileiro de Ciências eodésicas e Tecnologias da eoinformação Recife - PE, 7-30 de Julho de 00 p. 004-005 Tabela 3: EMQ e desvio-padrão dos POI Conjunto reduzido de pontos. Tabela 7: Erro verdadeiro nos valores médios dos POR e desvio-padrão Conjunto reduzido de pontos. f 0,05 0,0674 0,065 0,077 0,087 (mm ±0,0735 ±0,0444 ±0,0599 ±0,0399 ±0,04 bx 0,0 0,89 0,0 0,85 0,98 Câmara x 0 0,00380 0,00354 0,00408 0,0035 0,00403 (cm ±0,04 ±0,06 ±0,04 ±0,05 (mm ±0,00506 ±0,00394 ±0,00370 ±0,00393 ±0,00370 by 0,477 0,3 0,95 0,099 0,6 Câmara y 0 0,059 0,047 0,0079 0,083 0,038 (mm ±0,0449 ±0,00859 ±0,00944 ±0,00845 ±0,00875 k 9,6x0-08 6,7x0-08 6,8x0-08 6,8x0-08 6,8x0-08 (mm - ±,x0-07 ±7,x0-08 ±7,x0-08 ±7,x0-08 ±7,x0-08 f 0,0007 0,0400 0,059 0,0509 0,054 (mm ±0,0090 ±0,0395 ±0,0538 ±0,036 ±0,0349 x 0 0,00635 0,00480 0,00506 0,00474 0,0053 (mm ±0,00445 ±0,00384 ±0,0036 ±0,00380 ±0,00360 y 0 0,007 0,00856 0,0087 0,0087 0,00877 (mm ±0,0098 ±0,00788 ±0,0087 ±0,0078 ±0,00784 k,0x0-07 8,3x0-08 8,3x0-08,3x0-07 8,3x0-08 (mm - ±7,4x0-08 ±6,x0-08 ±6,x0-08 ±8,x0-08 ±6,x0-08 Tabela 4: EMQ e desvio-padrão dos POI Conjunto aumentado de pontos. Camara Camara f 0,0063 0,00563 0,0064 0,0054 0,0050 (mm ±0,0065 ±0,00549 ±0,00579 ±0,00534 ±0,00537 x 0 0,0063 0,0069 0,0070 0,007 0,007 (mm ±0,0048 ±0,0037 ±0,003 ±0,0037 ±0,003 y 0 0,0054 0,0045 0,0044 0,0044 0,0040 (mm ±0,00509 ±0,00443 ±0,0045 ±0,0044 ±0,00445 k 4,7x0-08 4,5x0-08 4,5x0-08 4,4x0-08 4,5x0-08 (mm - ±4,9x0-08 ±4,5x0-08 ±4,5x0-08 ±4,5x0-08 ±4,5x0-08 f 0,0074 0,0064 0,0069 0,00593 0,0060 (mm ±0,00600 ±0,0057 ±0,00549 ±0,0058 ±0,0058 x 0 0,00376 0,0035 0,0036 0,00353 0,00370 (mm ±0,0066 ±0,005 ±0,0046 ±0,0049 ±0,0044 y 0 0,0049 0,0046 0,00458 0,0046 0,00460 (mm ±0,0044 ±0,00399 ±0,0040 ±0,00399 ±0,0040 k 5,5x0-08 4,7x0-08 4,7x0-08 4,7x0-08 4,7x0-08 (mm - ±4,x0-08 ±3,9x0-08 ±3,9x0-08 ±3,9x0-08 ±3,9x0-08 Nas Tabelas 5 e 6 apresenta-se o EMQ nos pontos de verificação. Tabela 5: EMQ nos pontos de verificação Conjunto reduzido de pontos. EMQ X (m 0,0008 0,0007 0,0006 0,0007 0,0007 EMQ Y (m 0,0008 0,0006 0,0005 0,0006 0,0006 EMQ Z (m 0,004 0,000 0,000 0,000 0,000 Tabela 6: EMQ nos pontos de verificação Conjunto aumentado de pontos. EMQ X (m 0,0006 0,0005 0,0005 0,0005 0,0005 EMQ Y (m 0,0006 0,0004 0,0004 0,0004 0,0004 EMQ Z (m 0,004 0,0009 0,0009 0,0009 0,0009 Depois da calibração calcularam-se os POR para cada par de imagem, utilizando os POE estimados. O erro verdadeiro nos valores médios dos POR são apresentados nas Tabelas 7 e 8. (cm ±0,030 bz,08 0,350 (cm ±0,09 Distân,46 cia 0,076 (cm ±0,00 Ω( 0,054 0,009 ±0,000 Φ( 0,007 0,0043 K( 0,0049 0,000 ±0,04 0,439 ±0,087 0,30 ±0,03 0,03 0,0043 0,000 ±0,030 0,344 ±0,093 0,003 ±0,00 0,0095 0,004 0,007 ±0,033 0,404 ±0,088 0,0 ±0,04 0,0099 0,0043 0,000 Tabela 8: Erro verdadeiro nos valores médios dos POR e desvio-padrão Conjunto aumentado de pontos. bx (cm 0,47 0,47 ±0,09 by (cm 0,0 0,0 ±0,04 bz (cm 0,345 0,55 ±0,07 Distância 0,07 (cm ±0,00 Ω( 0,0067 0,005 ±0,000 Φ( 0,007 0,006 K( 0,008 0,006 0,4 ±0,09 0,89 ±0,03 0,55 ±0,069 0,64 ±0,00 0,006 0,006 0,007 0,5 ±0,09 0,09 ±0,04 0,55 ±0,07 0,003 ±0,00 0,0050 0,006 0,006 0,50 ±0,00 0,09 ±0,07 0,5 ±0,069 0,008 ±0,0 0,0050 0,006 0,007 o analisar os resultados apresentados nas Tabelas 3 a 8, verifica-se claramente que a introdução de injunções de OR reduz os erros nos POI, nos pontos de verificação e nos POR. Como pode ser visto nas Tabelas 3 e 4, o EMQ dos erros verdadeiros e os desvios-padrão de todos os POI foram reduzidos (configuração comparada às configurações B a E para ambos os conjuntos de dados. Os erros verdadeiros na maioria dos POI, para ambas as câmaras e em ambos os conjuntos (reduzido e aumentado, se apresentaram com maior magnitude na configuração. Pode-se afirmar, portanto, que a calibração de um sistema dual utilizando injunções de orientação relativa é superior à calibração de cada câmara individualmente, com posterior cálculo dos POR. análise do EMQ nos pontos de verificação (Tabelas 5 e 6 mostrou que a introdução de injunções de OR proporciona também uma redução nos erros dos pontos no espaço objeto, principalmente na componente Z. Com relação aos POR, verifica-se que a aplicação de injunções de OR proporciona uma melhoria significativa nos resultados. Nota-se também que o
III Simpósio Brasileiro de Ciências eodésicas e Tecnologias da eoinformação Recife - PE, 7-30 de Julho de 00 p. 005-005 modelo que considera as componentes da base estáveis Photogrammetry and Remote Sensing, (34 Part Com (Configurações C e E não apresentou melhoria I, pp 34 333, Denver 00. significativa quando comparado ao modelo de injunção de distância (B e D. Isto pode ser explicado devido ao efeito RUY, R. da S.; TOMMSELLI,..; HSEW, J. dos erros na matriz de rotação da câmara, que é K.; LO, M.; IMI, N. N.; CMRO, P. de O. utilizada no cálculo das componentes da base (Equações 6 SPI: a lightweight airborne image acquisition system: a 8. Nas Tabelas 7 e 8, verifica-se uma redução do erro design and preliminary tests. In: Proceedings of the 7 th na distância da base nos experimentos D e E. eomatic Week High resolution sensors and their Nota-se também que, em geral, os resultados para applications, 007, Barcelona, February 0 th to 3 rd. p. - o conjunto aumentado de pontos apresentaram maior 8. qualidade quando comparados aos resultados obtidos com o conjunto reduzido. Isto já era esperado, devido à melhoria na distribuição geométrica dos pontos em todas as imagens. CONSIDERÇÕES FINIS O objetivo deste trabalho consistiu em apresentar um método de injunção de orientação relativa, no qual se considera as componentes da base estáveis durante o processo de tomada das cenas, bem como avaliá-lo a partir de comparação com os modelos apresentados por Bazan et al.(009 e por Tommaselli et al. (009. Para tanto foram utilizados dados simulados considerando as características do sistema SPI. calibração do sistema dual foi realizada no programa TMS (Triangulação MultiSensor, em desenvolvimento pelo rupo de Pesquisa em Fotogrametria da FCT/Unesp. partir dos experimentos verificou-se que a calibração de um sistema dual utilizando injunções de orientação relativa proporciona resultados superiores quando comparada à calibração de cada câmara individualmente. lém disso, verificou-se que o modelo que considera as componentes da base estáveis (Configurações C e E não apresentou melhoria significativa nos casos estudados, quando comparado ao modelo de injunção de distância (B e D. Isto pode ser explicado devido ao efeito dos erros na matriz de rotação da câmara, que é utilizada no cálculo das componentes da base. Recomenda-se o aprofundamento dos estudos de calibração de sistemas de duplo feixe, com a utilização de outros sistemas e com imagens reais. Nestes casos, é importante desenvolver técnicas de medição de coordenadas imagem com precisão sub-pixel. REFERÊNCIS BZN, W. S.; TOMMSELLI,. M..; LO M.; RUY, R. da S. influência das injunções de orientação relativa na calibração de um sistema dual de câmaras digitais. Boletim Ciências eodésicas, v. 5, n.3, p. 444-466, 009. DOERSTEL, C. ZEITLER, W. JCOBSEN, K. eometric calibration of the DMC: method and results. ISPRS Commission I / Pecora 5 Conference Proceedings. In: International rchives for TOMMSELLI,. M..; LO, M.; BZN, W. S.; RUY, R. da S; MRCTO JUNIOR, J. Simultaneous calibration of multiple camera heads with fixed base constraint. In: 6th International Symposium on Mobile Mapping Technology, 009. -4 July 009, Presidente Prudente. ZHUN, H. self-calibration approach to extrinsic parameter estimation of stereo cameras. Robotics and utonomous Systems, v.5, p. 89-97, feb. 995.