REGISTRO DE DADOS RGB-D EM AMBIENTES INDOOR COM REGIÕES POUCO TEXTURIZADAS Daniel Rodrigues dos Santos1 Kourosh Khoshelham2 1 Universidade Federal do Paraná Departamento de Geomática Programa de Pós Graduação em Ciências Geodésicas CEP 81531-Curitiba/PR-Brasil danielsantos@ufpr.br 2 University of Twente Faculty of Geo-information and Earth Observation Science Enschede-Netherlands k.khoshelham@utwente.nl RESUMO Neste trabalho é apresentado um método para registro de pares de nuvem de pontos 3D derivados de câmeras RGB-D em ambientes indoor. Esta técnica pode ser empregada em regiões pouco texturizadas, onde é impossível a extração de primitivas pontuais, assim como o uso de algoritmos baseados em abordagens ponto-a-plano ou plano-a-plano para registro de pares de nuvem de pontos. A principal características do método proposto é a ponderação da informação de profundidade no problema de otimização. Os resultados encontrados mostraram que podem ser obtidas precisões melhores que 3 cm no registro dos dados usando o método proposto. Palavras chaves: câmeras RGB-D, Registro de pares de nuvem de pontos 3D, Ambientes indoor. 1. INTRODUÇÃO O problema do registro de nuvem de pontos 3D é uma tarefa importante para diversas aplicações em fotogrametria e visão computacional, tais como, localização e mapeamento 3D simultâneos, modelagem e reconstrução 3D, entre outras. O registro de nuvem de pontos consiste, basicamente, em determinar os parâmetros de rotação (R) e translação (T) entre os pares de nuvem de pontos 3D consecutivos, por intermédio de um modelo matemático rígido que estime a transformação entre o par de nuvem de pontos e uma função que minimize a distância entre as primitivas correspondentes. O método algoritmo mais difundido na comunidade científica é o ICP (Iterative Closest Point), sendo originalmente desenvolvido por Besl e McKay (1990). É importante notar que a eficiência do ICP depende da entrada de valores iniciais aproximados e a quantidade de pontos envolvidos pode onerar o tempo de processamento. Para melhorar a robustez e eficiência do ICP diversas variações baseadas em abordagens ponto-a-ponto, plano-a-plano, e ponto-a-plano (CHEN e MEDIONI, 1992; ZHANG, 1994; EGGERT et al., 1998; SEGAL et al., 2009 entre outros). Bendels et al. (2004) e May et al. (2009) integraram imagens RGB e de profundidade empregando o método SIFT (Scale Invariant Feature Transform), para produzir um descritor de características visuais que permita avaliações rápidas e altamente discriminatórias em relação à outras primitivas. Henry et al. (2012) propuseram nova variação do método ICP, conhecida como RGB-D ICP. A abordagem explora as vantagens das informações derivadas das imagens RGB e de profundidade. No entanto, para mapeamento 3D de ambientes indoor é muito comum encontrar regiões de pouca texturização, com padrões repetidos e/ou superfícies planas, tornando impossível a extração de primitivas pontuais e inviabilizando o emprego de algoritmos baseados em abordagens ponto-a-plano ou plano-a-plano para o registro de pares de nuvem de pontos, uma vez que um minimo de três planos não paralelos deve ser empregado para solucionar o problema de otimização. Neste trabalho é proposto um método para registro de pares de nuvem de pontos 3D em ambientes indoor com superfícies planas e pouco texturizadas. O método apresenta uma abordagem que divide a nuvem de pontos em células como padrão de organização para o estabelecimento automático das correspondências, uma proposta de ponderação dos 1
pontos 3D correspondentes e o registro dos pares de nuvem de pontos usando o modelo de corpo rígido 3D, juntamente com o método dos mínimos quadrados (MMQ) para estimativa dos parâmetros de rotação e translação. Vale ressaltar que os dados são adquiridos com câmeras RGB-D (dispositivo Kinect). Tal dispositivo é composto por três sensores, isto é, dois sensores CMOS (Complementary metal-oxide-semicondutor) que registram energia eletromagnética na faixa do espectro correspondente ao visível (câmera RGB) e infravermelho (câmera IR), e um emissor laser infravermelho, podendo capturar cenas com 640x480 pixels em uma taxa de 30 quadros por segundo (fps). Cada quadro (frame) capturado pode conter até 300.000 pontos, cuja precisão é da ordem de 3 cm a cada 3 m, com campo de visão de ~60 graus para sensores com distância media de aquisição inferior a 7 m. Este trabalho está organizado da seguinte forma: na seção 1 uma breve introdução é apresentada; a seção 2 descreve o método proposto; a seção 3 apresenta os experimentos e os resultados são discutidos; e na seção 4 são apontadas as conclusões e as recomendações futuras. 2. MÉTODO 1. 2. 3. O método proposto está divido em 3 etapas principais, a saber: Aquisição dos dados e geração da nuvem de pontos 3D; Estabelecimento automático das correspondências e detecção de outliers; Ponderação das coordenadas Z de cada ponto correspondente e estimativa dos parâmetros. No dispositivo Kinect, o sensor LASER emite um pulso que é espalhado na superfície de referência (plano referencial) em forma de padrão de luz estruturada. Assumindo que um objeto está no plano referencial do padrão de luz estruturada a uma distância Zo do sensor, e um ponto P do padrão de luz estruturada foi projetado na superfície física, o mesmo também é registrado no plano focal da câmera IR. Se o objeto está próximo (ou distante) do sensor, a posição do ponto P no plano focal IR será deslocada na direção do eixo X. Esta é a medida de paralaxe (d) obtida no espaço imagem correspondente ao ponto P no espaço objeto. Com as informações das medidas de paralaxe pode-se obter a nuvem de pontos 3D usando as equações propostas em Khoshelham e Ouder Elberink (2012), como segue: Zk = Z0 Z 1+ 0 d cb Zk X k = ( x ' + x o + dx) c Zk Y k = ( y ' + y o +dy) c (1) (2) (3) sendo, x', y' as fotocoordenadas do ponto imagem (observadas no plano focal da câmera IR), x o yo são as coordenadas do ponto principal e dx e dy os coeficientes de distorção das lentes, denota a distância do ponto P no espaço objeto ao sensor, b é a linha de base, c a distância focal da câmera IR, Xk, Yk e Zk são as coordenadas tridimensionais de um P no espaço-objeto. Vale ressaltar que os parâmetros Zo, b e c devem ser devidamente obtidos por um processo de calibração de câmeras (maiores detalhes ver KHOSHELHAM e OUDER ELBERINK, 2012). Neste trabalho é proposto um método para reduzir o tempo de processamento e organizar o processo de estabelecimento de correspondências. Considere um par de imagens IR obtidas com o dispositivo Kinect. A primeira imagem é regularmente dividida em células de dimensão mxm e para cada célula são calculadas as coordenadas XYZ e seu respectivo centroide (q). Como resultado tem-se um conjunto de centroides correspondente a nuvem de pontos de referencia. Para obtenção da nuvem de pontos corrente as equações (1)-(3) são empregadas sobre as fotocoordenadas de cada ponto na segunda imagem IR. Vale ressaltar que a nuvem de pontos corrente não é dividida em células e um conjunto de p pontos é então obtido. Para estabelecer as correspondências entre os centroides de cada célula na nuvem de pontos de referencia (qi) e o conjunto de pontos da nuvem de pontos corrente (p i) é calculada a distancia euclidiana e para um determinado centroide seu correspondente é o ponto mais próximo. Como resultado tem-se um conjunto de pontos correspondentes obtido de forma rápida e organizada, evitando falsos positivos. Outra fator importante é a detecção de outliers. Neste trabalho, distancias e variações angulares entre as linhas retas que ligam os pontos correspondentes inferiores a um limiar pré definido são considerados outliers e removidos do processamento. Dado um conjunto de pontos correspondentes, um modelo matemático rigoroso deve ser elaborado para determinar os parâmetros de rotação e translação entre o par de nuvem de pontos 3D. O modelo empregado neste trabalho minimiza a soma dos erros (E) como segue: 2
n E j= Pi X i, j 1 ( R X i, j +T ) (4) i=1 sendo, X i, j 1 e X i, j as coordenadas dos pontos correspondentes nas nuvens de pontos de referencia (i) e corrente (j), Pij é peso associado ao par de pontos ij, T é o vetor dos parâmetros de translação tx, ty, tz e R a matriz dos parâmetros de rotação em função dos ângulos de Euler ( ω, ϕ, κ ). Neste caso, os pesos são definidos para todo par de pontos correspondentes (inliers) baseado na precisão teórica das coordenadas de profundidade (Z). Aplicando a propagação de covariâncias nas Equações (1)-(3) e fazendo algumas manipulações matemáticas obtém-se a ponderação como proposto por Khoshelham et al. (2013). A Equação (4) não é linear e envolve 6 parâmetros a serem determinados pelo MMQ. Neste caso, deve ser aplicado o modelo paramétrico não linear (GEMAEL, 1994). Vale ressaltar que, assim como o ICP, o método proposto é iterativo. Ou seja, cada vez que os parâmetros de rotação e translação são estimados pelo MMQ uma nova nuvem de pontos 3D corrente é obtida, ou seja, para cada iteração, o algoritmo implementado trabalha da seguinte forma a saber: 1. Encontra a correspondência entre os centroides na nuvem de pontos de referencia e os pontos na nuvem de pontos corrente através do calculo da distancia euclidiana; 2. Atribui pesos aos pontos correspondentes; 3. Determina o alinhamento entre o par de nuvem de pontos; 4. Regenera a nuvem de pontos 3D corrente empregando os parâmetros estimados; 5. Os passos 1-4 são repetidos até que o erro médio quadrático da discrepância dos valores seja inferior a um limiar pré definido ou o número de iterações seja superior ao número máximo de iterações definida; 6. Finalmente, é obtido um par de nuvem de pontos 3D com minimas diferenças angulares e posicionais, de forma rápida e precisa. 3. EXPERIMENTO E ANÁLISE DOS RESULTADOS Um experimento foi conduzido para avaliar o método proposto neste trabalho. Os algoritmos foram implementados em linguagem de programação C/C++ MinGW para Linux e os resultados são visualizados através das ferramentas de visualização implementadas na biblioteca computacional open-source, conhecida como PCL (Point Cloud Library) e VTK (Visualization ToolKit). A Figura 1 mostra o par de imagens usado para validar o experimento discutido neste trabalho. Vale ressaltar que para cada imagem RGB existe uma imagem IR e a nuvem de pontos deve ser obtida usando as equações apresentadas na seção 2. Figura 1. Superfícies pouco texturizadas em ambiente indoor. Como pode ser observado na Figura 1 todas as superfícies presentes nos ambientes mapeados são pouco texturizadas, assim como em nenhum dos casos pode-se detectar três planos não colineares. Para cada par de nuvem de pontos 3D são executadas as etapas 1-6 apresentadas na seção 2. A Figura 2 mostra os resultados obtidos para o par de nuvem de pontos. 3
(a) (c) (b) (d) (e) Fig. 1 - resultados obtidos para o par de nuvem de pontos 3D. (a) Vista frontal do par de nuvem de pontos antes do registro; (b) Vista aérea do par de nuvem de pontos antes do registro; (c) Pontos correspondentes da 1a. Iteração; (d) Vista frontal do par de nuvem de pontos depois do registro; (e) Vista aérea do par de nuvem de pontos depois do registro. Neste experimento foram usados como limiares de distancia minima e variação angular entre as linhas retas que ligam os pontos correspondentes 2,5 cm e 90 graus, respectivamente. Como pode ser observado na Figuras 1a e 1b o desalinhamento do par de nuvem de pontos 3D é relativamente grande, uma vez que a aquisição dos dados foi realizada com um dispositivo Kinect cuja taxa de aquisição é inferior a 15 quadros por segundo. Na Figura 1c pode-se verificar visualmente que as correspondências estabelecidas são coerentes e a medida que os parâmetros de rotação e translação são corrigidos, o número de falsos positivos diminui e o número de inliers pode aumentar. As Figuras 1d e 1e mostram que o método proposto registra adequadamente um par de nuvem de pontos em uma região pouco texturizada. No entanto, o alinhamento não é perfeito, uma vez que os dados Kinect são bastante ruidosos em função da baixa qualidade dos sensores integrados no sistema e os próprios objetos que compõem a cena, tais como, os objetos plásticos, objetos pintados de preto e superfícies especulares. No ambiente tratado, neste experimento, pode-se encontrar objetos plásticos, objetos pintados de preto. Isto também propicia uma nuvem de pontos incompleta. O Gráfico 1 mostra o erro médio quadrático (rms) dos resíduos calculados para cada iteração. 4
Gráfico 1. Erro médio quadrático dos resíduos de cada iteração. Como esperado o rms dos resíduos diminui conforme aumenta o número de iterações (ver Gráfico 1). No entanto, na terceira iteração ocorre o oposto do esperado, seguido de uma caída abrupta do rms na quarta iteração. Isto pode ser explicado devido ao estabelecimento de falsos positivos. Como a detecção de outliers é uma tarefa complexa, erros como este podem ocorrer durante o processo de registro do par de nuvem de pontos. 4. CONCLUSÕES E RECOMENDAÇÕES Este trabalho apresentou um método de registro de pares de nuvens de pontos 3D derivados de câmeras RGBD em ambientes indoor. A principal características do método proposto é a ponderação da informação de profundidade no problema de otimização. Para investigar a potencialidade do método proposto foi realizado um experimento em ambiente indoor com regiões pouco texturizadas. O processo de correspondência ponto-a-ponto é feito de forma organizada e rápida, uma que a nuvem de pontos de referencia é dividia em células igualmente espaçadas. Duas restrições geométricas foram propostas para diminuir o número de falsos positivos, ou seja, a distancia minima e a variação angular das linhas retas que ligam os pontos correspondentes. Os resultados obtidos mostraram que a divisão da nuvem de pontos de referencia em células reduz drasticamente o tempo de processamento. A detecção e remoção de outliers é uma tarefa complexa e exige maiores investigações, uma vez que elas afetam a estimativa dos parâmetros e consequentemente o calculo do rms dos resíduos. De forma geral, o algoritmo implementado pode ser usado em qualquer tipo de ambiente indoor uma vez que não depende da correspondência entre pontos ou planos extraídos na nuvem de pontos, podendo-se afirmar que é um método robusto para fins de registro de nuvem de pontos 3D. O método também não requer aproximações iniciais. Em trabalhos futuros serão conduzidos investigações para abordagens ponto-a-plano no processo de registro dos pares de nuvem de pontos 3D, incluir novas restrições geométricas no processo de estabelecimento de correspondências e algoritmos de registro global a fim de evitar o acumulo de erros ao longo do processo. AGRADECIMENTOS Ao CNPq por concessão de bolsa de Produtividade em Pesquisa (processo no. 302644/2013-0). REFERÊNCIAS BIBLIOGRÁFICAS BENDELS, G.H., DEGENER, P., WAHL, R., K, M., e KLEIN, R., 2004, Image-based registration of 3D-range data using feature surface elements, Proceedings of the 5th International conference on Virtual Reality, Archaeology and Intelligent Cultural Heritage: Oudenaarde, Belgium, Eurographics Association, p. 115-124. BESL, P.J., e MCKAY, H.D., 1992, A method for registration of 3-D shapes: Pattern Analysis and Machine Intelligence, IEEE Transactions on, v. 14, p. 239-256. CHEN, Y., e MEDIONI, G., 1992, Object modelling by registration of multiple range images: Image Vision Comput., v. 10, p. 145-155. 5
DOLD, C., e BRENNER, C., 2006, registration of terrestrial laser scanner data using planar patches and image data, in Maas, H.-G., and Schneider, D., eds., ISPRS Comm. V Symposium Iamge Engineering and Vision Metrology, Volume XXXVI Part. 5, 25-27: Dresden, p. 78-83. EGGERT, D.W., FITZGIBBON, A.W., e FISHER, R.B., 1998, Simultaneous registration of multiple range views for use in reverse engineering of CAD models: Comput. Vis. Image Underst., v. 69, p. 253-272. HENRY, P., KRAININ, M., HERBST, E., REN, X., e FOX, D., 2010, RGB-D Mapping: Using Depth Cameras for Dense 3D Modeling of Indoor Environments, Symposium on Experimental Robotics (ISER). HENRY, P., KRAININ, M., HERBST, E., REN, X., e FOX, D., 2012, RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments: The International Journal of Robotics Research, v. 31, p. 647-663. KHOSHELHAM, K., e ELBERINK, S.O., 2012, Accuracy and Resolution of Kinect Depth Data for Indoor Mapping Applications: Sensors, v. 12, p. 1437-1454. KHOSHELHAM, K., DOS SANTOS, D.R. e VOSSELMAN, G., 2013, Generation and weighting of 3D point correspondences for improved registration of RGB-D data. In: ISPRS Annals Volume II-5/W2 : ISPRS Workshop laser scanning, 11-13 November 2013, Antalya, Turkey / ed by M. Scaioni et al. Antalya: ISPRS, 2013. ISSN: 21949050. pp. 127-13. MAY, S., DROESCHEL, D., HOLZ, D., FUCHS, S., MALIS, E., N., e HERTZBERG, J., 2009, Three-dimensional mapping with time-of-flight cameras: J. Field Robot., v. 26, p. 934-965. SEGAL, A., HAEHNEL, D., e THRUN, S., 2009, Generalized-icp, In Proc. of Robotics: Science and Systems (RSS), Volume 25, 26, 27. ZHANG, Z., 1994, Iterative point matching for registration of free-form curves and surfaces: Int. J. Comput. Vision, v. 13, p. 119-152. 6