FREDERICO OLDEMBURGO PERES SCANNER 3D: PROBLEMAS E SOLUÇÕES

Transcrição

1 FREDERICO OLDEMBURGO PERES SCANNER 3D: PROBLEMAS E SOLUÇÕES LONDRINA PR 2013

2

3 FREDERICO OLDEMBURGO PERES SCANNER 3D: PROBLEMAS E SOLUÇÕES Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. Orientador: Alan Salvany Felinto LONDRINA PR 2013

4 FREDERICO OLDEMBURGO PERES SCANNER 3D: PROBLEMAS E SOLUÇÕES Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. BANCA EXAMINADORA Alan Salvany Felinto Universidade Estadual de Londrina Orientador Londrina PR, 24 de novembrode 2013 LONDRINA PR 2013

5 PERES, F. O.. Scanner 3D: Problemas e Soluções. 31 p. Trabalho de Conclusão de Curso (Graduação). Bacharelado em Ciência da Computação Universidade Estadual de Londrina, RESUMO A área de imagens estéreo e casamento de imagens está em constante crescimento e, mais especificamente, a escanerização em três dimensões encontra muitas utilidades dentro de diversas áreas, como na paleontologia, onde é usada para geração de réplicas a partir de fósseis, ou na saúde, onde pode ser útil na detecção de patologias ou mensuração de densidade corporal, entre várias outras aplicações nos mais diversos campos. Este trabalho tem como objetivo analisar as técnicas já existentes na área e propor uma solução para o problema de escaneamento em três dimensões, desde a aquisição de imagens limpas, passando pelo casamento das duas imagens, geração da nuvem de pontos no espaço tridimensional, triangularização, para finalmente chegar à construção do modelo de fato. Para comprovar a eficácia dos métodos propostas, um ambiente multi-câmeras será utilizado, buscando ao final do estudo têr-se uma solução de baixo custo e fácil acesso. Palavras-chave: Scanner, tridimensional, projeção, visão estéreo.

6

7 PERES, F. O.. Scanner 3D: Problems and Solutions. 31 p. Final Project (Undergraduation). Bachelor of Science in Computer Science State University of Londrina, ABSTRACT The stereo imaging and matching area is in constant growth and the 3D scanning have utilities in various fields of knowledge, as the paleontology, where it is used in the generation of replicas from fossil, the medicine, where it can be used for detecting pathologies or for measuring corporal density, between lots of other applications in the most different areas. This paper objective is to analyze the existing techniques in the area and to propose a solution to the three-dimensional scanning, from the acquisition of a pair of clean images, through the stereo image matching, point cloud generation in the 3D space, triangulation, to finally build the virtual model in fact. To assure the effectiveness of the proposed methods, a multicamera environment will be used, aiming for a low-cost and easy access solution at the end of the study. Keywords: Scanner, tridimensional, projection, stereo vision.

8

9 SUMÁRIO Introdução I Revisão de Literatura 11 1 Visão Estéreo Ambiente e Harware Tipos de scanner Câmeras Calibração Coeficientes de Distorção Tabuleiro de Xadrez Reconstrução 3D Mapa de disparidade Casamento de Imagens Triangulação Linear SBM SSGBM Nuvem de Pontos Arquivos OBJ II Resultados 25 6 Resultados Parciais Conclusão Referências

10

11 9 INTRODUÇÃO A área de imagens em estéreo oferece uma vasta gama de aplicações e áreas de atuação, abrindo muitas possibilidades a quem possui conhecimento para atender à demanda, tanto profissional como acadêmica. A criação de modelos tridimensionais semelhantes à realidade é um problema recorrente de diversas áreas, como entretenimento digital, marketing, medicina, entre outras, onde cada vez mais há a necessidade de obteção de modelos com elevado grau de semelhança com a realidade. Esse tipo de tarefa pode ser facilitada com a utilização de alguns métodos, entre eles o escaneamento em três dimensões, que possibilita a geração desses modelos virtuais em pouco tempo e com razoável precisão, minimizando o trabalho manual, e consequentemente resultando em maior produtividade dentro das áreas que puderem se beneficiar desse tipo de construção automática. A visão computacional estéreo é o que torna possível escanear objetos do mundo real diretamente para o computador, na forma de um modelo virtual tridimensional. Esse processo segue uma série de etapas para que possa se concretizar. Primeiramente, deve-se ter um bom ambiente controlado para aquisição de imagens, com uma boa iluminação, câmeras e plano de fundo em contraste com o objeto, tornando a segmentação mais fácil, para então utilizar algoritmos de casamento de imagens em estéreo para realizar a associação de cada ponto da imagem direita com a imagem esquerda, sendo assim possível calcular a posição desse ponto nas coordenadas mundo e gerar uma nuvem de vértices, que mais tarde se tornarão o modelo propriamente dito. Apesar de ser possível encontrar diversos trabalhos nessa área, o mesmo não se pode dizer quanto a um modelo que seja de fácil acesso e baixo custo, utilizando ferramentas de uso aberto e hardware de baixo custo sem prejudicar a eficiência.

12

13 Parte I Revisão de Literatura

14

15 13 1 VISÃO ESTÉREO Mapear uma cena tridimensional para um plano é uma tarefa trivial. Um exemplo disso é uma fotografia, que pode ser tirada facilmente por qualquer pessoa. Mas o mesmo não se pode dizer do processo inverso, ou seja, transformar uma imagem bidimensional de volta em uma cena 3D. Isso porque um ponto qualquer na imagem pode corresponder a infinitos pontos num espaço tridimensional. Para solucionar este problema, uma técnica muito utilizada é a visão estéreo. Segundo autores diversos [1] [2] [3], a visão estereoscópica consiste na utilização de duas imagens bidimensionais distintas utilizadas em conjunto, gerando a noção de profundidade devido é pequena disparidade entre as imagens. Ou seja, utilizando um par de imagens da mesma cena, com uma pequena diferença de ângulo, é possível, através cálculos matemáticos, determinar a distância de um determinado ponto em relação ao observador, ou às câmeras. O cérebro humano realiza esta tarefa o tempo todo e atualmente não existe método mais eficiente do que o realizado por nós, pois este realiza a correspondência das imagens de forma mais rápida e precisa do que qualquer algoritmo ou tecnologia conhecida [3]. Apesar disso, é possível realizá-la computacionalmente, utilizando câmeras para aquisição de imagens e fusão das mesmas através de algoritmos de casamento de imagens, os quais podem ser classificados por eficiência segundo o método taxonômico de Scharstein e Szeliski [4]. Existem várias técnicas na literatura para realizar correspondência em imagens, e o tema, por si só é uma área de pesquisa. Entre essas técnicas, destaca-se a verificação do nível de similaridade entre pontos em ambas as imagens. Para que isso seja feito, não basta que se verifique apenas o próprio ponto, pois pode haver uma grande quantidade de pontos semelhantes. Sendo assim, é necessário analisar outros elementos da imagem, como o formato dos contornos [1] [3], características da região em que se encontra o ponto [1] ou ainda informações sobre cores dos pontos [5].

16

17 15 2 AMBIENTE E HARWARE Uma escolha importante a se fazer é a escolha da parte física do projeto. Não apenas o harware como também a forma como o ambiente será montado. Isso inclui a decisão do tipo de câmera a ser comprado, o modelo e a forma como estes serão posicionados dentro do ambiente construído, possibilitando assim a aquisição de imagens para utilização posterior. Existem vários modelos disponíveis e comumente utilizados na literatura, cada qual com vantagens e desvantagens singulares. Um dos sistemas mais utilizados é o escâner estereoscópico artificial, devido ao seu baixo custo em relação aos outros disponíveis, pois não necessita de nenhum tipo de harware específico além das câmeras, como é o caso dos scanners de contato ou de visão ativa [6]. Esse modelo de scanner se baseia na visão do ser humano, possuindo duas câmeras posicionadas com uma pequena diferença entre elas, permitindo-se calcular a distância dos pontos na imagem, assim como é feito pelo próprio ser-humano. Scanners com a utilização de câmeras PTZ(Pan-Tilt-Zoom) possuem algumas vantagens. Como as câmeras PTZ possuem a capacidade de adquirir imagens de vários ângulos, possiblita um campo de observação muito mais vasto, sendo muito útil em cenas panorâmicas e reconstrução 3D, e além disso, sua capacidade de zoom e captura de imagens multi-resolução possiblitam aumento significativo da precisão do scanner. Suas desvantagens, porém, são o alto custo e o aumento significativo da complexidade computacional, sendo necessário aumento dos recursos computacionais e maior dificuldade de instalação do sistema como um todo [7]. O configuração utilizada neste trabalho será a mesma descrita por Narvaez e Ramírez[8]. Esta consiste em um par de webcams de baixo custo posicionadas levemente acima do objeto a ser escaneado, com uma pequena disparidade horizontal a fim de constituir a visão estéreo. O objeto se situará sobre uma base giratória, possiblitando a captura de qualquer ângulo do mesmo. 2.1 TIPOS DE SCANNER Existem diversos tipos de scanners tridimensionais conhecidos, cada qual com suas próprias vantagens e desvantagens sobre o demais. Em linhas gerais, um scanner 3D pode ser dividido em scanners com contato e scanners sem contato. O scanner com contato se caracteriza pelo toque físico do escâner com o objeto, possibilitando uma precisão espetacular, mas um tempo de aquisição proporcionalmente grande, muitas vezes não compensando o tempo gasto pela precisão adquirida, além de

18 16 Capítulo 2. Ambiente e Harware ocasionalmente resultar em danificação do objeto dependendo de sua fragilidade, como descrito por Vicedo e Linares em 2008[6]. Os sem contato são exatamente o oposto, onde não há nenhum tipo de contato físico. Esse tipo de escâner ainda pode ser dividido em dois subtipos: os de visão passiva e os de visão ativa. O primeiro exige a utilização de uma fonte de luz concentrada adicional, como um laser, e muitas vezes, hardware especializado, sendo estas suas maiores desvantagens, mas sendo preferíveis certas situações, como para utilização em robôs de resgate, por exemplo [9]. Finalmente, o escâner 3D sem contato baseado em visão passiva consiste na utilização apenas da visão das câmeras para todo o processo de aquisição, o qual inclui a captação das imagens e a identificação dos pontos correlacionados. Este último será o modelo ao qual estaremos adotando neste trabalho. 2.2 CÂMERAS Entre os possíveis modelos de câmeras, se destacam as PTZ, devido a flexibilidade dita anteriormente, sendo possível adquirir imagens de 360 graus de um objeto sem muito esforço. Além disso o zoom permite aumento significativo na resolução e consequentemente na precisão com os detalhes. Sua maior desvantagem é o maior custo e complexidade para utilização. As câmeras tradicionais também são bastante utilizadas, pois podem ser facilmente adquiridas, em especial webcams, que possibilitam fácil aquisição, instalação e manuseio. Suas desvantagens incluem a falta de mobilidade, sendo necessário rotacionar o objeto para fotografar os diversos ângulos, e a baixa qualidade de imagem, podendo prejudicar o resultado. Cãmeras tradicionais de alta resolução representam outra possibilidade, pois a alta qualidade da imagem significa, na maioria dos casos, melhoria igualmente proporcional dos resultados finais. Seus contras incluem o preço significativamente maior e aumento do custo computacional, pois quanto maior as imagens, maior o tempo de processamento dos algoritmos que as utilizam. Devido aos objetivos do nosso projeto em construir um modelo de baixo custo, estaremos optando pela segunda opção, webcams mais especificamente.

19 17 3 CALIBRAÇÃO A calibração das câmeras é um processo necessário para que se possa, a partir das imagens captadas, fazer a correspondência entre o sistema de coordenadas do mundo real e o sistema de coordenadas das imagens capturadas pelas câmeras e vice-versa, tarefa para a qual existem diversas técnicas em uma variedade de literaturas, cada qual com suas vantagens e desvantagens [1] [2] [3] [8] [5]. O processo de calibração consiste em adquirir certas matrizes com os parâmetros necessários para realização dos cálculos posteriores, possiblitando a mudança do sistema de coordenadas cartesianas para o espaço tridimensional. Os principais valores a serem adquiridos são os parâmetros intrínsicos, os parâmetros extrínsecos e os coeficientes de distorção. Os parâmetros intrínsecos consistem em uma matriz de valores próprios da câmera em questão, havendo assim, um para cada câmera dentro do sistema de visão estéreo, mas sendo estes provavelmente semelhantes quando as câmeras forem do mesmo modelo. Estes parâmetros são independentes da posição ou cena a ser observada, podendo assim ser calculados uma única vez e reutilizados em todos os procedimentos seguintes envolvendo a câmera em questão. Os parâmetros extrínsecos se referem ao posicionamento da câmera no espaço e a cena em si, sendo, portanto, uma para cada câmera, visto que estas se encontram em posições diferentes. Estes valores não podem ser reaproveitados, pois variam de cena para cena, devendo ser recalculados sempre que houver qualquer mudança no posicionamento das câmeras. Os coeficientes de distorção são também individuais de cada câmera, assim como os parâmetros intrínsecos. Mas estes têm a finalidade de corrigir a distorção natural da câmera, que geralmente consiste em distorção radia e uma leve distorção tangencial. Estes coeficientes permanecem inalterados se houver uma mudança de resolução, ao contrário dos parâmetros intrínsecos, que deveriam ser recalculados nesse caso. Basicamente, o modelo é dado por: sm = A[R t]m (3.1)

20 18 Capítulo 3. Calibração Ou, na forma extendida: (3.2) onde: (X, Y, Z) são as coordenadas do ponto 3D em coordenadas mundo. (u, v) são as coordenadas do ponto projetado em pixels. A é a matriz dos parâmetros intrínsecos. (cx, cy) é o ponto principal, geralmente o centro da imagem. fx, fy são as distâncias focais x e y, expressas em pixels. [R t] é a matriz do parâmetros extrínsecos, usada para transladar o as coordenadas (X,Y,Z) para o sistema de coordenadas fixado na câmera. Essa transformação é equivalente à seguinte, quando z diferente de 0. (3.3) [10] 3.1 COEFICIENTES DE DISTORÇÃO Os coeficientes de distorção têm como utilidade corrigir a distorção natural causada pela maioria dos modelos de câmeras. Esta distorção é em sua maioria radial e levemente tangencial. Alguns preferem considerar os coeficientes de distorção como parâmetros intrínsecos, visto que estes também são próprios do modelo da câmera e não se alteram com o reposicionamento da mesma. Porém, é preferível tratá-los como categorias distintas, visto que sua maior diferença é o fato de que os coeficientes de distorção são também independentes da resolução da captura, enquanto os parâmetros intrínsecos devem ser recalculados caso haja mudança de resolução.

21 3.2. Tabuleiro de Xadrez 19 Com isso em mente, o modelo descrito na equação 3.3 pode ser extendido para: (3.4) [10]. sendo k i coeficientes de distorção radial e p i os coeficientes de distorção tangencial 3.2 TABULEIRO DE XADREZ Estaremos utilizando a técnica do tabuleiro de xadrez para calibração das câmeras, como feito anteriormente por Narvaez et al. [8] e descrito originalmente por Zhang [11]. Este método consiste na utilização de um padrão de tabuleiro de xadrez, com casas brancas e pretas alternadas e com um número igural de linhas e colunas. Primeiramente, são capturadas várias imagens do padrão visto de vários ângulos. Este processo pode ser feito retirando-se frames arbitrários de um vídeo previamente gravado, ou utilizando fotos individuais, por exemplo. A partir dessas imagens, identifica-se os pontos de intersecção entre as linhas e colunas, colocando-os em uma matriz e então utliza-se estas matrizes para calcular as matrizes características de cada câmera (parâmetros intrínsecos) e os coeficientes de distorção [11].

22

23 21 4 RECONSTRUÇÃO 3D 4.1 MAPA DE DISPARIDADE

24

25 23 5 CASAMENTO DE IMAGENS 5.1 TRIANGULAÇÃO LINEAR 5.2 SBM 5.3 SSGBM 5.4 NUVEM DE PONTOS 5.5 ARQUIVOS OBJ

26

27 Parte II Resultados

28

29 27 6 RESULTADOS PARCIAIS Os resultados previstos pelo cronograma foram atingidos até o devido momento, concluindo a revisão bibliográfica da parte de calibração de visão estéreo e calibração de câmera. Os testes realizados foram bem sucedidos, possiblitando a calibração das câmeras através do algoritmo desenvolvido por Zhang [11] em Todos os parâmetros e coeficientes podem ser adquiridos e armazenados para utilização nas etapas posteriores.

30

31 CONCLUSÃO 29

32

33 31 REFERÊNCIAS 1 JAIN, R. Machine vision. New York: McGraw-Hill, ISBN GONZALEZ, R. Digital image processing. Reading, Mass: Addison-Wesley, ISBN FELINTO, A. S. Visão Estéreo Utilizando a Curvatura Como Medida De Similaridade. Tese (Doutorado) Instituto de Física de São Carlos, SCHARSTEIN, D.; SZELISKI, R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. Int. J. Comput. Vision, Kluwer Academic Publishers, Hingham, MA, USA, v. 47, n. 1-3, p. 7 42, abr ISSN Disponível em: < 5 XIE, M. Automatic feature matching in uncalibrated stereo vision through the use of color. Robotics and Autonomous Systems, v. 21, n. 4, p , ISSN Disponível em: < /S >. 6 VICEDO, J.; LINARES, J. Escaneado de objetos tridimensionales en el iti. Actualidad TIC, WAN, D.; ZHOU, J. Stereo vision using two {PTZ} cameras. Computer Vision and Image Understanding, v. 112, n. 2, p , ISSN Disponível em: < 8 NARVAEZ, A.; RAMIREZ, E. A simple 3d scanner based on passive vision for geometry reconstruction. Latin America Transactions, IEEE (Revista IEEE America Latina), v. 10, n. 5, p , ISSN OHNO, K.; KAWAHARA, T.; TADOKORO, S. Development of 3d laser scanner for measuring uniform and dense 3d shapes of static objects in dynamic environment. In: Robotics and Biomimetics, ROBIO IEEE International Conference on. [S.l.: s.n.], p QUICKSTART sphinx. OpenCV Documentation Disponível em: < 11 ZHANG, Z. A flexible new technique for camera calibration. IEEE Transactions On Pattern Analysis and Machine Intelligence, 2000.