Reconstrução 3D usando luzes estruturadas

Transcrição

1 Capítulo 1 Reconstrução 3D usando luzes estruturadas João Marcelo Teixeira, Francisco Simões, Rafael Roberto, Veronica Teichrieb e Judith Kelner Grupo de Pesquisa em Realidade Virtual e Multimídia Centro de Informática, Universidade Federal de Pernambuco {jmxnt, fpms, rar3, vt, jk}@cin.ufpe.br Abstract Recently, the interest for the development of techniques based on structured light concepts has grew up widely due to the popularization of digital cameras and projectors, which enables the construction of equipment based on this technology, such as a low cost 3D scanner, if compared to commercial solutions. This minicourse will provide the beginner in the area of 3D reconstruction with the basic mathematical concepts, necessary software and practical details to enable the development of a 3D scanner based on structured light. A example-based approach will be used during the scanner construction, built only with conventional hardware (a webcam and a projector). In sequence, the theorical concepts will be highlighted, such as the practical details regarding the implementation performed. The point triangulation is presented along with the necessary mathematical basis, coordinate systems and different camera models. After that, the calibration phase of both camera and projector will be explained. Readers will be guided through a step-by-step application in order to acquire a real object reconstruction. The minicourse ends showing application scenarios related to the scanner developed while is discusses research directions that can contribute with enhancements to the device constructed. Resumo Recentemente, o interesse pelo desenvolvimento de técnicas sobre luzes estruturadas obteve um crescimento considerável devido à popularização das câmeras digitais e projetores, tornando possível a construção de equipamentos baseados nesta tecnologia, como 1

2 um scanner 3D de baixo custo quando comparado com aparelhos comerciais. Este minicurso irá fornecer ao iniciante na área de reconstrução 3D os conceitos matemáticos básicos, software necessário e detalhes práticos para possibilitar a construção de um scanner 3D baseado em luzes estruturadas. Uma abordagem baseada em exemplos será utilizada à medida que se constrói um scanner, construído inteiramente com webcam e projetor convencionais. No curso serão ilustrados os conceitos teóricos, assim como os detalhes práticos da implementação. A triangulação de pontos é apresentada juntamente com a base matemática necessária, sistemas de coordenadas e modelos de câmera. Posteriormente, será abordada a etapa de calibração dos dispositivos utilizados, a webcam e o projetor. Os leitores serão guiados num passo a passo para obter a reconstrução de um objeto real. No final, o curso é concluído mostrando cenários de aplicações para o scanner criado e discute linhas de pesquisa que contribuam com melhorias para o dispositivo Introdução A reconstrução 3D é um tema bastante discutido atualmente graças à sua enorme aplicabilidade em diversas áreas. É possível encontrar exemplos de aplicações que vão desde a área médica, onde o modelo 3D de órgãos a partir de imagens de tomografias é usado para auxiliar o médico no diagnóstico [Tbaina, 1997], até a visualização de pontos turísticos, onde o ambiente é reconstruído usando fotos e o usuário pode navegar por elas como se fosse um vídeo [Snavely, 2006], passando pela arqueologia [Pollefeys, 2003], cinema [Jones, 2006], robótica [Chimienti, 2005], entretenimento digital [Waschbüsch, 2005] e outras, conforme ilustrado na Figura 1.1. Graças a isto, o tema tem sido muito pesquisado e diversas técnicas foram desenvolvidas para se obter o modelo tridimensional de uma cena. Uma delas é a Structure from Motion (SfM). Nela, uma sequência de imagens da cena a ser reconstruída é obtida. Em seguida, o movimento da câmera é determinado para, a partir desta informação, ser obtida a estrutura do ambiente [Neto, 2008]. A principal vantagem desta abordagem é o seu custo relativamente baixo, já que necessita basicamente de uma câmera de vídeo ou fotográfica. Por outro lado, sua implementação é bastante complexa, o que torna seu alto tempo de processamento uma desvantagem. Outra forma é a utilização de scanners 3D. Com estes dispositivos, ondas de vários tipos são emitidas e refletem na cena. De acordo com o tempo em que elas retornam para o scanner a localização espacial dos pontos é determinada. O grande entrave para esta técnica é o alto custo do equipamento, que pode chegar a 150 mil dólares [Dimensions, 2010]. Com a popularização das câmeras digitais e o barateamento dos projetores, o interesse em pesquisas sobre luzes estruturadas e imagens ativas cresceu bastante, tornando possível o desenvolvimento de scanners 3D acessíveis a pesquisadores e empresas com orçamento pequeno. Este minicurso tem como objetivo apresentar os softwares e bibli- 2

3 Figura 1.1. Da esquerda para a direita, exemplos de reconstrução na área médica, visualização de pontos turísticos e robótica na linha acima. Abaixo, o uso em cinema, entretenimento digital e robótica. otecas necessários, assim como mostrar a base matemática para a construção de scanner 3D simples e de baixo custo usando luzes estruturadas Definição Um scanner 3D é um dispositivo capaz de analisar ambientes para extrair informações sobre a sua estrutura e, em alguns casos, sua aparência. A partir da informação da distância do scanner para a superfície da cena uma nuvem de pontos com a geometria do ambiente será gerada. Existem vários tipos de scanner 3D, um deles é o baseado em luzes estruturadas, uma técnica que consiste em projetar um padrão luminoso conhecido em uma cena. A partir da análise de como estes padrões se deformam, a informação de profundidade do ambiente pode ser calculada Organização do minicurso Este minicurso foi baseado em um curso do SIGGRAPH 2009 denominado Build Your Own 3D Scanner: Optical Triangulation for Beginners [Lanman and Taubin, 2009] e foi estruturado da seguinte forma: na seção 2 serão apresentados os conceitos matemáticos básicos usados na reconstrução 3D. Na seção 3 os detalhes sobre a calibração da câmera e do projetor são expostos. As informações sobre o uso do scanner a partir das luzes estruturadas são elucidadas na seção 4. Por fim, na seção 5, algumas aplicações e tendências 3

4 são discutidas. Os participantes do minicurso devem possuir noções básicas de álgebra linear e vetorial. Também é desejável um conhecimento prévio de C/C++ e bibliotecas de visão computacional caso o participante deseje examinar ou modificar o código fonte do scanner 3D utilizado Conceitos matemáticos Para o entendimento de técnicas de Reconstrução 3D a partir de luzes estruturadas é necessário estudar os conceitos matemáticos envolvidos na reconstrução. A análise dos elementos geométricos básicos (pontos, vetores, retas e planos) torna-se importante juntamente com seu inter-relacionamento (geração de planos a partir de retas, retas a partir de pontos e vetores, etc) para em seguida discutir a recuperação da informação 3D dos pontos a partir de tais primitivas(triangulação). Uma vez entendida a triangulação no sistema de coordenadas de mundo é preciso ainda entender o sistema de coordenadas de câmera e realizar a parametrização da triangulação em tal sistema. Esta seção se divide em três subseções principais: Representações Geométricas, onde será discutida a representação de pontos, vetores, retas e planos; Triangulação, que definirá os meios de recuperação de pontos 3D a partir de interseções reta-plano e retareta; e Sistemas de Coordenadas, seção na qual serão analisados o modelo de câmera Pinhole e a representação da triangulação neste modelo de câmera. Como referência principal para o aprofundamento dos conceitos geométricos apresentados nesta seção, pode-se utilizar [Reis and Silva, 1996] Representações geométricas Reconstrução 3D a partir de luzes estruturadas requer a utilização de informações geométricas advindas das interações entre a luz emitida pelo projetor e a luz capturada pela câmera. Nesta seção serão observados os principais elementos geométricos gerados por este tipo de arranjo (pontos, retas e planos) e seu relacionamento Pontos e vetores Enquanto ponto é uma primitiva geométrica que designa localização (três valores são necessários para representar posição no espaço tridimensional), vetor define um conceito relativo ao deslocamento, não sendo associado diretamente a uma posição espacial, representado também por três valores no espaço tridimensional. Dessa forma pontos e vetores possuem a mesma representação matricial p =[p 1, p 2, p 3 ] e v =[v 1,v 2,v 3 ], apesar de muitas de suas propriedades não serem correspondentes, uma vez que os pontos não formam um espaço vetorial [Anton and Rorres, 2001]. Apesar de não possuírem as mesmas propriedades, pontos e vetores se relacionam de várias formas: A soma de um ponto com um vetor gera um novo ponto q = p + λv ea 4

5 diferença entre dois pontos gera um vetor v = p q Retas e raios Uma reta pode ser definida como o conjunto de pontos gerados pela equação: q = p + λv para um determinado q fixo e λv um múltiplo do vetor v. Desta forma temos a representação paramétrica de uma reta dada por: L = {p = q + λv : λ R}. (1) É importante destacar que a representação paramétrica de uma reta dada pela equação 1 não é única, uma vez que se pode substituir o fixador q por qualquer outro ponto q L ou o vetor v por qualquer múltiplo λv e ainda assim a reta continua igualmente representada. Apesar disto, para cada par {q,v}, o ponto p e o parâmetro λ possuem uma correspondência única. Uma vez definido o conceito de reta, torna-se possível definir o conceito de raio, utilizado por exemplo, para representar a luz. Raio é uma reta na qual o parâmetro λ só assume valores positivos, definindo assim uma noção de sentido, através da equação 2. R = {q = p + λv : λ R,λ 0} (2) Planos Enquanto uma reta pode ser definida parametricamente por um ponto e um vetor, um plano pode ser definido parametricamente por um ponto p e dois vetores linearmente independentes v 1,v 2. Desta forma qualquer ponto pertencente ao plano pode ser escrito em função dos parâmetros λ 1,λ 2 conforme a equação: P = {p = q + λ 1 v 1 + λ 2 v 2 : λ 1,λ 2 R}. (3) Além da representação paramétrica pode-se ainda representar um plano através da forma implícita, definida a partir de um ponto q P e um vetor n normal ao plano. Para verificar se um ponto pertence ao plano é feita uma análise acerca do vetor gerado pela diferença entre o ponto analisado p e o ponto do plano q P. Caso o vetor calculado seja perpendicular ao vetor normal do plano, o ponto p pertence ao plano. Uma vez que o produto interno entre dois vetores perpendiculares é zero, é obtida a equação: P = p : n t (p q)=0. (4) 5

6 Assim como o plano possui uma representação implícita, a reta também possui tal representação. Pode-se considerar uma reta oriunda da interseção de dois planos, ver Figura 1.2. Deste modo, a reta r seria definida como: r = p : n t 1 (p q)=nt 2 (p q)=0, (5) onde os vetores n 1,n 2 são linermente independentes. Figura 1.2. Reta r gerada a partir da interseção de dois planos (α e β) Triangulação Através de informações oriundas do modelo de câmera utilizado (discutidas na próxima seção) é possível observar a geração de raios de luz a partir de pontos da imagem e a geração de planos de luz a partir de retas da imagem. A partir destes elementos pode-se realizar seu relacionamento de forma a recuperar os pontos 3D do objeto analisado. A este processo de recuperação dá-se o nome de Triangulação e para sua realização deve-se considerar tanto a câmera quanto o projetor previamente calibrados, como será mostrado na próxima seção Interseção raio-plano A recuperação de informação 3D a partir da interseção raio-plano pode ser observada na Figura 1.3. Dada a equação implícita do plano π: e a equação paramétrica do raio R: pi = p : n t (p q)=0, (6) 6

7 Figura 1.3. Triangulação do ponto P a partir do raio L(gerado pela câmera) com o plano π (plano de luz projetado sobre o objeto tridimensional). R = {q = p r + λv : λ R,λ 0}, (7) o ponto p procurado é aquele que está na interseção do plano π com o raio R. Desta forma, o ponto p existirá caso o plano e o raio não sejam paralelos (n t v = 0). Já que o ponto satisfará tanto a equação do plano quanto a equação da reta, obtém-se: n t (p q)=n t (p r + λv q)=0. (8) Através da equação 8 pode-se isolar o λ: λ = nt (p r q) n t v = 0 (9) Uma vez encontrado o λ, o ponto triangulado estará automaticamente definido Interseção raio-raio Também pode-se obter a triangulação de um ponto p pertencente ao objeto tridimensional através da interseção de um raio gerado a partir da câmera e um raio de luz projetado a partir do projetor utilizado, ver Figura 1.4 Dados os raios L 1 = {p = q 1 + λ 1 v 1 } e L 2 = {p = q 2 + λ 2 v 2 }, é possível calcular sua interseção pela relação: q 1 + λ 1 v 1 = q 2 + λ 2 v 2, (10) definindo valores para λ 1 e λ 2 que satisfaçam a equação. 7

8 Figura 1.4. Triangulação do ponto P a partir do raio L 1 (gerado pela câmera) com raio de luz L 2 (gerado pelo projetor). Quando os raios forem paralelos ou coincidentes não existirão valores para λ 1 e λ 2 que satisfaçam a equação 10. Isto ocorrerá quando v 1 e v 2 forem linearmente dependentes(raios paralelos) ou o vetor q 1 q 2 for múltiplo de v 1 ou v 2 (raios coincidentes). Mesmo os raios não sendo paralelos ou coincidentes ainda haverão casos em que não será possível encontrar λ 1 e λ 2 que satisfaçam a equação, nestes casos as retas serão reversas. Quando tratam-se retas reversas, o problema de triangulação passa a ser encontrar valores para λ 1 e λ 2 que determinem o ponto mais próximo das duas retas simultaneamente, conforme ilustrado na Figura 1.5. Figura 1.5. Triangulação do ponto p a partir de retas reversas L 1 e L 2. Para tanto, basta minimizar a soma das distâncias quadradas do ponto p para as duas retas: θ(p,λ 1,λ 2 )=q 1 + λ 1 v 1 p 2 + q 2 + λ 2 v 2 p 2. (11) 8

9 Representação de câmera Uma vez entendida a triangulação no espaço tridimensional, faz-se necessária a adequação de tal conhecimento ao sistema de coordenadas de câmera utilizado. Nesta seção serão analisados tanto o modelo de câmera quanto a representação de retas e planos no sistema de coordenadas de câmera Modelo de câmera Existem diversos modelos para representar a projeção de objetos 3D em imagens 2D, desde o modelo de câmera pinhole (projeção em perspectiva) até modelos de lentes que simulam os olhos [Forsyth and Ponce, 2002]. Para este trabalho, foi considerado o modelo de câmera pinhole sem parâmetros de distorção que corretamente aproximam uma câmera virtual em termos de geometria. Em todos os modelos de câmera, os objetos virtuais são definidos em sistema de coordenadas de mundo (W x, W y, W z ) de modo a possuir uma representação genérica, ao contrário do sistema de câmera (c x, c y, c z ). O sistema de câmera corresponde ao sistema de mundo após sofrer uma tranformação de rotação e uma de translação e, devido a isto, é necessário levar os pontos do objeto de coordenadas de mundo para coordenadas de câmera antes de projetar os pontos na imagem, conforme ilustrado na Figura 1.6. Esta transformação afim é descrita como a composição de uma matriz de rotação R 3x3 com uma matriz de translação t 3x3, resultando numa matriz [R t] 3x4, chamada de matriz de parâmetros extrínsecos. Aplicando-se a matriz de transformação composta aos pontos 3D do sistema de mundo, escritos em coordenadas homogêneas, obtem-se o ponto 3D no sistema de coordenadas de câmera. Figura 1.6. Objeto 3D, sua visualização no plano de imagem e a relação entre os sistemas de coordenadas de mundo (W x, W y, W z ) e de câmera (c x, c y, c z ). No modelo de câmera Pinhole, um ponto no plano de imagem m - [u,v,1] é obtido pela projeção do ponto 3D M =[X,Y, Z], representado em coordenadas de câmera, no plano de imagem obedecendo a propriedades de projeçao em perspectiva, conforme 9

10 ilustrado na Figura 1.7. Por semelhança de triângulos, pode-se escrever as coordenadas u e v em função do ponto 3D(X,Y,Z), da distância focal f e do centro de câmera (u 0,v 0 ) como: u = x z f + u 0,v = y z f + v 0. (12) Figura 1.7. Projeção em perspectiva levando pontos 3D para pontos de imagem. Uma vez que o plano de imagem é discretizado em regiões bem definidas chamadas de pixels, cada uma com dimensão p w e p h, respectivamente largura e altura do pixel, as dimensões de u e v não são escritas em milímetros, e sim em pixels, levando a equação 12 a ser reescrita como: u = x z f + u 0,v = y f + v 0. (13) p w z p h Voltando ao problema de projetar o ponto 3D na imagem, ainda é preciso encontrar a matriz que realize tal transformação. Esta matriz, chamada de matriz de parâmetros intrínsecos (K) é aplicada aos pontos 3D em coordenadas de câmera normalizadas pela coordenada Z através da forma: u v 1 = f p w s θ u 0 f 0 p h v X Z Y Z 1. (14) É importante notar o parâmetro s θ existente na matriz de parâmetros intrínsecos que depende diretamente do ângulo de cisalhamento θ do pixel. Os fatores u 0 e v 0 são as coordenadas do ponto de interseção entre o raio que sai do centro de câmera na direção c z e o plano de imagem, também chamado ponto principal. 10

11 Após definidas as matrizes de parâmetros intrínsecos e extrínsecos, basta compor as duas matrizes para obter a matriz de projeção do sistema P = k [R t], responsável por levar um ponto 3D em coordenadas de mundo para o plano de imagem diretamente Reta a partir de ponto na imagem A partir de um ponto amostrado na imagem, é possível gerar uma reta que vai do ponto amostrado ao centro de câmera, como obsevado na Figura 1.8. Figura 1.8. Reta Ł definida pelo centro de câmera C e ponto da imagem u. Uma vez conhecidos os parâmetros extrínsecos da câmera pode-se definir a reta paramétrica gerada. Supondo o ponto u amostrado na imagem, e o vetor p u gerador da reta procurada em coordenadas de mundo, tem-se a equação λu = Rp u +t, (15) que descreve todos os possíveis pontos da reta. Reorganizando a equação obtida em termos de p u, obtém-se p u =( R t t)+λ(r t u), (16) já que R é uma matriz de rotação (R 1 = R t ). Desta forma a equação paramétrica da reta fica definida em função do centro de câmera q =( R t t) e do vetor v =(R t u) Plano a partir de reta na imagem Dada uma reta no plano de imagem, é possível definir a equação implícita do plano gerado pela reta e o centro de câmera, conforme ilustrado na Figura 1.9. Devido à iluminação realizada pelo projetor, a aparição de tais retas se torna comum no processo de reconstrução por luzes estruturadas. Dada a equação implícita de uma reta L pertencente ao plano de imagem: 11

12 Figura 1.9. Plano π definido pelo centro de câmera C e reta da imagem L. L = p : n t p = 0, (17) pode-se notar que para o vetor n = n 1,n 2,n 3 pelo menos um dos valores de n 1 e n 2 deve ser diferente de zero pois a reta pertence ao plano de imagem. Desta forma é possível definir a equação implícita de retas verticais como: L v = p : n t p = p 1 q 1 = 0, (18) considerando p 1 a primeira coordenada do ponto p e q 1 a primeira coordenada do ponto q. A partir da equação 18 é possível determinar o vetor n =(1,0, q 1 ). Do mesmo modo, a equação: L h = p : n t p = p 2 q 2 = 0, (19) define a equação implícita de uma reta horizontal, determinando o vetor n = (0,1, q 2 ). Existe um único plano P que contém a reta L e passa pelo centro de câmera C. Dado qualquer ponto p P cujas coordenadas de mundo são p m e sua projeção na imagem é dada por u, tais informações estão relacionadas da forma λu =[R t] p m. Substituindo u na representação implícita da reta L definida pela equação 17 obtém-se: n t ([R t] p m )=n t (Rp m +t)=(r t n) t (p m C)=(R t n) t (p m ( R t t)) = 0. (20) A partir da equação 20 pode-se definir o plano P dado por n t (p q) com n m = R t n e q m = R t t, ambos n m,q m em coordenadas de mundo. 12

13 1.3. Calibração de câmera e projetor Na seção anterior foi visto que a teoria matemática para encontrar os pontos 3D é relativamente simples. Na prática, entretanto, as informações geométricas para a triangulação não podem ser conseguidas caso a câmera e o projetor não estejam corretamente calibrados. Devido a sua importância, esta etapa do processo de reconstrução a partir de luzes estruturadas será analisada mais detalhadamente. A calibração de câmera é um problema clássico de visão computacional e, por isso, é possível encontrar muitas referências na literatura, assim como implementações disponíveis gratuitamente. O objetivo desta seção não é entrar nos detalhes desses algoritmos, mas sim dar uma visão geral de como calibrar uma câmera para gerar uma reconstrução 3D satisfatória usando o padrão xadrez e o modelo de câmera descrito na seção anterior, porém estendido de modo a suportar a distorção das lentes. Ao contrário da calibração de câmera, existem poucas referências em relação à mesma tarefa para projetores. Entretanto, se estes forem encarados como uma câmera invertida, a calibração pode ser tratada de forma semelhante. Para isto, é usado um procedimento onde a câmera já calibrada analisa o padrão xadrez e o compara com um outro projetado Calibração de câmera Nesta etapa, além da câmera, é necessário uma interface de comunicação desta com o computador. Neste curso foi usado o OpenCV (Open Source Computer Vision) como esta interface [OpenCV, 2009]. Esta biblioteca, escrita em C, consiste na implementação de vários algoritmos de visão computacional otimizados e dá suporte a vários sistemas operacionais, como Windows, Mac OS e Linux. Uma outra interface também poderosa e bastante conhecida é o Image Acquisition Toolbox para o Matlab [MathWorks, 2008]. Tanto o OpenCV como toolbox do Matlab dão suporte a diversas câmeras encontradas facilmente no mercado. Para a construção do scanner proposto neste curso foi usada a Microsoft LifeCam VX-6000, uma webcam comum, com resolução de até 1280x1024 pixels (utilizou-se nos testes realizados a resolução de 640x480 pixels) e que usa a porta USB para se comunicar com o computador. Entretanto, caso se deseje desenvolver um scanner mais avançado, pode-se usar câmeras com maior resolução e que necessitem até uma conexão mais rápida com o computador, usando a porta FireWire por exemplo. Além dessas opções, as máquinas fotográficas convencionais também podem ser usadas, mas para isso é necessário que o computador controle a câmera para que ela capture as imagens em sincronia com a projeção. Desta forma, calibrar a câmera escolhida consiste em usar a interface selecionada para descobrir os parâmetros intrínsecos e extrínsecos do modelo que ela representa. No total são 11 parâmetros, seis extrínsecos, todos para rotação e translação, e cinco intrínsecos, incluindo distância focal, fator de escala e distorção da lente, que na prática não pode ser desprezada. Os detalhes matemáticos para encontrar estes parâmetros não serão 13

14 descritos neste curso, mas eles podem ser encontrados em [Hartley and Zisserman, 2004]. O processo de calibração consiste basicamente em gravar uma sequência de imagens de um objeto composto por um padrão 3D conhecido e, então, mapeá-lo com os pontos 2D obtidos nesta aquisição. Para isso, vários métodos foram propostos, mas um em particular, o de Zhang [Zhang, 2000], é bastante usado pela comunidade de visão computacional, realidade virtual e outras. Neste método, um padrão composto por quadrados brancos e pretos, semelhante a um tabuleiro de xadrez, é observado por vários ângulos e distâncias e, a partir desta sequência, os parâmetros intrínsecos são calculados. Subsequentemente, os parâmetros extrínsecos são encontrados. A seguir, o passo a passo da calibração de câmera para a reconstrução a partir de luzes estruturadas será explicada. O primeiro passo consiste em instalar a versão 1.1pre1 do OpenCV, disponível em [OpenCV, 2009]. O código de referência deste minicurso possui um documento contendo o padrão xadrez que será usado na calibração. Ele está disponível em /pattern/pattern.pdf, deverá ser impresso e fixado numa superfície mais rígida, como um pedaço de papelão. O padrão disponível possui nove quadrados na horizontal e sete na vertical. Como se considera apenas o número de cantos internos, diz-se que o padrão xadrez é de 8 x 6, como pode ser visto na Figura Além disso, cada um dos quadrados foi desenhado para ter 30 mm de lado, porém a impressora pode alterar estas dimensões na hora de imprimir o padrão. Desta forma, é necessário medir o lado de um dos quadrados para se ter o valor exato. Esses dados, assim como a resolução da câmera, deve ser preenchido no arquivo de configuração do scanner, o config.xml. Mais detalhes sobre os outros parâmetros deste arquivo serão dados em seções posteriores deste minicurso. Figura Sequência de padrões para a calibração de câmera. Note que o padrão xadrez pode estar num sentido diferente do convencional ou que nem todos os seus quadrados estejam completamente visíveis na filmagem. É necessário, entretanto, que todos os cantos internos sejam mostrados. A calibração de câmera é um processo simples e sequencial. Ao executar o software de reconstrução, o menu principal irá exibir várias opções, dentre elas a de calibrar 14

15 a câmera. Quando o botão "C" do teclado é pressionado, a tarefa é iniciada. Primeiro, deve-se passar como entrada o número de imagens que serão capturadas para a calibração de câmera, que normalmente varia entre 10 e 20. Em nossos testes foram usadas 15. Posteriormente, uma janela com a imagem capturada pela câmera em tempo real irá abrir e o padrão xadrez deverá ser movido para que este possa ser capturado a partir de vários ângulos e distâncias de câmera. É importante que toda a área do projetor esteja visível pela câmera. Quando o padrão é encontrado um conjunto de linhas coloridas é exibido na imagem sobre os cantos internos dos quadrados, como mostrado na Figura 1.11, e o quadro pode ser capturado pressionando a tecla "N". Para uma correta calibração, é necessário que o padrão não esteja se movendo no momento da captura do quadro. Caso haja dificuldade para a detecção dos cantos dos quadrados, o ganho da câmera pode ser ajustado na janela. Figura Círculos e linhas colidas exibidos sobre o padrão xadrez quando este é detectado durante a calibração da câmera. Depois que todas as imagens foram capturadas os parâmetros serão calculados, incluindo a distorção da lente, exibidos na tela e salvos no diretório /calib/cam/ Calibração de projetor Como mencionado anteriormente, o projetor pode ser visto como uma câmera invertida, onde a imagem sai de um ponto em comum, o foco, para ser exibida numa superfície. Assim, o processo de calibração se torna semelhante ao de câmera. A diferença é que, ao invés de capturar imagens de um padrão xadrez, este é projetado numa superfície rígida e difusa e sua aparência é comparada com um padrão conhecido. Para isto, a câmera já precisa estar calibrada. A principal vantagem desta abordagem é a de ser uma extensão do algoritmo do Zhang usado no passo anterior. Deste modo, boa parte do código é compartilhado nas duas etapas de calibração. 15

16 Praticamente qualquer projetor pode ser usado, já que os sistemas operacionais consideram os mesmos como um monitor extra. Entretanto, para se obter um resultado satisfatório, é necessário que ele tenha uma resolução mínima de 640x480 pixels. Neste curso foi usado o projetor Epson modelo S5 77C (na resolução de 800x600 pixels), intensidade de 2200 lumens e entrada SVGA. Mas, assim como no caso das câmeras, se a pretenção for construir um scanner mais preciso, é recomendável um projetor de resolução maior e entrada DVI ou HDMI para evitar os erros associados à conversão analógicodigital. Em relação à intensidade luminosa, qualquer projetor com mais de 2000 lumens funciona perfeitamente em locais com uma baixa iluminação ambiente. Dependendo da aplicação, caso seja desejado um scanner portátil, pode-se usar um projetor de bolso. Entretanto, vale a pena salientar que estes possuem uma luminosidade muito baixa, de no máximo 500 lumens, trabalhando bem apenas em um ambiente totalmente escuro. Graças a essa analogia de usar o projetor como uma câmera invertida, a calibração desses aparelhos consiste em descobrir os mesmos parâmetros intrínsecos e extrínsecos do modelo. Assim, o processo se dá de forma muito semelhante ao de calibração da câmera. Da mesma forma que na câmera, algumas informações sobre o projetor e o padrão xadrez que ele vai exibir devem ser preenchidas no arquivo de configuração do scanner, o config.xml, como a resolução do aparelho, o número de cantos internos de quadrados na horizontal e vertical e o tamanho dos lados dos quadrados, que neste caso será em pixels ao invés de milímetros. No menu principal do software de reconstrução a tecla "P" é quem inicia a calibração do projetor. Assim como na etapa anterior, o número de imagens que serão capturadas, também entre 10 e 20, deve ser informado. Para o projetor também foram usadas 15 imagens. A mesma janela de exibição, com a imagem capturada pela câmera em tempo real, irá abrir e o padrão xadrez usado na calibração da câmera deverá ser movido e capturado de vários ângulos e distâncias. Quando o padrão utlizado pela câmera é encontrado, o do projetor será mostrado e um conjunto de linhas coloridas será exibido na imagem sobre os cantos internos dos quadrados do padrão xadrez do projetor, como mostrado na Figura Neste momento o quadro pode ser capturado pressionando a tecla "N". Igualmente à câmera, o padrão deve permanecer parado até que o quadro seja capturado e os ganhos da câmera e do projetor podem ser ajustados na janela. Após a captura de todas as imagens, os parâmetros do projetor serão calculados, exibidos na tela e salvos no diretório /calib/proj/ Recalibração de câmera e projetor Durante o uso do scanner, após a calibração da câmera e do projetor, ambos os aparelhos podem ser movidos, acidental ou propositadamente. Neste caso, como os parâmetros intrínsecos não foram alterados, apenas os extrínsecos precisam ser recalibrados. Para isto, no menu principal do software de reconstrução, a tecla "E" deve ser pressionada. 16

17 Figura Círculos e linhas colidas exibidos sobre o padrão xadrez do projetor quando o da câmera é detectado durante a calibração do projetor. Assim, uma única imagem será capturada, seguindo os passos das seções anteriores, para que os novos parâmetros extrínsecos, tanto da câmera como do projetor, sejam calculados e atualizados nos respectivos diretórios Luzes estruturadas Esta seção descreve o processo de construção de um scanner 3D usando luzes estruturadas. Utilizando apenas um projetor e uma câmera, é possível projetar e capturar sequências de padrões de luzes estruturadas, as quais podem ser usadas para determinar as correspondências entre os pixels capturados pela câmera e aqueles projetados. A implementação que será demonstrada nessa seção realiza a reconstrução do objeto filmado através de triangulação raio-plano (detalhada anteriormente na seção de conceitos matemáticos). O ponto chave da implementação a ser apresentada está na descoberta das correspondências entre pixels através da decodificação de determinados padrões de iluminação utilizados. O software que acompanha essa seção foi desenvolvido originalmente por Lanman e Taubin [Lanman and Taubin, 2009], e consiste em um código-fonte (incluindo binários) em C++ que utiliza a biblioteca OpenCV para a manipulação e processamento das imagens adquiridas com a câmera. Caso seja necessário, o software está disponível em 17

18 Figura Aparato utilizado nos testes Captura dos dados Essa seção aborda desde a escolha do hardware utilizado na confecção do scanner 3D até a captura dos dados como fonte de processamento. São mostrados detalhes referentes à câmera e ao projetor adotados no projeto e como as imagens contendo os padrões de luzes estruturadas foram construídas e posteriormente capturadas com protótipo desenvolvido Hardware necessário Conforme mostrado na Figura 1.13, o aparato utilizado na construção do scanner 3D é composto por uma câmera digital e um projetor. A reconstrução dar-se-á através de triangulação entre câmera e projetor, por meio das interseções entre os raios luminosos na superfície do objeto. Tanto a câmera como o projetor devem estar posicionados de forma a garantir que nenhum raio da câmera intercepte algum plano do projetor em um ângulo de incidência muito pequeno. Um posicionamento em diagonal, ilustrado na Figura 1.13, assegura que ambas as linhas e colunas do projetor podem ser utilizadas para reconstrução. Conforme descrito brevemente na seção 3, existem várias opções de câmeras e projetores que podem ser utilizados na implementação deste minicurso. Apesar de webcams de baixo custo serem suficientes para o estudo de caso apresentado, o acesso à 18

19 imagem capturada original, sem pós-processamento, pode eliminar erros de decodificação originados como consequência do tipo de compressão utilizado. Deve-se selecionar uma câmera que seja suportada pelo ambiente de desenvolvimento escolhido. No caso do OpenCV, uma lista de câmeras compatíveis é apresentada no wiki relacionado online [GaryBradski, 2010]. Praticamente qualquer projetor pode ser utilizado, desde que o sistema operacional o reconheça como um simples display adicional. Caso se esteja utilizando o Matlab, por exemplo, ao se usar o Matlab Image Acquisition Toolbox [MathWorks, 2008], qualquer câmera firewire que suporte os protocolo DCAM, WDM (Windows Driver Model) ou VFW (Video for Windows) deverá funcionar sem maiores problemas. Como referência, os testes realizados com o protótipo utilizaram um projetor Epson modelo S5 77C e uma webcam Microsoft modelo VX O projetor consegue exibir imagens com resolução de até 1920x1080. Já a câmera pode capturar imagens de até 1280x1024 pixels a uma frequência máxima de 15 Hz. Caso seja necessário, modos com resoluções inferiores podem ser utilizados de forma a aumentar a frequência de operação (captura ou projeção). A fase de captura de dados foi implementada usando a biblioteca OpenCV. Tal etapa ocorre em diferentes momentos de execução da aplicação de exemplo (calibração da câmera e do projetor, aquisição das imagens com os padrões de luz projetados e aquisição da imagem para remoção do fundo) Sequência de luzes estruturadas A principal vantagem de se utilizar um projetor é a eliminação da necessidade de movimentação manual dos aparatos, a qual muitas vezes é imprecisa. Assumindo que o mesmo apresenta distorção mínima em sua lente, pode ser utilizado para projetar uma única coluna (ou linha) de pixels brancos sendo transladados sobre um fundo preto. Dessa forma, 1024 (ou 768) imagens seriam necessárias para que se pudesse calcular as correspondências entre os pixels da câmera e as colunas (ou linhas) do projetor. Após estabelecer as correspondências e calibrar o sistema, uma nuvem de pontos 3D é reconstruída usando uma simples triangulação raio-plano. Todavia, uma sequência de varredura de planos não explora toda a capacidade do projetor. Uma vez que existe a possibilidade de projetar imagens quaisquer (24 bits de cor), é de se esperar que exista uma sequência de padrões codificados, ao invés de uma simples translação de uma única linha, permitindo que as correspondências sejam resolvidas usando poucas projeções. Em geral, a identidade de cada plano pode ser codificada espacialmente (usando um único frame) ou temporalmente (usando uma sequência de frames), ou através de uma combinação dessas duas técnicas. Existem vantagens e desvantagens em cada uma delas. Por exemplo, codificações puramente espaciais permitem que se use um único padrão para reconstrução, possibilitando a captura de cenas dinâmicas. De maneira alternativa, codificações puramente temporais se beneficiam mais da redundância, reduzindo os erros 19

20 Figura Primeiros 4 frames da sequência de códigos binários (acima) e Gray (abaixo). gerados na reconstrução. Uma descrição detalhada de formas de codificação usadas em luzes estruturadas é apresentada por Salvi et al. [Salvi, 2004]. Essa seção foca exclusivamente na utilização de codificação temporal. Enquanto esse tipo de padrão não é adequado ao escaneamento de cenas dinâmicas, apresenta o benefício de fácil decodificação, além de ser robusto à variação de textura na superfície dos objetos, produzindo reconstruções precisas para objetos estáticos (assumindo que os mesmos não sejam transparentes ou apresentem outro tipo de textura mais difícil de ser capturada). Uma sequência simples de padrões de luz estruturada foi primeiramente proposta por Posdamer e Altschuler [Posdamer and Altschuler, 1982] em Conforme mostrado na Figura 1.14, a codificação binária consiste em uma sequência de imagens binárias em que cada frame representa um único bit correspondente à coluna (ou linha) do projetor. Por exemplo, a coluna 546 em nosso protótipo apresenta o código binário (ordenado do bit mais significativo para o menos significativo). De maneira análoga, a coluna 546 da sequência de luzes estruturadas representa uma sequência de bits idêntica, sendo cada bit referente a um frame projetado. Considerando a organização câmera-projetor como um sistema de comunicação, surge uma pergunta importante: qual sequência binária é a mais robusta às propriedades de ruído do canal? Basicamente, se deseja atribuir de forma precisa uma correspondência entre um pixel da câmera e uma coluna (ou linha) do projetor, de maneira que os artefatos obtidos não levem a erros significativos na reconstrução. O código de Gray foi proposto como alternativa à simples codificação binária por Inokuchi et al. [Kawasaki, 2008] em O código binário refletido foi introduzido por Frank Gray [Wikipedia, 2010] em Conforme mostrado na Figura 1.17, o código de Gray pode ser obtido através de um padrão específico de reflexão. Um pseudo-código para conversão entre código binário e código de Gray é mostrado nos algoritmos 1 e 2. Por exemplo, a coluna 546 na nossa implementação possui uma representação em código de Gray de , de acordo com a função bin2gray. O ponto chave do código de Gray é que o código referente a duas colunas vizinhas apenas difere de um bit, ou seja, colunas adjacentes possuem uma 20

21 Figura Comparação entre o código binário e o código Gray. distância de Hamming de um. Como resultado, a sequência de luzes estruturadas em código de Gray tende a ser mais robusta a erros de decodificação do que uma simples codificação binária. Algorithm 1 BIN2GRAY(B) 1: n = length[b] 2: G[1] = B[1] 3: for i = 2 to n do 4: G[i] = B[i-1] xor B[i] 5: end for 6: return G Algorithm 2 GRAY2BIN(B) 1: n = length[g] 2: B[1] = G[1] 3: for i = 2 to n do 4: B[i] = B[i - 1] xor G[i] 5: end for 6: return B Processamento das imagens Os algoritmos utilizados na decodificação das sequências de luzes estruturadas descritas anteriormente são relativamente simples. Em resumo, eles devem determinar quando um dado pixel está sendo diretamente iluminado pelo projetor em cada padrão de imagem projetado. Caso ele esteja sendo iluminado em um frame qualquer, então é atribuído 1 ao bit correspondente, e 0 em caso negativo. O índice da coluna (ou linha) pode ser recuperado através da decodificação da sequência de bits recebida para cada pixel da 21

22 Figura Decodificando sequência de luzes estruturadas. câmera. Um valor adequado de limiar deve ser selecionado pelo usuário de forma que se saiba quando um pixel está sendo iluminado. Por exemplo, [log2w] + 2 imagens poderiam ser usadas para codificar as colunas do projetor, sendo as duas imagens adicionais um frame totalmente iluminado e um frame totalmente escuro. A intensidade média dos pixels iluminados e não-iluminados pode ser utilizada para criar um limiar para cada pixel; os bits individuais da sequência projetada poderiam ser codificados através da comparação da intensidade recebida com esse limiar. Na prática, o uso de um único limiar para toda a imagem resulta em alguns artefatos indesejados. Por exemplo, alguns pontos da superfície podem ser iluminados indiretamente. Em certas ocasiões, tal iluminação indireta pode ocasionar um bit errado, no qual um ponto não-iluminado aparenta estar iluminado por causa do espalhamento da luz. Dependendo da especificidade da sequência de luzes estruturadas utilizada, tais bits errados podem produzir erros significativos na nuvem de pontos 3D reconstruída. Uma solução seria projetar cada imagem e seu inverso. Enquanto agora 2[log2w] frames são necessários para codificar as colunas do projetor, o processo de decodificação é menos sensível à iluminação indireta, uma vez que um limiar variável por pixel pode ser utilizado. Dessa forma, sabe-se quando o pixel está mais iluminado através do uso do padrão original e do invertido. Resultados típicos da decodificação são mostrados na Figura Assim como em qualquer sistema de comunicação, o desenvolvimento de sequências de luzes estruturadas deve considerar a possibilidade de erros que podem ser introduzidos pelo canal de comunicação. Em um típico sistema câmera-projetor, os artefatos decorrentes da decodificação podem surgir a partir de inúmeras fontes, como por exemplo a falta de foco na câmera ou projetor, espalhamento da luz na superfície e variação temporal da cena (variando a luminosidade da cena ou movendo o objeto). 22

23 Calibração Essa seção mostra uma breve revisão dos procedimentos básicos da calibração câmeraprojetor. O processo tem início com a impressão de um padrão de calibração em formato de tabuleiro de xadrez. Por exemplo, pode-se usar a imagem padrão que vem com o OpenCV e pode ser encontrada na pasta "pattern". Ela consiste de 9x7 quadrados, com dimensões de 30 x 30 mm cada. Na calibração do projetor, a imagem com o padrão xadrez deve ser impressa usando contraste reduzido, ou seja, os quadrados devem estar em cinza, ao invés de preto. A quantidade de constraste necessária pode variar de aplicação para aplicação. Programas de manipulação de imagem, como Photoshop, GIMP, Irfanview, podem ser utilizados para ajustar o contraste da imagem fornecida com o OpenCV. O padrão, uma vez impresso, deve ser afixado a uma superfície rígida, de forma a não comprometer a reconstrução. O arquivo "config.xml", que acompanha o protótipo usado nesse minicurso, pode ser usado para configurar várias opções relativas a reconstrução usando luzes estruturadas. Por exemplo, o primeiro item do trecho do arquivo ilustrado a seguir ("output_directory") refere-se ao diretório de saída, que irá armazenar os resultados da reconstrução realizada. O segundo item, "object_name", corresponde ao nome base da pasta onde serão inseridos os arquivos gerados. Já o terceiro item, "save_intermediate_results", habilita ou desabilita a opção de salvar os arquivos intermediários usados na reconstrução, como por exemplo, os frames de luzes estruturadas capturados no decorrer do processo. <output> <output_directory> "./output" </output_directory> <object_name> "demo" </object_name> <save_intermediate_results> 0 </save_intermediate_results> </output> As opções referentes a câmera e projetor são dadas a partir das seguintes entradas, listadas na Figura a seguir. "camera width" e "camera height" representam a resolução de captura da câmera, sua largura e altura, respectivamente. De forma análoga, "projector width" e "projector height" também se referem a largura e altura da resolução do projetor, respectivamente. É importante perceber que os valores inseridos no arquivo xml devem corresponder aos modos suportados pelos dispositivos físicos. Caso se utilize uma resolução não suportada pela câmera ou projetor, erros imprevisíveis podem ocorrer. As propriedades físicas do tabuleiro de xadrez impresso estão definidas no trecho ilustrado na Figura a seguir. A entrada "interior_horizontal_corners" representa o número de "corners" internos na horizontal do tabuleiro, assim como a entrada "interior_vertical_corners" na direção vertical. Caso se esteja utilizando o padrão que acompanha o OpenCV, com 9x7 quadrados, os valores dessas entradas deveriam ser 8 e 6, respectivamente. A quantidade de "corners" internos corresponde à quantidade de quadrados na direção menos uma unidade. As entradas "square_width_mm" e "square_height_mm" 23

24 <camera> <width> 640 </width> <height> 480 </height> </camera> <projector> <width> 1024 </width> <height> 768 </height> </projector> indicam a largura e a altura, em milímetros, dos retângulos no tabuleiro usado. No caso do padrão do OpenCV, os valores devem ser 30 mm em ambos os casos, já que o "grid" é formado por quadrados com esse valor de lado. Sempre que o padrão de imagem usado para a calibração da câmera mudar, os dados correspondentes devem ser alterados no xml. <camera_chessboard> <interior_horizontal_corners> 8 </interior_horizontal_corners> <interior_vertical_corners> 6 </interior_vertical_corners> <square_width_mm> 30. </square_width_mm> <square_height_mm> 30. </square_height_mm> </camera_chessboard> De posse do padrão impresso e dos valores já modificados no xml, dar-se-á início ao processo de calibração usando o protótipo fornecido. Após iniciar a aplicação, o usuário deve pressionar a tecla "C", conforme indicado, para executar a calibração da câmera. Deve-se fornecer à aplicação o número de imagens que serão utilizadas no processo de calibração de câmera (tipicamente entre 10 e 20). Um retorno visual será mostrado na tela, de forma que se possa posicionar corretamente os artefatos na cena. Os "corners" do tabuleiro que forem detectados na cena serão marcados com círculos vermelhos. Se todo o tabuleiro for encontrado, um conjunto de linhas coloridas será exibido. Em seguida, deve-se pressionar "N" (enquanto a janela de exibição estiver focada) para capturar um frame. O slider de ganho da câmera pode ser ajustado caso os "corners" não estejam sendo detectados. É importante desabilitar previamente qualquer opção de autoexposição, balanço de branco, foco automático ou outras opções adaptativas, de forma a não interferir na uniformidade da captura das imagens de calibração. Após coletar uma sequência de imagens de calibração, a função de calibração irá retornar os parâmetros intrínsecos encontrados, conforme mostrado a seguir. Os resultados da calibração da câmera são salvos na pasta "calib/cam", interna ao diretório de saída definido previamente pelo usuário no arquivo xml. Para realizar a calibração do projetor, deve-se modificar as entradas ilustradas na figura a seguir. Uma vez que a calibração do projetor envolve projetar um tabuleiro de xadrez de dimensões conhecidas, deve-se definir inicialmente o tamanho em pixels (en- 24

25 + Captured frame 1 of Captured frame 2 of Captured frame 3 of Captured frame 4 of Captured frame 5 of Captured frame 6 of Captured frame 7 of Captured frame 8 of Captured frame 9 of Captured frame 10 of Captured frame 11 of Captured frame 12 of Captured frame 13 of Captured frame 14 of Captured frame 15 of 15. Calibrating camera... Saving calibration images and parameters... Camera calibration was successful. Camera calibration: + Intrinsic parameters = Distortion coefficients = tradas "square_width_pixels", para a largura, e "square_height_pixels" para a altura do retângulo) e o número de retângulos em cada direção (entradas "interior_horizontal_corners" para os "corners" internos na horizontal e "interior_vertical_corners" para os "corners" na vertical). <projector_chessboard> <interior_horizontal_corners> 8 </interior_horizontal_corners> <interior_vertical_corners> 6 </interior_vertical_corners> <square_width_pixels> 75 </square_width_pixels> <square_height_pixels> 75 </square_height_pixels> </projector_chessboard> Uma vez que a configuração já foi definida no arquivo xml, deve-se iniciar a aplicação e pressionar a tecla "P" para dar início ao processo de calibração do projetor. De maneira similar à calibração da câmera, também é necessário informar o número de imagens que será utilizado na calibração (tipicamente entre 10 e 20). Deve-se posicionar o 25

26 padrão de imagem com o tabuleiro xadrez de forma que o mesmo apareça na cena. É interessante utilizar um apoio fixo para o tabuleiro, de forma que ele permaneça imóvel durante a aquisição das imagens de calibração. Quando o marcador impresso for detectado pela aplicação (usando um procedimento idêntico ao da calibração da câmera), o projetor irá exibir um tabuleiro virtual. A quantidade de brilho usada no projetor também pode ser ajustada através do slider de ganho do projetor. O valor do slider deve ser ajustado de forma a tornar visível tanto o tabuleiro real impresso como o tabuleiro virtual projetado. Quando o tabuleiro projetado é encontrado, linhas coloridas serão exibidas, de forma similar ao processo de calibração da câmera. Quando isso acontecer, pode-se pressionar a tecla "N" (quando a janela de visualização estiver em foco) para capturar um frame de calibração do projetor. O tabuleiro impresso não deve ser movimentado até que o frame tenha sido capturado por completo. Após coletar uma sequência de imagens de calibração, a função de calibração do projetor irá retornar os parâmetros intrínsecos encontrados, como mostrado a seguir. Os resultados da calibração do projetor são salvos na pasta "calib/proj", interna ao diretório de saída definido previamente pelo usuário no arquivo xml. Caso já se tenha calibrado tanto câmera como projetor, mas posição relativa entre os dois foi modificada, será necessário recalibrar os parâmetros extrínsicos. Caso isso aconteça, deve-se iniciar a aplicação e selecionar a opção de recalibração, pressionando a tecla "E", a partir do menu de opções mostrado no protótipo. Um único frame de calibração de projetor (contendo tanto o tabuleiro real como o projetado) será capturado. Depois disso, os parâmetros extrínsicos armazenados previamente na pasta "calib/proj" serão atualizados. Deve-se perceber também que é possível calibrar tanto câmera como projetor ao mesmo tempo, ao invés de separadamente. O sistema por completo pode ser calibrado através do uso de uma única sequência de imagens de calibração de projetor. Isso ocorre devido ao fato de que esse tipo de sequência de imagens possui tanto o tabuleiro impresso como o projetado, o que é suficiente para estimar os parâmetros intrínsecos e extrínsecos da câmera e do projetor. Para se ter acesso a esse modo "rápido" de calibração, é necessário pressionar a tecla "S", a partir do menu de opções mostrado no protótipo Reconstrução Essa seção mostra como proceder para realizar a reconstrução, considerando que câmera e projetor já foram devidamente calibrados. Inicialmente, deve-se modificar o arquivo "config.xml", que acompanha o protótipo utilizado neste curso. A seção do arquivo ilustrada a seguir representa os parâmetros relacionados com a captura da sequência de luzes estruturadas e da própria reconstrução. O parâmetro "mode" seleciona entre dois tipos distintos de triangulação: raioplano (1) e raio-raio (2). Para um escaneamento mais rápido, deve-se selecionar a triangulação raio-plano e apenas reconstruir as linhas ou colunas (por exemplo, para re- 26