Teresa C. S. Azevedo

Transcrição

1 Teresa C. S. Azevedo Orientador: Prof. João Manuel R. S. Tavares Co-orientador: Prof. Mário A. P. Vaz

2 Sumário: I. Reconstrução 3D do corpo humano: i. Aplicações; ii. Técnicas; iii. Objectivos; II. utilizadas i. Plataformas computacionais desenvolvidas; III. experimentais obtidos; IV. ; V.. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 2

3 Reconstrução 3D do corpo humano: A reconstrução 3D de objectos ou cenas a partir de imagens tem sido um dos tópicos de maior interesse na área da Visão Computacional; A modelação do corpo humano foi inicialmente desenvolvida para testes de ergonomia na indústria automóvel e aeronáutica: os primeiros modelos utilizados consistiam num simples esqueleto articulado; posteriormente, o corpo humano começou a ser representado por simples primitivas geométricas (cilindros ou paralelepípedos); Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 3

4 RECONSTRUÇÃO E CARACTERIZAÇÃO Reconstrução 3D do corpo humano: Actualmente, os modelos 3D do corpo humano são muito mais realistas e são de grande interesse nas mais variadas áreas: realidade virtual; indústria de vestuário; aplicações biomédicas; indústria automóvel; simulações militares; Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 4

5 Reconstrução 3D do corpo humano: As técnicas mais usuais são: scanners 3D: luz estruturada feixe laser Luz estruturada Feixe laser Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 5

6 Reconstrução 3D do corpo humano: As técnicas mais usuais são: scanners 3D; reconstrução baseada em silhuetas: baseia-se no conceito de visual hull Conceito de visual hull Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 6

7 Reconstrução 3D do corpo humano: As técnicas mais usuais são: scanners 3D; m n C n reconstrução baseada em silhuetas; M reconstrução baseada na geometria de múltiplas vistas: m 1 m 2 correspondência de pontos entre imagens (matching) triangulação C 1 C 2 Estéreo-fotogrametria: técnica que permite contornar o problema de matching em objectos com superfícies suaves Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 7

8 consideradas: Estrutura a partir do movimento: partindo de uma sequência de imagens não calibradas, pretende-se extrair e emparelhar pontos característicos entre elas, determinando-se o movimento relativo entre elas e assim obter um emparelhamento denso (reconstrução 2.5D); Sequência de imagens Reconstrução 3D pretende-se não impor qualquer tipo de restrição ao movimento relativo envolvido. Extracção de pontos fortes Emparelhamento denso Emparelhamento de pontos fortes Auto-calibração / Estimativa da Pose Extracção da geometria epipolar Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 8

9 consideradas: Estrutura a partir do movimento plataforma computacional: extracção de pontos fortes (pontos característicos) emparelhamento de pontos fortes entre imagens determinação da geometria epipolar rectificação emparelhamento denso Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 9

10 consideradas: Estrutura a partir do movimento plataforma computacional: coordenadas dos pontos fortes da primeira imagem coordenadas dos pontos emparelhados da segunda imagem matriz fundamental Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 10

11 consideradas: Reconstrução volumétrica: aquisição de duas sequências de imagens distintas e sua calibração pelo método de Zhang; segmentação das imagens a utilizar na reconstrução, para obter as silhuetas do objecto; reconstrução pelo método Generalized Voxel Coloring e poligonização (suavização) do modelo obtido pelo método Marching Cubes. Sequência de imagens (padrão) Calibração da câmara Reconstrução 3D Suavização do modelo obtido Sequência de imagens (padrão+objecto) Segmentação fundo/objecto Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 11

12 consideradas: Reconstrução volumétrica plataforma computacional: calibração reconstrução 3D e suavização do modelo obtido parâmetros intrínsecos da calibração parâmetros extrínsecos para a imagem seleccionada Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 12

13 - Estrutura a partir do movimento Extracção e emparelhamento de pontos fortes: extracção de pontos fortes pelo método de Harris; emparelhamento dos mesmos entre as duas imagens pelo algoritmo de RANSAC; RANSAC permite igualmente determinar a geometria epipolar, obtendo-se informação sobre a pose relativa entre as duas vistas do mesmo objecto. Imagens originais Emparelhamento dos pontos fortes detectados Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 13

14 - Estrutura a partir do movimento Extracção e emparelhamento de pontos fortes: extracção de pontos fortes pelo método de Harris; emparelhamento dos mesmos entre as duas imagens pelo algoritmo de RANSAC; RANSAC permite igualmente determinar a geometria epipolar, obtendo-se informação sobre a pose relativa entre as duas vistas do mesmo objecto. Emparelhamento dos pontos fortes detectados Imagens originais Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 14

15 - Estrutura a partir do movimento Rectificação: traduz-se em alterar as imagens de forma a colocar as linhas epipolares, obtidas pela geometria epipolar, paralelas ao eixo horizontal da imagem; facilita o problema do emparelhamento denso de pontos entre as imagens. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 15

16 - Estrutura a partir do movimento Emparelhamento denso: retorna um mapa de disparidade: codifica a distância (relativa) dos objectos em relação à(s) câmara(s) - pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos terão a máxima disparidade (branco); dá a percepção das descontinuidades em termos de profundidade de uma cena. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 16

17 - Reconstrução volumétrica Aquisição de duas sequências de imagens: a primeira consiste em mover um padrão de calibração planar em frente à câmara; para a segunda, o objecto a reconstruir e o padrão são colocados sobre uma plataforma rotativa. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 17

18 - Reconstrução volumétrica Calibração da câmara: determinação dos parâmetros intrínsecos e extrínsecos (pose) da câmara. Representação gráfica dos parâmetros extrínsecos Erro de reprojecção dos pontos 3D do padrão de calibração nas imagens da primeira sequência Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 18

19 - Reconstrução volumétrica Segmentação fundo/objecto: para obtenção de informação sobre as silhuetas do objecto a reconstruir. remoção dos canais R e G binarização por threshold Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 19

20 - Reconstrução volumétrica Reconstrução 3D e suavização do modelo obtido: imagem original modelo 3D (voxelizado) modelo 3D (poligonizado) Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 20

21 - Reconstrução volumétrica Outras reconstruções: imagem original modelo 3D (voxelizado) modelo 3D (poligonizado) Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 21

22 - Reconstrução volumétrica Outras reconstruções: imagem original modelo 3D (voxelizado) modelo 3D (poligonizado) Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 22

23 - Reconstrução volumétrica Outras reconstruções: imagem original modelo 3D (voxelizado) modelo 3D (poligonizado) Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 23

24 Medidas características dos modelos construídos: Altura (cm) Comprimento (cm) mão Largura (cm) x y Centróide (cm) z Volume (cm 3 ) Altura(cm) Comprimento(cm) torso Largura(cm) x y z Centróide(cm) Volume (cm 3 ) Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 24

25 Estrutura a partir do movimento: as funções analisadas obtêm bons resultados experimentais quando aplicadas em objectos que apresentam características fortes (por exemplo, vértices); os resultados experimentais obtidos com menor qualidade, geralmente estão relacionados com a determinação dos pontos característicos e com o emparelhamento destes; esta debilidade, das técnicas analisadas, é tanto maior, quanto maior a suavidade da superfície dos objectos em causa; este método torna-se, assim, pouco adequado para a reconstrução do corpo humano. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 25

26 Reconstrução volumétrica: a reconstrução de um modelo 3D do corpo humano de elevada precisão, a partir de imagens, é uma tarefa difícil e complexa; a qualidade dos resultados obtidos é bastante dependente de factores como: a precisão dos resultados da calibração da câmara usada; a segmentação do objecto nas imagens a utilizar na reconstrução 3D; a complexidade da forma do objecto a reconstruir; a reflectância da superfície do objecto a reconstruir. esta metodologia permite obter reconstruções razoáveis de objectos estáticos e em ambientes controlados; o método volumétrico GVC apresenta um custo computacional muito elevado e é, consequentemente, bastante lento; torna-se assim inadequado para aplicações interactivas ou em tempo-real. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 26

27 melhoria do processo de calibração da câmara usada e introdução de processos de auto-calibração; desenvolvimento de um critério de foto-consistência adequado para objectos com superfícies de cor quase uniforme, tal como acontece no corpo humano; implementação de um método de reconstrução 3D para objectos não rígidos com ajuste dos modelos reconstruídos às novas formas dos mesmos; desenvolvimento de um processo de reconstrução do tipo coarse-to-fine (por ex. usando octrees), ou realizar implementações paralelas, de forma a diminuir o tempo do processo de reconstrução 3D. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 27

28 Teresa C. S. Azevedo Orientador: Prof. João Manuel R. S. Tavares Co-orientador: Prof. Mário A. P. Vaz