O Projeto. O projeto consiste na utilização do dispositivo Kinect como um scanner 3D.

Transcrição

1 O Projeto O projeto consiste na utilização do dispositivo Kinect como um scanner 3D.

2 Arquitetura Visão Geral Visualização Visualização Representação Representação ee Filtragem Filtragem Módulos Aquisição Aquisição Qt S3D OpenNI Frameworks

3 Arquitetura Componentes Aquisição Representação Filtragem Nuvem Nuvem de de Pontos Pontos Média Média DepthMap Captura Captura Configuração Configuração imesh imesh Textura Entrada 3D 3D 2D 2D Visualização Gaussiana Gaussiana

4 Frameworks OpenNI

5 Frameworks Qt

6 Frameworks S3D

7 Aquisição Entrada Kinect Arquivos.ONI Configuração Captura Aquisição Captura Captura Configuração Configuração Entrada

8 Aquisição : Kinect Field of View (Horizontal, Vertical, Diagonal) : 58 H, 45 V, 70 D Depth image size VGA (640x480) Spatial x/y resolution (@ 2m distance from sensor) 3mm Depth z resolution (@ 2m distance from sensor) 1cm Maximum image throughput (frame rate): 60fps Operation range 0.8m - 3.5m Color image size UXGA (1600x1200) Audio built-in microphonestwo mics digital inputs Four inputs

9 Aquisição Arquivos.ONI Configuração OpenFileRecording(ONI_FIL E) InitFromXmlFile(XML_FILE) Captura RGB DepthMap

10 Representação Nuvem de Pontos Ferramentas Filtragem Conversão Representação Filtragem Nuvem Nuvem de de Pontos Pontos Média Média imesh imesh imesh Gaussiana Gaussiana

11 Representação Nuvem de Pontos Grid: 640x480 Zmin : 400 Zmax: 900 Calibração

12 Representação Ferramentas Filtragem Média temporal Gaussiana Raw Conversão Media 30f PointCloud to imesh PointCloud to OFF PointCloud to OBJ Gaussiana

13 Representação imesh Z0= depth[x + y*w] Z1= depth[(x + y*w)+1] Z2= depth[(x + y*w)+1+w] Z3= depth[(x + y*w)+w] Zmin < Z0 < Zmax Zmin < Z1 < Zmax Zmin < Z2 < Zmax Zmin < Z3 < Zmax z0 z1 z3 z2

14 Representação imesh for(int y=0; y < h-1; ++y) for(int x=0; x < w-1; ++x) int w = cloud->width; int h = cloud->height; unsigned int i = 1; z0 = depth[x+w*y]; bz0 = (zmin < z0 < zmax); z1 = depth[(x+w*y)+1]; bz1 = (zmin < z1 < zmax); z2 = depth[(x+w*y)+1+w]; bz2 = (zmin < z2 < zmax); z3 = depth[(x+w*y)+w]; bz3 = (zmin < z3 < zmax); if(bz0 && bz1 && bz2 && bz3) { int xi=x; int yi=y; const std::vector<float> &depth = cloud>points; if(mark[xi+w*yi] == 0) { mark[xi+w*yi] = i++; vpts.push_back(v3_make(xi, (h-yi), -z0)); unsigned int mark[w*h]; } xi=x+1; yi=y; if(mark[xi+w*yi] == 0) { std::vector<vector3> vpts; mark[xi+w*yi] = i++; vpts.push_back(v3_make(xi, (h-yi), -z1)); itri *tl = NULL; } xi=x+1; yi=y+1; if(mark[xi+w*yi] == 0) { for(int y=0; y < h; ++y) { mark[xi+w*yi] = i++; vpts.push_back(v3_make(xi, (h-yi), -z2)); for(int x=0; x < w; ++x) { } xi=x; yi=y+1; mark[x+w*y] = 0; if(mark[xi+w*yi] == 0) { mark[xi+w*yi] = i++; } } vpts.push_back(v3_make(xi, (h-yi), -z3)); } }

15 Representação imesh (v4,v2,v1) Vector3 *pts = NEWARRAY(vpts.size(), Vector3); for(unsigned int j=0; j < vpts.size(); ++j) { pts[j] = vpts[j]; } (v2, v4,v3) mesh = imesh_alloc(i-1, pts, NULL); for(int y=0; y < h-1; ++y) { for(int x=0; x < w-1; ++x) { int z0 = mark[x+w*y]; int z1 = mark[(x+w*y)+1]; int z2 = mark[(x+w*y)+1+w]; v1 v2 v4 v3 int z3 = mark[(x+w*y)+w]; if(z0 && z1 && z2 && z3) { int v1 = z0-1; int v2 = z1-1; int v3 = z2-1; int v4 = z3-1; tl = itri_insert(tl, itri_make(v4, v2, v1, mesh)); tl = itri_insert(tl, itri_make(v2, v4, v3, mesh)); } } } mesh->t = tl;

16 Representação Arquivo de projeto % Simple Scene File scene{ camera = view { from = {0, 0, -1.5}, at = {0, 0, 0}, up = {0,1,0}, fov = 45 }, light = dist_light {direction = {0, 1, 1} }, light = point_light {position = {-1, 1, 1} }, light = point_light {position = {1, 0, 1} }, object = meshobj { material = textured { ka =.42, kd = 0.5, ks = 0.94, se = 2, d_col = {1., 1., 1.}, s_col = {1,1,1}, tex_src = dummy_imagemap {}, shader = shaderprog { file = "shader" },}, shape = dummy_model {}}, object = group{ transform = affine { translation = {200, 0, 0},}, child = group { child = meshobj { material = textured { ka =.42, kd = 0.98, ks = 0.94, se = 2, d_col = {.79,.99,.91}, s_col = {1,1,0}, tex_src = imagemap { fname = "envmap126.ppm"}, shader = shaderprog { file = "envmapping" },}, shape = off_format { file = "/tmp/kinect.off"}}, }}, };

17 Visualização

18 Resultados

19 Resultados

20 Resultados

21 Resultados

22 Resultados

23 Resultados

24 Próximos passos Implementar fitting com uma malha base Implementar shader específico para pele humana. Implementar filtragem por região selecionada Adicionar novas funcionalidades na interface do visualizadores

25 Agradecimentos Leonardo Carvalho Leandro Cruz Aldo Zang Francisco Ganacim Francisco Benavides

26 Bibliografia Fundamentos da Computação Gráfica. Velho, L. Gomes, J. Sistemas Gráficos 3D. Velho, L. Gomes, J