Rastreamento. Luciano Soares.

Transcrição

1 Rastreamento Luciano Soares

2 Por que usar rastreamento? Vista superior Frustum Permite corrigir o campo de visão Vista superior Frustum

3 Tipos de Rastreamento Cabeça Apontador Rastreamento de Cabeça Head-tracking Óculos Crystal Eyes com um InterSense IS-900 para rastreamento de cabeça. Rastreando a cabeça é possível saber a posição e orientação da visão do usuário criando os pontos de vista corretos na aplicação.

4 Rastreamento de Apontador Wand-tracking Usuário com apontador virtual. Posição e Orientação Graus de Liberdade: X Y Z Yaw Pitch Roll

5 Rastreamento do HMD de Sutherland Tecnologias de rastreamento Mecânica Inercial Electromagnética Acústica Óptica

6 Mecânico Recupera posição e orientação Paradigma do braço articulado Atraso menor de 5milisegundos, 300 Hz Muito preciso Problemas: Limitado pelo tamanho dos braços Examplo: Fake Space Labs Inercial Orientação (3DOF) Usa giroscópios Rápido e preciso Problemas: Erros vão se acumulando com o tempo, alguns sistemas possuem orientação pelos polos, norte e sul. Examplo: InertiaCube pela Intersense

7 Electromagnetic Rastreia posição e orientação (6DOF) Mede o campo magnético no local (3 espiras perpendiculares) Atraso de 5milisegundos Problemas: Interferencia na presença de outros materiais que influenciam o campo magnético (objetos metalicos, materiais de esscritório, CRTs) Examplo: Fastrak por Polhemus Rastreador eletro-magnético

8 Acoustic Rastreia posição e orientação (6DOF) Mede o tempo de atraso (time-of-flight) ou a coerencias das ondas ultrasonicas Atraso de cerca de 5 milisegundos Problemas: Coerencia de fases esta sujeita a acumulação de erros; Sistemas time-of-flight sofrem de baixa taxa de atualização e oclusões Exemplo: Óptico Rastreia posição e orientação (6DOF) Outside-in (receptores fixos e emissores móveis) Inside-out (receptores móveis e emissores fixos) Atraso de milisegundos Problemas: Linha de visão, luz ambiente e problema de radiação de infra-vermelho Examplo: ARTrack pela A.R.T

9 Configuração Exemplo Hardware : 4 AVT Firewire Pike Cameras (640x480, 205 fps) 4 anéis de LED IR 1 Controle de obturador Diversos marcadores retro-reflexivos Oclusões

10 Funcionamento Funcionamento

11 Rastreamento Algoritimo de rastreamento por infra-vermelho: Algoritmo do Sistema de Rastreamento Infra-vermelho 1. Segmentação threshold

12 Algoritmo do Sistema de Rastreamento Infra-vermelho 2. Identificação Hough Transform Algoritmo do Sistema de Rastreamento Infra-vermelho 3. Corelação das múltiplas vistas via geometria epipolar A teoria de geometria epipolar descreve que um ponto no espaó 3D pode ser extraido por triangulação de projeções em dois planos diferente.

13 Algoritmo do Sistema de Rastreamento Infra-vermelho 3. Multiplas vistas correlacionadas pela geometria epipolar Algoritmo do Sistema de Rastreamento Infra-vermelho 4. 3D Metric Reconstruction via Singular Value Decomposition Triangulation (I) Using each camera s intrinsic (K) and extrinsic parameters (M), stack into matrix A the existing information for each view i (2D point location x(, y() Solve the A matrix by SVD, retaining the last row of the V matrix M ext r11 r21 = r31 0 r r r r r r t x t y t z 1 K int f x 0 = f y 0 0 c c x y P M mat = K int ext 31 x( y( 21 A = 31 x( 31 y( x( y( x( y( x( y( x( y( x( y( x( y( 14 24

14 Algoritmo do Sistema de Rastreamento Infra-vermelho 4. 3D Metric Reconstruction via Singular Value Decomposition Triangulation (II) Algoritmo do Sistema de Rastreamento Infra-vermelho 5. Candidate Evaluation (Pintaric & Kaufmann) For each artifact construct a lookup table with pairwise marker distances At each frame create an Euclidean distance matrix and a correlation score matrix Thomas Pintaric, Hannes Kaufmann, Affordable Infrared-Optical Pose-Tracking for Virtual and Augmented Reality, in Proceedings of Trends and Issues in Tracking for Virtual Environments Workshop, IEEE VR 2007, Charlotte, NC, USA, March 2007

15 Algoritmo do Sistema de Rastreamento Infra-vermelho 7. Pose Retrieval When more than 3 are reconstructed and matched use DLT (Direct Linear Transformation) algorithm When only 3 features are reconstructed and matched, use PosIT (Pose from Orthography and Scaling in Iterations) algorithm If less then 3 features are reconstructed and matched, the tracking fails! Algoritmo do Sistema de Rastreamento Infra-vermelho Synthesis Segmentation Hough Circle Transform Multiple View Correlation 3D Metric Reconstruction

16 ART Flystick2 Fingertracking Measurement Toolkit Como escolher Possui cabos? Qual é o peso? Sofre interferências? Tem problema de oclusões/sombras? Qual a região de cobertura? O sistema impõe limites de uso?

17 Vídeos: Tá dando onda e do IEEE VR 2009 Rastreamento Sem marcadores (Markless) Novas técnicas permitem o rastreamento sem nenhum marcador.

18 Eye-tracking