Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual

Transcrição

1 Impementação de um Dispositivo de Rasteamento Óptico com 6 Gaus de Libedade paa Inteação com Apicações de Reaidade Vitua Dissetação de Mestado Manue Eduado Loaiza Fenández Oientado: Pof. Maceo Gattass Co - Oientado: Pof. Abeto Babosa Raposo

2 Motivação Tem se dispositivos de entada usados paa pemiti ao usuáio uma inteação com um cenáio vitua. Os dispositivos estão baseados em difeentes tecnoogias: sonoas, magnéticas, mecânicas, ópticas, ineciais e híbidas.

3 Motivação Pocua se um dispositivo que pemita mehoa a fexibiidade em efeência aos movimentos natuais que o usuáio quisea faze. Popõe se váios dispositivos de inteação que peo ato custo foam confinados a aboatóios de pesquisa especiaizada com ato níve de investimento.

4 Objetivo Constução e impementação de um dispositivo expeimenta de asteamento óptico oientado a extai os seis gaus de ibedade da movimentação feita po um conjunto de macadoes esféicos. A pati da extação dos seis gaus de ibedade, adapta o dispositivo expeimenta paa emiti eventos que são intepetados peo sistema como sinais paa contoa objetos ou navega dento de apicações desktop 3D de eaidade vitua. O dispositivo poposto suja como uma nova opção de dispositivo de inteação que é fáci de monta e tem um baixo custo de constução.

5 Dispositivos de Rasteamento Dispositivos de asteamento baseados em difeentes tecnoogias como: Magnéticos. Mecânicos. Sonoos. Ineciais. Ópticos. Híbidos.

6 Rasteamento Óptico O funcionamento se baseia na captua peas câmeas dos emissoes de uz ou objetos evestidos de mateia etoefexivo ou padões panaes pe-definidos que, após a apicação de técnicas de visão computaciona sobe as imagens captuadas, dão como esutado a posição e oientação dos objetos asteados no espaço 3D.

7 Rasteamento Óptico Tem se duas configuações: 1. A fonte de uz, ou os macadoes etoefexivos, estão ocaizados no objeto asteado e as câmeas estão posicionadas no espaço de asteamento (Outside-in). 2. Os macadoes estão dispesas no espaço de asteamento definindo eixos 2D, no teto ou nas paedes, e as câmeas ficam no objeto asteado (Inside-out).

8 O Dispositivo de Rasteamento Óptico Poposto Descição dos componentes e caacteísticas físicas do dispositivo. Descição da impementação do pocesso de asteamento óptico. Extação dos 6 gaus de ibedade do asteamento dos macadoes.

9 Equipamento Utiizado Os componentes são: 3 câmeas web. Uma caixa de madeia, pintada de co peta, com dimensões de m. Um supote móve de aumínio, que seve de base paa as câmeas web. Duas âmpadas, coocadas nos extemos ateais da caixa de madeia. Boas de isopo banco utiizadas como macadoes.

10 Caacteísticas Físicas em Comum Uma áea física bem definida, onde fica concentado o campo de visão das câmeas e onde se faz o asteamento dos macadoes definidos. Um conjunto de câmeas, que são coocadas a uma atua modeada da áea de asteamento paa não atapaha a movimentação que o usuáio possa faze dento desse espaço. Um conjunto de macadoes, que na maioia das vezes são esféicos, e que seão os avos no pocesso de asteamento.

11 Pocesso de Rasteamento O pocesso de asteamento óptico é composto po váios subpocessos, cujos tópicos chave são: Captua e pocessamento da imagem de vídeo. Extação de macadoes. Caibação das câmeas web. Coeação de macadoes. Reconstução 3D dos macadoes.

12 Captua das Imagens O pimeio passo é a captua das imagens de vídeo dos dispositivos

13 Pocessamento das Imagens Apicação de fitos sobe as imagens com a finaidade de deixa só a infomação eevante paa nossa impementação. Gay Scae e Gaussiano Theshod

14 Reconhecimento de Áeas de Inteesse A pati das coodenadas dos pixes que fomam o contono das áeas cicuaes, se cacua a media aitmética como sendo o cento deas. Este seá o ponto de efeência utiizado.

15 Caibação das Câmeas O objetivo é enconta uma medida de eacionamento ente o mundo 3D, ou seja, o espaço físico que é visto pea câmea, e o pano da imagem 2D que nós vemos na tea do computado visuaizando o espaço físico captuado.

16 Padão paa Caibação Se caibaa as câmeas a pati dos pontos de efeência. Usando o econhecimento das áeas de inteesse popomos nosso padão de caibação.

17 Método de Caibação Após a captua dos pontos do nosso padão, cada câmea seá caibada utiizando este mesmo conjunto de pontos de efeência. Se utiizou o método TSAI não copana.

18 Matiz Paâmetos Extínsecos Como esutado da caibação conseguimos cacua a matiz de otação R e o veto de tansação T que nos pemitem eva coodenadas do mundo a coodenadas do espaço da câmea (Paâmetos extínsecos). Dissetação de Mestado w w w w z y x c c c c z y x P t t t Z Y X P

19 Matiz Paâmetos Intínsecos Esta matiz pemite eva pontos do espaço da câmea a coodenadas na imagem. Os paâmetos intínsecos são : distancia foca f, Cento da imagem em pixes O x e O y,tamanho efetivo em mm. do pixe d x e d y. Dissetação de Mestado c c c c y y x x Z Y X P O f O f w v u p

20 Resutado da Caibação O esutado foi testado pojetando os eixos otogonais do mundo sobe na mesmas imagens de vídeo captuadas.

21 Detecção de Macadoes Aqui apicaemos os fitos sobe as imagens paa extai a infomação que pecisamos sobe os macadoes. Se utiizou a extação de contonos paa a detecção dos macadoes.

22 Coeação dos Macadoes Uma vez detectados os macadoes, se faá a coeação dos mesmos ente as 3 imagens captuadas. Se utiizaa a geometia epipoa paa impementação desta etapa. Caso Intuitivo

23 Mútipa Coeação Um caso mais compexo é quando temos mais de um macado nas imagens das câmeas web, e com isto temos que faze uma coeação ente os n macadoes detectados nas câmeas. Pecisa te uma feamenta de coeação : Uso da Geometia Epipoa, uso das matizes fundamentais.

24 Objetivo de uso da Geometia Epipoa A geometia epipoa nos pemite te uma feamenta com as seguintes vantagens: Individuaiza a coespondência ente os macadoes que apaecem nas 3 imagens de vídeo. Reduzi o campo de busca dos macadoes dento da imagem em cada câmea.

25 Amosta paa Cacua a Matiz Fundamenta Se pecisou captua uma amosta de pontos. Esta amosta foi testada ente 3000 a Pivô O método utiizado paa o cacuo foi o Agoitmo de RANSAC.

26 A Matiz Fundamenta O cacuo da matiz fundamenta duas a duas câmeas. Ea pemitia eaciona a geometia pojetiva intínseca de duas vistas captuadas desde difeentes câmeas. p T F p 0 Esq 2 Pivo ˆ p T F p 0 Di 1 Pivo ˆ

27 Estatégia de Coeação A estatégia se baseia em eege uma das 3 câmeas como sendo a câmea pivô. A pati da câmea de pivô se identificaá os macadoes que seão a base da coeação com as outas imagens de vídeo.

28 Estatégia de Coeação Usando as matizes fundamentais achadas ente a câmea pivô e as outas câmeas, se pojeta o ponto de efeência, achado paa cada macado da câmea pivô, sobe a imagem das câmeas subodinadas a câmea pivô, esta pojeção se visuaiza como uma inha sobeposta na imagem das câmeas subodinadas.

29 Resutado da Estatégia de Coeação Este esutado é o caso idea, mas temos casos especiais onde a coeação não é tão notóia.

30 Casos Especiais de Coeação Caso onde dois macadoes caem sobe uma mesma inha.

31 Casos Especiais de Coeação Caso onde tem ocusão e dois macadoes se visuaizam como um único macado.

32 Possíveis Souções: Casos Especiais Paa o pimeio caso, a soução é considea todos os macadoes que caem numa mesma inha epipoa como candidatos momentâneos e na etapa de econstução 3D faze o descate dos que estejam eados. Paa a segundo caso, uma opção foi descata a infomação da câmea que apesenta o caso de ocusão, e só tabaha com a infomação das câmeas estantes. Em caso a câmea pivô seja a que apesenta o caso de ocusão, se escohe outa câmea onde se tenham identificado o númeo de macadoes asteados e se considea ea como pivô.

33 Reconstução 3D dos Macadoes A pati da coeação dos macadoes, se utiizaá esta infomação paa obte a posição 3D de cada macado.

34 Reconstução A econstução seá feita em eação as coodenadas de câmea da Câmea Pivô. P P pivˆ o y c p y c z c O x c R 1 T 1 P R1( P T pivo ˆ 1 ) y pivô P pivô O pivô z pivô x pivô P p R2( P T pivo ˆ 2 x c O z c T 2 R 2 )

35 O Método de Reconstução O método de econstução se baseia em cia um sistema de equações, duas a duas câmeas, com a seguinte infomação: p w [ R T ] p c [ RT] p c Xc Yc Zc 1 T

36 O Método de Reconstução Então temos duas equações que epesentam o mesmo ponto 3D em coodenadas da câmea da esqueda expessado da seguinte foma: T T 1 T T w u w v w P Xc Yc Zc w v w P Xc Yc Zc 1 Onde P é a matiz que eva um ponto em coodenadas da câmea da esqueda paa coodenadas do pano da imagem da esqueda (Matiz de paâmetos extínsecos). E P é a matiz que evaia pimeio um ponto em coodenadas da câmea da esqueda e ogo eva este ponto paa coodenadas na imagem de dieita. w u

37 O Método de Reconstução Com este atifício podemos acha a coodenada do ponto 3D da câmea esqueda que é o dado comum e desconhecido nestas duas equações, assim podemos chega a: Dissetação de Mestado x x Zc Yc Xc P P P w v w u w x x Zc Yc Xc P P P w v w u w Onde esovendo paa cada fia podemos cia a seguinte sistema equações expesso como um sistema Ax = 0 : x x p v p p u p p v p p u p B 0 1 Zc Yc Xc B 1 4x T 4x4

38 Resutado da Reconstução O esutado da econstução seá o vao da coodenada 3D de cada macado expesso no sistema de coodenadas da câmea Pivô, a qua pode se tansfomada em coodenadas 3D do mundo em miímetos.

39 Caacteísticas do gupo de macadoes Após a econstução é impotante defini as caacteísticas físicas que definam o gupo de macadoes como um objeto só, isto nos pemitia depois pocua esta foma ente as possíveis econstução em casos especiais. Uma caacteística usada é conhece a distancia ente os macadoes em miímetos.

40 Casos Especiais Como se definiu na etapa de coeação, no caso onde se tem macadoes que caem sobe uma mesma inha epipoa taz como conseqüência a econstução de macadoes eados.

41 Casos Especiais É assim que se utiizaá as caacteísticas do gupos de macadoes paa descata os macadoes eados.

42 Casos Especiais Como esutado teemos só um conjunto de macadoes com as posições 3D coetas e que cumpe com as caacteísticas físicas definidas paa o gupo de macadoes.

43 Extação dos 6 Gaus de Libedade Com a identificação e econstução do gupo de macadoes como um objeto único, podemos começa o pocesso de extação dos 6 gaus de ibedade. 3 Gaus de ibedade, da intepetação de movimentos de tansação dento do voume da caixa. 3 Gaus de ibedade, da intepetação de movimentos de otação como gios que faz o pano tiangua definido peos macadoes.

44 Anaogia com um dispositivo conhecido Um dispositivo que também utiiza a extação dos 6 gaus de ibedade paa emiti eventos é o Spaceba.

45 Anaogia com um dispositivo conhecido Dissetação de Mestado As tansações e otações se captuam a pati da movimentação de um eemento base desde uma posição inicia pe-definida.

46 Extação das Tansações Paa intepeta as sinais de tansação se definiu a uma posição inicia dento da espaço de asteamento do mundo e dependendo da tansação se emitem detas de tansação no eixo coespondente: ( δx agua, δy atua, δz pofundidade)

47 Extação das Rotações Paa intepeta as sinais de otação se definiu também uma posição inicia paa a qua se define um quatenio inicia. Em cada instante se cacua o quatenio que epesenta a posição atua dos macadoes. A difeença ente estes quatenios seá utiizada como nosso detas de otação. Quatenio Inicia Quatenio Atua

48 Resutado da Extação das Rotações Paa testa a coeta identificação dos quatenios que eapesentam a otação do conjunto de macadoes, iniciamente se inseiu nas imagens de vídeo um objeto vitua que acompanha os movimentos de nosso macadoes.

49 Apicações de Teste PINTOR 3D BRAÇO ROBÔ VIRTUAL

50 Apicações de Teste NAVEGAÇÃO COM UM ROBÔ SUBMARINO

51 Concusões Mosta que é possíve constui um dispositivo de asteamento óptico baato e composto de hadwae comum, como são as câmeas web. Mosta a adaptabiidade que o dispositivo pode te paa compota-se como um dispositivo de entada, ao qua é possíve adiciona e eaciona difeentes tipos de eventos. O funcionamento do dispositivo foi oientado mais a um contexto quaitativo e de vaoização da adaptação do usuáio às novas caacteísticas de inteação que o dispositivo he ofeece.

52 Tabahos Futuos Mehoa o hadwae como usa câmeas de maio esoução e campo de visão. Incementa o númeo de padões definidos peos macadoes a seem asteados dento de um mesmo espaço de asteamento e tavez utiiza as duas mãos do usuáio paa a inteação. Testa novos agoitmos paa cada etapa do pocesso de asteamento. Estuda e anaisa que tipo de técnicas de inteação 3D podem se utiiza com nosso dispositivo.

53 Peguntas? Dissetação de Mestado

54 Fim Thanks god.