LOCALIZAÇÃO ESPACIAL DA MÃO DO USUÁRIO UTILIZANDO WII REMOTE. Ricardo Silva Tavares 1 ; Roberto Scalco 2

Transcrição

1 LOCALIZAÇÃO ESPACIAL DA MÃO DO USUÁRIO UTILIZANDO WII REMOTE Rcardo Slva Tavares 1 ; Roberto Scalco 1 Aluno de Incação Centífca da Escola de Engenhara Mauá (EEM/CEUN-IMT); Professor da Escola de Engenhara Mauá (EEM/CEUN-IMT). Resumo. Este trabalho apresenta uma proposta para o desenvolvmento de uma nterface entre homem e máquna que permta ao usuáro nteragr com objetos trdmensonas modelados em um ambente vrtual utlzando o W Remote (ou Wmote), controle do vdeogame Nntendo W. Com esse dspostvo é possível determnar a movmentação da mão do usuáro no espaço, ao nvés do movmento bdmensonal obtdo pelo mouse comum, uma vez que três componentes ortogonas da aceleração do movmento da mão do usuáro são transmtdas para o computador utlzando o protocolo da comuncação sem fo Bluetooth. Uma vez que as componentes da aceleração do movmento são conhecdas é possível representar um cursor 3D capaz se movmentar no espaço vrtual, de manera equvalente ao movmento da mão do usuáro. Introdução Após a revolução em relação à nteração com o usuáro que ocorreu com o lançamento do Nntendo W, dversas aplcações como controle W Remote foram propostas fazendo uso dos recursos ntegrados ao controle, como acelerômetro e câmera nfravermelha. Dentre os projetos, destaca-se o quadro branco dgtal de Lee (007), que usou a câmera nfravermelha do W Remote para captar os movmentos que o usuáro faz com um LED, que emte frequêncas compatíves às captadas pelo sensor, como se estvesse escrevendo sobre a projeção na parede. Uma coletânea dos trabalhos de Lee (008) servu como a prncpal referênca para o desenvolvmento de dversos projetos envolvendo o W Remote pela comundade acadêmca. O W Remote possu um acelerômetro com três exos e sensores óptcos que podem ser utlzados para rastrear sua posção no espaço. Isso fez com que fosse reconhecdo por mutos professores como uma poderosa ferramenta para estmular os alunos a explorarem os fenômenos relaconados à Físca, em especal a Mecânca Clássca, de forma lúdca e nteratva. Desejando-se despertar nos alunos o nteresse pelo uso do ambente de aprendzagem, Scalco e Wu (01) propuseram o uso da característca lúdca do controle do vdeogame que mutos alunos possuem em casa e os utlzam somente para o lazer. Bastando ao aluno estabelecer uma lgação entre o W Remote ao computador de uso pessoal va comuncação sem fo, Bluetooth, não é necessáro ao aluno possur o vdeogame Nntendo W, mas apenas o controle cujo preço é de aproxmadamente US$ 30,00, ele poderá realzar város expermentos em um laboratóro vrtual 3D. Este trabalho representa uma parte do projeto ctado e está relaconado ao mapeamento da posção da mão do usuáro no espaço, bem como o rastreo da movmentação que o usuáro faz com o controle. Mostra-se o uso de um cursor 3D que permta o rastreo (trackng) da posção da mão de um usuáro que segura o controle W Remote. Pretende-se que a nteração entre o usuáro e o ambente vrtual ocorra de forma natural e ntutva, uma vez que o controle W Remote pode ser utlzado para captar a movmentação da mão do usuáro com ses graus de lberdade, relaconados ao deslocamento em três dreções, bem como as rotações que ocorrem em cada um desses exos.

2 Além da determnação da posção da mão do usuáro é necessáro apresentar o feedback vsual com os elementos gráfcos trdmensonas, movmentando o cursor pelo espaço vrtual. Materas e Métodos Característcas técncas do W Remote O W Remote fo escolhdo por possur um acelerômetro e uma câmera que são utlzados para obter a posção do cursor em relação a um sstema de coordenadas 3D. Além dsso, possu uma nterface háptca que pode dar ao usuáro a sensação de que o cursor tocou algum objeto. Embora essas abordagens vsam manpular um cursor no espaço, utlzam dspostvos apoados em uma mesa, o que não acontece com o W Remote. A comundade WIIBREW (007) consste em um grupo de desenvolvedores colaboratvos que documentaram as prncpas característcas técncas presentes no hardware do W Remote, descrtas a segur: a) acelerômetro: possu um acelerômetro ADXL330 que permte medr acelerações entre -3g e +3g (sendo g o valor da aceleração da gravdade), em três dreções ortogonas (ANALOG DEVICES, 007); b) câmera nfravermelha: possu uma câmera monocromátca com resolução de 18x96 pxels cujo processamento nterno permte analsar um conjunto de oto subpxels, resultando uma magem de 104x768 pontos. O campo de vsão é de 41 na horzontal e 31 na vertcal. Há um fltro que permte que apenas a luz nfravermelha emtda pelos LEDs nfravermelhos da W Bar seja captada pela câmera. A W Bar é, normalmente, dsposta sobre a televsão e possu dos grupos com cnco LEDs nfravermelhos; c) vbração: o W Remote possu um pequeno motor com uma massa que gra fora do seu exo de rotação. Isso gera uma pequena vbração no controle que dá a mpressão ao usuáro que houve colsão entre o cursor e algum objeto da cena; d) áudo: o controle possu um speaker pezoelétrco de 1 mm utlzado para emtr sons por curtos períodos. Além dsso, possu um modulador Adaptve Dfferental Pulse-Code Modulaton (ADPCM) de 4 bts da Yamaha que também opera como um PCM de 8 bts, mas com uma qualdade de som muto baxa; e) transmssão de dados: a comuncação com um host utlza o protocolo Bluetooth. O W Remote possu o crcuto ntegrado BCM04, da Broadcom, utlzado em dversos dspostvos de nterface homem-máquna (HID). Ambente de desenvolvmento O aplcatvo está sendo codfcado no ambente de desenvolvmento Embacadero Delph, em lnguagem Object Pascal. Para a comuncação entre o computador e o controle W Remote, a bbloteca aberta desenvolvda por Marquardt (004) realza a captura das nformações recebdas pela transmssão Bluetooth, como as componentes da aceleração do movmento do controle e as coordenadas dos LEDs da W Bar. Além dsso, bbloteca gráfca OpenGL é utlzada para crar o ambente trdmensonal, uma vez que permte representar elementos prmtvos em um espaço 3D. Informações transmtdas Quando o usuáro movmenta sua mão, que está segurando o W Remote, o controle enva para o computador três valores nteros de 8 bts, entre 0 e 55, que representam as componentes da aceleração do movmento realzado. Sabe-se que o valor 17 representa que não é aplcada nenhuma aceleração no controle (o que não sgnfca que esteja em repouso). Valores maores que 17 consderam uma aceleração postva, enquanto que valores menores que 17 ndcam que a aceleração ocorreu na dreção oposta à da referênca do acelerômetro

3 ntegrado ao controle. Esse valor ntero transmtdo não representa a aceleração em m s -, mas sabe-se que cada 5 undades equvalem à aceleração de 1 g (uma vez a aceleração da gravdade). A partr desses valores, é possível aplcar técncas de ntegração numérca para que possam ser obtdas as componentes da velocdade e, por fm, da posção da mão do usuáro no espaço. Como exstem erros numércos ntrínsecos ao processamento numérco, a posção do cursor somente será alterada enquanto o usuáro estver pressonando o botão A do W Remote, elmnando os erros exstentes das terações anterores. Além dsso, a câmera capta a posção dos LEDs exstentes na W Bar (dsposta na horzontal acma ou abaxo do montor ou TV) e o W Remote transmte os valores, em pxels das suas coordenadas, dentro de uma resolução de 104 pontos na horzontal e 768 na vertcal. A partr da confguração do sstema, sabe-se que as coordenadas ( x L, y L ) e ( x R, y R ) transmtdas são a projeção dos LEDs da W Bar, que dstam 0,0 m entre seus centros. Além dsso, sabe-se que esses LEDs encontram-se na horzontal, permtdo calcular o ângulo de rotação em relação ao exo da profunddade da câmera, bem como estmar a dstânca entre a mão do usuáro e a tela do montor ou TV. Desenvolvmento Com a câmera do W Remote é possível estmar a dstânca d cam até a W Bar utlzando a dstânca a partr das coordenadas ( x L, y L ) e ( x R, y R ) dos pontos dos LEDs (Wmote Physcs, 010). Fgura 1 W Remote e W Bar. A equação (1) mostra como a dstânca d cam pode ser calculada: d cam = 0,1 HFOV VFOV tan 4 ( x - x ) + ( y - y ) 1 1 (1) Os ângulos de rotação α, β e γ (respectvamente, em torno dos exos z, x e y) podem ser obtdos a partr das nformações da câmera e do acelerômetro transmtdas pelo w = max mn max mn como a dferença entre as coordenadas, em pxels, dos pontos captados pela câmera do W Remote, pode-se calcular o versor pˆ w = â Lˆ w, a partr dos versores â e Lˆ w, para compor uma base ortogonal controle. Consderando o vetor L ( x x, 0, y y ) { Lˆ, pˆ, â} B =. w w

4 A base B é utlzada para multplcar o versor ĝ w obtdo pela medção da aceleração da gravdade, descrta em função da base ortonormal do acelerômetro do W Remote, quando o usuáro ncou o movmento da mão ao pressonar o botão A do controle. Desta manera, podem ser obtdos os seguntes ângulos, descrtos pela equação (): α Lˆ β = Lˆ γ Lˆ w x w y w z pˆ pˆ pˆ x y z â â â x y z ĝ ĝ ĝ w x w y w z () Com relação à aceleração recebda pelo computador, é possível determnar a velocdade v, descrta pela equação (3), e posção P, representada pela equação (4), do cursor podem ser obtdas por meo de processos de ntegração numérca, consderando as componentes (, a, a ) t ). 1 a x y z das acelerações a no nstante t analsado e do anteror ( a 1 em v 1 ( a a ) ( t t ) = v + fator (3) 1 1 P ( ) ( ) ( t t t t fator a a ) + 1 = P 1 + v (4) 1 1 É aplcado um fator que multplca a dferença entre as acelerações para permtr ao usuáro calbrar como deseja que o cursor se comporte no ambente vrtual, fazendo com que um grande deslocamento do controle possa acarretar em um grande ou pequeno deslocamento do cursor, em função da escala e zoom utlzados na representação trdmensonal. Resultado e Dscussão Para a estmatva da profunddade foram realzadas medções com o controle e comparadas com o valor meddo por uma trena. A Tabela 1 apresenta os resultados cujo coefcente de determnação obtdo pelo ajuste lnear fo de R = 0, Tabela 1 Meddas de profunddade. Medda real (m) Calculado (m) 0,30 0,35 0,60 0,659 0,90 0,981 1,0 1,67 Os valores da rotação em relação ao exo x (β), também estão próxmos aos valores reas. Os dados apresentados na Tabela apresentam um coefcente de determnação R = 0,9953 para um ajuste lnear dos dados obtdos. Quanto à rotação em relação ao exo da profunddade da câmera (γ), os ângulos múltplos de 90 mostram grande fdeldade dos valores calculados, como apresentado na Tabela 3. O ajuste lnear apresentou um coefcente de determnação R = 0, 9998.

5 Tabela Meddas da rotação em torno do exo x (β). Medda real ( ) Calculado ( ) 60 60, , , , , , ,9 Tabela 3 Meddas da rotação em torno do exo y (θ). Medda real ( ) Calculado ( ) 0, , , ,76 Consderando as característcas ergonômcas do movmento que o usuáro fará no ambente de ensno de Físca, consderou-se que o ângulo de rotação em relação ao exo z (α) será consderado constante e nulo. Conclusões As técncas aplcadas até o momento permtram que o cursor 3D realzasse movmento semelhante ao da mão do usuáro, tanto em relação ao deslocamento, quanto a rotação. Isso mostra que o W Remote pode ser utlzado como uma solução vável, acessível e de baxo custo para a nteração em aplcatvos 3D que podem ser utlzados nas casas dos alunos. Como trabalhos futuros, o cursor será ntegrado em um ambente com dversos elementos na tela que possam ser movdos pelo cursor. Depos dsso, planeja-se estender as funconaldades do aplcatvo para que possa ser utlzado por um professor de Físca durante a aula, bem como pelos alunos que possuam o vdeogame Nntendo W ou somente o controle W Remote em suas resdêncas para a realzação de expermentos no ambente vrtual de forma a auxlar na fundação dos concetos de físca, em especal os relaconados ao tema da mecânca clássca. Referêncas Bblográfcas Analog Devces, ADXL330, Norwood, 007. Dsponível em: < Acesso em: 15 mao 01. Lee, J.C. Hackng the nntendo w remote, IEEE Pervasve Computng, vol. 7, no. 3, pp , jul. 008., Low-cost mult-pont nteractve whteboards usng the W Remote, 007. Dsponível em: < Acesso em: 11 mao 01. Marquardt, R. Hd controller, fev Dsponível em: < Acesso em: 8 ago. 01. Scalco, R., Wu, S.-T. Elementos de um laboratóro vrtual de Físca controlados por Wmote. In: Workshops of SIBGRAPI, 01, Ouro Preto. Anas eletrôncos... Ouro Preto: UFOP, 01. Dsponível em: < Acesso em: 7 ago. 01.

6 Wmote. In: WIIBREW, 007. Dsponível em: < Acesso em: 08 ago. 01. Wmote Physcs, Dstance measurements wth the wmote, 010. Dsponível em: < Acesso em: 14 jun. 01.