EXPERIMENTO DE FUSÃO DE DADOS EM REALIDADE AUMENTADA DATA FUSION IN AUGMENTE REALITY

Transcrição

1 EXPERIMENTO DE FUSÃO DE DADOS EM REALIDADE AUMENTADA Prof. Dr. Jorge enteno 1 Prof. Msc. Glauber Acunha Gonçalves 2 Eng. Agri. Fernando ésar Silveira Abreu 3 Eng. art. Patrícia de astro Pedro 4 1 UFPR - Departaento de Geoática, centeno@ ufpr.br 2 UFPR - Departaento de Geoática/ UFRG glauberac@ ufpr.br 3 UFPR - urso de Pós-Graduação e iências Geodésica, {abreu} {present_cp}@ ufpr.br RESUMO A Realidade Auentada é ua área de pesquisa, dentro das técnicas da realidade virtual, que ve despertando crescente interesse devido a seu grande potencial de aplicação na solução de probleas que deanda a visualização de inforações espaciais. Seu potencial coo ferraenta para a visualização de inforação cartográfica deve ser avaliado, sendo que neste particular encontra-se uito pouco trabalho. Neste artigo são apresentados os prieiros resultados de u projeto orientado à aplicação de realidade auentada para a visualização de dados e cartografia. O projeto te coo objetivo o desenvolviento de u protótipo de Realidade Auentada para fins de visualização de inforações cartográficas que sirva de apoio para trabalhos de capo. Neste particular, o artigo aborda a questão da fusão de dados artificiais e ua iage natural. Palavras chaves: realidade auentada, processaento digital de iagens, fotograetria digital DATA FUSION IN AUGMENTE REALITY ABSTRAT Augented Reality is topic, within the techniques of virtual reality, with increasing potential of application in the solution of probles that deand the visualization of spatial inforation. Its potential as tool for the visualization of cartographic inforation ust be therefore evaluated. In the present paper we present the first results of a project aied to the application of augented reality for the visualization of spatial data in cartography. The project ais at the developent of an prototype of Augented Reality for visualization of cartographic inforation, as a tool that can be used in field works. The paper deals with a special topic within the proble, which is the the fusion of artificial data and a natural iage. 1 INTRODUÇÃO Trabalhos de capo, visitas a locais abertos, deanda a consulta de apas atualizados. A identificação de locais e objetos existentes é realizada ediante a coparação da realidade visível co a inforação disponível e u apa ou banco de dados. Isto é noralente feito usando apas ipressos ou iagens projetadas e ua tela de coputador. abe ao usuário efetuar a correspondência entre as duas representações, estiando, da elhor aneira possível, e dentro da liitação dos recursos disponíveis, sua posição e orientação, para copatibilizar o apa e a realidade. Esta tarefa é ainda ais coplicada quando o usuário visita u local e conta co u apa de objetos ou atributos dos esos, não visíveis, coo por exeplo u apa contendo futuras construções ou construções destruídas. Nesta situação, o usuário encontra dificuldade e copatibilizar sua visão co o apa, o que dificulta a leitura do docuento cartográfico e a toada de decisão. Ua aneira de contornar este problea é através do eprego de técnicas de Realidade Auentada (Augented Reality AR. A Realidade Auentada (AR é ua atividade de pesquisa nova que explora várias aproxiações para increentar a visão do undo real ediante a visualização de inforação adicional junto co a cena natural. As técnicas de Realidade Auentada perite aos usuários exainar a realidade, objetos tridiensionais, junto co inforação adicional previaente selecionada, relevante para a

2 solução de u deterinado problea. Originalente, a Realidade Auentada encontrou capo de aplicação no desenvolviento de jogos de coputador de siulação. Nesta aplicação, não havia grandes exigências quanto à precisão do sistea, ne u grande coproisso co a realidade. O desenvolviento de novos sensores de oviento, coputadores co aiores recursos e elhores dispositivos de visualização abriu a possibilidade de estender a aplicação de AR para a solução de probleas reais. Hoje, as pesquisas aponta para a aplicação dos étodos de AR e uitos setores de indústria, por exeplo, para consertar ou produzir aparelhos sofisticados, para a inspeção de locais perigosos ou após u desastre, be coo para visualizar os eventuais resultados de siulações ou projetos ainda inexistentes. No presente artigo são abordadas técnicas de fusão de dados para a visualização de iagens híbridas, superpondo dados vetoriais a ua iage real, captada por ua câara. 2 REALIDADE VIRTUAL E REALIDADE AUMENTADA 2.1 REALIDADE VIRTUAL Realidade virtual é a aplicação de u conjunto de tecnologias digitais utilizadas co a finalidade de gerar u abiente artificial onde o usuário possa ser subergido através de técnicas de visualização ou outros estíulos e co alto grau de interatividade. Este abiente é coposto por eleentos, geralente gráficos, gerados e coputadores que são uito próxios da aparência dos objetos na cena real. Assi, ua cena artificial é gerada e projetada e o usuário, ao presenta-la fica co a ipressão de estar dentro de u abiente tridiensional, co características uito próxias da realidade que ele conhece. A orige do tero é atribuída Jaron Lanier (Aukstakalnis e Blatner 1992 que a conceituou coo u abiente tridiensional interativo, gerado e coputador, no qual ua pessoa é subersa. Há três pontos de chave nesta definição: Trata-se de u abiente artificial (ua cena tridiensional gerado por coputadores, o que deanda equipaentos de alto desepenho gráfico para prover o nível adequado de realiso. O sistea deve peritir a interatividade e tepo real. O sistea deve possibilitar a subersão do usuário, ou seja, a sensação de estar dentro dele e poder se deslocar dentro do abiente e udar o ponto de vista coo ocorre nua cena real. Exeplos de sisteas de realidade virtual encontra-se hoje disponíveis ferraentas para o desenvolviento de projetos de engenharia e arquitetura e de docuentação ou reconstrução de sítios históricos. Ua crítica à realidade virtual é o fato de que eso os odelos ais sofisticados não consegue reproduzir perfeitaente a realidade e qualquer paisage e que, na análise de ua cena natural pelo olho huano, o abiente provê ua riqueza de inforação que é difícil de odelar usando coputadores. A cena apresentada na realidade virtual é geralente ua siplificação da realidade. 2.2 REALIDADE AUMENTADA A realidade auentada encontra-se no eio, entre o undo real e a realidade virtual. A realidade auentada resulta da cobinação da cena real, vista pelo usuário, co dados superpostos, que não são evidentes na análise visual cou. A natureza da inforação varia e função da aplicação, as sua principal característica é o fato de ser ua inforação que o ser huano não percebe na cena e que, através da superposição dos dados se torna visível e ajuda na copreensão da cena. A situação ideal seria aquela na qual o usuário não conseguisse discriinar entre a cena real e a inforação superposta, de aneira que para ele os eleentos artificiais pareça naturais. No entanto, tal grau de perfeição ne sepre é desejado nas aplicações de AR. Existe aplicações onde é desejado que a inforação superposta seja evidenciada, destacada, de aneira a facilitar o desepenho do usuário dentro da cena natural. Isto pode ser feito, por exeplo, superpondo o noe das ruas durante a vista a u local. Enquanto a realidade virtual se esforce e atingir a total subersão do usuário na cena artificial, a intenção da Realidade Auentada é que o usuário não perca o vínculo co a realidade e que a perceba noralente, apenas acrescida de novas inforações. oo as iagens de AR resulta da fusão da realidade co dados artificialente superpostos, é necessário u ecaniso que seja capaz de produzir esta fusão de aneira eficiente e e tepo real. Milgra (Milgra e Kishino 1994; Milgra, Takeura et al propõe a classificação dos sisteas de realidade auentada usando três características: Fidelidade de reprodução, Intensidade da sensação de presença e Grau de correspondência espacial co a realidade. - A fidelidade de reprodução se refere à qualidade da cena artificial ou a representação dos objetos gerada pelo coputador. Pode variar de siples textos superpostos na iage, passando por linhas ou os cantos dos objetos, até eleentos tridiensionais co texturas realistas. U dos principais condicionadores desta fidelidade é a capacidade do sistea de visualização atualizar a cena e tepo real. - A intensidade da sensação de presença ede o nível de iersão do usuário dentro da cena exibida.

3 Esta propriedade é relacionada co a tecnologia de visualização. Há vários tipos de sisteas de visualização, co diferentes graus de subersão. E u sistea de realidade auentada, este conceito é abíguo, pois não se pretende isolar copletaente o usuário da realidade, as si deixa-lo perceber a realidade junto co u abiente gerado artificialente. Duas alternativas pode ser utilizadas: na prieira, o usuário percebe a cena co seus próprios olhos e na sua frente são projetadas as iagens artificiais superpostas. A alternativa seria projetar capturar a iage co ajuda de ua câara e projetar o resultado da fusão na tela de u coputador. - O grau de correspondência espacial co a realidade diz respeito à copatibilidade entre o sistea tridiensional da realidade (cena real e o sistea tridiensional dos dados virtuais (iage virtual. Do ponto de vista da realização, superpor ua iage artificial a ua iage real é ua tarefa relativaente siples. O problea principal consiste e anter esta correspondência na edida e que a interação do usuário é efetivada. A cada oviento do usuário, os dois sisteas deve ser deslocados paralelaente. Ou seja, udanças de escala ou ângulo de visão efetuadas no espaço do usuário deve ser siuladas no espaço virtual, de aneira de que os objetos e abos sisteas case perfeitaente. Isto requer conheciento detalhado da relação entre os sisteas de referência, a posição do usuário e sua orientação. E situações onde a realidade é representada coo ua iage nu onitor, este casaento é ais siples, pois é possível derivar inforação da iage, coo cantos ou perfis (Leebann, A situação é enos favorável quando os objetos artificiais são projetados na frente do usuário e a fusão se processa no cérebro. Neste caso, para obter u grau realista de subersão, o sistea deve ser inforado a respeito do oviento do usuário e deterinar o efeito deste oviento na cena que exibida. O sistea proposto consta de u dispositivo para captura de iagens, que pode ser o olho do usuário ou ua câara. Para fins de facilitar o entendiento será considerado o caso de ua câara de vídeo ligada diretaente ao coputador. Este dispositivo é encarregado de efetuar a projeção da cena tridiensional nu espaço bidiensional no plano da iage. Alé dos parâetros da orientação interior, é necessário conhecer tabé a orientação exterior do dispositivo, ou seja, sua posição no espaço objeto tridiensional e as eventuais rotações e torno dos três eixos. A orientação exterior da câara pode ser deterinada co auxílio de dispositivos auxiliares, coo sisteas de posicionaento global (GPS e rastreadores inerciais (trackers sensíveis a pequenas variações angulares. Dependendo do tipo de aplicação, o usuário precisa de acesso a vários tipos de dados, por exeplo: a aparência final de u edifício, quando a finalidade é construção e os usuários são arquitetos e engenheiros, ou a posição de deterinados objetos, coo hidrantes, quando a aplicação está associada a atividades de resgate e catástrofes. O sistea de AR precisa ter acesso à inforação pertinente e apresenta-la adequadaente, por exeplo coo u conjunto de linhas (wirefrae, coo objetos realisticaente representados, ou coo textos flutuantes. A integração realista de objetos virtuais e ua real cena requer que os objetos virtuais se coporta e odos fisicaente plausíveis: eles pode ocultar outros objetos ou sere escondidos por eles. Eventualente, pode projetar sobra e não deve deslocar-se de aneira diferente e relação aos objetos reais. Os sisteas de AR precisa de descrições uito detalhadas do real abiente para siular tais restrições físicas e sua atualização é ua tarefa coplexa. 3 METODOLOGIA Antes de projetar inforação sintética sobre ua iage, deve ser garantida a existência da correspondência tridiensional entre os objetos artificiais e a cena percebida pelo usuário. O registro geoétrico de ua iage virtual e ua cena real é necessário para representar as duas iagens siultaneaente. O undo artificial pode ser representado usando u sistea euclidiano tridiensional, projetado no display. O ajuste requer o conheciento da localização do usuário no espaço 3D euclidiano e os parâetros exatos da calibração da câara, quando ua câara é usada (Azua 1993; Azua e Bispo 1994; Tuceryan et al, Quando ua câara fotográfica está sendo utilizada, as iagens geradas por este equipaento pode ser ajustadas co ajuda de pontos observados na cena. Este é u problea conhecido coo atching e é resolvido procurando na cena feições, linhas ou pontos, que exista no odelo virtual. Através das coordenadas destes pontos e abos sisteas, o ajustaento e as transforações necessárias pode ser estiados. O ajuste geoétrico acurado requer que feições arcantes seja identificadas na iage e que as esas seja convertidas ao espaço 3D da cena. Para isto, no entanto, torna-se necessário conhecer a posição destas feições co precisão. Neste experiento, a orientação exterior da câara foi calculada através de pontos de controle levantados na área de estudo. Deterinar a posição co relativa exatidão é ua necessidade para garantir o eficiente funcionaento do sistea AR; pois ele deve calcular a posição relativa dos objetos e presenta-los ao usuário. Os erros tolerados varia e função do equipaento utilizado. Erros aiores são tolerados e dispositivos de visualização transparentes, pois o olho é encarregado de copensar estes erros. Já e dispositivos onde a

4 fusão se realiza na tela da unidade de visualização, os erros torna-se ais evidentes e a exatidão dos dados geoétricos deve ser aior. O ecaniso físico de geração de ua iage fotográfica pode ser descrito e função dos feixes de luz que incide no plano da iage após atravessar o sistea de lentes. onsiderando que tais feixes descreve ua trajetória retilínea, chega-se a condição de colinearidade (Moffitt e Mikhail, 1980, confore o conjunto de equações 1. Este equacionaento ateático é afetado, na prática, por outros fatores, coo a qualidade geoétrica das lentes. Por este otivo, o equipaento deve ser calibrado. x y c c = = f. f (1 A estiativa dos parâetros para cada fotografia é obtida através de pontos de controle, co coordenadas fotograétricas e coordenadas tridiensionais de capo conhecidas. No experiento aqui descrito, ua vez toadas as fotos, utilizou-se o odelo fotograétrico na calibração da câara, correção dos erros sisteáticos da iage e, finalente, na deterinação, através de ua recessão espacial, dos parâetros de orientação exterior. Ua vez deterinados, tais parâetros são inseridos no odelo de coordenadas hoogêneas para obter a projeção de qualquer ponto na cena. o isto, pontos, superfícies e objetos tridiensionais pode ser exibidos sobre a iage, real, passando a ser visualizadas e conjunto co ela. Assi, gera-se ua iage híbrida, onde parte da iage é derivada da iage digital real e outra parte corresponde a eleentos artificiais superpostos. Alguas técnicas de processaento digital de iagens, coo a fusão de iagens por coponentes de cores IHS pode ser necessárias nesse processo final para dar realiso à cena. 4 EXPERIMENTO O experiento de fusão de dados artificiais e iagens reais foi executado nas quadras de futebol do entro Politécnico Jardi das Aéricas, da UFPR, e uritiba. Ua câara digital Sony DS P50, de 2.2 Mpixels foi utilizada para captar 5 iagens, co as quais se procedeu a calcular a recessão espacial. Para tanto, u levantaento topográfico co o uso de ua estação total, por irradiaento, foi planejando e executado. Esses pontos copusera a estrutura de dados das coordenadas planialtiétricas dos pontos de controle e u referencial geodésico local. A estiativa dos parâetros de orientação perite o posicionaento dos objetos virtuais dentro da cena e sua projeção no plano de iage. Quatro tipos de objetos virtuais fora introduzidos. O prieiro é u cartaz de propaganda a ser colocado na arge do capo de futebol. O segundo eleento artificial é a dearcação das linhas do capo, pouco evidentes na iage original. O terceiro eleento é ua pintura na parede de u edifício que aparece no fundo da iage. Finalente, o últio eleento é ua pintura no teto do outro prédio. Estes eleentos são visíveis na figura 1. ada u destes eleentos foi então odelado de acordo à geoetria derivada das fotografias e eles fora superpostos à iage. Para diinuir o efeito de artificialidade dos objetos virtuais na cena, ua estratégia de fusão foi adotada, ponderando a intensidade da eleento virtual segundo as seguintes regras: o Valor 0 preserva o valor original na posição projetada. o Valor 1 substitui o valor original pelo valor da iage virtual na posição projetada. o Valores entre 0 e 1 efetua a fusão dos valores originais e da iage virtual. O resultado dessa projeção pode ser visualizado nas figuras 1 e 2. U detalhe da superfície da placa inserida na iage pode ser visto na figura 3. FIGURA 1 Vista da fusão de eleentos virtuais e reais

5 FIGURA 2 Vista da fusão de eleentos virtuais e reais. Figura 3 Modelo criado para a superfície da placa publicitária Os eleentos presentes nas figuras anteriores fora visualizados de aneira a haroniza-los co a cena real. Adotando o valor 1 para o fator de ponderação das iagens, é possível evidenciar u deterinado eleento. Na figura 4, a dearcação da pequena área foi evidenciada, escolhendo ua cor saturada e adotando o fator de ponderação igual a 1. FIGURA 4 Vista da fusão de eleentos virtuais co fator de ponderação igual a 1 5 ONSIDERAÇÕES FINAIS A integração realista de objetos virtuais e ua real cena requer que os objetos virtuais se coporta e odos fisicaente plausíveis: eles pode ocultar outros objetos ou sere escondidos por eles. Eventualente, pode projetar sobra e não deve deslocar-se de aneira diferente e relação aos objetos reais. Os sisteas de AR precisa de descrições uito detalhadas do abiente para siular tais restrições físicas e sua atualização é ua tarefa coplexa. No caso ais geral, esta tarefa é difícil de ser atingida, pois e aplicações práticas, o conheciento total da cena é ipossível. No entanto, e abientes controlados, esta opção é viável, coo foi ostrado no experiento. O grau de realiso que é dado aos eleentos artificias pode ser utilizado coo eleento de counicação. Por u lado, os esforços odientados à integração do eleento na cena, de aneira a isturá-lo copletaente co os outros objetos de ua fora realista, preservado as cores e efeitos de iluinação naturais, são interessantes para dar u aspecto real à cena projetada no display. Por outro lado, estes esforços ascara a presença destes eleentos, o que pode não ser desejado. E aplicações prática, pode haver interesse e enfatizar a localização dos eleentos virtuais. Por exeplo, na inspeção de redes de abasteciento subterrâneas. Neste caso, os eleentos artificiais deverão ser representados de aneira a garantir alto contraste co a cena natural.

6 6 REFERÊNIAS BIBLIOGRÁFIAS AUKSTAKALNIS, S. e BLATNER, D. (1992 Silicon Mirage - The Art and Science of Virtual Reality", Peachpit Press Inc., Berkeley, USA AZUMA, R. (1993 Tracking Requireents for Augented Reality. ounications of the AM, 36, AZUMA, R. e BISPO, G. (1994 Iproving Static and Dynaic Registration in an Optical See-Through HMD. Proceedings of SIGGRAPH '94 (Orlando, FL, July 1994, oputer Graphics, Annual onference Series, 1994, D-ROM. LEEBMANN, J. Application of an augented reality syste for disaster relief. International archives of photograetry, reote sensing and spatial inforation sciences. Vol. XXXIV-5/W10. MILGRAM, P. e KISHINO, F. (1994 A Taxonoy of Mixed Reality Visual Displays, IEIE Transactions on Inforation Systes, vol. E77-D, no. 12. MILGRAM P, TAKEMURA H, UTSUMI A e KISHINO F. Augented Reality: A lass of Displays on the Reality Virtuality ontinuu. Teleanipulator and Telepresence Technologies. SPIE, MOFFITT, F.H e MIKHAIL, E.M. (1980. Photograetry. Harper&Row Publishers, Inc., New York, NY. TUERYAN, M., D. S. G. et al. (1995. "alibration Requireents and Procedures for a Monitor-Based Augented Reality Syste." IEEE Transactions on Visualization and oputer Graphics 1 (3: