VÍDEO PANORÂMICO 360º PARA SISTEMAS DE TELEPRESENÇA

Transcrição

1 VÍDEO PANORÂMICO 360º PARA SISTEMAS DE TELEPRESENÇA Osvaldo R. T. Hu, Edson A. R. Barros, Sergio V. D. Paboukian, Lincoln C. Zaboni Escola de engenharia - Universidade Presbiteriana Mackenzie São Paulo, SP, Brasil Celso Kurashia, Universidade Federal do ABC Santo André, SP, Brasil Roseli D. Lopes, Marcelo K. Zuffo Escola Politécnica da USP, Laboratório de Sisteas Integráveis (LSI) São Paulo, SP, Brasil Resuo: Este trabalho apresenta u sistea de telepresença visual, que faz a captura de iagens panorâicas e a projeção destas e u abiente iersivo, e tepo real. As iagens são capturadas co u anel de câeras digitais, posicionadas de fora a cobrir cenas e 360 graus. O processaento das iagens panorâicas é realizado e u cluster de PCs através de étodos otiizados de costura e transforações geoétricas de perspectiva. Sisteas de telepresença tê perspectivas proissoras de uso e vários capos, coo por exeplo, e explorações reotas. Palavras-Chaves: Telepresença, Realidade Virtual, CAVERNA Digital, Internet 2. I. INTRODUÇÃO Apesar de viveros nua época denoinada a era da inforação, onde é possível acessar pessoas ou objetos a longa distância, às vezes é desejável ais do que u contato auditivo ou visual. E certas tarefas, ainda é necessária a presença física de seres huanos no local, para que se possa ter u copleto entendiento de u problea a ser resolvido e das dificuldades que o abiente oferece por eio de ua observação copleta e tridiensional do eso. Coo exeplo, teos a prospecção petrolífera e ar profundo, onde uitas vezes é necessário u técnico para operar a grande profundidade. Os subarinos utilizados são caros e co inúeras liitações. Ua solução seria a utilização de robôs controlados reotaente que, no entanto, tê liitações de capo de visão. Neste artigo, é apresentado u sistea concebido para proporcionar a seus usuários a sensação de telepresença visual. Telepresença é o tero utilizado para designar a presença virtual de ua pessoa e u outro local, que pode estar afastado ou inacessível fisicaente. Foi ipleentado u protótipo do sistea, capaz de realizar a aquisição de vídeo panorâico e 360º e tepo real, de transiti-lo a longa distância utilizando a Internet 2, e de processar as iagens e de apresentá-las u abiente iersivo co cinco telas que envolve os usuários, a CAVERNA Digital da USP [1]. Alguas aplicações vislubradas, neste sentido, são: Engenharia: controle de veículos, autoóveis, trens, navios e aviões reotaente. Indústria petrolífera: envio de sondas e braços ecânicos a grandes profundidades subarinas. Ciências espaciais: vôos espaciais, exploração espacial, controle de sondas e robôs. Medicina: sisteas de visualização interna do corpo huano e para procedientos a longa distância. Segurança: robôs para desarar bobas e inas terrestres. Educação: visita a useus e espaços de patriônio histórico à distância. Arqueologia: visita a locais reotos ou inacessíveis a huanos. Entreteniento e turiso: vídeo gaes, novas foras de arte, files iersivos, viagens a locais distantes. II. TRABALHOS CORRELATOS Coo referência teos o sistea de captura de abientes co câera catadióptrica que é apresentado por Aliaga e Carlbo [2] para aplicações e abientes fechados e pequenos. Teos tabé o sistea de vídeo panorâico iersivo desenvolvido co câeras catadióptricas [3] e [4] onde a reconstrução da cena é feita por apeaento de textura sobre u cilindro. Por fi teos o sistea de projeção de vídeo panorâico estereoscópico é o sistea TWISTER [5]. Trata-se de u sistea autoestereoscópico onde a tela é u cilindro que envolve copletaente o espectador. III. ARQUITETURA GERAL DO SISTEMA A arquitetura geral do sistea é apresentada na Fig. 1. Nu local reoto, o sistea é coposto por: u anel de câeras [6][7], co oito ou doze câeras, ligadas de quatro e quatro através de ua rede Firewire (IEEE-1394) e HUBs ligados a coputadores de alto desepenho, rodando o software SERVER.

2 IV. MATERIAIS E MÉTODOS a. Aquisição das Iagens Para a aquisição de iagens fora feitas ontagens especiais co ua série de câeras dispostas e u círculo, denoinado anel de câeras [6]. Cada ua das câeras cobre u deterinado ângulo de visão. Fora ontados dois conjuntos, u co doze câeras e outro co oito câeras (Fig. 3). Fig. 1: Arquitetura geral do sistea. No ódulo SERVER as iagens são adquiridas, corrigidas, projetadas cilindricaente, alinhadas, rotacionadas e 90º, costuradas, copriidas e transitidas para o ódulo CLIENT / SERVER. Os vários coputadores que roda os ódulos SERVERs são ligados por ua rede GigaBit e u coputador que roda o ódulo CLIENT / SERVER, que descoprie as iagens, processa e as coprie novaente para transiti-las pela rede Internet 2. Observaos que no ódulo CLIENT / SERVER necessitaos novaente alinhar os dois conjuntos de iage e costura-las para obteros a iage panorâica de 360º. O próxio passo é o recebiento das iagens pelo ódulo CLUSTER, que está localizado na CAVERNA Digital, no capus da USP na Capital. Neste ódulo as iagens são descopriidas, divididas e exibidas. As etapas realizadas pelos ódulos SERVER e CLIENT / SERVER são apresentadas na Fig. 2. Fig. 3: Esquea de ontage dos anéis de câeras. À esquerda o anel de doze câeras e à direita o anel de oito câeras. As vantagens desta configuração e relação a ontagens co câera de vídeo catadióptrica ultidirecionais (catadioptric onidirectional video caeras) é a resolução aior, que será a soa das resoluções das câeras utilizadas no dispositivo, e a hoogeneidade dos pixels na iage [8]. A desvantage é a necessidade de se confeccionar u software para garantir o sincroniso das câeras, corrigir as iagens e costurá-las. Por causa do fluxo de inforações processadas, o conjunto de câeras necessita de equipaentos de processaento co u aior desepenho, otivo da ontage de u cluster (agloerado de coputadores). Outra desvantage é que nesta configuração surge zonas ortas, onde nenhua das câeras consegue obter iagens, e outras zonas onde ocorre a sobreposição das iagens (Fig. 4). Fig. 4: Ângulo de toada das câeras. Fig. 2: Módulos SERVER, CLIENT / SERVER e CLUSTER Agrupaos as câeras de quatro e quatro e HUBs Firewire. Por liitação de velocidade do barraento ligaos u único HUB por icro. b. Correção das distorções Todas as lentes apresenta algua fora de distorção. Esta distorção pode ser causada pelos processos de fabricação, por probleas de ontage da lente ou devido às características de projeto da esa. Distorção da iage pode ser definida coo u desvio do raio de luz após o eso atravessar ua lente, fazendo co

3 que u ponto qualquer do objeto observado esteja e ua posição diferente da esperada na iage gerada. Dado u ponto cuja localização deveria estar na posição (u, v) do plano da iage, devido à distorção da lente, estará na posição (u 0, v 0 ). Estas novas coordenadas serão dadas por: u0 u u( u; v) v0 v v( u; v) onde (äu) e (äv) representa o erro posicional devido às distorções geoétricas introduzidas pela lente, nos dois eixos [9]. Existe várias foras de distorção: Distorção Radial: É a distorção causada pelo deslocaento radial de u ponto de iage, podendo ser de dentro para fora ou de fora para dentro (Fig. 5). Esta distorção é causada por ua curvatura radial defeituosa da lente ou por utilização de lente co distância focal pequena [10]. (1) (2) A correção da posição dos pixels pode ser feita resolvendo o polinôio da equação 3. A distância radial pode ser convertida para o sistea de coordenada cartesiana utilizando o teorea de Pitágoras: r ( u u v ) ( v 0 ) onde (u 0 ) e (v 0 ) representa a coordenada ideal do pixel e (u) e (v) representa a posição distorcida do pixel, a ser corrigida. Podeos desebrar a distorção radial e relação a cada u dos eixos cartesianos e representá-la: äu r = K 1.u.(u 2 + v 2 ) + K 2.u.(u 2 + v 2 ) 2 + K 5.u.(u 2 + v 2 ) K n.u.(u 2 + v 2 ) n-2 (5) äv r = K 1.v.(u 2 + v 2 ) + K 2.v.(u 2 + v 2 ) 2 + K 5.v.(u 2 + v 2 ) K n.v.(u 2 + v 2 ) n-2 (6) As distorções tangenciais pode ser representadas por distorção de desalinhaento e relação ao centro óptico e pelos efeitos de prisa, dado pelas seguintes expressões: (4) Fig. 5: Vetores de deslocaento radial [10]. Distorção Tangencial: É a distorção causada pelo deslocaento na direção tangencial, gerado por lentes cujos eixos ópticos estão descentralizados (Fig. 6). äu d = K 4.(2u 2 + r 2 ) + 2.K 3.u.v (7) äv d = K 3.(2v 2 + r 2 ) + 2.K 4.u.v (8) A cobinação de todas as expressões de distorções pode ser representada pelas forulas: äu(u,v) = K 4.(2u 2 + r 2 ) + 2.K 3.u.v + K 1.u.(u 2 + v 2 ) + K 2.u.(u 2 + v 2 ) K n.u.(u 2 + v 2 ) n-2 (9) äv(u,v) = K 3.(2v 2 + r 2 ) + 2.K 4.u.v + K 1.v.(u 2 + v 2 ) + K 2.v.(u 2 + v 2 ) K n.v.(u 2 + v 2 ) n-2 (10) Note que estaos considerando nestas equações as coponentes radiais e tangenciais. Podeos desconsiderar as constantes K acia da 6ª orde, logo não considerareos K5 e diante. O problea está e acharos os valores das constantes K1, K2, K3, K4. c. Projeção cilíndrica Após a correção das distorções da lente teos ua iage plana, poré coo ireos costurar as iagens para construir u abiente de 360º, devereos transforar novaente as iagens para produzir ua projeção cilíndrica ou esférica [12]. Fig. 6: Vetores de deslocaento tangencial [10]. Distorção Geoétrica: É a cobinação das distorções Radiais e Tangenciais. O odelo de correção de lente considerando tanto a distorção radial quanto à distorção tangencial foi proposto por Brown [11]. Podeos descrever a distorção radial (ä r ) de ua lente pela equação: K r r r r (3) r n Fig. 7: Projeção cilíndrica No caso de usaros ua projeção cilíndrica tereos que projetar cada ponto da iage e u cilindro de raio Z, de esa altura da iage (Fig. 8 e Fig. 9). onde (K 1, K 2 e K 5 ) são coeficientes polinoiais que representa a distorção radial.

4 É necessário alinhar as iagens e ajustar a escala para que seja possível costurar as esas [13]. Neste alinhaento podeos usar o étodo dos oito parâetros para calcularos a atriz de transforação da iage. Tendo duas iagens de duas direções diferentes, as tiradas co câeras posicionadas no eso centro óptico, e que tenha os esos parâetros intrínsecos de câera, podeos calcular a relação suas posições da seguinte aneira: P' E P (15) Fig. 8: Projeção cilíndrica de ua iage plana. Onde P e P são pontos correspondentes e cada ua das iagens. A atriz E, caso a iage já esteja calibrada, é conhecida coo atriz essencial. Caso a iage não esteja calibrada esta atriz é conhecida coo atriz fundaental, e podeos escrever a equação da seguinte fora: x' F P (16) Escrevendo estas equações de aneira atricial teos: Fig. 9:Vista de topo do cilindro e do plano da iage. Para calcularos o ângulo è teos: X tg 1 Y (11) Para calcularos a posição v teos que calcular antes X (Fig. 10). x' y' x 5 y 1 8 (17) onde (x, y, 1) e (x, y, 1) são as coordenadas dos pontos correspondentes e cada ua das iagens. Podeos reescrever esta equação da seguinte aneira: e x' y' x y x (18) 7 y 8 x y x (19) 7 y 8 O problea é calcularos os parâetros n. Coo precisaos de vários pontos para calibrar as iagens tereos que resolver u sistea não-linear. Ua das aneiras de resolveros este sistea é através de algoritos interativos. e. Copressão das iagens Fig. 10:Vista de topo do cilindro e do plano da iage co X e Z. X ' Z * seno( ) (12) Agora a altura v será calculada pela relação de triângulos: Y X (13) v X ' Substituindo X e isolando v tereos: v Y * Z * seno( ) X (14) d. Alinhaento das iagens, rotação e 90º e transforação de perspectiva Meso tendo corrigindo as distorções da lente e projetado cilindricaente as iagens, não é possível ainda costurar as iagens, porque as esas apresenta pequenas distorções de posição, ângulo e escala. Após a aquisição, as câeras de vídeo deve ou gravar ou transitir as iagens. As câeras analógicas grava e fitas de vídeo e u forato analógico. As ais odernas grava no forato digital. No projeto foi utilizado o algorito JPEG para a copressão do vídeo, sendo que cada quadro do vídeo é copriindo individualente (para vídeo este algorito é conhecido coo MJPEG) e transitindo pela rede GigaBit. Co este étodo conseguios eliinar a redundância espacial, poré não a teporal, coo faz o algorito MPEG. Os principais otivos da utilização deste étodo de copressão fora: Copressão e descopressão praticaente siétricas, ou seja, o tepo de copressão de u quadro é praticaente o eso que o de descopressão. Consuo de CPU enos intenso que o apresentado pelo MPEG, liberando a CPU para as outras rotinas do processo. Possibilidade de uso de hardware ais barato. Desenvolviento ais fácil do software. Aceita qualquer taanho de quadro.

5 Por outro lado, por não resolver o problea de redundância teporal, gera u arquivo, ou ua largura de utilização de banda de rede, aior que a gerada pelo MPEG. Apesar de não ser ua tecnologia nova, existe uitas aplicações que a utiliza devido às suas vantagens. O JPEG utiliza u conjunto de algoritos para axiizar a copressão, sendo que o principal é o DCT (Discrete Cosine Transfor - Transforada Discreta de Coseno) [14]. Esqueaticaente podeos descrever a copressão pelo JPEG, coo apresentado na Fig. 11 [15]. V. IMPLEMENTAÇÃO E RESULTADOS OBTIDOS Prieiro ontou-se o anel de câeras co doze câeras (Fig. 12). f. Transissão das iagens Fig. 11: Copressão JPEG Fora utilizadas três tecnologias de rede para fazer a captura e transissão das iagens. Das câeras até o HUB e deste até o icro foi utilizado o barraento Firewire, devido a este ser o barraento utilizado pelas câeras. Este barraento tabé é conhecido coo IEEE É u barraento serial de alta velocidade que utiliza ua topologia flexível, peritindo construir pontes, nós, interconexões, conexões virtuais, portais, etc. [16]. Foi criado pela Apple e padronizado pela IEEE co o núero Sua velocidade é de 400 Mbps, e perite que se ligue até 63 periféricos ao eso tepo. Outro barraento utilizado foi o GigaBit Ethernet, que liga os icros SERVERs co o icro CLIENT / SERVER. Foi ontada ua rede local Ethernet co velocidade de 1Gbps (IEEE 802.3z). Soente ua rede co esta velocidade consegue transitir o fluxo de inforações (iagens) requerido. Esta rede foi construída co u backbone (fiação) e fibra óptica, placas de rede ópticas e u HUB Intel de alta velocidade. Por fi teos a Internet 2 para ligar o abiente reoto à CAVERNA Digital. A Internet 2 é ua iniciativa do governo norte aericano para interligar suas universidades co ua rede de alta velocidade, e que está se estendendo para universidades de outros paises através de convênios. No Brasil o Ministério de Ciências e Tecnologia (MCT) e a Rede Nacional de Pesquisas (RNP) firara convênio e criara a REMAVS (Redes Metropolitanas de Alta Velocidade) ligando várias universidades e órgãos governaentais. A velocidade desta rede varia entre 155Mbps e 2,5Gbps. Fig. 12: Anel de doze câeras ontado. Após os prieiros testes chegou-se a conclusão que u anel co apenas oito resolveria o problea. Co esta redução diinuiu-se e 33% a coplexidade do projeto, alé de se obter u auento substancial na velocidade de processaento. A seguir fora desenvolvidos, e C++,os prograas SERVER e CLIENT / SERVER, que utiliza as bibliotecas oferecidas pelo fabricante das câeras, a Point Grey Research e a biblioteca pública de processaento de iage OpenCV [17]. Para a deterinação das constantes da lente e correção das distorções foi utilizado o software MatLab e a biblioteca Caera Calibration Toolbox for Matlab, desenvolvida por Bouguet [10]. Co a aplicação destas constantes de câera nas rotinas oferecidas pelo OpenCV, foi possível corrigir as distorções das lentes nas iagens originalente capturadas pelo prograa SERVER. Após a correção é feita a projeção cilíndrica das esas. E seguida são deterinados oito pontos a partir dos quais será feito o alinhaento das iagens. Estes pontos são escolhidos anualente, e pares, nas duas iagens, Co os oito pontos deterinados aplicaos o étodo dos oito parâetros para calcularos a atriz de transforação da iage (Eq. 17). Aplicando esta atriz nas iagens teos as esas alinhadas. Após o alinhaento é possível efetuar as costuras das iagens, gerando a iage panorâica. Após a costura das iagens geradas pelas quatro câeras, as esas são copriidas e enviadas para a áquina CLIENT / SERVER para u novo alinhaento e para a costura final das duas iagens recebidas (cada ua das iagens co o conteúdo de quatro câeras) (Fig. 13). Fig. 13: Sala São Paulo e duas iagens de 180º [11]. Após esta últia costura a iage resultante é copriida e enviada pela Internet 2 para o cluster da CAVERNA

6 Digital, onde será tratada e exibida nas paredes da caverna (Fig. 14 e Fig. 15). REFERÊNCIAS Fig. 14: Panorâica final e 360º. Fig. 15: Panorâica projetada sobre a CAVERNA Digital. VI. CONCLUSÃO Este artigo apresentou o desenvolviento de u sistea de telepresença para abientes iersivos coo a CAVERNA Digital. Este sistea utiliza u anel de câeras, u cluster de PC s, e u abiente iersivo de ultiprojeção para captura e projeção de cenas panorâicas e tepo real. Foi desenvolvido u software e vários ódulos, para o processaento digital de iagens e para a geração da iage panorâica. O étodo de costura proposto é otiizado para alto desepenho coputacional através do alinhaento de iagens e da transforação de perspectiva. Os resultados ostrara que as iagens costuradas pode ser transitidas de u local reoto para u abiente iersivo de ultiprojeção através de ua rede Gigabit. Coo trabalho futuro te-se a inclusão de u canal de áudio ou de voz para transissão de sons do local reoto, be coo a inclusão de u dispositivo de locooção do anel de câeras (por exeplo, u robô) reotaente controlado. Outro trabalho futuro proposto é a transissão de iagens estereoscópicas, o que possibilitará ua aior iersão no abiente reoto. AGRADECIMENTOS O desenvolviento deste trabalho foi possível graças aos seguintes financiaentos: SISCOMPRO: Sisteas de Counicação e Processaento Avançados e Aplicações Interativas. FINEP Convênio Ref. 2430/02. GigaVR: Plataforas para o Desenvolviento de Aplicações de Realidade Virtual Iersiva e Distribuída sobre Redes de Altíssia Velocidade. Editais RNP (RNP, 2004A) e (RNP, 2004B). Prograa Educacional da Intel do Brasil, que doou os coputadores utilizados no cluster (agloerado) utilizado no projeto. [1] ZUFFO, J. A.; SOARES, L. P.; ZUFFO, M. K.; LOPES, R. D. CAVERNA Digital - Sistea de Multiproje c ao Estereosc opico Baseado e Agloerados de PC s para Aplica c oes Iersivas e Realidade Virtual. In: Procedings of the 4th Brazilian Syposiu on Virtual Reality - SVR 01. Florianopolis, SC, Brazil: SBC, , (in portuguese). [2] ALIAGA, D.; CARLBOM, I. Plenoptic Stitching: A Scalable Method for Reconstructing 3D Interactive Walkthroughs. In: Proceedings of SIGGRAPH Los Angeles, CA: ACM, [3] PINTARIC, T.; RIZZO, A.; NEUMANN, U. Video-based Virtual Environents. In: Proc. of the ACM SIGGRAPH 2003 Conference on Sketches and Applications. San Diego, CA: ACM, [4] NEUMANN, U.; PINTARIC, T.; RIZZO, A. Iersive Panoraic Video. In: Proceedings of the 8th ACM International Conference on Multiedia. Los Angeles, CA: ACM, [5] TANAKA, K.; HAYASHI, J.; INAMI, M.; TACHI, S. TWISTER: An Iersive Autostereoscopic Display. In: Proceedings of IEEE VR2004. Chicago, IL: IEEE, [61] KURASHIMA, C. S.; Proposta de u sistea de Teleconferência iersiva panorâica, Tese de doutorado - Escola Politécnica da Universidade de São Paulo. [7] KURASHIMA, C. S.; CABRAL, M. C.; ZUFFO, M. K. A Syste for Rendering Panoraic Tele-iersion Iages. In: Proceedings of IEEE VR Workshop on Eerging Display Technologies, pages 7-10, Bonn, Gerany, March 13, [8] KANG, S.B., WEISS, R. Characterization of error in copositing panoraic iages. In. BENOSMAN, R., KANG, S. Panoraic Vision. New York: Springer-Verlag, p [9] SILVA, L.C. Método robusto para a calibração de câeras e estereofotograetria. Tese de doutorado. Prograas de pósgraduacão de Engenharia da Universidade Federal do Rio de Janeiro [10] BOUGUET, J.Y. Caera Calibration Toolbox for Matlab. Disponivel e: < Acesso e 30/11/2004. [11] BROWN, D.C. Decentering Distortion of Lenses. Photoetric Engineering, v. 32, n. 3, p , [12] KANG, S.B., WEISS, R. Characterization of error in copositing panoraic iages. In. BENOSMAN, R., KANG, S. Panoraic Vision. New York: Springer-Verlag, p [13] SHUM, H.-Y., SZELISKI, R. Construction of panoraic iage osaic. In. BENOSMAN, R., KANG, S. Panoraic Vision. New York: Springer-Verlag, p [14] HU, O.R.T., RAUNHEITTE, L.T.M. Processaento e Copressão Digital de Iagens. São Paulo: Editora Mackenzie, [15] AHMED, N., NATARAJAN, T.E., RAO, K.R. On iage processing and a discrete cosine transfor. IEEE Transactions on Coputers, v. C-23 (1), p [16] MENDONÇA, A., ZELENOVSKY, R. Barraento Firewire (IEEE 1394). Disponivel e: < Acesso e 19/12/2004. [17] OPENCV. versão beta 4, Biblioteca Gráfica. Intel Corp. Disponível e: < Acesso e agosto de 2004.