Um Experimento de Realidade Estendida Utilizando Técnicas de Síntese, Processamento Digital de Imagens e Fotogrametria Digital

Transcrição

1 Um Exerimento de Realidade Estendida Utilizando Técnicas de Síntese, Processamento Digital de Imagens e Fotogrametria Digital Prof. Msc. Glauber cunha Gonçalves 1 Prof. Dr. Jorge enteno 2 Eng. grim. Fernando ésar Silveira breu 3 Eng. art. Patrícia de astro Pedro 4 Universidade Federal do Paraná Setor de iências da Terra urso de Pós Graduação em iências Geodésicas Resumo: O artigo aresentado descreve a alicação de uma metodologia que integra elementos de fotogrametria com síntese e rocessamento digital de imagens ara obtenção de uma cena onde oderão ser visualizados, com coerência geomérica e recisão cartográfica, elementos da aisagem real e objetos virtuais, modelados matematicamente num ambiente comutacional interativo. O rocesso de fusão dos elementos virtuais será executado de forma automática or um conjunto de rotinas imlementadas segundo algoritmos aqui brevemente comentados. Os resultados odem ser visualizados através de um conjunto de cenas, com elementos virtuais associados. s otenciais alicações de tal técnica são inúmeras na cartografia e vão desde a necessidade de identificar determinados elementos no esaço geográfico com a maior naturalidade ossível até a ossibilidade de simular alterações no meio físico ela inserção de objetos virtuais. Palavras chaves: realidade aumentada, rocessamento digital de imagens, fotogrametria digital 1 Realidade Virtual e a Realidade Estendida comosição de cenas virtuais que rivalizam o realismo de fotografias é hoje comum, esecialmente no universo da ublicidade e da roaganda, bem como nas roduções cinematográficas e nos jogos eletrônicos. O conjunto de rocedimentos necessários a tais comosições advém de áreas da comutação gráfica conhecidas como síntese e rocessamento digital de imagens. Os recursos comutacionais necessários ara obter esses resultados são geralmente muito esecializados e de acesso restrito, face seu valor comercial e estratégico. Do onto de vista de alicações técnico científicas no camo cartográfico, no entanto, bons resultados odem ser obtidos com sistema de baixo custo, integrando algoritmos similares aos utilizados nas ricas alicações citadas, sob modelos matemáticos simlificados, com técnicas de levantamento consolidadas nos estudos toográficos. O objetivo da alicação de tais técnicas no camo cartográfico é ermitir ao usuário a visualização estendida da realidade do esaço geográfico que se lhe aresenta. Trata-se da obtenção de um roduto que integra elementos virtuais a aisagens reais e ermite, or exemlo, análise aurada dos efeitos de modificação do esaço objeto. Tal técnica tem sido exlorada já há algum temo, segundo metodologias diversas, como em liaga(1997), na visualização de colisões entre objetos reais e virtuais, Robinson(1999), na exloração das ossibilidades comerciais da realidade misturada, ower(2001), no uso da tecnologia de realidade aumentada nas investigações criminais, e como em Scott-Young(2003), no rojeto de um sistema de auxílio aos motoristas em estradas erigosas. No caso descrito no resente artigo, roõe-se o desenvolvimento de um alicativo que, de maneira semi-automática, altere uma imagem obtida or câmara digital convencional, inserindo objetos totalmente virtuais, modelados matematicamente, e modificando objetos reais existentes, mantendo as roriedades geométricas recisas das imagens. Serão, no conjunto do exerimento, exloradas técnicas de levantamento toográfico, fotogrametria, síntese e rocessamento digital de imagens ara obtenção de resultados como os aresentados nas figura 1 e 2. Nessas duas tomadas da mesma aisagem, sugere-se que o leitor rocure identificar os elementos virtuais inseridos, num total de quatro alterações.

2 Figuras 1 e 2 ena do exerimento com elementos virtuais incororados 2 Dois modelos, um mesmo roblema O mecanismo físico de geração de uma imagem fotográfica ode ser descrito em função da trajetória de um fóton, que arte, refletido, de um onto do alvo visado, viaja através do meio atmosférico, atravessa um conjunto de lentes e encontra um meio cuja fotosensibilidade ermite o seu registro, no caso o sensor D. Idealizando a roriedade geométrica dessa trajetória como uma linha reta, ara simlicidade

3 matemática, chega-se a condição de colinearidade (Moffitt/Mikhail, 1980), conforme o conjunto de equações Eq.1. Os rocessos que searam a condição real da ideal assam or considerar efeitos refrativos devidos a atmosfera e a asectos ótico-mecânicos das lentes e odem ser considerados em searado, or correções também matematicamente modeladas (ndrade, 1989), conforme Eq. 2. Eq.1 x y c c = = m f. m m f. m ( X X ( X X ( X X ( X X ( Y Y ( Y Y ( Y Y ( Y Y ( Z Z ( Z Z ( Z Z ( Z Z ) ) ) ) x' = x y' = y Eq.2 x c = x' ( k1r + k2r + k3r ) x' [ 1( r + 2x' ) + 2 2x' y' ] y = y' ( k r + k r + k r ) y' [ ( r + 2y' ) + 2 x' y' ] c r = f f x o y 1 o 2 2 x' + y' 2 3 Esses modelos são classicamente utilizados na fotogrametria e envolvem os seguintes arâmetros: 2 o orientação exterior osição do centro ersectivo (Xc,Yc,Zc) em relação a um sistema referencial cartesiano arbitrário, geodésico ou toográfico. Matematicamente, esse centro corresonde ao onto de convergência de todos os raios que unem o onto alvo, no esaço objeto, ao onto imagem, no esaço imagem. Fisicamente, ara as imagens fotográficas digitais ositivas, esse onto é o nodo focal anterior do sistema de lentes da câmara. ângulos de orientação κ, φ, ω (kaa, hi, omega), que comõem os coeficientes m ij, medidos segundo os mesmos eixos referenciais, destrógiros, ositivamente segundo a regra da mão direita, fixando a direção do eixo ótico do sistema de imageamento. o orientação interna distância focal, f. Distância, medida ao longo do eixo ótico, do nodo anterior do sistema de lentes ao lano de rojeção da imagem, ou seja, ao D. osição do onto rincial, (x o y o ). Distância medida sobre o lano do D, segundo as direções que lhe descreve, do onto de rojeção do eixo ótico ao centro físico do referido sensor, ou seja, ao ixel central da imagem. o correção de erros sistemáticos arâmetros de refração atmosférica distorção radial, ou centrada. Devida rincialmente a conformação esférica das lentes, diferentes da forma arabólica ideal, arametrizada or k 1 k 2 k 3. distorção tangencial, ou descentrada. Devida a imossibilidade rática de erfeito alinhamento do sistema de lentes, arametrizada or 1 2. Os arâmetros de orientação interna e de correção dos efeitos de distorção são obtidos, geralmente, em rocessos de ré-calibração. Os arâmetros de refração atmosférica são de difícil determinação e, em geral, tal efeito é surimido controladamente nas fotos de curta distância. Os arâmetros de orientação exterior, se desconhecidos, odem ser obtidos elo ajustamento de um bloco fotogramétrico, medindo um conjunto de ontos conhecidos nos esaços imagem e objeto. Esse é o conhecido rocesso de recessão esacial. No âmbito da comutação gráfica é bem mais comum o uso de modelos abstratos, baseados na descrição da geometria rojetiva ersectiva or coordenadas homogêneas. É o caso dos rocessos que envolvem a geração de imagens or câmaras sintéticas, comumente imlementados em sistemas D e 1

4 em sistemas GIS ara simulação de vistas aéreas de modelos numéricos tridimensionais do terreno, Tal rocesso otimiza o desemenho comutacional e ode ser descrito, conforme Folley (1980), or: Eq. 3 x y z 1 = X 8 Y Z 1 Os elementos da submatriz 1, 2, 3, 5, 6, 7, 9, 10, 11, (aqui denominada matriz R) estão relacionados com a orientação da direção do eixo de visão; os elementos do vetor V, 4, 8, 12, or suas vez, estão relacionados à translação das coordenadas em relação a osição do centro ersectivo; 16 é a escala global do modelo, geralmente considerada a unidade. s coordenadas físicas do onto imagem em relação ao centro ersectivo odem ser obtidas a artir das coordenadas homogêneas or: Eq. 4 x = x z, y = y z lguns aralelos odem ser, roveitosamente, traçados entre os dois modelos, utilizados classicamente, como já se disse, ela comunidade fotogramétrica e da comutação gráfica. Os elementos de orientação da direção do eixo de visão são os mesmos da orientação exterior do modelo fotogramétrico. ssim os elementos da submatriz R ossuem corresondência com os coeficientes m ij da equação da colinearidade. Os elementos do vetor V, de translação, corresondem aos termos Xc,Yc,Zc da referida equação. O termo z, utilizado na conversão das coordenadas homogêneas ara as coordenadas de imagem é a rória distância focal f. Em relação aos referenciais também serão encontradas correlações evidentes. Na síntese de imagens, os objetos, modelados no conhecido sistema de coordenadas de mundo real, são, inicialmente, rojetados no sistema de coordenadas rojetivas e, finalmente, descritos em coordenadas de disositivo, ara oderem ser materializadas segundo rimitivas geométricas na imagem. Na fotogrametria os ontos lidos inicialmente na imagem, estão num referencial rório desse esaço; denominemos esse: sistema de coordenadas de imagem. onsideradas as dimensões físicas do sensor e seu centro geométrico como origem e estaremos diante de um novo sistema, dito fiducial. licadas, sobre as coordenadas no sistema fiducial, as correções de erros sistemáticos e rojetados os raios em direção ao esaço objeto e estarão comutadas as coordenadas dos objetos, normalmente, sob um referencial geodésico local. Tais roriedades, acima detalhadas, odem ser exloradas com sucesso nos exerimentos de realidade estendida, como o aqui aresentado. 3 O Protótio de um Sistema omutacional e o Exerimento Essa corresondência, acima detalhada, sugere que se ossa migrar de um modelo ara o outro diretamente. No exerimento aqui descrito, uma vez tomadas as fotos, utilizou-se o modelo fotogramétrico na calibração da câmara, correção dos erros sistemáticos da imagem e, finalmente, na determinação, através de uma recessão esacial, dos arâmetros de orientação exterior. Uma vez determinados, tais arâmetros são inseridos no modelo de coordenadas homogêneas ara obter a rojeção wire frame dos objetos modelados tridimensionalmente. Esse objetos odem, então, ser sumariamente exibidos sobre as imagens fotográficas, ou, num rocesso um ouco mais elaborado, determinar como uma imagem de textura, que reresenta uma face do objeto a ser exibido, deve ser geometricamente alterada ara ocuar sua osição na imagem. lgumas técnicas de rocessamento digital de imagens, como a fusão de imagens or comonentes de cores IHS odem ser necessárias nesse rocesso final ara dar realismo à cena. O diagrama da figura 3 aresenta uma visão geral do sistema, com todos os rocedimentos

5 imlementados e o fluxo dos dados no mesmo. Imagens Originais 1. retificação e reamostragem ara correção de erros sistemáticos Imagens Retificadas arâmetros de correção de erros sistemáticos 2. recessão esacial: leitura dos ontos de controle leitura de ontos de interesse (objetos a serem alterados) ajustamento das observações e extração de arâmetros. Levantamento Toográfico coordenadas dos ontos de controle no esaço objeto (Xi,Yi,Zi) Imagens Resultado Final arâmetros de orientação exterior arâmetros de orientação interior coordenadas dos vértices dos objetos de interesse resentes nas imagens 5. Fusão dos objetos nas imagens coordenadas rojetadas dos vértices dos objetos 3. Projeção dos Objetos coordenadas dos vértices dos objetos não Objeto ossui definição de faces? B. Definição dos Objetos: coordenadas dos vértices descrição de arestas descrição de faces roriedade das faces sim Imagens das faces dos objetos retificadas 4. Retificação da imagem da face do objeto Imagens das faces dos objetos

6 Figura 3 Fluxograma do Processamento O exerimento de validação da metodologia roosta foi executado no entro Esortivo da UFPR. Uma câmara digital Sony DS P50 (figura 4), de 2.2 Mixels gerou 5 cenas da aisagem, orientadas aroximadamente como mostrado na figura 5. Figura 4 âmara Digital Sony DS P50 Para execução da recessão esacial considerou-se a necessidade de conhecer as coordenadas de elo menos 5 ontos em cada imagem. Para tanto, um levantamento toográfico com o uso de uma estação total, or irradiamento, foi lanejando e executado, segundo o croqui aresentado na figura 5. Esses ontos comuseram a estrutura de dados das coordenadas lanialtimétricas dos ontos de controle em um referencial geodésico local. rox. oste luz rox. lâmada Foto 4 Foto 3 Foto 2 Foto 1 Foto 5 Figura 5 roqui indicando osição das tomadas fotográficas e ontos de contole rotina 1 alica sobre a imagem uma reamostragem or convolução cúbica, corrigindo distorções rovocadas ela configuração real do sistema de lentes da câmara. Foram considerados: o deslocamento do onto rincial, a distorção radial centrada e a distorção tangencial descentrada, segundo Mitshita(1996). Os arâmetros dessas correções foram obtidos or rocesso de calibração elo método das câmaras convergentes, segundo ndrade(1990). Sobre a imagem retificada, através de uma rotina com interação gráfica, são identificados os ontos de

7 controle e todos os ontos de interesse. No caso aqui aresentado, além dos ontos de controle, foram marcados nas imagens os ontos sobre o telhado do rédio I (salão de ginástica), a arede do rédio II (conjunto de iscinas), a cobertura III (quadra oliesortiva) e a osição dos extremos do camo de futebol. O ajustamento or mínimos quadrados elo método aramétrico com a injunção da osição dos ontos de controle é alicado ara determinação dos elementos de orientação exterior e as coordenadas ajustadas dos ontos fotogramétricos de interesse ara o exerimento. tabela 1 aresenta o resultado dos arâmetros de orientação exterior resultante. O referencial ao qual tais coordenadas estão relacionadas tem origem no centro do camo de futebol, o eixo x está orientado sobre a linha de meio camo, o eixo y indica as medidas de elevação do terreno e z erendicular a esse lano, gerando um sistema destrógiro. Tabela 1 Orientação exterior das fotografias Foto Xc Yc Zc ω φ κ 1-29, , ,6419-9, ,5034-2, , , , , ,4811-5, , , , ,4403-8,5202-0, , , ,9096-8,8171-2,6604 0, ,0833 3, ,2471-0, ,1229-1,0819 Para cada um dos objetos a serem alterados foram comostas uma imagem artística ara face dos mesmos e uma máscara de rocessamento, conforme, resectivamente, os exemlos das figuras 6 e 7. O valor numérico dos ixels da imagem máscara são interretados elo sistema de rocessamento de imagem segundo a convenção a seguir: o Valor 0 reserva o valor original na osição rojetada. o Valor 1 substitui o valor original elo valor da imagem virtual na osição rojetada. o Valores entre 0 e 1 efetua a fusão dos valores originais e da imagem virtual. Evidentemente, ara fusão ocorrer de forma eficiente, reservando a condição geométrica da cena e garantir realismo no resultado, o objeto modelado tridimensionalmente deve ser rojetado matematicamente segundo os arâmetros de orientação externa da câmara que tomou a cena real. s rotinas 3 e 4 efetuam esse rocessamento. O resultado dessa rojeção ode ser visualizado na figura 8, ara o modelo aresentado na figura 7. Um rocessamento extra é ermitido ara o caso de objetos que estejam em um lano anterior ao dos elementos virtuais, e devam ser reservados. É o caso da cobertura III, que será automaticamente recortada nas imagens em que aarece e, aós a comosição dos elementos virtuais, recomosta em sua osição original. Figura 6 Modelo criado ara face da laca ublicitária a ser inserida na cena

8 Figura 7 Modelo de máscara ara rocessamento Figura 8 Modelo de máscara rojetada na osição da foto 2 4 Resultados s figura a seguir aresentadas, numeradas de 9 a 13, são o resultado das comosições rocessadas, com a inserção do logo da UFPR sobre o rédio II, das iniciais PDI sobre o rédio I, com a inclusão de uma laca de ublicidade ao lado da goleira e a marcação do camo, antes inexistente. Figura 9 omosição ara foto 1 Figura 10 omosição ara foto 2

9 Figura 11 omosição ara foto 3 Figura 12 omosição ara foto 4 Figura 13 omosição ara foto 5

10 5 onclusões metodologia desenvolvida mostrou-se bastante eficiente. calibração da câmara ara correção dos erros sistemáticos das imagens fotográficas é imortante ara o reciso casamentos de objetos virtuais fundidos a objetos reais. s rotinas imlementadas são executadas raidamente o que ermite rever que seja viável efetuar o rocessamento mesmo em temo real, com o controle dos movimentos da câmara e a rojeção automática dos objetos virtuais sobre a mesma dinamicamente. Pode-se facilmente, ainda, observar que é trivial colocar objetos em movimento sobre as cenas estáticas, caso haja interesse nessa condição 6 Referências Bibliográficas