Obtenção da Transformação de Corpo Rígido em Registro de Imagens com Deformação Usando Thin Plate Splines

Transcrição

1 Obteção da Trasformação de Corpo Rígdo em Regstro de Images com Deformação Usado Th Plate Sples JOSÉ EDUARDO C CASTANHO CLÉSIO L TOZZI UNESP - FET - DEE C P 473, Bauru, CEP 7-97, SP, Brasl castaho@azulbauruuespbr UNICAMP - FEE - DCA Caxa Postal 6, CEP , Campas, SP, Brasl cleso@dcafeeucampbr Abstract: Th plate sples preset features that make them sutable for mage regstrato of deformed mages They are fuctos that ca be terpreted as a lear combato of a plae (modellg a geeral lear trasformato) wth a smooth surface (modellg a affe-free deformato) I ths way, regstrato wth th plates sples ca be terpreted as a problem of surface fttg through a scattered set of pots I some applcatos, as mage regstrato of seral sectos, t s ofte ecessary to fd a rgd body trasformato that matches features two mages uder atural deformatos We preset a method for mage regstrato usg th plate sples such that the lear term of the fucto s assured to be of rgd body type The resultg fucto s optmal the sese that the total bedg eergy of the ftted surface s mmum Keywords: Th plate sples, mage regstrato, seral cross sectos algmet Itrodução O regstro de mages é ecessáro em dversas aplcações de processameto de magem e vsão computacoal De um modo smples, o objetvo do regstro de mages cosste em, dadas duas mages da mesma cea, que apresetam dfereças devdo ao processo de aqusção (como por exemplo, dfereça temporal, de âgulo de vsta, etc), obter uma relação de mapeameto etre as duas mages de tal forma que as dfereças etre as mages sejam elmadas, ou mmzadas, ou ada ressaltadas, depededo da aplcação Os parâmetros da relação de mapeameto, defda pelas fuções f x e f y, (eq ), que mapeam as coordeadas (x,y) da magem orgem para as coordeadas (u,v) da magem desto, são, em geral, determados segudo um crtéro de otmzação coveete (sedo comum a mmzação de dstâcas) u = f x (x,y); v = f y (x,y) () Um úmero muto grade de téccas de regstro de mages tem sdo apresetado a lteratura vsado dferetes aplcações, cada qual atededo uma determada partculardade Um estudo bastate detalhado e geérco dos métodos de regstro pode ser ecotrado em [Brow,9] e uma revsão dos métodos de regstro aplcada a área médca pode ser ecotrada em [Else,93] Neste artgo é dscutdo o problema do regstro de mages de seções seradas sob fluêca de deformações aturas Um método baseado a utlzação de th plate sples é proposto Na abordagem apresetada obtém-se o mapeameto de regstro como sedo a sobreposção dos efetos de uma deformação atural aos efetos de uma trasformação de corpo rígdo O resultado, assm obtdo, é ótmo o setdo de que a eerga total de deformação é mmzada Na próxma seção são apresetadas as motvações, os aspectos cocetuas e de mplemetação do método de regstro utlzado th plate sples Na sequêca, é apresetado um método para a determação da trasformação rígda embutda a fução de mapeameto caracterzada pela TPS e é feta a avalação dos resultados obtdos com sua aplcação Falmete, são apresetados cometáros e coclusões a respeto do método apresetado Regstro de Seções Seradas com Th Plate Sples Uma aplcação de regstro de mages bastate comum em bologa, medca e outras áreas cosste o alhameto de mages de seções seradas com o Aas do IX SIBGRAPI (996) 8-87

2 8 J E CASTANHO E C L TOZZI objetvo de recostrução 3D Nestas aplcações, o objetvo do processo de regstro é recuperar o alhameto das mages, umas em relação às outras, perddo com o processo de seccoameto A trasformação ecessára para recuperar o alhameto é faclmete detfcável como sedo uma trasformação de corpo rígdo, sto é, composta de uma traslação e uma rotação U( x, y) = f ( x, y) = a + cos ϕ x se ϕ y (a) x V( x, y) = f ( x, y)= a +se ϕ x+cos ϕ y (b) y As maores dfculdades para o regstro deste tpo de magem surgem devdo ao fato de se usar duas mages de cortes dferetes de um mesmo corpo e que, portato, podem apresetar dfereças aturas de alteração de forma, ou de elemetos Assm, o desalhameto devdo a aqusção se cofude com as dfereças aturas de (de)formação e tora-se dfícl a correta determação dos parâmetros da trasformação de corpo rígdo utlzado elemetos trísecos à magem Quado as dfereças de deformação ão são grades, métodos de mmzação quadrátca podem dar bos resultados [Merckel 88], em outros casos, os quas as dfereças são locas, métodos baseados a orma estatístca, como a trasformada de Hough [Castaho 95], podem ser mas dcados Embora possa ser vatajoso em algus casos, ão estaremos cosderado, este trabalho, a utlzação de elemetos extrísecos, como marcas fducas A utlzação de th plate sples (TPS), ou sple de superfíces, para o regstro de mages com deformações fo proposto pela prmera vez por Goshtasby [Goshtasby88] No seu trabalho é sugerdo que th plate sples são superores ao emprego de polômos para a realzação de warpg de mages Th plate sples são fuções que apresetam característcas teressates para a aplcação este tpo de problema Estas fuções modelam uma superfíce fta de metal delgado, o qual potos de carga provocam deformações A sua formulação assegura as restrções de que a superfíce terpolate apreseta míma eerga de deformação, com relação aos potos de carga mpostos, e que seja suave, sto é, C exste e é cotua Th plate sples são formadas através de combação lear de fuções radas, o que sgfca que os valores da fução são obtdos pela dfereça (ou dstâca) de coordeadas do poto ode a fução deve ser avalada para as coordeadas de potos de referêca A medda que se afasta dos potos de carga, a fução apreseta um comportameto quase lear Assm, embora sejam fuções de terpolação globas, as fluêcas de deformações locas tedem a dmur a medda que se afasta do poto de deformação Métodos globas baseados em ajuste por mímos quadrados propagam o efeto de dstorções locas por toda a magem, através de poderação ou equalzação [Wolberg,94], [Goshtasby,88] Com a fução TPS, os efetos das dstorções locas afetam toda a magem, porém seu efeto dmu a medda que se afasta do poto de fluêca da deformação Regstro com th plate sples A determação das fuções u=f x (x,y), e v=f y (x,y) usado th plate sples pode ser terpretada como sedo um problema de terpolação de uma superfíce suave por um cojuto de potos Assm, dado um cojuto de potos de cotrole (x k, y k ) a magem orgem e um cojuto de potos correspodetes, (u k,v k ), a magem desto, a determação das fuções f x (x,y), f y (x,y) é equvalete a determar duas superfíces suaves: uma que passa através dos potos (x k, y k, u k ) e outra através de (x k, y k, v k ) Se o problema de regstro em questão é modelado por uma trasformação afm, etão as superfíces que passam pelos potos de terpolação serão plaos Caso o mapeameto da magem orgem para a magem desto apresete deformações geométrcas, etão o problema pode ser terpretado como a combação lear de duas superfíces: uma plaa, represetado uma trasformação lear e outra rregular, represetado a dstorção A fução base radal para a geração da th plate sple é defda pela segute expressão: z( x, y) = U( r) = r logr (3) ode r = x + y é a dstâca Cartesaa a orgem Devdo às característcas apresetadas pela fução U, uma combação lear de múltplos termos U(r) pode ser usada para modelar uma lâma de metal delgada com extesão fta em todas as dreções A fg mostra uma represetação de uma lâma delgada correspodete à fução: (( ) k ) ( ) ( ) z( x, y) = U x + ( y ) U ( x+ ) + y + + U x + ( y+ ) U ( x ) + y = 4 k = ( ) U x, y D k= (4) Aas do XI SIBGRAPI, outubro de 996

3 OBTENÇÃO DA TRANSF RÍGIDA EM REGISTRO DE IMAG COM DEFORMAÇÃO USANDO THIN PLATE SPLINES 83 f ( x, y) = a + ax + ay + kr log r ( 7) k= ( 8) = kx ( ) = 9 = ky = ( ) = Fg - Represetação da superfíce dada pela expressão (4) ode D k são os vértces (), (,), (-,), (,-), que defem um quadrado A terpretação físca desta fução é a de uma lâma fa de metal com potos de pressão a superfíce, com suas localzações dcadas pelos vértces do quadrado A pressão realzada sobre a superfíce a dreção ortogoal ao plao de superfíce assume o setdo dado pelos coefcetes de U, ( - ou ) em cada um dos respectvos vértces Para uma lâma delgada sujeta a uma curvatura suave, a eerga de curvatura em um poto é proporcoal à quatdade z z z + + (5) x xy y aquele poto, e z(x,y) = (-) k U( (x,y) - D k ) mmza a tegral z z z dxdy + x xy + (6) y R sobre a classe de todas as fuções z tedo os valores ( - ) k em D k Maores detalhes da formulação teórca pode ser obtda em [Bookste 89], ou em [Meguet 79a, 79b, 84] Para determação das fuções de mapeameto em x, y, é ecessáro resolver o sstema lear formado pelas equações apresetadas em (7), (8), (9), e () A equação (7) assegura a superfíce de terpolação da Th Plate Sple como superfíce suave, sto é, com a prmera dervada parcal cotua As equações (8), (9), (), asseguram que a TPS cresça quase learmete quato mas dstate dos potos de cotrole for a avalação Para cada poto de cotrole haverá uma equação da forma de (7), ode (x,y ) determam um poto de cotrole e f(x,y ) = z, resultado em equações do tpo: f( x, y ) = a + a x + a y + kr logr (a) : f( x, y ) = a + a x + a y + kr logr (b) O sstema de equações leares assm formado é resolvdo para f(x,y)=u, determado o mapeameto em x e para f(x,y) = v determado o mapeameto em y, para a determação dos parâmetros a, a, a, e k, com,, Obteção da trasformação rígda a partr da TPS Na formulação da th plate sple, como apresetada a seção ateror, a compoete lear da trasformação é dada pelo coefcetes a, a, a, os quas defem uma trasformação afm Esta formulação pode ser terpretada como sedo a sobreposção de uma superfíce de deformação sobre o plao a +a x + a y, que defe a trasformação afm Para o caso do regstro de seções seradas, este modelo ão é o deal Detro do cotexto de regstro de mages seradas, estamos teressados a obteção da trasformação rígda que alha duas mages O modelo a ser empregado deve, etão, apresetar uma trasformação de corpo rígdo mas os efetos de uma trasformação de deformação Pode-se mpor esta restrção ao modelo lmtado a trasformação afm para que esta seja uma trasformação rígda com escalameto As fuções de mapeameto fcam etão: f ( x, y) = a + α cos ϕ x α se ϕ y+ br log r x (a) f ( x, y) = a + αse ϕ x+ α cos ϕ y+ c r log r y (b) Aas do IX SIBGRAPI, outubro de 996

4 84 J E CASTANHO E C L TOZZI ode α é o fator de escalameto e ϕ é o âgulo de rotação assocados a trasformação Para que esta restrção seja satsfeta é ecessáro resolver f x e f y smultaeamete de maera que o âgulo de rotação e fator de escala determados satsfaçam ambas as fuções Para as equações em (), os parâmetros a serem determados são: (αseϕ), (αcosϕ), a x, a y, b, e c, com,, Para a determação destes parâmetros, deve-se resolver o sstema lear apresetado a segur: que as mages foram adqurdas sem varação de escala ou dstâca Portato, é ecessáro separar também o efeto do escalameto do efeto da rotação, obtdos os parâmetros αseϕ, αcosϕ, elmado-o da fução de mapeameto Esta separação pode ser faclmete realzada pela determação da orma dos vetores da matrz de rotação/escalameto Assm, (α cosϕ) + (α seϕ) = α, (5) ode α é o fator de escala, ou ada, usado a relação ϕ = ata (αseϕ / αcosϕ), (6) x x x -y -y -y [Kx] (3) ode K x = K y é o Grama da sple dado por: r log r r logr r log r r logr : : : r logr r log r a y a x αcosϕ αseϕ b * = x x x y y y b y y y x x x [Ky] (4) 3 Separação dos parâmetros de traslação, rotação, escala e deformação No método desevolvdo, dferetemete da abordagem tradcoal, há uma explctação, ou refameto, do modelo de represetação das deformações e da trasformação afm Assm, a parte lear represeta ada uma trasformação afm, porém restrta a uma trasformação do tpo corpo rígdo com escalameto Já a parte ão lear represeta um deslocameto de coordeadas aplcada a cada poto para modelagem da deformação que ajusta as mages Do poto de vsta do regstro de seções seradas deve-se terpretar o fator de escala também como uma deformação, pos se cosdera c c u u u v v v para obter o âgulo de rotação substtudo de volta em (αseϕ), obtemos o fator da escala Deve-se otar, etretato, que a smples elmação do fator de escala da trasformação ão é possível pos os coduz a obteção de um resultado de regstro egaoso Supodo que se esteja trabalhado com cotoros, o segute método é proposto para solar o efeto da rotação do de escala: Determa-se o cetro de massa do cotoro orgem Aplca-se a trasformação lear obtda, cludo traslação, escalameto e rotação, excludo-se os efetos da deformação ao cotoro orgem 3 Determa-se o cetro de massa do cotoro assm trasformado 4 Determa-se a traslação de regstro pela dfereça etre as coordeadas dos cetros de massa dos cotoros ates e depos da aplcação do mapeameto; 5 Determa-se a rotação pela expressão (6) A sequêca acma, embora baseada o uso de cotoros, pode ser estedda para outras stuações Deve-se observar que o cetro de massa é calculado após a trasformação sem os efetos da deformação sobre o cotoro Isto é dferete de calcular a traslação usado os cetros de massa do cotoro de orgem e do cotoro de desto, o que cofgurara o regstro pelo cetro de massa dos cotoros correspodetes 3 Resultados Para a verfcação do método de regstro, são apresetados a segur algus expermetos com a utlzação de dos polígoos represetado cotoros Um deles fo dervado a partr do outro através da smulação de deformações Este polígoo é etão rotacoado, trasladado e etão usado como alvo para o regstro com o polígoo orgal sem deformação Os resultados dos parâmetros de trasformação, obtdos Aas do XI SIBGRAPI, outubro de 996

5 OBTENÇÃO DA TRANSF RÍGIDA EM REGISTRO DE IMAG COM DEFORMAÇÃO USANDO THIN PLATE SPLINES 85 pela aplcação do método de regstro desevolvdo, são, etão, comparados com os resultados das trasformações aplcadas, permtdo avalar o desempeho do método Na fg, são mostrados os cotoros gerados para os testes, sem os efetos de rotação e deslocameto Em todas as fguras o traço cotíuo represeta o cotoro deformado a partr do cotoro orgal em tracejado Na fgura a) o cotoro cotíuo fo obtdo a partr do cotoro em tracejado através de deslocameto em algus vértces Na fgura b) o cotoro sofre, além da deformação ateror, um escalameto de fator, Na fg c) fo provocado uma deformação mas acetuada, atgdo maor úmero de vértces e um escalameto de fator, Fg 3 - Cotoros da fg a após o regstro Numercamete os resultados obtdos foram: Traslação em x: 3 Traslação em y: Rotação: Escala: a) b) 5 5 Teste : Regstro do cotoro da fg b c) Fg - Comparação do cotoro orgal cotra os cotoros com deformação, gerados para teste Após a geração dos cotoros com deformação, estes foram rotacoados e trasladados com os segutes valores: Rotação: 6 Traslação em x: Traslação em y: 5 Falmete o cotoro orgal sem deformação é regstrado cotra cada um dos cotoros deformados Os resultados obtdos com o regstro são mostrados a segur Teste : Regstro do cotoro da fg a com pequeo grau de deformação O resultado do regstro é mostrado a fg3 abaxo Fg4 - Resultado do regstro do cotoro da fg b deformado (em lha cotua) com o cotoro orgal (em tracejado) Numercamete os resultados obtdos foram: Traslação em x: 8 Traslação em y: Rotação: Escala: 83 Teste 3: Regstro do cotoro da fg c Aas do IX SIBGRAPI, outubro de 996

6 86 J E CASTANHO E C L TOZZI Fg5 - Regstro do cotoro da fg c deformado (em lha cotua) com o cotoro orgal ( em tracejado) Numercamete os resultados foram: Traslação em x: Traslação em y: 4985 Rotação: Escala: 9759 Erro percetual a traslação: tx = -863%, ty = -3699% 4 Cometáros Algumas cosderações devem ser fetas com relação a terpretação e aálse dos resultados dos expermetos o que se refere a precsão Em prmero lugar, é ecessáro esclarecer que os exemplos foram cocebdos com a faldade de reproduzr o mas felmete possível stuações reas e os polígoos foram produzdos baseados em mages dgtalzadas Porém, ada são apeas smulações e ão represetam todas as possbldades de emprego do método Também é ecessáro se efatzar que os expermetos foram realzados utlzado-se cotoros com deformações artfcal produzdas e que ão respetam ecessaramete o crtéro de regstro, sto é, deformações com míma eerga de curvameto Cotudo, os resultados obtdos são bastate sgfcatvos No prmero teste, a pequea deformação teve pouca fluêca o resultado e o erro fo meor que um pxel as traslações e meor que um grau a rotação No segudo teste, com um escalameto acrescetado, o resultado também fo bastate precso, demostrado a pequea fluêca do escalameto o resultado Isto era prevsível, já que o escalameto, sedo uma trasformação lear, ão modfca a eerga de curvameto da th plate sple No tercero teste, com uma deformação mas acetuada o cotoro, o resultado se deterora um pouco, porém ada é bastate bom e vsualmete harmooso Nestes expermetos, os potos de cotrole utlzados para o regstro dos cotoros são os própros vértces que defem os polígoos Portato, este caso ão há problema de casameto equvocado dos potos de cotrole, já que o polígoo de desto é dervado do polígoo de orgem No caso de regstro de mages aturas a escolha dos potos de cotrole, bem como o matchg correto etre eles as duas mages é um problema sem solução smples Não etraremos em cosderações a este respeto este artgo por estar fora dos objetvos propostos Porém, é teressate otar que a th plate sple também oferece recursos para a aálse da qualdade do matchg etre os potos de cotrole através da aálse dos íves de deformação (ou de eerga) com os quas cada poto esta assocado Por exemplo, poderemos cosderar que potos de cotrole com um grade ível de deformação assocado, ão apresetam um alto grau de cofabldade e portato podem ser descartados em um processo de regstro teratvo O artgo de Bookste [Bookste 89] apreseta subsídos para o procedmeto dessa aálse Algus aspectos computacoas devem ser cometados Flusser chama a ateção em seu artgo [Flusser 9] para o fato de que o custo computacoal da solução do sstema equações é elevado quado o úmero de potos de cotrole excede a 5, vablzado a sua aplcação Mas recetemete, Barrodale mostra que recetes avaços em téccas de cálculo umérco mmzaram a mportâca deste problema [Barrodale 93] De qualquer modo, em mutas aplcações, a quatdade de potos utlzada pode ser bem meor do que 5 Com relação a aplcabldade do método, é precso fcar claro que os resultado obtdos com o procedmeto apresetado é ótmo estrtamete detro do coceto de que a eerga total para o deformação (ou curvameto da superfíce) é mmzada A adoção desta técca pressupõe que a aplcação, ou o objeto das mages, para qual o regstro deva ser usado, obedeça este crtéro, ou pelo meos apresete um comportameto aproxmado Por outro lado, o crtéro de mmzação de eerga esta presete em uma sére modelos físcos e clusve a modelagem de algus processos vsuas [Terzopoulos 83], [Grmso 83], e, por sso, do poto de vsta de modelagem de um feômeo atural, como é o caso das deformações em amostras de bologa, a utlzação deste crtéro é bastate plausível É bom lembrar que este mesmo prcípo é aplcado a formulação de curvas sples aturas e uma dmesão, das quas a th plate sple é uma extesão [Lacaster 86] Aas do XI SIBGRAPI, outubro de 996

7 OBTENÇÃO DA TRANSF RÍGIDA EM REGISTRO DE IMAG COM DEFORMAÇÃO USANDO THIN PLATE SPLINES 87 As característcas terpolatóras das th plate sples também sugerem seu emprego para terpolação etre mages, com vatages sobre métodos que se utlzam de polômos Proposta semelhate fo apresetada por Ruprecht [Ruprecht 94] com a utlzação de outras fuções radas A utlzação da mesma técca para regstro e terpolação das mages pode, evetualmete, ser utlzada para gahos computacoas e de mplemetação 5 Coclusões Apresetamos, este artgo, uma ova técca de regstro utlzado th plate sples como fução de mapeameto Embora do poto de vsta de mplemetação as modfcações apresetadas, em relação a aplcação dreta da th plate sple para regstro de mages, sejam relatvamete smples, do poto de vsta cocetual do modelo usado e da sua terpretação, as mudaças são sgfcatvas No modelo apresetado este artgo, o regstro é feto modelado-se uma trasformação rígda com a sobreposção de efetos de escalameto uforme e de deformações Dferetemete, a aplcação dreta da th plate sple, a trasformação de regstro é modelada como sedo uma combação lear de uma trasformação afm geérca com uma compoete de deformação A fução de mapeameto obtda obedece ao crtéro de que a eerga total de deformação é míma O modelo apresetado se aplca de maera muto mas precsa ao regstro de mages de seções seradas Esta abordagem dfere, e mostra-se cocetualmete mas adequada do que a abordagem de outros métodos apresetados a lteratura, os quas teta-se separar os efetos da deformação pela escolha dos elemetos adequados da magem, ou este efeto é tratado como um problema de mmzação do erro mplícto o dados 6 Bblografa [Barrodale 93] - Barrodale, I, et all Warpg Dgtal Images usg Th Plate Sples Patter Recogto, vol 6, o, pp , 993 [Bookste 89] - F L Bookste Prcpal Warps: Th-Plate Sples ad the Decomposto of Deformatos, PAMI, vol, o 6, pp , Jue, 989 [Brow 9] - L Gottesfeld Brow, A survey of mage regstrato techques, Computg Surveys, vol 9, pp , 99 [Castaho 95] - José E Castaho, Olga RP Bello, Cléso Tozz Image Regstrato Ad Image Iterpolato I Volume Rederg Of Cross Sectos 995 IEEE Iteratoal Coferece o Systems, Ma ad Cyberetcs, Vacouver, Caadá, October, 995 [Else 93] - Petra A va de Else, Evert-Ja D Pol Max A Vergever Medcal Image Matchg - A Revew wth Classfcato IEEE Egeerg Medce ad Bology, pp 6-39, 993 [Flusser 9] - J Flusser, A adaptve method for mage regstrato, Patter Recogto, vol 5, o, pp 45-54, 99 [Goshtasby 88] - A Goshtasby Regstrato of mages wth geometrc dostortos IEEE Trasactos o Geoscece ad Remote Sesg, 6, pp 6-64, 988 [Grmso 83] - W E L Grmso, A mplemetato of a Computacoal Theory of Vsual Surface Iterpolato Computer Vso, Graphcs, ad Image Processg,, pp 39-69, 983 [Lacaster 86] - Peter Lacaster ad Kestuts Salkauskas Curve ad Surface Fttg Academc Press, 986 [Meguet 79a] - J Meguet A trsc approach to multvarate sple terpolato at arbtrary pots, Polyomal ad Sple approxmato, B Sahey, Ed Dordrecht, The Netherlads: Redel, pp 63-9, 979 [Meguet 79b] - Jea Meguet Multvarate terpolato at arbtrary pots made smple, Joural of Appled Math ad Physcs (ZAMP), vol 3, pp 9-34, 979 [Meguet 84] - J Meguet Surface sple terpolato, Approxmato Theory ad Sple Fuctos, S P Sgh et al, Ed Dordrecht, The Netherlads: Redel, pp 7-4, 984 [Merckel 88] - Mchael Merckel 3D Recostructo: The Regstrato Problem Computer Vso Graphcs, ad Image Processg, 4, 6-9, 988 [Ruprecht 94] - D Ruprecht ad Herch Müller Deformed Cross-Dssolves for Image Iterpolato Scetfc Vsualzato The Joural of Vsualzato ad Computer Amato, vol 5, pp 67-8, 994 [Terzopoulos 83] - Demtr Terzopoulos Multlevel Computacoal Process for Vsual Surface Recostructo Computer Vso, Graphcs, ad Image Processg, 4, pp 5-96, 983 [Wolberg 94] - Wolberg, G Dgtal Image Warpg IEEE Computer Socety Press, 994 Aas do IX SIBGRAPI, outubro de 996