Complexidade Computacional da Determinação da Correspondência entre Imagens

Transcrição

1 Complexdade Computacoal da Determação da Correspodêca etre Images Adraa Karlstroem Laboratóro de Sstemas Embarcados Departameto de Egehara Mecatrôca Escola Poltécca da Uversdade de São Paulo Resumo. O problema de determas a geometra e posção de objetos a partr de correspodêcas etre potos de seqüêcas de mages ada é um tópco em aberto em Vsão Computacoal. Uma forma de abordar esse problema é através da geometra eppolar, calculado a matrz fudametal a partr da correspodêca etre pares de mages de uma seqüêca tomada por uma câmera em movmeto. A matrz fudametal obtda de um cojuto de potos correspodetes etre duas mages determa uma homografa etre potos em uma magem e lhas em outra, e forece a meos de um fator de escala a matrz de projeção que trasforma uma magem a outra. Neste trabalho são apresetados os cocetos fudametas de geometra eppolar, modelo de câmera, matrz fudametal e seus métodos de determação a partr de cojutos de potos correspodetes em pares de mages. A partr desses cocetos, é apresetada uma estmatva da complexdade computacoal desses métodos.. Itrodução: O problema de detfcação da correspodêca etre potos de duas mages é crucal em mutos aspectos da aálse de mages e vsão computacoal. A geometra eppolar tem grade aplcação prátca a aálse de pares estéreo de mages ão calbradas e em seqüêcas de mages. O propósto deste trabalho é apresetar os cocetos utlzados em geometra eppolar, os métodos de determação da matrz fudametal da correspodêca ete um par de mages, e apresetar uma estmatva da complexdade computacoal desses métodos.

2 Adraa Karlstroem. Cocetos Fudametas.. Projeção Perspectva e Modelo de Câmera Na Fg. temos a represetação de um modelo de câmera fta. O plao F (plao focal) está a uma dstâca f (dstâca focal) à frete do plao I (plao da magem). Cosderado um orfíco deal o poto C (cetro óptco), a magem m é a projeção perspectva do poto M do espaço o plao I, cetrada em C. Na fgura, o plao I fo represetado à frete do plao focal de forma que a magem pudesse ser vsualzada sem versão. Cosdera-se que a trasformação que leva do sstema de coordeadas o espaço cetrado em O para o sstema de coordeadas da câmera cetrado em C cosste de uma rotação R e uma traslação t. Além dsso, em uma câmera CCD, real pode-se ter pxels ão quadrados e resoluções dferetes a horzotal e vertcal. Assm a magem apreseta dfereças as escalas horzotal e vertcal, e seus exos podem ão ser ortogoas. F (R,t) Y plao da magem I y Z w X C sstema de coordeadas de câmera c x m (x,y) Z sstema de coordeadas espacas plao focal M (X,Y,Z) X w O Y w v y m parâmetros trísecos v c x o θ u Fg.. - Modelo de Câmera (Projeção Perspectva) Dessa forma, a trasformação que mapea um poto do espaço trdmesoal para um poto do plao da magem (matrz de projeção perspectva, ou matrz da câmera), em coordeadas homogêeas, é dada por:

3 Complexdade Computacoal da Determação da Correspodêca etre Images 3 ( ) ( ) M M M t R v u se k f cot k f k f M ~ D P A M ~ P m m m ~ s z y x v u u N y x θ θ O parâmetro s é um fator de escala arbtráro. A matrz A represeta os parâmetros eretes da costrução da câmera, ou trísecos. A matrz D represeta a geometra do poscoameto da câmera o sstema de coordeadas espacas, ou parâmetros extrísecos. A matrz P N represeta a câmera ormalzada. Essa trasformação é ão lear, pos os valores das coordeadas x e y o plao da magem são versamete proporcoas à coordeada Z o espaço. Os potos o plao focal F são todos mapeados para o fto, exceto o cetro óptco C, represetado pelo poto prcpal c(,). Os potos o fto são todos mapeados para a orgem do sstema de coordeadas da câmera... Geometra Eppolar π C C e e M l l I I (R,t) m m Fg.. Geometra Eppolar A geometra eppolar etre duas mages tomadas de uma mesma cea é essecalmete a geometra da tersecção dos dos plaos de magem I e I com o fexe de plaos que tem como exo a lha de base (lha que ue os dos cetros óptcos). Um poto M do espaço tem projeções m e m respectvamete a prmera e seguda mages, e deseja-se saber a relação etre esses potos correspodetes. A

4 4 Adraa Karlstroem determação dessa correspodêca é o prmero passo para se dervar formações do espaço trdmesoal a partr de um par de mages. As tersecções etre os plaos I e I e a lha CC são os chamados eppolos e e e, represetado a projeção do cetro óptco da outra câmera em cada plao de magem. O plao p cotedo a lha CC e o poto M, é o plao eppolar. A tersecção do plao eppolar com os plaos de magem defe as lhas l e l, chamadas lhas eppolares. Dessa forma, todas as lhas eppolares de uma magem passam pelo seu eppolo. Para um dado poto m o plao I, seu correspodete o plao I deve estar sobre a lha l e vce versa. A trasformação que mapea os potos de uma magem para lhas da outra magem é represetada por uma matrz F, chamada matrz fudametal. Sejam P e P as matrzes de projeção da prmera e seguda magem respectvamete. Podemos escrever: s m ~ P M ~ s m ~ P M ~ M ~ s P s m ~ s P P m ~ P p m ~ p Ode P é a pseudo-versa de P e p é um vetor ortogoal às lhas de P. P P p P ( P P ) Como p sempre é projetado a orgem, ele defe o cetro óptco da seguda magem: e P p e P p Por outro lado, se m e e pertecem à lha l, e m e e pertecem à lha l, temos: ode [.] x é a trasformação Dessa forma, l l l e ~ m ~ l ~ e m ~ x y z z y [ e] m ~ [ e ] m ~ z y x x [ ] m ~ [ ] m ~ e s e ( s P P P p ) s s [ e] s s [ P p ] P P m ~ s s F m ~ Ode a matrz fudametal é dada por: F [ P p ] P P Logo, a meos de um fator de escala, temos: P P m ~

5 Complexdade Computacoal da Determação da Correspodêca etre Images 5 E a codção de correspodêca é l F m ~ m ~ l l F m ~ l m ~ m ~ F m ~ ().3. Determação da matrz fudametal a partr de potos correspodetes O problema de obter o mapeameto etre duas mages a partr de um cojuto de m, equvale a obter a solução do cojuto de equações m ~ F m ~. potos { m } Uma vez que F [ e] P P e det ([ ] ) desse sstema de equações é det ( F ). Por outro lado, rak ([ e] ) rak ( P P ) 3, uma codção adcoal para solução e geralmete. Dessa forma rak ( F ), e a matrz fudametal tem 7 graus de lberdade. Isso sgfca que podemos ecotrar uma solução para m ~ F m ~ a partr de um cojuto de sete ou mas potos correspodetes em cada magem. m,m u,v, u, v, temos: { } Para um par de potos correspodetes { } [ ] [ ] f f f u u f v f f m ~ m ~ 3 3 F 3 3 f f f u f v f f [ u v ] f f f v [ u v ] u f v f f u f u v f u f3 v u f v v f v f3 u f3 v f3 f () u 33 E o sstema de equações para potos correspodetes etre as duas mages é: K u u u v u v u v v v u v M M M M M M M M M f (3) u u u v u vu vv v u v f [ f f f f f f f f ] f 33 A matrz K represeta um sstema de equações homogêeas, e f será determado a meos de um fator de escala. Para que exsta uma solução, rak ( K ) deve ser ao meos 8, caso em que a solução é úca e pode ser obtda learmete. (determação do espaço ulo à dreta de K ). Se os dados forem exatos, pela preseça de ruído as coordeadas dos potos correspodetes, etão rak ( K ) pode ser gual a 9, e f deverá ser calculado por mímos quadrados. Ou seja, f será o vetor sgular correspodete ao meor valor sgular de K, ou a últma colua de V em SVD K UDV. Essa solução mmze K f sob a codção de f.

6 6 Adraa Karlstroem Como vmos, uma mportate propredade de F é que ela é sgular, com posto. Além dsso, os vetores represetado os eppolos as duas mages geram os espaços ulos à esquerda e à dreta de F. No etato, a matrz F obtda pela solução do sstema de equações dado em (3) ão ecessaramete tem posto, e essa restrção deve ser garatda posterormete. A maera mas coveete de fazê-lo é corrgr a matrz F obtda pela solução de K por SVD, substtudo-a pela matrz F, que mmza a orma de Frobeus F F com det ( F ). Se a SVD de F UDV, ode D dag( r,s,t) é tal que r s t, etão F U ( r,s, ) V orma de Frobeus F F. dag mmza a 3. Algortmos para determação da matrz fudametal 3.. Algortmo de 8 potos ormalzado O método de cálculo do vetor f descrto acma é a base do chamado algortmo de 8 potos par determação da matrz fudametal F. rata-se da forma mas smples de cálculo da matrz fudametal, evolvedo apeas a costrução e solução por mímos quadrados de um sstema de 8 ou mas equações leares homogêeas. No etato, apreseta grade stabldade umérca quado utlzado dretamete sobre as coordeadas de pxel dos potos correspodetes. Para reduzr esse efeto, deve-se realzar uma ormalzação cudadosa dos dados de etrada, composta pela traslação e pelo escaloameto sotrópco dos potos em ambas mages. Esse processo é represetado pelas matrzes de trasformação e, aplcadas respectvamete sobre os potos x e x, gerado os potos ormalzados x ˆ x e x ˆ x, de forma que a matrz fudametal Fˆ obtda a partr dos potos correspodetes ˆx e ˆx seja tal que x F x xˆ F xˆ Fˆ F. O algortmo cosste de três passos, como segue:. Normalzação: as coordeadas dos potos correspodetes cada magem são trasformadas segudo x ˆ x e x ˆ x, ode e são trasformações de ormalzação tas que o cetróde dos potos selecoados seja trasladado para a orgem e a dstâca méda desses potos à orgem seja escaloada para.. Determa-se uma solução Fˆ a partr dos potos correspodetes xˆ xˆ : Solução lear: determa-se Fˆ a partr do vetor fˆ correspodete ao meos valor sgular da SVD de Kˆ, coforme (3). Codção de cotoro: substtu-se Fˆ por F através da SVD de Fˆ como descrto o tem.3. ˆ tal que det ( F ˆ ), determada

7 Complexdade Computacoal da Determação da Correspodêca etre Images 7 3. Desormalzação: a matrz fudametal correspodete ao cojuto de potos orgal, x x é dada por F Fˆ. 3.. Algortmo mímo de 7 potos No caso em que a matrz K, defda em (3), tem posto 7, ada é possível ecotrar uma solução para a matrz fudametal utlzado-se a codção de sgulardade da matrz F. O caso mas mportate é quado são cohecdos apeas 7 potos correspodetes etre as mages (outros casos advêm de degeerações como potos sobre o mesmo plao, potos sobre uma quádrca, ou ausêca de traslação da câmera). Esse caso leva a uma matrz K 7 79, em geral de posto 7. A solução do sstema de equações K 7 f é um espaço bdmesoal da forma ( α ) αf F, ode α é um valor escalar. As matrzes F e F correspodem aos vetores f e f, geradores do espaço ulo à dreta de K 7, dados pelos vetores sgulares correspodetes aos valores sgulares ulos de K 7, ou pelas duas últmas coluas de V em SVD A UDV. Usado a codção de ( F ) det( F ( α ) F ) det α, chega-se a uma equação polomal o cubo de α, para a qual haverá uma ou três soluções reas, gerado uma ou três possíves soluções F αf α F. para a matrz fudametal ( ) 3.3. Erro Resdual O erro é defdo por: N ( d( x,f x ) d( x,fx ) ) Ode d ( x,l) é a dstâca (em pxels) etre o poto [ u v] [ a b c] d x,l au bv c a b. l, dada por ( ) ( ) ( ) (4) x e a lha O erro é a méda da dstâca etre cada um dos N potos do cojuto de dados de etrada e a lha eppolar do seu correspodete a outra magem, calculada para ambos os potos de cada par. Note que o erro é calculado sobre todos N os potos correspodetes defdos para o par de mages, ão apeas os escolhdos para calcular a matrz fudametal F. Os algortmos descrtos as seções 3. e 3. ão cosderam o erro resdual a determação da matrz fudametal. Os algortmos descrtos as seções 3.4 e 3.5 a segur, cosderam o erro resdual como crtéro para obteção da melhor estmatva da matrz fudametal a partr de um cojuto de N > 7 potos correspodetes etre duas mages.

8 8 Adraa Karlstroem 3.4. Algortmo de 7 potos teratvo Dado um cojuto de N potos correspodetes etre duas mages x x, N > 7, o algortmo de 7 potos teratvo de cálculo da matrz fudametal F cosste em tomar todas as combações de 7 potos possíves detro desse cojuto, calcular as soluções F αf ( α ) F através do algortmo mímo de 7 potos descrto a seção 3., determar o erro resdual dessas soluções e compará-lo com o erro resdual mímo até o mometo. Se o erro de uma dessas estmatvas da matrz fudametal for meor que o mímo atual, toma-se esse valor de erro como mímo e a matrz F correspodete tora-se a melhor estmatva da matrz fudametal para esse cojuto de potos correspodetes. Caso cotráro, os valores calculados são descartados e o erro mímo e a estmatva da matrz fudametal permaecem alterados. Este método forece a estmatva da matrz fudametal que melhor se ajusta ao cojuto de potos correspodetes das mages, quado calculada a partr de 7 pares de potos o que já garate tato a relação expressa em (3) como a codção de sgulardade de F. Por outro lado, quato maor o úmero N de potos do cojuto de etrada, o quatdade de terações a serem realzadas crescerá com a sétma N! 7! N 7!. poteca de N, uma vez que o úmero de combações é ( ( ) ) 3.5. Algortmo de 8 potos ormalzado recursvo Este método utlza o erro resdual descrto a seção 3.3 como crtéro de mmzação para uma forma recursva do algortmo de 8 potos ormalzado da seção 3.. Seja l F ~ x l l l e l F ~ x [ l l l ], etão (4) pode ser reescrta como N w [ ] 3 3 x, ode w ( ( l l )) ( ( l l )) ( ) Fx N w ( Fx ). O cálculo de m x é semelhate ao cálculo da solução do sstema de equações em F (3), e represeta uma solução poderada. Se pudermos calcular os pesos w de cada par de potos, a equação correspodete pode ser multplcada por w, e utlze-se o mesmo algortmo de 8 potos ormalzado para calcular uma estmatva da matrz fudametal que mmza (4). Como os pesos w depedem da matrz fudametal, utlze-se um método lear recursvo. Prmeramete assume-se w e calcula-se uma estmatva cal de F. Novos pesos w são calculados a partr dessa estmatva e o algortmo de 8 potos ormalzado é utlzado sobre o ovo cojuto de equações poderadas. Esse procedmeto será repetdo um úmero de vezes sufcete para que se atja um erro resdual mímo, ou até que um úmero máxmo de terações seja atgdo Cosderações de desempeho Resultados expermetas mostram que o algortmo de 7 potos teratvo forece os melhores resultados para a estmatva da matrz fudametal segudo o crtéro do

9 Complexdade Computacoal da Determação da Correspodêca etre Images 9 erro resdual. Em seguda, o algortmo de 8 potos ormalzado recursvo forece resultados tato melhores à medda que o úmero de potos correspodetes aumeta. O algortmo de 7 potos mímo forecerá sempre o melhor resultado sobre o cojuto de potos utlzado o cálculo, mas o desempeho cosderado sobre um cojuto de correspodêcas maor será sempre o por caso. 4. Complexdade da determação da matrz fudametal Cosderado os algortmos descrtos as seções aterores dvddos em blocos ou passos, vemos que todos realzarão SVD sobre uma matrz 9, varado de 7 ao tamaho do cojuto total de potos correspodetes etre o par de mages. Cada um deles terá etão passos adcoas de complexdade varável, mas essa será sempre lear ou polomal. De maera geral, um algortmo de cálculo da SVD de uma matrz formada por vetores de k elemetos pertece a O(k ). Neste estudo serão cosderadas a determação da complexdade computacoal apeas as operações matemátcas sobre os dados de etrada, e todas terão o mesmo custo, por questão de smplcdade. 4.. Algortmo de 8 potos ormalzado O método descrto a seção 3. é composto de quatro passos prcpas: ormalzação dos dados de etrada as duas mages, SVD do sstema de equações K defdo em (3), determação da matrz fudametal que satsfaz a codção de sgulardade através de SVD, e cálculo da matrz fudametal para o cojuto de potos orgal. O prmero passo, ormalzação, evolve o cálculo do cetróde dos potos meda das coordeadas dos potos e correspode a operações. Para determar os fatores de escala que garatem que a dstâca méda dos potos à orgem seja, é ecessáro trasladar o cetróde para a orgem ( operações) e determar a méda das ormas de cada poto (4 operações), totalzado 4 operações cosderado ambas mages. A costrução das matrzes de trasformação evolve multplcação de matrzes 33, totalzado 9 operações em ambas mages. Para ormalzar o cojuto de potos a partr das matrzes de trasformação são ecessáras 3 operações. Portato, o total dessa etapa é (549) operações. Como saletado acma, a SVD tem complexdade O(k ), que o caso do algortmo de 8 potos ormalzado reduz-se a O(8). A codção de sgulardade sobre F requer a SVD de F UDV, com D dag( r,s,t) e posteror recostrução F U dag ( r,s, ) V, que tem complexdade costate O(7). Falmete, o cálculo da matrz fudametal correspodete ao cojuto de potos orgas correspode à multplcação de matrzes 33, e requer 9 operações. Dessa forma a complexdade computacoal total do algortmo de 8 potos ormalzado é lear, dada por O(3597).

10 Adraa Karlstroem 4.. Algortmo mímo de 7 potos O algortmo descrto a seção 3. utlza SVD de uma matrz K Neste caso, a complexdade será costate, O(567). A determação dos coefcetes α tas que F αf ( α ) F depede da solução de det( F ) det( α F ( α ) F ), que resulta em uma equação polomal em α 3. O cálculo das raízes de um polômo de tercero grau pode ser feto umercamete ou aaltcamete, caso em que serão ecessáras 86 operações para determação da raz real e 9 operações para determação das raízes complexas. O cálculo dos coefcetes do polômo característco do determate acma evolve operações, e o cálculo de cada uma das três soluções possíves para a matrz fudametal requer 8 operações. Dessa forma, a complexdade computacoal do algortmo mímo de 7 potos será costate, O(38) Erro Resdual O cálculo do erro defdo a seção 3.3 evolve, para cada poto do cojuto de correspodêcas, a determação de l F ~ x e l ~ F x, evolvedo 5 operações cada. Adcoalmete, o cálculo da dstâca d ( x,l) requer 9 operações. Para cada par de potos temos um total de 5 operações para determação da dstâca quadrátca composta. Assm a expressão (4) tem complexdade O(5), e o erro resdual total (médo) terá complexdade O(5) Algortmo de 7 potos teratvo A complexdade computacoal de cada teração o algortmo de 7 potos teratvo é composta pela complexdade do algortmo mímo de 7 potos, O(38), acrescda da complexdade de determação do erro resdual para uma das três possíves soluções de F forecdas por esse método, O(533). A custo total do algortmo para um cojuto de potos correspodetes será o custo de cada teração multplcado pelo úmero total de terações, ou seja o úmero combações possíves: K! 7! 7!. Portato, o úmero de terações é uma fução polomal de grau ( ( ) ) sobre, K ( ) 54. O custo total do algortmo de 7 potos teratvo será dado por um polômo de grau 8 em, ( ) 54. Assm, a complexdade computacoal total do algortmo de 7 potos teratvo pode ser cosderada lmtada por O(53 8 4) Algortmo de 8 potos ormalzado recursvo Neste caso, a complexdade computacoal de cada recursão do algortmo de 8 potos ormalzado recursvo será composta da complexdade do algortmo de 8

11 Complexdade Computacoal da Determação da Correspodêca etre Images potos ormalzado orgal, pelo cálculo dos pesos w de cada um dos pares de potos, e pela poderação de cada equação do sstema K defdo em (3) pelo seu peso correspodete. O cálculo do peso w correspode à raz quadrada da dstâca composta dos potos x e x às lhas eppolares de seus correspodetes, que requer 5 operações (cosderado as operações descrtas a seção 4.3 acrescdas da raz quadrada). A poderação das equações do sstema K requer 9 operações, de forma que a complexdade total de cada teração será O(9697). Como o algortmo realzará tatas recursões quato ecessáras para atgr um valor mímo do erro resdual, lmtado a um valor máxmo K, a complexdade computacoal total do algortmo de 8 potos ormalzado recursvo será O(96K97K). 5. Coclusão Neste estudo foram apresetados os cocetos fudametas de modelo projetvo de câmeras, geometra eppolar, correspodêca etre mages através da matrz fudametal, e os métodos mas smples de determação da mesma através de cojutos de potos correspodetes etre um par de mages, com 7. Foram determadas as complexdades computacoas de cada um dos algortmos, costatado-se que todos são lmtados polomalmete. O caso mas smples, do algortmo mímo de 7 potos apreseta complexdade costate, uma vez que utlza sempre um cojuto fxo de 7 potos correspodetes, porém os seus resultados prátcos são os pores quado aplcados a um cojuto de potos dferete do usado para determação de F. Por outro lado, o algortmo de 7 potos teratvo apreseta os melhores resultados empírcos com relação ao erro resdual, mas a sua complexdade computacoal é a maor, O(53 8 4). Com sso, para um cojuto de potos muto grade, o algortmo pode vr a se torar vável, prcpalmete em casos de processameto em tempo real ou quado a velocdade para obteção da resposta for crucal. Em ível termedáro, o algortmo de 8 potos ormalzado recursvo forece resultados prátcos muto bos para um grade volume de dados de etrada, ao mesmo tempo em que matém a complexdade computacoal lear, O(96K97K), para um dado úmero máxmo de recursões K. Com sso, podemos cosderar esse método como o melhor compromsso etre o desempeho com relação ao erro resdual e o tempo de computação. 6. Referêcas. Hartley, R., Zsserma, A.,, Multple Vew Geometry Computer Vso, Cambrdge Uversty Press.. Hor, R. A., Johso, C. R., 99, Matrx Aalyss, Cambrdge Uversty Press. 3. Lews, H. R., Papadmtrou, C. H., 998, Elemets Of he heory of Computato, Pretce-Hall. 4. Xu, G., Zhag, Z., 996, Eppolar Geometry Stereo, Moto ad Object Recogto, A Ufed Approach, Kluwer Academc Publshers.

12 Adraa Karlstroem 5. Zhag, Z., 998, Determg he Eppolar Geometry ad ts Ucertaty: A Revew, Iteratoal Joural of Computer Vso Vol. 7(), pp