2 Múltipla calibração de câmeras

Transcrição

1 Múltipla calibação de câmeas Neste capítlo desceeemos algns conceitos elacionados ao pocesso de múltipla calibação de câmeas. Paa oganiza esses conceitos, popomos m amewok conceital qe ajdaá a esqematiza algns aspectos e etapas commente encontados em diesos métodos de calibação, tanto paa o caso de ma câmea como paa o de múltiplas câmeas. Paa modela o ncionamento de ma câmea, saemos o clássico modelo de câmea Pinhole. No apêndice A, enconta-se a descição detalhada dos diesos componentes e paâmetos sados paa modela teoicamente o pocesso de capta óptica, qe é ealizado intenamente nma câmea eal. Deine-se como calibação de câmea o pocesso ealizado paa calcla o alo dos paâmetos intínsecos, extínsecos e coeicientes de distoção da lente, qe são commente sados paa modela o ncionamento de ma câmea eal. Logo, considea-se como múltipla calibação de câmeas o pocesso qe pemite a calibação de áias câmeas simltaneamente. Figa 3: Sistema estéeo e de múltiplas câmeas. (Fontes: e O meno númeo de câmeas necessáio paa m sistema se consideado de múltipla calibação é dois. Esse tipo de sistema é mais conhecido como sistema de câmeas em estéeo. Já o sistema composto po mais de das câmeas ganha o nome de sistema de múltiplas câmeas (Figa 3).

2 Múltipla calibação de câmeas 4 Dieentes métodos têm sido deinidos paa aonta esse tipo de poblema, mas analisando a maioia deles, podemos estabelece m amewok conceital qe ajdaá a descee m conjnto de conceitos sado paa esole o poblema especíico da múltipla calibação de câmeas. Esse amewok conceital é composto de tês etapas, as qais também têm sido deinidas nm estdo ealizado sobe dieentes métodos de calibação de câmea indiidal, descito no tabalho de Maqes [9]. Nós adaptaemos e estendeemos a deinição das tês etapas, paa m cenáio onde analisaemos métodos de múltipla calibação de câmeas. Finalmente as etapas qe compõem nosso amewok conceital são as segintes:. Aqisição de dados paa a calibação do sistema de múltiplas câmeas.. Calibação inicial, coespondente ao cálclo inicial dos paâmetos qe saemos paa modela as câmeas eais. 3. Pocesso de otimização dos aloes calclados inicialmente paa os paâmetos de calibação das câmeas. A segi, aemos ma descição mais detalhada dos conceitos e pocessos de cada etapa do nosso amewok conceital... Pimeia etapa: aqisição de dados paa calibação A pimeia etapa do pocesso de múltipla calibação enole dieentes métodos e técnicas tilizados na capta de dados de entada qe seão sados no posteio cálclo dos paâmetos qe modelam teoicamente o pocesso de calibação das câmeas. Esses métodos e técnicas são commente compostos po dieentes algoitmos da áea de pocessamento de imagem e econhecimento de padões, qe, em conjnto com o so e a deinição de cetos tipos de padões sintéticos, ajdam a ealiza a capta e o econhecimento peciso de dieentes pontos de eeência, conhecidos como macadoes, qe são deinidos pela estta de cada padão. Os algoitmos de pocessamento de imagem são tilizados com o objetio de essalta caacteísticas pópias do padão, o qe pemite isolá-lo do esto de objetos pesentes na mesma imagem. Depois, os algoitmos de econhecimento de

3 Múltipla calibação de câmeas 5 padão se encaegam de extai e identiica indiidalmente os macadoes qe m padão contem. O objetio da tilização de m padão é a capta de ma amosta elatiamente gande de pontos de eeência coetamente econhecidos e distibídos na maio pate do espaço de isão das câmeas, deinido como espaço de asteamento. O omato dos dieentes tipos de padões popostos na bibliogaia sobe calibação de câmeas tenta cmpi algns eqisitos: O omato poposto dee esta deinido po ma estta qe pemite sa nítida dieenciação em elação a otos objetos semelhantes qe possam esta pesentes no mesmo espaço de asteamento. Isso ajda a eita possíeis eos, como alsos positios no econhecimento do padão. O omato também dee pemiti a sa ácil maniplação e moimentação no espaço de asteamento. Isso pemitiá qe o campo isal enxegado pelas câmeas esteja coetamente peenchido pela capta de áias istas álidas do padão, o qe epesentaá m maio númeo de pontos de eeência coetamente identiicados e espalhados tanto no campo isal das câmeas como no espaço de asteamento ísico. A qantidade e a distibição dos pontos de eeência contidos no padão deem pemiti a ecpeação de múltiplas inomações em elação aos mesmos, como a identiicação indiidal de cada ponto de eeência em elação ao esto dos pontos, a identiicação gpal de todos os pontos de eeência qe deteminam o omato único do padão, além de distâncias, ânglos e otas medidas qe possam se ecpeadas a pati do conhecimento péio da distibição tidimensional desses pontos de eeência qe omam o padão. À medida qe o omato de m padão passa a conte mitos pontos de eeência e detalhes na sa estta, também se encaece dietamente o pocesso de econhecimento do padão e, algmas ezes, a sa maniplação e moimentação em ente às câmeas tona-se limitada. A alta de libedade paa manipla e moimenta o padão diante das dieentes câmeas dimini a qantidade de istas álidas do padão captadas

4 Múltipla calibação de câmeas 6 simltaneamente no campo isal compatilhado pelas áias câmeas qe compõem o sistema. A obseação acima seá melho exempliicada e entendida na descição sobe dieentes tipos de padão na seção seginte.... Padões sados na calibação de câmeas Os padões de calibação têm como objetio pemiti a capta de pontos de eeência a pati da detecção e do econhecimento de algmas caacteísticas implícitas do se omato. A amosta de pontos de eeência extaída a pati da análise e do pocessamento de istas captadas do padão é sada no pocesso de calibação tanto na etapa de calibação inicial como nma etapa inal de otimização do alo dos paâmetos obtidos pela calibação inicial. A capta de ma amosta de pontos de eeência tem sido a pincipal eamenta sada no pocesso de calibação de câmeas. O so de padões contendo esses pontos de eeência tem sido estdado desde os métodos desenolidos e apesentados po [][35][36] e [4], onde o padão de calibação sado tem m omato plana e contém na sa speície pontos de eeência deinidos po macadoes explícitos o implícitos desenhados e/o inseidos na speície do padão. Otos padões popostos paa casos de estéeo e múltipla calibação de câmeas sgiam na última década, dento de m gpo consideado como padões D e mitas ezes sados em abodagens de ato-calibação de câmea descita em tabalhos apesentados po [4] e [3]. Esses ecentes tabalhos mostam a noa tendência de ato-calibação de câmeas, e têm como caacteística em comm a poposta de padões mais simples, compostos po m o dois macadoes, qe tazem como pincipal antagem a ácil maniplação, moimentação e econhecimento nas diesas istas captadas do padão dento do espaço de asteamento. ambém podemos cita oto tipo de padão conhecido como padão tidimensional composto po m conjnto de dois o tês planos colocados pependiclamente m em elação ao oto, este tipo de padão é poco tilizado paa a calibação de múltiplas câmeas pincipalmente pelos poblemas de oclsão qe pode gea os planos qe o conomam qando mais de ma câmea tenta

5 Múltipla calibação de câmeas 7 enxega simltaneamente os macadoes inseidos na sa estta, po esse motio não é consideado na nossa analise sobe múltipla calibação de câmea. anto os padões planaes como os noos padões D seão descitos a segi, qando detalhaemos m poco mais as antagens e desantagens dos mesmos, tendo sempe como oco a calibação eita em das o mais câmeas simltaneamente.... Padão plana D Dento dessa tipiicação de padão, iemos considea como padão plana aqele cjos pontos de eeência se encontam distibídos sobe ma speície plana D. abalhos apesentados po [][35][36] e [4] mostam aiações desse tipo de padão, como os apesentados na Figa 4. Figa 4: Padões planaes sados paa calibação de câmea em tabalhos como, (a) Boget [5], (b) Zhang [4] e sai [35][36] e (c) Heikkila []. Como podemos obsea, o aspecto dos padões qe deine os pontos de eeência aia em cada m dos dieentes tabalhos. Po exemplo, no tabalho de [35][36] e [4], o padão é deinido como m conjnto de qadados petos alinhados em m deteminado númeo de ilas e colnas, e os pontos de eeência são deteminados pelos cantos dos qadados petos impessos sobe m ndo banco. Essa aqiteta pemite a capta de 4 pontos de eeência po cada qadado coetamente econhecido. Já no tabalho de [], a oma dos desenhos no padão mda de m qadado peto paa cíclos bancos nm ndo peto, e os pontos de eeência são deinidos pelos centóides dos cíclos bancos. Isso pemite a capta de m ponto de eeência po cada áea cicla coetamente econhecida.

6 Múltipla calibação de câmeas 8 Ambos modelos de padão plana compatilham a caacteística do omato em gade o gelha, qe pemite a capta de m númeo de pontos de eeências abndante po ista de padão coetamente econhecido e coelacionado. Esse tipo de padão plana também já oi tilizado na calibação de sistemas estéeo e de múltipla calibação de câmeas, como descito em tabalhos ealizados po [5] (estéeo) e [5] (múltiplas câmeas). Na iga 5, mostamos o tipo de padão sado em cada tabalho. Figa 5: Padões planaes sados em (a) Olsen e Hooe [5] e (b) Boget [5]. Apesa de esse tipo de padão se mito sado e conte mita inomação em elação aos pontos de eeência qe podem se ecpeados po cada ista do padão coetamente econhecido, ele tem como pincipal desantagem a complexidade do pocessamento da imagem e do econhecimento do padão eqeido paa pode se identiicado coetamente. Esse poblema sge po casa de limitações em elação à distância e dieentes oientações em qe ma ista do padão pode se captada, limitando sa lie moimentação diante de ma o áias câmeas do sistema. Algmas estições sobe a moimentação desse tipo de padão já oam econhecidas na implementação dos métodos de calibação indiidal. atam-se

7 Múltipla calibação de câmeas 9 pincipalmente de estições na oientação do padão plana qe, em ânglos menoes qe 45º e distâncias mito longas da câmea, já apesentaa peda no econhecimento acetado. Essas estições icaam ainda mais notóias e estitias qando esse tipo de padão oi estendido paa so em sistemas com mais de ma câmea. Nesse noo ambiente de calibação, a inteseção dos campos de isão das câmeas limito mito mais as oientações mínimas nas qais o padão pode ica qando ele está sendo captado pelas câmeas. O tabalho de [5] mosta ma extensão no so desse tipo de padão paa a calibação de m sistema estéeo. Nesse ambiente com das câmeas, as limitações na moimentação e na oientação máxima de 45º do padão icam ainda mais notóias qando o ânglo ente as câmeas ica meno qe 8º (Figa 5b). Já no tabalho de [5], o so do padão plana tenta contona os poblemas de moimentação com a geação de m padão acionado e de gandes dimensões qe lhe pemitem se isíel po áias câmeas bem distantes e com poca inteseção ente os campos de isão das câmeas (Figa 5a). Em elação à abodagem apesentada po [5], essa última tem como pincipal dieença o númeo de pontos de eeência qe podem se captados. O método deinido po [5] pemite a capta de ma amosta mito maio de pontos de eeência qe o de [5]; em contapatida, o método de [5] tenta qeba a estição do posicionamento e do so de só das câmeas imposta no tabalho de [5], e ampliá-la paa spota múltiplas câmeas distibídas em m ambiente maio de asteamento. Po im, as abodagens dos métodos acima têm como desantagem comm a complexidade na aqisição dos pontos de eeência. Deido a essa limitação oam ciados noos tipos de padões. A segi seão descitas estas noas popostas de padão com omato D e adimensional...3. Padão nidimensional D O padão consideado nidimensional (D) oi poposto e descito inicialmente no tabalho pblicado po [4]. Ele é composto po dois macadoes eséicos colocados nos extemos de ma aa metálica (Figa 6). O tabalho de [4] popôs esse padão como pate de m noo método de calibação de m

8 Múltipla calibação de câmeas 3 sistema de câmeas em estéeo. Esse método pode se consideado já m método de ato-calibação, cjo conceito é descito na seção...4. Figa 6: Padão de calibação e capta poposto no tabalho de Boghese[4]. Uns anos mais tade esse método oi estendido e sado nos tabalhos de [4] [] e [37] paa a calibação de m sistema omado po múltiplas câmeas, no qal se mantee o mesmo conceito do padão D e só se mdo o pocedimento de capta e econhecimento. Esse tipo de padão D tem sido também mito tilizado como padão de calibação em sistemas de asteamento óptico comeciais como [] e [39]. As pincipais antagens desse tipo de padão taz podem se esmidas em: Libedade na moimentação e maniplação do padão. Fácil capta e isalização pelas dieentes câmeas dos sistemas Nenhma estição enqanto ao posicionamento das câmeas em elação a cetas posições o oientação do padão. O pocessamento eqeido paa a capta e extação do padão a pati das istas captadas pelas múltiplas câmeas é mais simples se compaado ao dos padões planaes. Em elação à libedade de moimentação e maniplação, esse noo omato pemite qe m sáio comm não tenha mitas estições qando ao ealiza o pocesso de capta de ma amosta de istas do padão, qe é eito nomalmente moimentando-o po toda a áea de asteamento. Essa simplicidade pemite qe o padão seja colocado em áeas do espaço de asteamento bem complicadas de capta nos distintos campos de isão das câmeas.

9 Múltipla calibação de câmeas 3 Finalmente, o pocessamento da imagem e a extação das posições D dos macadoes qe compõem esse padão são bem lexíeis e menos complexos qe o eqeido paa os padões planaes. Nomalmente o pocessamento da imagem ica bem caacteizado pelo objetio de enconta algma estatégia qe essalte os macadoes da aa em elação a otos objetos o ao ndo do espaço de asteamento. Um exemplo de das adaptações são os tabalhos de [] e [37] (Figa 7). No pimeio, a solção oi monta a aa com macadoes coloidos. As coes dos macadoes são acilmente distingíeis em elação ao ndo do espaço de asteamento, e só a aplicação de m algoitmo de theshold qe se o alo da co RGB dos macadoes é a única caacteística necessáia paa extaílos de ma imagem captada pelas câmeas. Já no tabalho de [37] sege ma estatégia mais póxima à sada em sistemas de asteamento comeciais: sa ilminação inaemelha no espaço de asteamento, jnto a câmeas sensíeis a esse tipo de lz e macadoes eestidos com tecido etoelexio. Essa aqiteta pemite qe os macadoes apaeçam nas imagens das câmeas como os objetos mais bilhosos. Noamente, aplica-se m algoitmo de theshold, nesse caso, com m ceto alo de bilho alto, peto da co banca nma escala de tons de cinza, paa extai acilmente os macadoes nas imagens captadas. Na iga 7 podemos obsea padões do tipo D tilizados tanto nos tabalhos de [37][]. Figa 7: (a) Ambiente com so de macadoes etoelexios em Uemats et al.[37], (b) macadoes coloidos sados como padão em Mitchelson et al.[].

10 Múltipla calibação de câmeas Padão adimensional O padão consideado adimensional (D) oi poposto e descito ecentemente no tabalho pblicado po [3], qe popôs m noo método de calibação de m sistema de múltiplas câmeas. Esse padão adimensional taz como antagens as mesmas do padão D: libedade na moimentação do padão, ácil isalização e pocessamento mito lee na capta e extação do padão a pati das istas captadas pelas múltiplas câmeas. A pincipal dieença e a antagem adicional é esta composto po m único macado, o qe o az mais simples qanto ao se desenho e às estições paa se coeto econhecimento. Uma esão modiicada e mais estitia do método apesentado po [3] tem sido sado po [8] na implementação de ma esão acadêmica de m sistema de asteamento óptico. Esse sistema eoli paa ma esão comecial chamado IOacke [3]. Na iga 8, são mostadas algmas imagens qe exempliicam a capta deste padão e a posteio econstção 3D. No caso do tabalho pblicado em [3] mosta-se como esse tipo de padão oi implementado a pati de m ponteio lase modiicado (Figa 8a). Já nas popostas de [8] e [3] o padão oi modelado como m macado eséico cobeto po tecido etoelexio (Figa 8b).

11 Múltipla calibação de câmeas 33 Figa 8: Macadoes adimensionais popostos po (a)soboda et al. [3], (b)pintaic et al. [8] e [3]. Paa pode acha os centóides desse tipo de macado, o pimeio passo na capta do padão é estabelece ma estatégia de contaste qe pemita distingi os macadoes dos otos objetos pesentes no espaço de asteamento. Po exemplo, paa a calibação das câmeas no caso do padão deinido po [37] e os sotwae comeciais [] e [39] oi necessáio monta ma ina-estta qe sa: Ilminação de ontes de lz inaemelha inisíel na aixa dos 85nm apoximadamente. Macadoes cobetos com ita o tecido etoelexio. Câmeas com alta sensibilidade à lz inaemelha. Essa inaestta pemite qe os macadoes sejam acilmente distingidos nas imagens captadas pelas câmeas po casa do bilho qe eles apesentam em elação aos otos objetos no espaço de capta da amosta. No caso do tabalho apesentado po [3], esse contaste é consegido pelo alto bilho qe o ponteio lase gea. Paa isso tenta-se deixa esse espaço o mais esco possíel. Uma ez ciado o contaste, os póximos passos commente deinidos paa extai e identiica os macadoes nas imagens são: Conesão da imagem captada paa m omato em tons de cinzas. Aplicação de m ilto de theshold sobe a imagem em tons de cinza com a inalidade de binaiza e essalta mais ainda os macadoes qe apaecem na imagem.

12 Múltipla calibação de câmeas 34 Uma ez binaizada a imagem, os macadoes deem apaece como áeas ciclaes dento da imagem. É sobe essas áeas qe se tenta calcla o centóide dos pixels. Após te achado o centóide dessas áeas bancas, a coodenada D do centóide é consideada nosso ponto de eeência elacionado à imagem do macado coespondente. O pocessamento da imagem descito acima é eito paa cada qado captado em cada câmea dante a moimentação do padão D o adimensional. anto no caso do padão nidimensional como no do adimensional, a simplicidade do pocessamento das imagens e a acilidade de moimentação tonam possíel a capta de ma amosta de pontos de eeência mito bem espalhada dento da áea de inteseção dos campos de isão das câmeas, assim como a capta de m númeo gande de pontos de eeência. Em contaposição, essa simplicidade do omato pode acaeta algns poblemas posteioes qe podem desencadea em eos no pocesso de calibação das câmeas. O pincipal poblema desse tipo de padão é a ácil contaminação da amosta de pontos de eeência po casa de ído o de otos elementos eoneamente econhecidos como possíeis macadoes álidos. Esses poblemas são descitos nos tabalhos de [4] e [3], e algmas solções e estatégias são popostas paa descata esses ídos qe podem gea a identiicação de alsos macadoes dento das imagens pocessadas. As eamentas mais sadas paa descata esses alsos macadoes aiam desde o so de algoitmos de pedição do moimento até otinas de coespondência só tilizadas qando é comptada a matiz ndamental, qe é deinida na seção...4. Nas solções antes citadas, também se obseam os dieentes momentos no pocesso de calibação nos qais elas podem se aplicadas. Po exemplo, o so de m algoitmo de pedição de moimento seia consideado ma medida peentia qe pode se tilizada logo ao início do pocesso de calibação, isto é, na etapa de capta do padão, sem se estende paa ma etapa posteio. Já a solção do so da teoia po tás do cálclo da matiz ndamental paa enconta alsos macadoes é aplicada após a amostagem te sido captada. Essa solção é m poco mais coetia qe peentia e taz como ponto negatio a necessidade

13 Múltipla calibação de câmeas 35 de espea até esse estagio aançado no pocesso de calibação paa detecta os possíeis eos indos da etapa de capta da amosta... Segnda etapa: calibação inicial A segnda etapa tem como objetio agpa e descee os dieentes métodos tilizados paa calcla o alo inicial dos paâmetos intínsecos, extínsecos e da distoção das lentes das múltiplas câmeas qe compõem nosso sistema. O pocesso do cálclo dos paâmetos das câmeas é deinido como calibação de câmea. Em geal, as dieentes técnicas de calibação de câmea podem se agpadas em das categoias [7][8]: calibação otogamética e ato-calibação. Na implementação dos diesos métodos desenolidos paa múltipla calibação de câmeas é mito comm diidi a taea de calibação de cetos paâmetos sando métodos das das categoias. A segi, deiniemos essas das categoias e as complementaemos com a descição de dois algoitmos qe petencem a cada ma delas. Esses algoitmos são tilizados na implementação do método de múltipla calibação de câmeas poposto nesta tese.... Calibação otogamética Neste tipo de método calclam-se os paâmetos de calibação de ma câmea sando a inomação onecida po m padão cja geometia é conhecida com pecisão no espaço tidimensional onde ele é posicionado [7][8]. Um exemplo clássico desse tipo de método é o poposto po sai [35][36], qe sa m padão plana montado nm sistema de tilhos qe moimenta o padão com pecisão em ente à câmea. Oto tabalho semelhante, poém mais lexíel, é poposto po Zhang [4], qe também tiliza m padão plana moimentado liemente diante da câmea. Com base nas inomações onecidas pelos pontos eeenciais colocados sobe o padão plana, enconta-se ma coespondência dieta ente a posição 3D dos macadoes nesse padão e os pontos D coespondentes extaídos das imagens captadas do padão.

14 Múltipla calibação de câmeas 36 Este tipo de método gea esltados mito pecisos, mas na pática, é poco tilizado po casa do alto csto eqeido paa monta m padão plana qe ocpe o maio campo de isão da câmea, além de moimentá-lo, captá-lo e econhecê-lo com pecisão em cada ista captada do padão. Oto inconeniente é o tempo despendido na capta de ma amosta de istas álidas do padão. Este método está mais elacionado ao pocesso de calibação indiidal de câmea, e é mito tilizado especialmente paa calcla os paâmetos intínsecos e os coeicientes de distoção da lente. Os paâmetos extínsecos também podem se ecpeados, poém, não são únicos e m alo dieente é calclado paa cada ma das istas do padão plana captadas e posteiomente pocessadas. Isso acontece poqe os paâmetos extínsecos calclam a posição e a oientação da câmea em elação a cada posição em qe o padão plana é captado. Seá descito a segi o método de calibação de câmea deinido po Zhang [4].... Calibação baseada no cálclo de homogaias Paa descee esse tipo especiico de calibação de câmea, inclído na categoia de métodos otogaméticos, saemos o modelo descito no tabalho de Zhang [4], deinido como: m método lexíel paa calibação de câmea qe eqe como dados de entada istas captadas de m padão plana qe seá moimentado em ente à câmea. A calibação nesse método estima ma homógaa H ente cada ista captada de m padão plana e a imagem pojetada dele no plano da imagem da câmea. É assim qe múltiplas homogaias calcladas onecem estições sicientes paa extai os dieentes paâmetos da câmea. O pimeio passo seá calcla de oma obsta as homogaias paa cada ista do padão captada. Em segida continaemos com a extação dos paâmetos intínsecos (únicos paa a câmea) e extínsecos contidos em cada homogaia e inalmente aemos o cálclo dos coeicientes de distoção da lente.... Cálclo da homogaia Como oi apontado na seção.., m padão plana onece m conjnto de pontos de eeência distibídos nm omato de gade sobe sa speície.

15 Múltipla calibação de câmeas 37 Sem peda de genealidade, podemos assmi qe esse plano detemina nosso sistema de coodenadas do mndo (SCM) e qe cada ponto sobe este plano tem sa coodenada Z. Com base nessa estição, a matiz de pojeção é deinida na eqação : [ ] [ ] Y X p p p Y X p p p p Z Y X P Z Y X t R K () Como podemos obsea ma das colnas da matiz de pojeção da câmea P é anlada deido à coodenada Z. Se nós deiníssemos a eqação mais explicitamente, deteminando qais componentes dos paâmetos das câmeas estaiam deinidos pelas colnas p, p, p 4 na eqação, teíamos a seginte eqação: [ ] Y X t K () Na eqação, e são as das pimeias colnas da matiz de otação R, t é o eto de tanslação qe deinem os paâmetos extínsecos da câmea, e a matiz K detemina os paâmetos intínsecos da câmea. Então, a homogaia H achada paa cada ista do nosso padão plana é deteminada pelo podto K [, t] mais m ato de escala. A homogaia pemite elaciona m ponto de eeência m detectado nma imagem captada e pocessada do padão plana, com se ponto coespondente M, deinido em coodenadas do mndo (X w, Y w, ) deinido no modelo eal do padão plana. Essa coespondência é exempliicada na eqação 3. [ ] h h h h h h h h h H H M m Y X H Y X t K (3) Baseados na elação descita na eqação 3, nós podemos extai das eqações paa cada ponto coespondente m i M i :

16 Múltipla calibação de câmeas 38 ( h X + h Y + h ) h X + h Y + h ( h X + h Y + h ) h X + h Y + h Com essas das eqações elacionando os pontos m i e M i em cada ista do padão plana captado, podemos monta m sistema de eqações qe nos pemitiá calcla os componentes h ij sistema é deinido na eqação 5. X h Y X Y X X [ h h h h h h h h h ] (4) da nossa matiz de homogaia H. O Y Y 3 33 h Se tiemos em nosso padão n pontos coespondentes m i M i, podeemos oma m sistema de eqações deinido pela mltiplicação da matiz L, de dimensão n x 9, e o eto h, qe é omado pelos componentes da nossa matiz de homogaia H. Esse sistema de eqações é deinido po Lh e tem como solção o atoeto associado ao meno atoalo da matiz L L. Paa calcla a solção paa o sistema Lh aplicaemos o método chamado de decomposição em aloes singlaes (SVD - singla ale decomposition). Deido às dieentes escalas dos componentes da matiz L, esta ica nmeicamente mal condicionada, e é ecomendáel aze ma nomalização dos dados m i e M i antes de monta nosso sistema de eqações. Po im, ma ez aplicado o método de SVD, deteminaemos todos os componentes h ij qe deinem nossa matiz de homogaia H, lembando qe esse cálclo da homogaia H é eito paa cada ista do padão plana captada, o qe podziá ao inal, n matizes de homogaia. (5)...3. Deteminação dos paâmetos intínsecos e extínsecos Uma ez calcladas as n homogaias, coespondentes às n istas álidas captadas de nosso padão plana, continaemos com a extação da matiz de paâmetos intínsecos K baseada na análise das múltiplas homogaias calcladas. Paa ealiza a extação dessa matiz K, tilizaemos o conceito sobe cônica absolta, cja descição pode se encontada no lio de Hatle e Zisseman [], nele a cônica absolta é deinida como:

17 Múltipla calibação de câmeas 39 ( ) ( ) ( ) x x x x x x x x x s s s s s s s s s s K K (6) A matiz K contém seis incógnitas deinidas pelos paâmetos intínsecos ( x,, s,, ) mais m ato de escala λ. Já a cônica absolta é deinida como a matiz simética K - K - contendo seis entadas. Como pode se obseado na eqação 6, as incógnitas da matiz K deteminam as entadas da matiz K - K -,qe po sa ez é a deinição da cônica absolta. Essa elação pemite calcla os componentes da matiz K - K - e extai os paâmetos intínsecos a pati desses componentes. A imagem de ma cônica absolta é obtida a pati das segintes popiedades baseadas na deinição da homogaia H: [ ] t λk H (7) As popiedades são deteminadas pela mltiplicação de HH, no qal λ é o ato de escala, assim temos: [ ] ( ) [ ] [ ] [ ] [ ] [ ] t t λ H K K H t K K t λ H H t K t K λ H H (8) Consideando o lado dieito da eqação 8, deteminamos das popiedades a pati da otonomalidade da matiz de otação deinidas pelas sas colnas e.. A colna da matiz de otação é pependicla a, o qe az do se podto zeo, sendo esse esltado inalteado pela escala λ. (9). Ota estição qe em da otonomalidade é qe cada colna da matiz de otação é m eto nitáio, o qe pode se expesso como. () Se a matiz de homogaia H é omada pelos etoes das colnas h, h e h 3, então podemos escee as estições dadas nas eqações 9 e dento da eqação 8, assim teemos:

18 Múltipla calibação de câmeas 4 h K K h () h K K h h K K h () Agoa se deinimos ma matiz B como: B K K b b b 3 b b b 3 b3 b 3 (3) b 33 Notamos qe esta matiz B epesenta a imagem da cônica absolta, descita como ma matiz simética, o qe pemite deini-la com seis incógnitas. Reesceeemos as eqações em e sando essa matiz. h Bh (4) h B h h Bh (5) Expandindo as eqações 4 e 5, podemos monta m sistema de eqações qe pemita calcla os aloes dos componentes b ij da matiz simética B. Essa expansão é deinida na eqação embaixo. h h h h h h ( h h h h ) h h ( h h h h ) ( h h h h ) ( h h ) + h h h h h h + h h 3 3 h h + h h 3 3 h h Na qal b é deinida pelos componentes de matiz simética B : 3 3 b (6) [ b b b b b b ] b Se nós temos n imagens de nosso padão plana, podemos detemina n eqações semelhantes à eqação 6 e oma ma matiz V de dimensão n x 6 qe deina o sistema: Vb (7) Esse noo sistema de eqações pecisa de pelo menos tês istas de nosso padão plana. Se n 3 podemos acha ma solção tilizando noamente o método de decomposição de aloes singlaes (SVD). Com os componentes de nossa matiz B já calclados, podemos extai os aloes dos paâmetos intínsecos deinidos na matiz K, tilizando as segintes eqações apontadas no tabalho de Zhang [4]. b b b b 3 b b b b 3 λ b 33 b 3 + λ λb x b b b ( b b b b ) b 3 3

19 Múltipla calibação de câmeas 4 s b λ x s b 3 x λ Uma ez calclado o alo da matiz K, podemos possegi estimando os paâmetos extínsecos, isto é, a matiz de otação e o eto de tanslação. Paa isso saemos a eqação 5, qe deine a nossa matiz da homogaia H: H h H h h3 X Y λk h h3 h h 3 h h 3 33 [ h h h ] [ t] 3 X Y λk h λk h 3 t λk h3 Na qal,, 3 são as colnas da matiz de otação R e t é o eto de tanslação. Finalmente, tendo completado a extação dos paâmetos intínsecos e extínsecos paa nossa câmea, aemos a extação dos coeicientes de distoção da lente Deteminação dos coeicientes de distoção da lente Uma ez calclados os paâmetos intínsecos e extínsecos paa a câmea, podemos acha ma solção paa deini os aloes dos coeicientes de distoção adial (k,k ) consideados no tabalho de Zhang [4]. Esses coeicientes modelam bem o poblema geado pela distoção da lente. Paa calcla o alo dos coeicientes tilizaemos a inomação sobe a posição dos pontos eeênciais m i ( d, d ) pocessados e extaídos a pati das istas captadas de nosso padão plana. Consideaemos essas posições como as posições eais dos pontos na imagem. Poém, também podemos obte ma apoximação dessas posições epojetando os pontos 3D M i (X w,y w,) deteminados po nosso padão eal sando a homogaia H peiamente calclada. Isso pemite obte pontos epojetados sobe o plano da imagem m i

20 Múltipla calibação de câmeas 4 (, ) consideados pontos ideais sem distoção. O esído da dieença ente os aloes dos pontos eais ( d, d ) e os pontos ideais (, ) seá sado paa enconta o alo dos nossos coeicientes de distoção. Essa elação ente pontos distocidos o eais e os sem distoção o ideais é deinida nas eqações abaixo: ( )( ) 4 k k d + + (8) ( )( ) 4 k k d + + (9) O alo de é o aio deteminado pelos aloes nomalizados do ponto sem distoção (, ) em elação ao cento da imagem (, ). Esse noo ponto é deinido como (x, ) e aio é calclado na eqação embaixo. x + () Com as eqações 8, 9 e podemos detemina o seginte sistema de eqações: ( ) ( ) ( ) ( ) d d k k 4 4 () Como temos m pontos eeênciais ( d, d ) captados po cada ista do padão plana e n istas do padão, podemos monta m sistema de eqações de dimensão mn, deinido da seginte oma: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) mn d mn mn d mn d d mn mn mn mn,d k k,k D d Dk M M M () Usando o método de mínimos qadados, podemos acha ma solção paa esse sistema., qe pode se deinida pela psedo-inesa da matiz D: ( ) d D D D k (3) Finalmente, temina-se o pocesso de calibação de câmea, sando como únicas inomações as istas de m padão plana. Um esmo do método apesentado nesta seção é descito a segi: Método de calibação baseado no cálclo de homogaias Deinição: Calibação de câmea sando n istas de m padão plana

21 Múltipla calibação de câmeas 43 Dados de entada: Pontos D extaídos de cada ista do padão linea Flxo do pocesso:. Calcla as homogaias H i paa cada ma das n istas captadas do padão plana, são necessáias n 3 istas.. Calcla a matiz V de dimensão nx6 deteminada pelas estições de otonomalidade deinidas nas eqações 4, 5 e Calcla ma solção paa o sistema Vb, no qal b contém os componentes da matiz simética B, qe epesenta a imagem de m cônica absolta deinida a pati da matiz de paâmetos intínsecos K (eqações 6 e 6). 4. Extai os paâmetos intínsecos, e depois os paâmetos extínsecos sando as eqações apontadas na seção Estima o alo dos coeicientes de distoção das lentes, conome seção...4. Dados de saída: Solção inicial paa os aloes dos paâmetos intínsecos, extínsecos e coeicientes de distoção da lente paa ma câmea. Com a descição desse método otogamético tentamos explica o pocesso qe pemite caliba todos os paâmetos de ma câmea. Na seção seginte desceeemos oto tipo de método de calibação, chamado de ato-calibação. Este tipo de método oi poposto paa esole a calibação de mais de ma câmea, o qe já o dieencia dos métodos otogaméticos.... Ato-calibação Neste tipo de método, a calibação dos paâmetos intínsecos e extínsecos é eita a pati das inomações onecidas po pontos coespondentes coetamente identiicados em imagens captadas pela(s) câmea(s). Nesse sentido, este tipo de método não pecisa de padões complexos com ma estta bem conhecida, como os métodos otogaméticos. Pelo contáio, os pontos coespondentes podem se captados sando padões nidimensionais o adimensionais, como os descitos na seção..3 e..4. No caso de sa dieentes câmeas é peciso qe os pontos eeenciais estejam deidamente coelacionados e identiicados ente as diesas câmeas

22 Múltipla calibação de câmeas 44 qe isalizam m mesmo cenáio. Pode-se aima qe esses métodos assmem qe a cena isalizada é estática, e é só baseado na inomação D dos pontos eeenciais captados e coetamente coelacionados, qe podemos extai e calcla os paâmetos de calibação das câmeas. Esse tipo de método é também mito tilizado em aplicações qe ealizam econstção 3D. A áea de pesqisa qe exploa essa noa estatégia de calibação de câmea e deine esse tipo de método é conhecida como estta a pati do moimento (stce om motion). A base da implementação deste tipo de método se enconta na teoia da geometia epipola, epesentada pincipalmente pelo cálclo da matiz ndamental. Nesta seção, desceeemos algns conceitos eeentes à geometia epipola, ao cálclo da matiz ndamental e à extação dos paâmetos extínsecos das câmeas baseada na decomposição da matiz ndamental. Esse pocesso de extação dos paâmetos extínsecos é tilizado na implementação do método poposto neste tabalho.... Geometia epipola Geometia epipola é a geometia intínseca pojetia existente ente das istas de m mesmo cenáio, captadas a pati de dieentes pespectias. As istas podem se captadas po ma mesma câmea, sendo necessáio apenas mda a posição da câmea no momento da capta, o as istas podem i da capta de áias câmeas enxegando m mesmo cenáio simltaneamente. A geometia epipola é independente da estta da cena e só depende dos paâmetos intenos das câmeas e da posição elatia ente elas []. Paa deini a posição elatia ente as câmeas tiliza-se ma tansomação composta de ma matiz de otação e m eto de tanslação, qe pemite lea o sistema de coodenadas da câmea (SCC) da pimeia câmea paa o da segnda. A matiz de otação e o eto de tanslação são consideados os paâmetos extínsecos qe elacionam os sistemas das das câmeas, mais conhecido como sistema estéeo de câmeas. Essa geometia é gealmente eqeida deido à necessidade de enconta ma coespondência ente pontos qe apecem nas dieentes imagens das istas de m mesmo cenáio. Assim, sponhamos qe temos m ponto M no mndo, qe

23 Múltipla calibação de câmeas 45 é pojetado sobe o plano da imagem de das câmeas como sendo os pontos m e m espectiamente (Figa 9). Paa mosta a coespondência qe existe ente os pontos m e m, pimeio deiniemos o plano π omado pelos etoes CM, C' M e C' C, nos qais estão contidos nossos pontos m e m. Este plano é deinido como o plano epipola. Agoa, se pojetamos o eto CM, qe passa pelo ponto m no plano da imagem da câmea da esqeda sobe o plano da imagem da dieita, descendo pelo plano epipola, nós emos qe esse eto é pojetado na oma de ma linha l no plano da imagem da dieita. Essa linha dee conte o ponto m qe é a pojeção do mesmo ponto M sobe o plano da imagem da dieita. Esse pocesso pemite demonsta a coespondência ente os pontos m e m, qe são as pojeções de m ponto no espaço M sobe os planos da imagem das câmeas. Figa 9: Elementos da geometia epipola - linha epipola, epipolos, linha base, plano epipola. Os pontos de inteseção da linha base, deteminada pelo eto C' C, com cada plano da imagem são deinidos como os epipolos e e e. Já as linhas l e l omadas pelas pojeções dos etoes deinidos po CM, C' M sobe os planos da imagem das câmeas, são descitas pelas linhas epipolaes (Figa ). Como oi obseado, a geometia epipola ajda a entende a geometia pojetia implícita existente ente das istas de m mesmo cenáio, mas m elemento chae qe omla essa coespondência omalmente é a matiz

24 Múltipla calibação de câmeas 46 ndamental. Na seção seginte, desceeemos como essa matiz também elaciona os paâmetos das câmeas.... Matiz ndamental Como oi deinido, a matiz ndamental é m componente qe pemite expessa matematicamente as popiedades da geometia epipola sando a álgeba linea. Essa matiz encapsla a geometia intínseca qe descee a geometia epipola. Intenamente essa matiz pode se deteminada pelos paâmetos intínsecos e extínsecos qe coelacionam nossas câmeas. Figa : Coespondência ente das istas de m sistema estéeo de câmeas. endo como eeência a Figa, obseamos qe m ponto M (M M, M expessado no SCC da dieita) jnto à oigem das câmeas C e C deine tês etoes coplanaes, C 'M', C' C e CM. Essa elação pode se expessa como: ( C'C ( CM )' ) C'M' (4) Na eqação 4, ( CM )' é o eto CM expesso no SCC da dieita. Consideando m a imagem do ponto no espaço M expesso no SCC da esqeda e m a imagem do ponto no espaço M expesso no SCC da dieita, no qal M M, nós podemos expessa essa elação com as segintes eqações: [ I ] M KM K CM m K 3 (5) [ I ] M' K'M' K' C'M' m' K' 3 (6)

25 Múltipla calibação de câmeas 47 O eto CM está localizado no SCC da esqeda cja oigem é C. Então podemos oda o SCC da esqeda paa ica alinhado com o SCC da dieita sando ma matiz de otação R. ( )' R CM CM (7) Sbstitindo a eqação 7 na eqação 4, temos: C'M' ( C'C R CM ) (8) Se esolemos a eqação 5 e 6 em elação aos etoes 3D CM e C 'M ', deinimos CM 8, podemos edeini-la como: K m e C' M ' K' m'. Inseindo essas expessões na eqação ( K' m' ) ( C'C R K m) Na eqação 9, podemos detemina qe nossa linha base (9) C' C é o eto de tanslação t ( C ' C t ), qe leaá a oigem da nossa câmea à esqeda paa a posição da oigem da câmea à dieita. Nós podemos sa a esão skew smmetic matix do eto t deinida como ~ t paa epesenta o podto etoial do eto C' C e a matiz de otação R na eqação 9. m' K' ~ t R K m (3) Na qal o eto t ~ é deinido como: ~ t tz t t t x z t tx t t C'C t t É na tansomação algébica descita na eqação 3 qe podemos expessa a coespondência ente os pontos m e m nas das istas de nosso sistema estéeo de câmeas. Então a matiz ndamental é deinida assim: m' K' ~ t R K m' F m ~ F K' t R K m x z (3) Como podemos obsea, é a matiz ndamental qe epesenta a álgeba deinida pela geometia epipola, intenamente elacionando os paâmetos

26 Múltipla calibação de câmeas 48 intínsecos e extínsecos de nossas câmeas. A pojeção do ponto m no plano da esqeda sobe o plano da imagem da câmea da dieita ica deinida como a linha epipola l e também pode se expessa em nção da matiz ndamental: l' Fm (3) l F m' (33) Na eqação 3, deine-se a pojeção do ponto m no plano da dieita sobe o plano da imagem da câmea da esqeda qe detemina a linha epipola l. Essa pojeção também é expessa em nção da matiz ndamental (Figa ). Na seção a segi seá descito o pocesso de cálclo da matiz ndamental baseado na inomação onecida po m conjnto de pontos coespondentes identiicados coetamente ente as imagens captadas po m sistema estéeo de câmeas Cálclo da matiz ndamental Existem dieentes técnicas paa o cálclo da matiz ndamental, como os apesentados no lio de Hatle e Zisseman [], mas m método mito tilizado po sa simplicidade é o algoitmo dos 8 pontos, qe pecisa de 8 pontos coespondentes m m ente das imagens paa ealiza esse cálclo. As inomações sobe o conjnto de pontos coespondentes e a coespondência baseada na deinição da matiz ndamental m Fm, pemitião consti m sistema de eqações cja solção achaá o alo dos componentes de nossa matiz ndamental. Paa inicia, nós teemos como dados de entada m númeo, n 8, de pontos coespondentes m m qe são elacionados pela matiz ndamental baseados na eqação m F m. Nesta eqação epesentaemos em coodenadas homogêneas nossos pontos m (,,) e m (,,). Usando as coodenadas homogêneas de m e m podemos expandi a eqação 3 e edeini-la nma única eqação: m' F m ' '

27 Múltipla calibação de câmeas 49 ' + ' + + ' + ' + + ' + ' + (34) É assim qe cada ponto coespondente geaá ma eqação como a apesentada acima. A eqação 34 também pode se modelada como o podto de dois etoes: ( ' ' ' ' ' ) ' (35) Na qal o eto contém os componentes qe deteminam a matiz ndamental F. Se nós consideamos m conjnto de n pontos coespondentes, podeemos modela m sistema de eqações da seginte oma: ' ' ' ' ' ' A M M M M M M M M M (36) ' ' ' ' ' ' n n n n n n n n n n n n Paa pode acha ma solção paa baseada na matiz A, ela dee te posto 8. A im de eita ma solção tiial, adicionamos algmas estições, como obiga a noma da solção paa e deini o último componente de igal 33. Com essas das estições, podemos esole o sistema de eqações A sando mínimos qadados. Paa calcla ma solção paa A podemos sa o método SVD, qe detemina a solção paa pelo atoeto elacionado ao meno atoalo deinido paa a matiz A. Com o eto calclado, nós deteminamos os aloes dos componentes da matiz ndamental F. É impotante gaanti qe a matiz ndamental seja singla e tenha posto, mas commente a solção da matiz ndamental F achada com o método SVD não gaante qe a solção achada paa os aloes da matiz F tenha essas popiedades. Poém, existe m método simples qe pemite acha ma noa matiz ndamental F qe tenha posto e esteja baseada na matiz F peiamente calclada. Com base na minimização da noma de Fobenis F F sjeita à estição det( F ), o método consiste em ealiza a SVD de nossa matiz F, qe é deinida como F UDV, na qal D (,s,t) é a matiz qe contém na diagonal os dados dos atoaloes paa nossa matiz F. Os atoaloes estão em odem decescente s t. Então nossa noa matiz F seá deinida como F U diag(,s,) V, onde o meno atoalo é zeado. Essa noa matiz F minimiza a noma deinida po Fobenis e estabelecida como nossa noa matiz ndamental.

28 Múltipla calibação de câmeas 5 Finalmente, com a matiz ndamental já calclada, o passo seginte seá entende como extai os paâmetos extínsecos paa o sistema estéeo de câmeas. O cálclo dos paâmetos intínsecos e da distoção da lente de cada câmea ica po conta do método otogamético descito na seção Deteminação dos paâmetos extínsecos Como se obsea na eqação 3, a matiz ndamental pode se descita sando os paâmetos intínsecos e extínsecos das câmeas de m sistema estéeo. Até este momento temos já calclados os paâmetos intínsecos (K, K ) e a matiz ndamental F paa esse sistema, mas ainda alta calcla os paâmetos extínsecos deinidos po R e t na eqação 3. Os paâmetos extínsecos deteminam m noo tipo de matiz conhecida como a matiz essencial E. Essa matiz contém todas as inomações qe pemitem posiciona ma câmea em elação à câmea izinha e é deinida na eqação 37: ~ F K' t R K F K' ~ E t R E K Uma oma de calcla os componentes R e t dessa matiz essencial seá apesentada a segi: Pimeio, com base na deinição da eqação 3 e sabendo os aloes das matizes de paâmetos intínsecos das câmeas, podemos extai a matiz essencial de nossa matiz ndamental, peiamente calclada, da seginte oma: E K' F K (38) Segndo, amos assmi qe o SCC da esqeda é nosso sistema de coodenadas base. Isso signiica qe nossa câmea à dieita estaá posicionada em elação ao SCC da esqeda, o qe nos pemite cia das noas matizes de pojeção P e P simpliicadas. Estas são deinidas nicamente pela matiz de otação R e pelo eto de tanslação t. A deinição de P e P exempliica o pocesso qe pemite lea o SCC da dieita paa o SCC da esqeda: P P' [ I ] 3 [ R t] (37)

29 Múltipla calibação de câmeas 5 Agoa sponhamos qe a SVD da nossa matiz essencial E é deinida da seginte oma: ( ) V E U diag (39) Baseados na SVD da matiz essencial E, nós podemos detemina a matiz R e o eto t como sege: R U V o R U V (4) t o t (4) 3 3 Onde 3 é a última colna de nossa matiz U, e a matiz é deinida como: Essa estatégia paa acha possíeis solções paa a matiz R e o eto t baseada na atoização das matizes componentes da SVD da matiz E, gea qato possíeis solções podto das combinações das das possíeis solções paa R e t deteminadas nas eqações 4 e 4. Essas solções icam deinidas como: P' P' [ U V ] [ ] 3 P' U V 3 [ U V ] P' [ U V ] 3 A ambigidade ciada pela deinição dessas qato possíeis solções é ilstada na iga. 3 Figa : Ambigidade da deinição das qato possíeis solções paa R e t [].

30 Múltipla calibação de câmeas 5 Como podemos obsea na Figa, só ma das solções gea m sistema de coodenadas álido, onde o espaço de isão das câmeas icaá deinido em ente às das câmeas (Figa a). Paa pode enconta qal solção das qato solções popostas tem a caacteística isalizada na Figa a é ealizado m teste simples, qe consiste em:. Escolhe m ponto da amosta de pontos m m.. Usando os aloes paa R e t deteminados em cada solção, econsti esse ponto no espaço. 3. Detemina a pondidade desse ponto em elação a cada câmea. 4. Escolhe a solção na qal a pondidade encontada paa o ponto econstído é positia em elação às das câmeas. Finalmente, teminamos o pocesso de cálclo de todos os paâmetos das câmeas qe omam m sistema estéeo. Os métodos descitos nesta seção têm como objetio acha ma solção inicial paa esses aloes. No entanto, qando há m sobedimensionamento de inomações de entada como m númeo maio de istas do padão plana, no caso do método de calibação otogamético o mais do qe oitos pontos eeenciais coespondentes no cálclo da matiz ndamental talez seja necessáio algm método de otimização qe pemita melhoa essa estimatia inicial. Na seção a segi seá descito esse tipo de método, qe deine a última etapa do nosso amewok conceital deinido paa o pocesso de múltipla calibação de câmeas..3. eceia etapa: otimização da calibação Esta teceia etapa tem como objetio agpa os dieentes métodos sados paa otimiza o alo inicial dos paâmetos de calibação, obtidos com os métodos anteiomente descitos. As solções obtidas paa os paâmetos das câmeas, tanto com o método otogamético como com o de ato-calibação, oam calcladas com base na minimização algébica de m sistema de eqações qe modela a coespondência ente pontos 3D-D (otogamética) e pontos D- D (ato-calibação). Essas solções satisazem ma apoximação algébica linea paa m poblema qe não é linea, como o pocesso de calibação de câmea. A minimização algébica pode também não lea em conta otas popiedades ísicas do modelo de câmea eal deinidas pelas caacteísticas dos pontos de

31 Múltipla calibação de câmeas 53 eeência sados no pocesso de calibação e po algns componentes intenos das câmeas, como a lente. Po esse motio e pela deinição de não-lineaidade do pocesso de calibação, é eqeida a aplicação de algoitmos de otimização qe minimizem o eo podzido na aaliação das caacteísticas ísicas implícitas, qe em jnto as inomações onecidas pelos pontos eeenciais captados a pati dos nossos padões de calibação. Os algoitmos de minimização não-linea tentam melhoa a estimatia inicial obtida paa os paâmetos intínsecos, extínsecos e coeicientes de distoção da lente das múltiplas câmeas inclídas no sistema. Paa pode ealiza esse apimoamento dos aloes dos paâmetos, os algoitmos pecisam da deinição de ma nção global de eo qe aalie, a cada iteação, se a noa solção estimada a pati de algma aiação da solção inicial gea melhoes esltados. Mitas ezes essa nção de eo global não é única e é deinida po m conjnto de nções de contole especiicamente ciadas e elacionadas a popiedades e caacteísticas ísicas pesentes tanto no pocesso de calibação como no omato deinido ente os pontos eeenciais captados a pati dos padões de calibação. Algmas das nções de contole commente tilizadas seão descitas na póxima seção..3.. Fnções de contole Entende-se como nção de contole aqela nção qe aalia o esltado deinido po algma caacteística o popiedade ísica obtida a pati dos componentes inclídos no pocesso de calibação de câmea. Desceeemos a segi algmas das nções mais tilizadas Repojeção 3D D Este tipo de nção é tilizada qando temos inomação tanto da posição D na imagem como da posição 3D no espaço dos pontos eeenciais captados em nossa amosta paa calibação. Com essa inomação mais a estimatia dos paâmetos de calibação, nós podemos epojeta sobe o plano da imagem os pontos 3D, qe deem ica mito póximos aos pontos D coespondentes aos mesmos pontos eeenciais, mas qe oam extaídos dietamente da imagem

32 Múltipla calibação de câmeas 54 baseados nos algoitmos de pocessamento de imagem como os descitos na seção sobe padões de calibação. O somatóio da dieença ente o ponto D extaído a pati da imagem e o calclado com base no pocesso de epojeção é o alo de eo deteminado paa esse tipo de nção de contole. O objetio da minimização é apoxima este de zeo. Essa nção é tilizada tanto no método otogamético qanto no método de ato-calibação e é deinida como: n m ε Repoj. 3D D m ( ) ij m poj K,R,t,M j i j Re (4) Na eqação 4, o eo de epojeção é estabelecido pelo somatóio da noma das distâncias ente o ponto de eeência extaído a pati da imagem m ij e o ponto coespondente m Repoj qe é a epojeção do ponto M j no espaço sando os paâmetos da câmea K, R,t. Nós podemos te i...n númeo de istas do padão de calibação captadas qe intenamente onecem j..m pontos de eeência po ista Repojeção D D Este tipo de nção é deinida como a distância da linha epipola ao ponto coespondente nm sistema estéeo de câmeas, como exposto na seção...4. Paa pode modela essa nção pecisamos das inomações sobe os pontos coespondentes D mi mi, extaídos a pati de das imagens de m mesmo cenáio. Paa ambas, já calclamos o alo da matiz ndamental qe as elaciona. A elação estabelecida pela matiz ndamental pemite a pojeção de m ponto m nma câmea A sobe o plano da imagem de ma câmea B. A matiz ndamental F detemina a elação ente as câmeas A e B. A pojeção do ponto m então cia ma linha l no plano da imagem da câmea B (Figa ) e sobe essa linha é qe dee esta posicionado o ponto coespondente m. No caso ideal, a distância do ponto m à linha l dee se zeo qando o ponto m cai exatamente sobe a linha l. No entanto, po casa do ído e do alo inicial dos paâmetos da câmea, essa distância ica peto de zeo.

33 Múltipla calibação de câmeas 55 Então essa nção é deinida como ma pojeção D-D, na qal o eo estabelecido é medido pela distância de m ponto m à sa linha coespondente l e pela distância de m ponto m à sa linha coespondente l. Figa : Exempliicação do eo deinido pela distância da linha epipola ao ponto coespondente. O alo do eo estabelecido pelo somatóio das dieenças ente as linhas l e l a pati da pojeção dos pontos coespondentes mi mi é o qe o algoitmo de otimização minimizaá. Esse tipo de nção é tilizado nos métodos de atocalibação, especialmente nos qe calclam o alo da matiz ndamental. Essa nção é deinida como: ε Repoj. D D n dist ( m,f m ' ) + dist ( m ',F m ) i i i i i A eqação 43 expessa o eo de epojeção D- D, estabelecido pelo somatóio das distâncias ente o ponto m o m e a linha coespondente l F m e l Fm. Nós podemos te i...n númeo de pontos coespondentes mi mi. (43) Distância 3D ente pontos de eeência econstídos Este tipo de nção é deinida como a distância 3D qe pode se ecpeada qando temos nossos pontos coespondentes mi mi econstídos tidimensionalmente no espaço deteminado pelo campo de isão das câmeas. Essa econstção 3D dee se eita em escala semelhante a algma nidade de medida mética (metos, centímetos, milímetos, etc). Um exemplo de aplicação

34 Múltipla calibação de câmeas 56 dessa nção de contole é qando samos padões nidimensionais, como os descitos na seção..3. O pocesso de econstção 3D dos pontos coespondentes mi mi pode se eito sando m algoitmo de tianglação como o apontado em [9][3], qe sa todos os paâmetos da câmea paa calcla a posição 3D de m macado M com inomações dadas po mi e mi. Com esses dados podeemos compaa as distâncias medidas a pati dos macadoes econstídos com o alo eal medido manalmente dietamente ente os macadoes ísicos do padão. Este tipo de nção é tilizada nos métodos otogaméticos e no de ato-calibação e é deinida como: ε m dist. D i i i i i ( d X X + + d X X ) n n n+ 3 L (44) A eqação 44 expessa o somatóio do eo geado pela dieença das distâncias X n - X n+ ente macadoes econstídos X i...n+ e a medida eal da distância deinida como d i...n, tdo isso paa m istas econstídas do padão. Assim estabelecemos qais são as nções de contole mais tilizadas paa detemina a nção de eo global qe nosso algoitmo de otimização saá paa apimoa nossa solção inicial. A nção de eo global pode se expessa da seginte maneia: ε Eo Global ε Repoj. 3D D + ε Repoj. D D + ε dist. 3D (45) Essa nção de eo pode mda dependendo do método aplicado e do padão a se sado na aqisição de dados, onde dee se gaanti qe haja inomação de entada siciente paa modela as nções de contole antes descitas. Um exemplo simples qe epesenta a obseação anteio é o so de m padão adimensional, qe só gea inomações sicientes paa implementa o eo de epojeção 3D-D e epojeção D-D. Já os padões plana e nidimensional podem gaanti inomações paa deini ma nção de eo da oma explicitada na eqação 45. Po im, ma ez deteminados os dois componentes básicos paa oda m algoitmo de otimização a amosta de entada coespondente aos pontos eeenciais captados com diesos omatos de padões e a deinição das nções de contole e nção de eo global podeemos execta o algoitmo de

35 Múltipla calibação de câmeas 57 otimização. No caso do pocesso de calibação o compotamento dos paâmetos qe deinem o pocesso não é linea. Um dos algoitmos mito tilizados paa esse pocesso é o descito po Leenbeg Maqat [] e ma boa implementação pode se encontada em [6]. Oto método também tilizado paa a otimização de paâmetos no pocesso de calibação é o Downhill Simplex [4], qe oi sado nos tabalhos de [37]. Na implementação do método poposto neste tabalho oam aplicados os dois métodos paa otimiza nossos paâmetos e ealiza algmas medidas de compaação no capítlo de esltados. A seção a segi desceeá mais ma caacteística impotante paa estabelece como podem se montados os sistemas de múltiplas câmeas: a distibição e posicionamento das câmeas em elação ao espaço de asteamento. Esta caacteística gea estições adicionais no momento de escolhe qal o método de calibação a se tilizado paa m deteminado tipo de distibição..4. Distibição das câmeas Ente os omatos existentes paa distibi e posiciona múltiplas câmeas qe omaão pate de m sistema único como o deinido qando esolemos o poblema de múltipla calibação de câmeas nós encontamos dois tipos bem dieentes: distibição centalizada e descentalizada de câmeas, qe seão descitos nas seções segintes..4.. Distibição centalizada de câmeas Neste tipo de distibição e posicionamento de múltiplas câmeas, encontam-se classiicados os sistemas qe se caacteizam pelo ato de todas as câmeas consegiem enxega m mesmo ponto cental de eeência, deinido como cento do sistemas de coodenadas do mndo (SCM). abalhos apesentados em [4],[3] e [37] popõem e testam algoitmos de estéeo e múltipla calibação de câmeas em sistemas com esse tipo de distibição. O posicionamento das câmeas costma te ma estta cicla, como o apesentado na iga 3. Paa detemina onde ica o cento do sistema de coodenadas do mndo é sado algm tipo de padão gealmente plana, como os descitos na seção... Usando o padão como eeência calclam-se a posição e a oientação das

36 Múltipla calibação de câmeas 58 câmeas em elação ao cento do padão. Esse tipo de cálclo pode se eito sando m método de calibação otogamético qe pemite calcla os paâmetos extínsecos de cada câmea em elação ao padão. A pincipal antagem desse tipo de distibição é qe m mesmo padão pode se isto simltaneamente po todas as câmeas, especialmente na capta de ma amosta paa calibação. A desantagem ica po conta da áea estita qe as câmeas podem cobi o enxega como áea eal de calibação. Um exemplo desse tipo de distibição é mostado na Figa 3. Figa 3: Distibição centalizada de câmeas. (Fonte: Poém, existe oto gpo de distibição de câmeas cjo objetio é cobi áeas amplas de capta e asteamento qe não podem se enxegadas simltaneamente po todas as câmeas do sistema. Essa ota oma de distibição é conhecida como descentalizada e seá descita na seção a segi..4.. Distibição descentalizada das câmeas Neste oto tipo de classiicação de distibição das câmeas, encontam-se os sistemas qe não têm ma áea de isão comm ente todas as câmeas, poém, gaante-se qe paa cada câmea há ma ota qe tenha m campo de isão compatilhado. Esse tipo de distibição é mais tilizado em sistemas qe

37 Múltipla calibação de câmeas 59 pecisam cobi o enxega áeas amplas de asteamento o capta. abalhos como os apesentados em [] e [4] desceeam esse tipo de distibição de câmeas. Neste tipo de distibição, as câmeas são posicionadas ma em elação a ota de modo de cia ma estta semelhante a m gao conexo, na qal algmas câmeas seão denominadas de câmeas eeenciais o piôs. Uma câmea piô é selecionada dependendo de cetas caacteísticas, como compatilha m maio campo de isão com otas câmeas. Conome descito em [4] ma estatégia paa posiciona as câmeas é monta m gao cjos étices são nossas câmeas e cjas aestas têm m deteminado peso geado po algma nção de eo como as apesentadas na seção..3.. O alo do eo pemite escolhe ente qais aestas temos o meno caminho qe elacione todas as câmeas. Esse caminho ajda a consegi m meno eo de popagação geado pelo posicionamento concatenado das câmeas. Essa abodagem mosta mais lexibilidade e tem a antagem de cobi m maio campo útil de isão em elação à distibição das câmeas. Um exemplo desses sistemas nma aplicação de capta de moimento paa jogos é mostada na Figa 4. Figa 4: Distibição descentalizada de câmeas. (Fonte: As das distibições de câmeas descitas acima geam dieenças e poblemáticas especíicas qe nos obigam a dieenciá-las, especialmente qando é eita a escolha do método ceto paa a calibação das câmeas.