MAURICIO EDGAR STIVANELLO DESENVOLVIMENTO DE UMA BIBLIOTECA PARA SISTEMAS DE VISÃO ESTEREOSCÓPICA PARA ROBÓTICA MÓVEL

MAURICIO EDGAR STIVANELLO DESENVOLVIMENTO DE UMA BIBLIOTECA PARA SISTEMAS DE VISÃO ESTEREOSCÓPICA PARA ROBÓTICA MÓVEL FLORIANÓPOLIS 2008

UNIVERSIDADE FEDERAL DE SANTA CATARINA PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA DESENVOLVIMENTO DE UMA BIBLIOTECA PARA SISTEMAS DE VISÃO ESTEREOSCÓPICA PARA ROBÓTICA MÓVEL Dissrtação submtida à Univrsidad Fdral d Santa Catarina como part dos rquisitos para a obtnção do grau d Mstr m Engnharia Elétrica. MAURICIO EDGAR STIVANELLO Florianópolis, fvriro d 2008.

DESENVOLVIMENTO DE UMA BIBLIOTECA PARA SISTEMAS DE VISÃO ESTEREOSCÓPICA PARA ROBÓTICA MÓVEL Mauricio Edgar Stivanllo Esta Dissrtação foi julgada adquada para obtnção do título d Mstr m Engnharia Elétrica, Ára d Concntração m Control, Automação Informática Industrial, aprovada m sua forma final plo curso d Pós-Graduação. Prof. Marclo Ricardo Stmmr, Dr. Ing. Orintador Profª. Kátia Campos d Almida Coordnador do Programa d Pós-Graduação m Engnharia Elétrica Banca Examinadora: Prof. Marclo Ricardo Stmmr, Dr. Ing. Prsidnt Prof ª. Analucia Viira Fantin, Dra. Prof. Armando Albrtazzi Gonçalvs Jr., Dr. Ing. Prof. Clso Prs Frnands, Dr. Ing. Prof. Jocli Mayr, Ph.D. ii

À Lila Daiana Klock, Plo Amor, Paciência Companhirismo. iii

Agradcimntos Ao Profssor Marclo Ricardo Stmmr, pla orintação, confiança apoio na ralização dst d outros trabalhos. Aos colgas do Grupo S2I, m spcial ao Eduardo S. Lal ao Nicolas Palluat, plo companhirismo pla ajuda prstada durant o dsnvolvimnto dst projto. Aos colgas profssors dos cursos PGEEL PGEAS da UFSC, pla troca d conhcimntos xpriências. Ao CNPq, pla bolsa d studos qu possibilitou a ralização dst trabalho. iv

Rsumo da Dissrtação aprsntada à UFSC como part dos rquisitos ncssários para obtnção do grau d Mstr m Engnharia Elétrica. DESENVOLVIMENTO DE UMA BIBLIOTECA PARA SISTEMAS DE VISÃO ESTEREOSCÓPICA PARA ROBÓTICA MÓVEL Mauricio Edgar Stivanllo Fvriro/2008 Orintador: Marclo Ricardo Stmmr, Dr. Ing. Ára d Concntração: Control, Automação Informática Industrial. Palavras-chav: Visão stéro, Estroscopia, Robótica móvl, Visão computacional, Calibração, Rconstrução, Mapas d disparidad, Corrspondência. Númro d Páginas: 116 A dmanda por aplicaçõs d robótica móvl vm crscndo considravlmnt nos últimos anos. Indpndnt da naturza ou fim, robôs autônomos móvis dvm intragir com o mundo para alcançar sus objtivos. Para isto, d alguma manira prcisam obtr informaçõs a rspito do ambint. Dntr difrnts abordagns xistnts, bons rsultados têm sido alcançados plo mprgo d sistmas d visão stroscópica. Através d um sistma como st é possívl xtrair informação tridimnsional do mio m qu o robô stá insrido. A informação tridimnsional pod ntão sr usada para orintar as açõs do robô, sja para navgação, rconhcimnto ou manipulação. No prsnt trabalho é aprsntado o dsnvolvimnto d uma bibliotca para sistmas d visão stroscópica para robótica móvl. Para tal, foram tratados difrnts problmas da stroscopia, procurando provr mapas d profundidad com dtalhs do ambint suficints para a opração gral d um robô móvl qu tnha um sistma d visão stroscópica como principal font d informação. Nst contxto, são avaliados propostos modlos, métodos soluçõs para difrnts problmas como calibração d câmras, rtificação d imagns, rconstrução, principalmnt, gração d mapas d profundidad dnsos. Os rsultados obtidos dmonstram a ftividad da utilização da infra-strutura disponibilizada dos métodos propostos no dsnvolvimnto d aplicaçõs para robótica móvl. v

Abstract of Dissrtation prsntd to UFSC as a partial fulfillmnt of th rquirmnts for th dgr of Mastr in Elctrical Enginring. DEVELOPMENT OF A LIBRARY FOR STEREOSCOPIC VISION SYSTEMS FOR MOBILE ROBOTICS Mauricio Edgar Stivanllo Fbruary/2008 Advisor: Marclo Ricardo Stmmr, Dr. Ing. Ara of Concntration: Control, Automation and Industrial Computing. Kywords: Stro vision, Stroscopy, Mobil robots, Computr vision, Calibration, Rconstruction, Disparity maps, Stro corrspondnc. Numbr of Pags: 116. Th dmand for mobil robotics applications has grown considrably in rcnt yars. Rgardlss of th natur or purpos, autonomous mobil robots must intract with th world to achiv thir goals. To do that, information about th nvironmnt must b rtrivd. Among diffrnt approachs, good rsults hav bn achivd using stroscopic vision systms. Ths systms allow xtracting thr-dimnsional information of th nvironmnt in which th robot is insrtd. Thn, th thr-dimnsional information can b usd to guid th robot actions. In this papr, th dvlopmnt of a library that includs basic functions usd on configuration and opration of stroscopic vision systms for mobil robotics is dscribd. In this contxt, mthods and solutions rlatd to stroscopy ar valuatd and proposd. Rsults dmonstrat th library ffctivnss on th dvlopmnt of mobil robotics applications, and th bnfits providd by th proposd mthods. vi

Sumário 1 INTRODUÇÃO... 1 1.1 Motivação...2 1.2 Objtivos Contribuiçõs... 3 1.3 Estrutura do trabalho... 3 2 ESTEREOSCOPIA... 5 2.1 Modlo d Câmra... 6 2.1.1 Parâmtros Intrínscos... 8 2.1.2 Parâmtros Extrínscos... 9 2.1.3 Projção Mundo-Imagm... 11 2.1.4 Calibração Monocular... 12 2.2 Sistma d Visão Estroscópica... 15 2.2.1 Parâmtros do Sistma d Visão Estéro... 18 2.2.2 Gomtria Epipolar... 19 2.3 Calibração Estroscópica... 24 2.3.1 Calibração Clássica... 25 2.3.2 Calibração Projtiva... 25 2.4 Rtificação... 27 2.5 Corrspondência... 30 2.5.1 Corrspondência Dnsa... 31 2.5.1.1 Abordagm Local... 32 2.5.1.2 Abordagm Global... 38 2.5.1.3 Outras Abordagns... 39 2.5.2 Corrspondência Esparsa... 41 2.6 Rconstrução... 43 2.7 Considraçõs Finais... 46 3 DESENVOLVIMENTO DE UMA BIBLIOTECA PARA SISTEMAS DE VISÃO ESTEREOSCÓPICA PARA ROBÓTICA MÓVEL... 47 vii

3.1 Espcificação Anális dos Rquisitos... 47 3.2 Aparato Exprimntal Ambint d Dsnvolvimnto... 50 3.3 Funcionalidads Principais... 55 3.3.1 Modlo d Câmra d Sistma d Visão Estéro... 55 3.3.2 Calibração do Sistma d Visão Estéro... 55 3.3.3 Rtificação do Par d Imagns Estéro... 61 3.3.4 Gração d Mapas d Disparidad... 62 3.3.4.1 Algoritmos Basados na Litratura... 63 3.3.4.2 Método Proposto: Corrspondência Local com Suport Rgional... 66 3.3.4.3 Rsultados Exprimntais... 71 3.3.5 Rconstrução... 80 3.4 Espcificação do Sistma... 82 3.5 Utilização da Bibliotca... 85 4 CONCLUSÕES E PERSPECTIVAS... 89 4.1 Conclusõs... 89 4.2 Prspctivas Futuras... 90 ANEXO 1 ARTIGOS PRODUZIDOS... 92 REFERÊNCIAS BIBLIOGRÁFICAS... 113 viii

Lista d Figuras Figura 1: Gomtria prsnt no modlo d câmra pinhol...6 Figura 2: Similaridad d triângulos na projção d coordnadas...7 Figura 3: Transformação ntr sistmas d coordnadas do mundo da câmra...10 Figura 4: Modlo simplificado d sistma d visão stéro...16 Figura 5: Parâmtros xtrínscos intrínscos do sistma d visão stéro...18 Figura 6: Gomtria pipolar prsnt m sistma d visão stéro...20 Figura 7: Transformação da configuração stéro pla rtificação...28 Figura 8: Mapa d disparidad calculado por corrspondência dnsa...32 Figura 9: Procsso d corrspondência por corrlação d janlas...34 Figura 10: Normalização por LOG...35 Figura 11: Dscrição basada m intnsidad...36 Figura 12: Imagns procssadas por filtros xtrators d caractrísticas...42 Figura 13: Corrspondência sparsa por SIFT...43 Figura 14: Rconstrução projtiva métrica ( Font: HARTLEY ZISSERMAN [14] ).44 Figura 15: Rconstrução d ponto por triangulação...45 Figura 16: Sistma binocular d aquisição d imagns...50 Figura 17: Imagns da bas d rfrência rspctivo mapa d disparidad ral...53 Figura 18: Ambint d simulação para robótica móvl...54 Figura 19: Sqüência d amostras do gabarito d calibração...57 Figura 20: Cálculo das distâncias ntr linhas pipolars pontos...60 Figura 21: Rtificação do par d imagns stéro...61 Figura 22: Vrificação d consistência lft-right chck...65 Figura 23: Dscrição basada m intnsidad com suport rgional...67 Figura 24: Cálculo dos dscritors rgionais...69 Figura 25: Difrnça ntr mapas calculados mapas d rfrência...73 Figura 26: Corrspondência m rgiõs homogênas...75 Figura 27: Difrnça ntr os mapas calculados por janlas simpls múltiplas...76 Figura 28: Pars stéro próprios capturados com sistma d aquisição montado...77 Figura 29: Mapa d disparidad obtido com par stéro não normalizado...78 Figura 30: Mapas d disparidad calculados com pars próprios...79 Figura 31: Rconstrução do cnário d calibração...80 Figura 32: Rconstrução d mapa d disparidad...81 Figura 33: Diagrama d classs...83 Figura 34: Diagrama d sqüência...84 Figura 35: Dtcção d obstáculos...86 Figura 36: Dtcção d obstáculos pavimnto m simulação...87 ix

Lista d Tablas Tabla 1: Espcificação das câmras utilizadas no sistma binocular...51 Tabla 2: Espcificação das lnts utilizadas no sistma binocular...52 Tabla 3: Espcificação da placa d aquisição utilizada no sistma binocular...52 Tabla 4: Parâmtros dos pars stéro d rfrência...54 Tabla 5: Cnários d calibração...59 Tabla 6: Parâmtros do sistma d visão stroscópica obtidos nos difrnts cnários 59 Tabla 7: Rsultado da avaliação da qualidad da calibração...60 Tabla 8: Tmpos d procssamnto (s) obtidos com algoritmos d janla...64 Tabla 9: Algoritmos d corrspondência basados na litratura...66 Tabla 10: Variaçõs d algoritmos propostos...71 Tabla 11: Algoritmos avaliados...72 Tabla 12: Erros obtidos no cálculo das disparidads...74 Tabla 13: Tmpos d procssamnto para gração dos mapas d disparidad...76 Tabla 14: Rsultado da avaliação da qualidad da rconstrução...82 x

Lista d Símbolos Abrviaçõs π C Plano d imagm da câmra. Cntro d projção da câmra. f Distância focal, dada pla distância ntr π C. c Ponto principal, dado pla intrscção ntr o ixo óptico π. M W W ~ Coordnadas d um ponto 3-D no sistma d coordnadas da câmra. Coordnadas d um ponto 3-D no sistma d coordnadas do mundo. Coordnadas homogênas d um ponto 3-D no sistma d coordnadas do mundo. m Coordnadas da projção d um ponto 3-D no plano π. m ~ Coordnadas homogênas da projção d um ponto 3-D no plano π. (sx,sy ) Tamanho ftivo do pixl m milímtros na horizontal na vrtical. k, ) Coficints d distorção radial. ( k 1 2 t Vtor d translação qu dscrv a posição rlativa ntr as origns d dois sistmas d coordnadas. R Matriz d rotação 3 3 qu dscrv a orintação rlativa ntr os ixos d dois sistmas d coordnadas. A Matriz 3 3 qu contém os parâmtros intrínscos d uma câmra. P Matriz d projção 3 4 qu contém tanto parâmtros intrínscos como E F SSD SAD WTA SIFT parâmtros xtrínscos. Epipolo. Matriz Essncial. Matriz Fundamntal Soma das difrnças quadráticas, do inglês Sum of squard diffrncs. Soma das difrnças absolutas, do inglês Sum of absolut diffrncs. Abordagm d slção mprgada m algoritmos d corrspondência, do inglês Winnr-Taks-All. Transformada d caractrística invariant à scala, do inglês Scal- Invariant Fatur Transform. xi

1. Introdução 1 Capítulo 1 1 Introdução Já s passou o tmpo m qu a palavra robô lmbrava manipuladors mcânicos insridos m linhas d produção, ralizando tarfas muito spcíficas rptitivas. A robótica móvl qubrou st paradigma hoj tmos as aplicaçõs mais divrsas, com robôs das mais variadas formas com difrnts finalidads. Esta ralidad foi possívl graças aos rsultados obtidos por um grand númro d psquisas na ára [1,2,3], plo surgimnto d frramntas d dsnvolvimnto spcíficas [4] pla popularização das técnicas baratamnto dos dispositivos qu a viabilizam. Automóvis autônomos comçam a circular tanto m dsrtos como m cidads [5]. A indústria bélica invst psado m projtos d psquisa para criar xércitos d robôs [6]. Inúmros robôs humanóids têm sido dsnvolvidos [7,8], com funçõs qu vão d srviços domésticos [9] ao ntrtnimnto. Os primiros produtos comrcializávis também comçam a aparcr, impulsionando o intrss pla ára financiando novos projtos. Apsar dos considrávis avanços, tmos qu a capacidad dsts xmplars ainda stá distant das dscriçõs fantásticas fitas plos primiros visionários a considrar sua xistência [10]. Ests robôs ainda s limitam a ralizar crto númro d tarfas bm dtrminadas. A flxibilidad autonomia continua sndo um dos objtivos mais almjados plos psquisadors da ára. Indpndnt da naturza ou fim, assim como nós, robôs autônomos móvis dvm intragir com o mundo para alcançar sus objtivos. Para isto, d alguma manira dvm xtrair informaçõs a rspito do ambint ond stão insridos. Difrnts abordagns são utilizadas para st fim. Snsors como sonars, lasrs câmras são mprgados com o objtivo d xtrair uma dscrição do ambint prmitir a intração do robô com lmntos prsnts no msmo [11].

1. Introdução 2 Sguindo o sistma visual humano, muitos sistmas robóticos utilizam um conjunto binocular composto por câmras, caractrizando um sistma d visão stroscópica [12]. Através d um sistma como st é possívl xtrair informação tridimnsional do mio m qu o robô stá insrido. A informação tridimnsional obtida pod sr utilizada para guiar as açõs do robô, ncssárias para alcançar o objtivo spcífico do sistma. Os sistmas d visão stroscópica podm sr vistos como sndo dispositivos d captura cuja saída é um mapa d profundidad da cna obsrvada. Est mapa, qu pod sr dnso ou sparso, é formado pla avaliação do dslocamnto rlativo na posição d lmntos da cna, obsrvados sob os pontos d vista d cada câmra qu compõ o sistma. A gração dos mapas d profundidad, por sua vz, nos lva a considrar problmas da stroscopia como calibração, corrspondência rconstrução. A calibração rfr-s à dtrminação dos parâmtros qu dscrvm o sistma binocular utilizado. A corrspondência, considrada por muitos como o principal problma da stroscopia, stá rlacionada ao procsso d corrspondr lmntos prsnts nas imagns capturadas plo sistma binocular. Finalmnt, através da rconstrução rcupra-s a informação d profundidad com bas nos parâmtros obtidos na tapa d calibração nos pars d pontos corrspondnts obtidos na tapa d corrspondência. Existm difrnts soluçõs para cada um dsts problmas, basadas m difrnts modlos d sistma d visão stroscópica propostas para difrnts aplicaçõs. No prsnt trabalho foram psquisadas, avaliadas implmntadas difrnts técnicas no sntido d tratar cada um dsts problmas criar uma infra-strutura básica para o dsnvolvimnto d sistmas d visão stroscópica para robótica móvl. 1.1 Motivação A dmanda por aplicaçõs d robótica móvl tm aprsntado um grand crscimnto nos últimos tmpos. Por sua vz, a utilização d sistmas d visão stroscópica como font d informação primária tm sido muito mprgada torna-s cada vz mais viávl na mdida m qu novos trabalhos são dsnvolvidos na ára.

1. Introdução 3 Entrtanto, o studo prliminar a implmntação das tapas prsnts na stroscopia continuam a rprsntar um alto custo para os projtos qu a mprgam. Os rquisitos impostos aos sistmas d visão stroscópica m aplicaçõs d robótica móvl são muitas vzs parcidos, visto qu tratam problmas comuns aprsntam objtivos similars. O compartilhamnto d uma infra-strutura básica pod colaborar para o dsnvolvimnto dsts sistmas, visto qu cada projto podria focar o trabalho nas funçõs spcíficas do sistma, sja d navgação, rconhcimnto ou manipulação. Os bnfícios a srm obtidos com a disponibilização d uma bibliotca qu ncapsul as funçõs básicas para configuração opração d um sistma d visão stroscópica para robótica móvl motivaram justificaram a ralização do prsnt trabalho. 1.2 Objtivos Contribuiçõs O objtivo gral dsta dissrtação d mstrado foi studar cintificamnt, avaliar dsnvolvr técnicas algoritmos rlacionados à stroscopia. O objtivo spcífico do trabalho foi disponibilizar uma bibliotca ncapsulando as funcionalidads básicas ncssárias à configuração opração d um sistma d visão stroscópica para robótica móvl. Nst contxto, foram lvantados métodos soluçõs para difrnts problmas prtinnts à utilização d um sistma d visão stroscópica. Adicionalmnt, foi proposto um novo método d corrspondência dnsa, qu rsultou m uma considrávl mlhoria nos rsultados obtidos por algoritmos clássicos d corrspondência local. O conjunto d técnicas implmntadas foi disponibilizado na forma d uma bibliotca. 1.3 Estrutura do trabalho No capítulo 2 são abordados os principais tópicos rlacionados à stroscopia, ond são tratados os modlos, técnicas, problmas soluçõs mprgadas no dsnvolvimnto dst trabalho. No Capítulo 3 é dscrito o dsnvolvimnto d uma bibliotca para sistmas d visão stroscópica, ond são aprsntadas as soluçõs

1. Introdução 4 mprgadas os rsultados obtidos para cada um dos problmas tratados. No capítulo 4 são xpostos os rsultados grais conclusõs obtidas plo dsnvolvimnto do prsnt trabalho, assim como sugstõs para trabalhos futuros.

2. Estroscopia 5 Capítulo 2 2 Estroscopia A xtração d informação tridimnsional d uma cna através do procssamnto d imagns pod sr basada m difrnts caractrísticas como sombramnto, txtura, contornos ou movimnto, dntr outras. A stroscopia, qu rcupra a profundidad avaliando as projçõs d um msmo ponto no spaço obtidas sob difrnts pontos d vista, tm aprsntado rsultados supriors m rlação a outras abordagns dntro da robótica móvl [13]. D manira gral, um sistma d visão stroscópica prcisa tratar três problmas principais: calibração, corrspondência rconstrução. Na calibração procura-s dtrminar os parâmtros qu dscrvm o sistma d aquisição utilizado. O problma da corrspondência consist m dtrminar qual lmnto na imagm capturada sob um ponto d vista corrspond a um dado lmnto na imagm capturada sob outro ponto d vista. Por sua vz, através da rconstrução procura-s rcuprar a informação d profundidad com bas nos parâmtros obtidos na tapa d calibração nos pars d pontos corrspondnts obtidos na tapa d corrspondência. No prsnt trabalho, é considrado um sistma d visão stroscópica basado m um sistma d aquisição binocular. Entrtanto, alguns sistmas utilizam um sistma d aquisição monocular, ond são capturadas sqüências d imagns m difrnts instants durant o dslocamnto do robô para provr projçõs da cna sob difrnts pontos d vista. Outros sistmas mprgam ainda splhos m conjunto com um sistma d aquisição monocular, d manira a obtrm difrnts projçõs m uma única captura d imagm. O prsnt capítulo aprsnta modlos, técnicas soluçõs rlacionadas aos problmas da stroscopia. Inicialmnt srão aprsntados os modlos d câmra d sistma d visão stroscópica utilizados. Em sguida srão aprsntadas considraçõs soluçõs rlacionadas aos problmas lvantados.

2. Estroscopia 6 2.1 Modlo d Câmra No prsnt trabalho é utilizado um modlo d sistma d visão stroscópica composto por duas câmras pinhol [12,14]. Conform ilustrado na Figura 1, o modlo d câmra pinhol é composto por um plano d imagm π por um ponto no spaço C qu corrspond ao cntro d projção da câmra. A distância ntr π C é dnominada distância focal ou simplsmnt f. A rta qu passa por C é prpndicular ao plano π é dnominada como ixo óptico, a intrscção c ntr π o ixo óptico é dnominada como ponto principal. O sistma d coordnadas 3-D cuja origm é C ond o plano π é ortogonal ao ixo Z é conhcido como sistma d coordnadas da câmra. Conform ilustrado, um ponto no spaço M = ] T [ X,Y,Z é mapado ao ponto m no plano π ond a rta através d M C intrscta o plano π. Plano d imagm Y X π M m c C Cntro d projção Z Distância focal f Figura 1: Gomtria prsnt no modlo d câmra pinhol

2. Estroscopia 7 Pla similaridad d triângulos xibida na Figura 2, podmos dfinir o mapamnto fx Z, fy Z, f ] T [ / /, qu dscrv a projção cntral d coordnadas do mundo para coordnadas no plano d imagm. π f Y M c C Z m Figura 2: Similaridad d triângulos na projção d coordnadas Ignorando a última coordnada, podmos dscrvr o mapamnto do spaço uclidiano 3-D para o spaço uclidiano 2-D como: m = f X Z f Y Z T. ( 1 ) Em difrnts aplicaçõs, algoritmos d visão computacional utilizados na rcupração d informação da cna obsrvada prcisam rlacionar as coordnadas dos pontos 3-D no ambint com as coordnadas d sua projção no plano da imagm. As quaçõs acima aprsntadas dscrvm stas rlaçõs com bas no sistma d coordnadas da câmra. Muitas vzs, ntrtanto, o sistma d coordnadas d intrss é difrnt ao da câmra. O sistma d coordnadas d intrss pod tr a origm dfinida por um marco do ambint aprsntar qualqur orintação, sndo assim dnominado como sistma d coordnadas do mundo. Além disso, nas quaçõs da projção d prspctiva aprsntadas os pontos da imagm são xprssos m unidads métricas. É ssncial qu as coordnadas dos pontos da imagm no sistma d coordnadas da câmra possam sr rcupradas a partir das coordnadas intiras m pixl, já qu são as únicas dirtamnt disponívis a partir da

2. Estroscopia 8 imagm. Considrando as coordnadas m pixl disponívis na imagm podmos dfinir um novo sistma d coordnadas dnominado sistma d coordnadas da imagm. Por stas considraçõs, faz-s ncssário conhcr algumas das caractrísticas rlacionamntos das câmras utilizadas, dnominadas como parâmtros intrínscos parâmtros xtrínscos. Nas sçõs 2.1.1, 2.1.2 2.1.3 são aprsntadas as quaçõs básicas qu dscrvm os parâmtros intrínscos xtrínscos a transformação d coordnadas ntr os difrnts sistmas d coordnadas. O problma d stimar os valors dsts parâmtros é dnominado calibração d câmra, srá tratado na sção 2.1.4. 2.1.1 Parâmtros Intrínscos Os parâmtros intrínscos rlacionam as coordnadas m pixl d um ponto no sistma d coordnadas da imagm com as corrspondnts coordnadas no sistma d coordnadas da câmra. Ests parâmtros dscrvm as caractrísticas ópticas, gométricas digitais da câmra utilizada. Para o modlo d câmra pinhol, podmos considrar três conjuntos d parâmtros intrínscos principais. O primiro conjunto é formado apnas plo parâmtro f, ou distância focal, introduzida na dscrição da projção d prspctiva. O sgundo conjunto d parâmtros é dirtamnt mprgado na transformação ntr coordnadas do sistma d coordnadas da câmra coordnadas m pixl do sistma d coordnadas da imagm. Esta transformação é dscrita plas quaçõs ( 2 ) ( 3 ), ond são ignoradas possívis distorçõs gométricas introduzidas plo sistma óptico. Nstas quaçõs, (cx,c y ) rprsntam as coordnadas do ponto principal no sistma d coordnadas da imagm, (sx,sy ) rprsntam o tamanho ftivo do pixl m milímtros na horizontal na vrtical (ximg, yimg ) são as coordnadas d um ponto no sistma d coordnadas da imagm corrspondndo às coordnadas (xcam, ycam ) d um ponto no sistma d coordnadas da câmra.

2. Estroscopia 9 x ( 2 ) cam = (ximg cx )sx y ( 3 ) cam = (yimg c y )s y A mudança d sinal prsnt nas quaçõs acima s dv ao fato d qu os ixos horizontal vrtical do sistma d coordnadas da câmra do sistma d coordnadas da imagm possum orintação oposta. O trciro conjunto d parâmtros intrínscos stá rlacionado com as distorçõs gométricas introduzidas plo conjunto óptico utilizado. Em função da qualidad das lnts utilizadas, o conjunto óptico pod introduzir distorçõs qu gralmnt são vidnciadas na rgião priférica da imagm. Estas distorçõs podm sr modladas com crta prcisão como simpls distorçõs radiais, d acordo com as rlaçõs dscritas plas quaçõs ( 4 ) ( 5 ), ond (xd, yd ) são as coordnadas dos pontos distorcidos, ond corrspondm aos coficints d distorção. x cam 2 2 2 r = xd + y d ond 1 k k 2 2 4 = x ( 1 + k r + k r ) ( 4 ) d 1 2 y cam 2 4 = y ( 1 + k r + k r ) ( 5 ) d 1 2 Nstas quaçõs, a distorção consist m um dslocamnto radial nos pontos da imagm. Est dslocamnto é nulo no cntro da imagm, aumnta com o distanciamnto do cntro da imagm. Obsrva-s qu como os valors d k 1 k 2 são normalmnt muito pqunos, a distorção radial pod sr ignorada quando alta prcisão não é ncssária m todas as rgiõs da imagm. Finalmnt, tmos qu o conjunto d parâmtros intrínscos é formado por f, c x, c y, s x, s y, k1 k 2. 2.1.2 Parâmtros Extrínscos Considrando apnas o sistma d coordnadas da câmra podmos scrvr as quaçõs fundamntais da projção prspctiva d manira simplificada, conform aprsntado na quação ( 1 ). Porém, o sistma d coordnadas da câmra é muitas vzs

2. Estroscopia 10 dsconhcido, um problma comum é dtrminar a sua localização orintação m rlação a outro sistma d coordnadas utilizando somnt informaçõs da imagm. Os parâmtros xtrínscos são dfinidos como o conjunto d parâmtros gométricos qu dscrvm a transformação ntr o sistma d coordnadas da câmra o sistma d coordnadas do mundo conhcido. Y X Z Y X R,t Z Figura 3: Transformação ntr sistmas d coordnadas do mundo da câmra Esta transformação é spcificada através d um vtor d translação t uma matriz d rotação R. O vtor d translação t dscrv a posição rlativa ntr as origns dos dois sistmas d coordnadas. A matriz 3 3 d rotação R dscrv a orintação rlativa ntr os ixos dos dois sistmas d coordnadas. Esta transformação é ilustrada na Figura 3. Assim sndo, a rlação ntr as coordnadas d um ponto no sistma d coordnadas do mundo no sistma d coordnadas da câmra, W M rspctivamnt, é dada por: M = R(W t). ( 6 )

2. Estroscopia 11 2.1.3 Projção Mundo-Imagm A partir dos parâmtros rlacionamntos do modlo d câmra pinhol aprsntados podmos dscrvr as rlaçõs qu prmitm o mapamnto dirto as coordnadas d um ponto 3-D no ambint com as coordnadas m pixl da projção dst ponto na imagm, sm xplicitamnt rfrnciar o sistma d coordnadas da câmra. Já tmos dfinidos os dois passos ncssários para a projção mundo-imagm. Com os parâmtros xtrínscos podmos ralizar a transformação ntr o sistma d coordnadas do mundo o sistma d coordnadas da câmra. Com os parâmtros intrínscos, podmos ralizar a transformação ntr o sistma d coordnadas da câmra o sistma d coordnadas da imagm. Ignorando a ocorrência d possívis distorçõs radiais substituindo as quaçõs ( 2 ), ( 3 ) ( 6 ) na quação ( 1 ) obtmos as quaçõs ( 7 ) ( 8 ), qu rlacionam as coordnadas d um ponto 3-D no mundo com as coordnadas do ponto corrspondnt na imagm, ond R n,n = 1,2,3 é um vtor 3-D formado pla nésima linha da matriz R. T R1 (W (xim cx )sx = f T R (W 3 t) t) ( 7 ) T R2 (W t) (yim c y )s y = f T R (W t) 3 ( 8 ) Embora possamos usar as quaçõs acima aprsntadas dirtamnt, é convnint xprssá-las na forma d produto ntr matrizs linars. Para isso, podmos dfinir as matrizs aprsntadas m ( 9 ) ( 10 ), ond A dpnd somnt d parâmtros intrínscos [ R t] dpnd somnt d parâmtros xtrínscos. f / sx 0 cx A = 0 f / s y c y ( 9 ) 0 0 1

2. Estroscopia 12 T r 11 r12 r13 R1 t T [ R t] = r21 r22 r23 R2 t ( 10 ) T r31 r32 r33 R3 t A quação matricial linar qu dscrv a projção d prspctiva mprgando as matrizs linars dfinidas acima é dada por: m ~ = ~ ~ A[ R t] W, ( 11 ) ond W ~ corrspond a W mprgando 1 como a quarta coordnada, m ~ rprsnta m coordnadas homogênas a projção d W no plano projtivo π ond = ~ é mprgado para indicar qu os dois lados da igualdad podm difrir por uma constant não-nula dsconhcida, já qu s trata d uma quação homogêna. Finalmnt, sndo T m ~ = [ u, v, w], as coordnadas do ponto W no sistma d coordnadas da imagm podm sr obtidas por: [ u w v w] T m = / /, ( 12 ) compltando dsta forma a dscrição do procsso d formação da imagm. É important obsrvar qu frquntmnt o mapamnto acima dscrito é rprsntado mprgando a matriz d projção [12] dada por: P = ~ A[ R t ]. ( 13 ) Nst caso, a quação ( 11 ) dv sr rscrita como: m~ ~ PW. ( 14 ) 2.1.4 Calibração Monocular A calibração d uma câmra consist na dtrminação dos parâmtros intrínscos xtrínscos qu, conform discutido nas sçõs 2.1.1 2.1.2, corrspondm às

2. Estroscopia 13 caractrísticas gométricas ópticas intrnas da câmra da sua orintação posicionamnto m rlação ao sistma d coordnadas do mundo. Divrsos métodos d calibração ncontram-s disponívis. Enquanto alguns dsts sgum a abordagm d auto-calibração, mprgando lmntos struturais da cna como sgmntos d rta vértics dirtamnt, a maioria raliza a calibração mprgando um gabarito cuja gomtria é conhcida [15,16,17]. O grand bnfício ao mprgar gabaritos d gomtria conhcida é qu as projçõs d sus pontos caractrísticos nas imagns capturadas pla câmra são mais facilmnt dtctadas. Sguindo sta abordagm [18], são ncssárias ao procdimnto d calibração as coordnadas no sistma d coordnadas do mundo d pontos caractrísticos d um gabarito uma imagm contndo o gabarito, capturada pla câmra a sr calibrada. Inicialmnt são mprgadas técnicas para a xtração d caractrísticas da imagm, como vértics contornos, a fim d idntificar os pontos candidatos às projçõs d pontos do gabarito. Tomando o conjunto d pontos caractrísticos xtraídos, faz-s uso d rstriçõs particulars ao gabarito utilizado para corrspondr cada ponto 3-D do gabarito com o rspctivo ponto 2-D da imagm. Como rsultado dsta tapa obtém-s n pars formados por pontos do mundo {( X i, Yi, Z i ) i = 1,..., n} suas rspctivas projçõs no plano d imagm {( xi, yi, zi ) i = 1,..., n}. Conform introduzido pla quação ( 14 ), a transformação das coordnadas do sistma d coordnadas do mundo m coordnadas do sistma d coordnadas da imagm pod sr scrita mprgando a matriz d projção P como: λxi p = λyi p λ p 11 21 31 p p p 12 22 32 p p p 13 23 33 p p p 14 24 34 X i Yi. ( 15 ) Z i 1 Sndo λ um fator d scala d um dos lmntos da matriz d projção, podmos igualar p 34, por xmplo, a 1 sm prda d gnralidad. Dsta forma, rstam somnt onz parâmtros a srm dtrminados no procsso d calibração. Expandindo a quação ( 15 ) tmos:

2. Estroscopia 14 = + + + = + + + = + + + λ λ λ 1 33 32 31 24 23 22 21 14 13 12 11 i i i i i i i i i i i Z p Y p X p y p Z p Y p X p x p Z p Y p X p, ( 16 ) ond substituindo a última quação nas duas primiras liminando λ obtmos: = + + + = + + + i i i i i i i i i i i i i i i i i i i i y y Z p y Y p y X p p Z p Y p X p x x Z p Y x p x X p p Z p Y p X p 33 32 31 24 23 22 21 33 32 31 14 13 12 11 - - - -. ( 17 ) Podmos rformular o problma como um sistma d quaçõs linars na forma A = b ϕ ( 18 ), ond A é uma matriz 11 2 n, ϕ é um vtor contndo as 11 incógnitas da matriz d projção P ond b é um vtor n 2, sndo A b obtidos a partir dos pontos d calibração. = n n i i n n n n n n n n n n n n n n n n n n i i i i i i i i i i i i i i i i i i y x y x y x p p p y Z y Y y X Z Y X x Z x Y x X Z Y X y Z y Y y X Z Y X x Z Y x x X Z Y X y Z y Y y X Z Y X x Z Y x x X Z Y X......... 0 0 0 0 0 0 0 0 0 1................................. 1 0 0 0 0 0 0 0 0 1................................. 1 0 0 0 0 0 0 0 0 1 1 1 33 12 11 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1. ( 18 ) Com onz incógnitas cada ponto conhcido forncndo duas quaçõs ao sistma, são ncssários plo mnos sis pontos para calcular P. A stimativa ϕˆ dos valors d ϕ, logo d P, pod sr obtida através d otimização plo método dos mínimos quadrados: 2 min ˆ b A = ϕ ϕ ϕ, ( 19 ) ou, na forma matricial: b A A A T T 1 ) ( ˆ = ϕ. ( 20 )

2. Estroscopia 15 Caso sja ncssário, os parâmtros xtrínscos intrínscos podm ainda sr isolados a partir da matriz P [12]. O método dscrito ignora possívl influência d distorção radial. Muitos métodos considram sta influência mprgando modlos d câmra não linars, difrnts do mprgado nst trabalho. Entrtanto, o stado da art atual prmit produzir câmras cuja distorção radial pod sr dsprzada quando não é ncssária alta prcisão [12, 19]. Uma avaliação do fito da distorção radial no procsso d calibração rconstrução é aprsntada por BENEVENUTI [19]. O método acima aprsnta o inconvnint d qu a informação d calibração somnt srá válida no volum m torno da posição dos pontos prtncnts ao gabarito d calibração utilizado. Por sta razão, um método d calibração ond são incluídos pontos corrspondnts do padrão tomados m difrnts instants é proposto por ZHANG [16]. O método consist nas sguints tapas: 1) Encontrar a matriz d transformação d prspctiva ntr o plano do gabarito d calibração o plano da visão da câmra, para um conjunto d amostras capturadas m difrnts instants. 2) Inicializar os parâmtros intrínscos. 3) Encontrar os parâmtros xtrínscos. 4) Ralizar a otimização pla minimização do rro da projção dos pontos com todos os parâmtros. Est método aprsnta rsultados supriors aos obtidos plo método antrior, sndo qu a qualidad da calibração não s mostra dgradada para pontos fora do padrão d calibração. Est método aprsnta ainda a vantagm d mprgar um padrão d calibração planar simplificado d fácil construção. 2.2 Sistma d Visão Estroscópica Na sção antrior dscrvmos o modlo d câmra pinhol como o dispositivo qu projta pontos do spaço 3-D m pontos m um plano d imagm. Est procsso não é rvrsívl, visto qu um ponto m no plano d imagm pod corrspondr à projção d

2. Estroscopia 16 qualqur ponto sobr uma dtrminada rta no spaço. Por st motivo, os sistmas d visão stroscópica fazm uso d uma sgunda câmra para introduzir a rstrição adicional ncssária para qu sja possívl ralizar o procsso d rconstrução, rcuprando assim as coordnadas d um ponto no spaço d manira unívoca. Através d um sistma d visão stroscópica podmos rcuprar a informação d profundidad d um dado ponto no spaço a partir da distância rlativa ntr dois pontos qu o rprsntam m imagns capturadas sob difrnts pontos d vista. Esta distância é dnominada disparidad, foi originalmnt utilizada para dscrvr a difrnça na localização d pontos caractrísticos obsrvados plo olho squrdo plo olho dirito do sistma visual humano [20]. O modlo xibido na Figura 4 aprsnta a gomtria básica prsnt m um sistma d visão stroscópica composto por duas câmras do modlo pinhol. M f C b C d m c π π d c d m d Figura 4: Modlo simplificado d sistma d visão stéro

2. Estroscopia 17 Nst modlo simplificado [12], os planos d imagm das câmras da squrda π da dirita π d são coplanars sus ixos ópticos são parallos, o qu significa qu a intrscção dos msmos ncontra-s infinitamnt distant das câmras. Os cntros d projção C prpndicular aos ixos óticos. C d são sparados por uma distância dnominada linha d bas, ou b, Podmos dtrminar a posição d M no spaço por triangulação, ou sja, pla intrscção dos raios dfinidos plos cntros d projção as imagns d M, Sjam x x d as coordnadas d m m m d. m d m rlação aos pontos principais c c d, f a distância focal tomando o ponto qüidistant aos cntros d projção das duas câmras como a origm do sistma d coordnadas a qual M prtnc. Por similaridad d triângulos m, M, m ) é possívl obsrvar qu a profundidad do ponto M pod sr calculada por: ( d ond d corrspond à disparidad, qu por sua vz é dada por: b Z = f ( 21 ) d d = x d x. ( 22 ) Assim sndo, tmos qu a profundidad é invrsamnt proporcional à disparidad. É important notar qu sta caractrística tm fito sobr a prcisão da profundidad rcuprada, ond a posição rcuprada para objtos mais próximos srá mais prcisa do qu a posição rcuprada para objtos mais distants [18]. É possívl obsrvar ainda qu, como a dimnsão x é dfinida como sndo ao longo da linha qu liga os cntros dos pontos principais das imagns, tmos qu qualqur ponto projtado sobr ambas as imagns aparcrá na msma altura, ou na msma coordnada para a dimnsão y. Dsta forma podmos ignorar a dimnsão y na rcupração da profundidad por triangulação.

2. Estroscopia 18 A configuração d sistma d visão stroscópica assumida nst modlo simplificado dificilmnt é alcançada na prática, uma vz qu é muito difícil construir um sistma binocular ond as câmras stjam xatamnt alinhadas conform aprsntado. Por st motivo são mprgados os rcursos d calibração do conjunto stéro, dscrito na sção 2.3, d manira a compnsar as difrnças obtidas. Na sção 2.2.1 srão aprsntados os parâmtros do sistma d visão stéro, na sção 2.2.2 srão aprsntadas as importants rlaçõs gométricas xistnts ntr os pontos m m d, dscritas pla gomtria pipolar. 2.2.1 Parâmtros do Sistma d Visão Estéro Assim como no modlo d câmra pinhol, os parâmtros d um sistma d visão stroscópica podm sr divididos como intrínscos os xtrínscos [12]. Ests parâmtros são aprsntados na Figura 5. Obsrv qu na ilustração, por simplicidad, os planos d imagns stão rprsntados ntr o ponto obsrvado os cntros d projção. Apsar d sta rprsntação star distant da ralidad, as rlaçõs matmáticas são prsrvadas os modlos são formalmnt quivalnts. M M M d C π m c f c d m d f d π d C d R,t Figura 5: Parâmtros xtrínscos intrínscos do sistma d visão stéro

2. Estroscopia 19 Nst caso, os parâmtros intrínscos corrspondm aos msmos aprsntados na sção 2.1.1 para cada uma das câmras qu compõ o sistma, são utilizados para mapar as coordnadas d pontos do sistma d coordnadas da imagm para o sistma d coordnadas da câmra, vic-vrsa. Um conjunto mínimo d parâmtros intrínscos inclui, para cada câmra, as coordnadas do ponto principal ( c c d ) a distância focal ( f f d ). Os parâmtros xtrínscos difrm ligiramnt dos parâmtros prsnts no modlo d câmra pinhol. Para um sistma d visão stéro, ls dscrvm a transformação qu rlaciona os sistmas d coordnadas das duas câmras um ao outro, dfinida por um vtor d translação, t = (Cd C ), uma matriz d rotação R. A rlação ntr os vtors M T = [X,Y,Z ] M qu s T d = [X d,yd,z d ] rfrm ao msmo ponto M no spaço, rprsntado nos sistmas d coordnadas das câmras squrda dirita é dada por: M d = R(M t). ( 23 ) Sja t, R, t d, R d os parâmtros xtrínscos das duas câmras qu compõ o sistma, tmos qu os parâmtros xtrínscos do sistma d visão stroscópica podm sr obtidos plas quaçõs ( 24 ) ( 25 ). T R = R d R ( 24 ) T t = t R td ( 25 ) 2.2.2 Gomtria Epipolar O rlacionamnto gométrico xistnt ntr duas imagns d uma msma cna tridimnsional é dscrito pla gomtria pipolar. Sgundo a gomtria pipolar, os pontos corrspondnts nas imagns stéro dvm aparcr m linhas particulars das imagns. Dado um ponto m uma imagm d um par stéro, podmos ncontrar su ponto corrspondnt na outra imagm sobr uma linha spcífica, não sobr toda imagm. Isto

2. Estroscopia 20 rduz significativamnt a complxidad do problma d corrspondência, a sr dscrito na sção 2.5. A Figura 6 aprsnta os lmntos da gomtria pipolar prsnt m um sistma d visão stroscópica composto por duas câmras pinhol, rprsntadas plos sus cntros d projção C C d, sus planos d imagm π π d [14]. Cada câmra possui um sistma d coordnadas 3-D cuja origm coincid com su cntro d projção cujo ixo Z coincid com o ixo óptico. Os vtors m T = [x, y,z ] T d = [xd, yd,zd ] m rfrms às projçõs d M nos planos d imagm squrdo dirito, rspctivamnt. Os pontos m qu a linha através dos cntros d projção intrscta os planos d imagm das câmras são chamados pipolos, rprsntados na Figura 6 por d. Sndo assim, o pipolo da squrda é a imagm do cntro d projção da câmra dirita, vicvrsa. O plano dfinido por M, C C d é dnominado plano pipolar, a linha rta corrspondndo à intrscção do plano pipolar com o plano da imagm é dnominado linha pipolar. Considrando uma linha qu passa plo cntro d projção d uma câmra um ponto no plano d imagm, tmos qu a linha pipolar é a imagm dsta linha no plano d imagm da outra câmra. Adicionalmnt, tmos qu todas as linhas pipolars intrsctam no pipolo. M M M d Linha pipolar Plano Epipolar Linha pipolar m π π d md C d C d Figura 6: Gomtria pipolar prsnt m sistma d visão stéro

2. Estroscopia 21 Dado m, M stá m qualqur posição no raio através d C d m. Sndo qu a imagm dst raio na imagm dirita é a linha pipolar através do ponto corrspondnt m d, o casamnto corrto prcisa star sobr a linha pipolar. Esta important caractrística é dnominada rstrição pipolar. Ela stablc um mapamnto ntr pontos na imagm squrda linhas na imagm dirita, vic-vrsa. S, por xmplo, fizrmos o mapamnto ntr pontos na imagm squrda as corrspondnts linhas pipolars na imagm dirita, podmos rstringir a busca plos casamntos d cada ponto m sobr a corrspondnt linha pipolar. Assim sndo, a busca por corrspondências é rduzida para um problma unidimnsional. A gomtria pipolar pod sr dscrita mprgada d difrnts maniras, dpndndo da quantidad d informação qu s tm a rspito do sistma d visão stéro. Quando tanto os parâmtros intrínscos como xtrínscos são conhcidos, podmos xprssar as rstriçõs da gomtria dirtamnt por: T m ( t Rm ) = 0, ( 26 ) d como a linha homogêna através d dois pontos xprssa por su produto vtorial [12], ond t R rfrm-s aos parâmtros do sistma d visão stroscópica introduzidos na sção 2.2.1. Quando somnt os parâmtros intrínscos são conhcidos, a gomtria pipolar pod sr dscrita pla matriz ssncial [14]. Tomando a câmra da squrda como origm do sistma d coordnadas do mundo, podmos rscrvr as matrizs d projção das câmras conform aprsntado nas quaçõs ( 27 ) ( 28 ), ond o dsconhcimnto dos parâmtros xtrínscos é tornado xplicito. P = [I 0] ( 27 ) P d = [ R t] ( 28 ) O produto vtorial pod sr scrito como o produto d uma matriz anti-simétrica um vtor. Sndo assim, a quação ( 26 ) pod sr quivalntmnt scrita como:

2. Estroscopia 22 T d m [ t] Rm = 0, ( 29 ) ond [t] é a matriz anti-simétrica do vtor t. S multiplicarmos as matrizs nsta quação, obtrmos uma matriz qu dscrv o rlacionamnto ntr os pontos corrspondnts na imagm m m d m coordnadas normalizadas. Esta matriz é dnominada matriz ssncial, sndo dada por: E = [ t] R. ( 30 ) Dsta forma, o rlacionamnto ntr pontos corrspondnts na imagm m coordnadas da câmra pod sr xprssa mprgando a matriz ssncial por: T d m Em = 0. ( 31 ) A matriz ssncial tm cinco graus d librdad, corrspondndo a uma rotação uma translação 3-D. Quando não xist informação d calibração disponívl, a gomtria pipolar pod sr dscrita plo cálculo da matriz fundamntal [14]. Tomando a câmra da squrda como origm do sistma d coordnadas do mundo, podmos rscrvr as matrizs d projção das câmras conform aprsntado plas quaçõs ( 32 ) ( 33 ), ond é assumido o dsconhcimnto d todos os parâmtros do sistma d visão stéro. P = A [I 0] ( 32 ) Pd = Ad [ R t] ( 33 ) como: Como no caso da matriz ssncial, podmos rscrvr a quação ( 26 ) nst caso T d 1 m A [ t] RA m = 0. ( 34 ) d A matriz:

2. Estroscopia 23 T 1 = Ad [ t] RA F ( 35 ) é dnominada matriz fundamntal, dscrv o rlacionamnto ntr pontos corrspondnts na imagm m coordnada d pixl. Assim sndo, o rlacionamnto ntr pontos corrspondnts da imagm m coordnadas d pixl pod sr xprssa mprgando a matriz fundamntal por: T d m Fm = 0. ( 36 ) A matriz fundamntal é uma rprsntação algébrica da gomtria pipolar, aprsnta st graus d librdad, visto qu é dfinida sobr um fator d scala su dtrminant é zro. Para qualqur ponto l d na imagm da dirita pod sr xprssa como: m na imagm da squrda, a linha pipolar corrspondnt l d = Fm. ( 37 ) D manira similar, a linha pipolar l na imagm squrda para um ponto imagm dirita pod sr xprsso como: m d na T l = F md. ( 38 ) Já a rlação ntr os pipolos a matriz fundamntal é dada plas quaçõs ( 39 ) ( 40 ), ond o pipolo vtor nulo squrdo da matriz fundamntal. é o vtor nulo dirito da matriz fundamntal o pipolo d F = 0 ( 39 ) é o T d F = 0 ( 40 ) A stimação das matrizs ssncial fundamntal acima aprsntadas é tratada como um procdimnto d calibração [12].

2. Estroscopia 24 2.3 Calibração Estroscópica A calibração d um sistma d visão stroscópica consist na dtrminação dos parâmtros intrnos, orintação posicionamnto das câmras qu o compõ. Quando o sistma d visão stroscópica é rígido, cujos parâmtros não são altrados durant a opração do sistma, normalmnt a calibração é ralizada como uma tapa prliminar à opração do sistma. Já para os casos ond durant a opração do sistma podm ocorrr mudança d parâmtros intrínscos ou xtrínscos como rsultado d opraçõs como foco zoom (visão ativa), é comum mprgar uma técnica dnominada auto-calibração [19], ond não xist uma tapa inicial para dtrminação dos parâmtros do conjunto. Ao invés disso, a stimação dos parâmtros ncssários é ralizada durant a opração do sistma. Est tipo d calibração é bastant flxívl, porém nm smpr são obtidos rsultados confiávis. D modo gral, podmos classificar os métodos d calibração como forts (calibração clássica) ou fracos (calibração projtiva) [14]. A calibração fort rfr-s à dtrminação tanto dos parâmtros intrínscos como dos parâmtros xtrínscos, possibilitando assim uma rconstrução métrica dos pontos do mundo. Já na calibração fraca, apnas a gomtria pipolar do sistma é dtrminada, sndo qu dsta forma apnas uma rconstrução projtiva é possívl. Pla complxidad falta d prcisão xistnt na calibração fort m sistmas d visão stéro, é muitas vzs utilizada uma abordagm d visão qualitativa, ond não é utilizada uma métrica prcisa [13]. Nsts casos, apnas a calibração fraca é mprgada. Apsar d não sr utilizada informação métrica, ainda é possívl obtr informação tridimnsional da cna, mprgando dscritors invariants, ralizar tarfas qu nvolvam dtcção, navgação, tc. Por outro lado, xist uma motivação biológica para ralizar invstigação sguindo o paradigma da visão qualitativa. O afastamnto da abordagm métrica stá d acordo com a nossa snsibilidad, com a qual podmos facilmnt distinguir o mais próximo ntr dois objtos, mas com a qual não podmos dtrminar prcisamnt a distância dos msmos. Na sqüência são dscritas abordagns para ralização das calibraçõs fort fraca, d intrss ao modlo d sistma d visão considrado nst trabalho.

2. Estroscopia 25 2.3.1 Calibração Clássica Na calibração clássica [18], cada câmra qu compõ o sistma binocular é calibrada sparadamnt, sguindo o procdimnto dscrito na sção 2.1.4. A dtrminação dos parâmtros do sistma d visão stroscópica é, m sguida, ralizada através do procdimnto dscrito na sção 2.2.1. Sguindo sta abordagm, tmos qu os parâmtros intrínscos do sistma d visão stroscópica são formados plos parâmtros intrínscos d cada câmra qu compõ o sistma, cujo conjunto mínimo inclui as coordnadas dos pontos principais as distâncias focais. Os parâmtros xtrínscos, por sua vz, são calculados dirtamnt plas quaçõs ( 24 ) ( 25 ) mprgando os parâmtros xtrínscos obtidos para cada câmra do sistma. 2.3.2 Calibração Projtiva A calibração projtiva procura dtrminar os parâmtros da gomtria pipolar prsnt no sistma d visão stéro. Os métodos qu sgum sta abordagm basiam-s gralmnt na stimação da matriz fundamntal. Para isso, é mprgado um conjunto d pontos corrspondnts idntificados no par d imagns stéro. D manira similar à calibração clássica, pod-s mprgar um gabarito d calibração para facilitar a idntificação dos pontos corrspondnts. Pla quação ( 36 ) podmos obsrvar qu cada par d pontos corrspondnts ntr as duas imagns stéro provê uma rstrição linar à matriz fundamntal. Isto prmit qu a matriz fundamntal sja stimada linarmnt por um mínimo d oito corrspondências indpndnts [12]. Tomando-s n pontos corrspondnts nas imagns do par stéro, cada corrspondência m m gra uma rstrição aos coficints d F, como aprsntado i di pla quação ( 41 ). f1 f2 f3 xi [ x,,1] di ydi f4 f5 f6 yi = 0 ( 41 ) f 7 f8 f9 1

2. Estroscopia 26 Combinando as quaçõs obtidas para cada corrspondência obtmos um sistma linar qu pod sr rscrito como A ϕ = 0, conform aprsntado pla quação ( 42 ). Nsta quação ϕ corrspond ao vtor contndo as nov incógnitas d F A corrspond a uma matriz N 9 m qu cada linha é construída a partir das coordnadas d m d rfrnts a uma simpls corrspondência. m xd1x... xdi x... xdn x 1 i n x x x d1... di dn y y... y 1 i n x d1... x... x di dn y y y d1 x... di x... dn x 1 i n y y y d1 dn y... di y... y 1 i n y d1... y... y di dn x 1... x... x i n y 1... y... y i n 1 f1... f 2 1 f 3 = 0...... 1 f 9 ( 42 ) A partir d oito pontos corrspondnts é possívl dtrminar a stimativa ϕˆ dos valors d ϕ, logo d F, sujito a um fator d scala, pla solução d mínimos quadrados ( 43 ). ˆ ϕ 2 = min Aϕ sujito a 1 ϕ ϕ = ( 43 ) BENEVENUTI [18] obsrva qu, como a origm do sistma d coordnadas do sistma d coordnadas da imagm stá posicionada no canto suprior da imagm, tm-s um fito sobr a stabilidad do sistma aprsntado pla matriz da quação ( 42 ) introduzido pla homognidad das coordnadas dos pontos. Adicionalmnt, aprsnta um método ond são utilizados pontos conhcidos no mundo para contornar a limitação da matriz fundamntal no qu diz rspito à rconstrução projtiva. Sgundo st método, conhcndo-s as coordnadas d alguns pontos no spaço as coordnadas d alguns pontos corrspondnts nas duas imagns stéro, pod-s contornar sta limitação calcular a matriz d transformação qu prmita uma rconstrução no sistma d coordnadas do ambint. Est método aprsnta cinco tapas principais: 1) Estimação da gomtria pipolar a partir d todos os pars d pontos corrspondnts disponívis. 2) Cálculo das matrizs d projção das câmras compatívis com a gomtria pipolar.

2. Estroscopia 27 3) Calculo da rconstrução dos pontos cuja posição no sistma d coordnadas do ambint é conhcida. 4) Estimação da matriz d transformação ntr a strutura projtiva a strutura uclidiana. 5) Cálculo das matrizs d projção das câmras m rlação ao sistma d coordnadas do ambint. Sguindo st procdimnto, são obtidas matrizs d projção qu prmitm a rconstrução métrica d pontos do ambint. 2.4 Rtificação Conform discutido na sção 2.2.2, obsrvando a rstrição pipolar tmos qu dado um ponto m uma imagm, podmos ncontrar su ponto corrspondnt na outra imagm sobr uma linha spcífica. Isto rduz significativamnt a complxidad do problma d corrspondência ntr pontos. Nst caso, a gomtria pipolar prmit rduzir uma busca ssncialmnt 2-D, ond sria ncssário procurar por um ponto corrspondnt m toda a imagm, a uma busca 1-D, ond a busca é limitada a uma linha spcífica. Convnintmnt, pod-s fazr uso do rcurso d rtificação para simplificar ainda mais o problma d corrspondência. A rtificação d um par d imagns stéro consist na transformação d cada imagm d modo qu os pars d linhas pipolars fiqum colinars parallas ao ixo x da imagm. Nas novas projçõs obtidas pla rtificação do par d imagns stéro, as linhas pipolars são parallas ao ixo x m ambas as imagns, consquntmnt as disparidads ntr as imagns são apnas na dirção x, não xistindo disparidad no ixo y. Dsta forma, através da rtificação d imagns, para ncontrar um ponto corrspondnt a (xl,yl ) na imagm da squrda, simplsmnt procuramos através da linha y = y na imagm da dirita. Plos bnfícios obtidos, muitos algoritmos d r l corrspondência assumm a rtificação como um passo prliminar. Conform obsrvado por FUSIELLO t al. [21], a transformação do par d imagns stéro por transformaçõs d projção apropriadas rduzm o problma d corrspondência à gomtria pipolar ncontrada m um par d câmras idênticas colocadas

2. Estroscopia 28 lado a lado com sus ixos principais alinhados, conform ilustrado pla Figura 7. Em outras palavras, a rtificação transforma o par d imagns stéro d modo qu s tornm quivalnts a um par d imagns capturadas por uma nova configuração d sistma d visão stéro, m conformidad com o modlo simplificado aprsntado na sção 2.2. M M C C C d C d Figura 7: Transformação da configuração stéro pla rtificação Difrnts métodos podm sr mprgados para ralizar a rtificação, dpndndo do tipo d informação disponívl a rspito do sistma d visão stéro. TRUCCO t al. [12] dscrvm um procdimnto d rtificação ond são utilizados os parâmtros intrínscos xtrínscos. O método mprga uma matriz ortogonal dfinida por vtors unitários mutuamnt ortogonais 1, 2 3, aprsntada pla quação ( 44 ). R rct = T 1 T 2 T 3 ( 44 ) O vtor 1 é dado plo pipolo. Sndo qu o cntro da imagm stá na origm, 1 coincid com a dirção da translação é dado por: T 1 =. ( 45 ) T

2. Estroscopia 29 O vtor 2 dv sr ortogonal a 1, para isso podmos calcular normalizar o produto vtorial com o vtor d dirção do ixo óptico. Dsta forma, 2 é dado por: [ T, T, ] T 1 0 = y x. 2 2 2 ( 46 ) Tx + Ty Finalmnt, 3 é dtrminado inquivocamnt por: =. ( 47 ) 3 1 2 A matriz R rct rotaciona a câmra da squrda m torno do cntro d projção d manira a tornar as linhas pipolars parallas ao ixo horizontal. O algoritmo complto d rtificação consist nos sguints passos: 1) Construir a matriz R rct conform foi dscrito antriormnt. 2) Dfinir R = Rrct R d = RRrct. 3) Para cada ponto m ] [ x ', y', z'] = R p, ntão calcul T = [ x, y, f calcul f as coordnadas do ponto rtificado como p' = [ x', y', z' ]. z' 4) Rpita os passos antriors para a câmra da dirita, mprgando R d Como saída do algoritmo tmos dois conjuntos corrspondndo aos pontos rtificados das imagns da dirita da squrda. Da msma manira, é possívl ralizar a rtificação quando somnt a matriz fundamntal é conhcida, fazndo uso d transformaçõs projtivas dnominadas homografias [14]. A ntrada é um par d imagns stéro a matriz fundamntal do sistma d visão stéro. Os passos grais do algoritmo são: 1) Idntifiqu os pipolos d nas duas imagns. p d. 2) Slcion a transformação projtiva H d qu mapia o pipolo d ao ponto no infinito T [ 1,0,0].