Comparação entre controles look-and-move e servo-visual utilizando transformadas SIFT em manipuladores do tipo eye-in-hand

Transcrição

1 Ilana Ngr Comparação entre controles look-an-move e servo-vsual utlzano transformaas SIFT em manpulaores o tpo eye-n-han Dssertação e Mestrao Dssertação apresentaa ao Programa e Pósgrauação em Engenhara Elétrca a PUC-Ro como requsto parcal para a obtenção o título e Mestre em Cêncas a Engenhara Elétrca Orentaor: Raul Queroz Fetosa Co-orentaor: Marco Antono Meggolaro Ro e Janero Junho e 9

2 Ilana Ngr Comparação entre Controles look-an-move e servo-vsual Utlzano Transformaas SIFT em Manpulaores o Tpo eye-n-han Dssertação apresentaa como requsto parcal para obtenção o grau e Mestre pelo Programa e Pós-Grauação em Engenhara Elétrca o Departamento e Engenhara Elétrca o Centro Técnco Centífco a PUC-Ro. Aprovaa pela Comssão Examnaora abaxo assnaa. Dr. Raul Queroz Fetosa Orentaor Departamento e Engenhara Elétrca PUC-Ro Dr. Marco Antôno Meggolaro Co- Orentaor Departamento e Engenhara Mecânca Dr. Mauro Speranza Neto Departamento e Engenhara Mecânca Dr. Fernano César Lzarrale COPPE/UFRJ Prof. José Eugeno Leal Coorenaor Setoral o Centro Técnco Centífco Ro e Janero, e junho e 9

3 Toos os retos reservaos. É proba a reproução total ou parcal o trabalho sem autorzação a unversae, o autor e o orentaor. Ilana Ngr Grauou-se em Engenhara e Controle e Automação na PUC- Ro (Pontfíca Unversae Católca o Ro e Janero) em 7. Fcha Catalográfca Ngr, Ilana Comparação entre controles look-an-move e servovsual utlzano transformaas SIFT em manpulaores o tpo eye-n-han / Ilana Ngr ; orentaor: Raul Queroz Fetosa ; co-orentaor: Marco Antono Meggolaro f. : l. (color.) ; cm Dssertação (Mestrao em Engenhara Elétrca) Pontfíca Unversae Católca o Ro e Janero, Ro e Janero,. Inclu bblografa. Engenhara elétrca Teses.. Manpulaor robótco.. Sstemas eye-n-han. 4. Controle look-anmove. 5. Controle servo-vsual. 6. Transformações SIFT. I. Fetosa, Raul Queroz. II. Meggolaro, Marco Antono. III. Pontfíca Unversae Católca o Ro e Janero. Departamento e Engenhara Elétrca. IV. Título. CDD: 6.

4 Ao meu avô.

5 Agraecmentos A Deus. Ao meu orentaor Dr. Raul Queroz Fetosa pelos ensnamentos transmtos e pelo auxílo constante. Ao meu co-orentaor Dr. Marco Antono Meggolaro pela convvênca ára, auxlano, ensnano e partcpano não só no mestrao, mas também os 5 anos e grauação. Ao CNPq, à PUC-Ro e à Petrobras pelas ferramentas que possbltaram realzar toos os expermentos na mas alta qualae. Aos meus pas que souberam entener mnha ausênca, sem exar e me apoar toos os as. Ao meu rmão que sempre esteve presente, alegrano os meus as mas fíces. A mnha avó maravlhosa, que sempre tnha uma palavra e ncentvo. Aos meus amgos o Laboratóro e Robótca, por estarem sempre spostos a me ajuar: Júlo, Alexanre, Camla, Gu Franco, Gu Porto, Esguera, Fabano, Pet, Tco, Mchel, Emo, Mourão, Paulete Aos meus amgos o LVC pelo companhersmo e ncentvo: Dáro, Glson, Paula, Cecíla e Dens. Aos meus queros amgos a ança, mnha seguna famíla.

6 Resumo Ngr, Ilana; Fetosa, Raul Queroz; Meggolaro, Marco Antono. Comparação entre controles Look-an-Move e Servo-Vsual utlzano transformaas SIFT em manpulaores o tpo eye-n-han. Ro e Janero, 9, 9p. Dssertação e Mestrao Departamento e Engenhara Elétrca, Pontfíca Unversae Católca o Ro e Janero. Vsão Computaconal poe ser utlzaa para calbrar e auto-localzar robôs. Exstem versas aplcações e auto-localzação e controle aplcaas a manpulaores nustras e robôs móves. Em partcular, o controle vsual poe ser útl em ntervenções submarnas, nas quas um manpulaor robótco é acoplao a um ROV (Veículo e Operação Remota) para execução e tarefas em granes profunaes, como o manuseo e válvulas e equpamentos como manfols. Este trabalho tem como objetvo esenvolver e mplementar técncas e controle vsual para auto-localzação e posconamento e manpulaores robótcos. Assume-se que o manpulaor possu uma câmera presa em sua extremae (confguração eye-n-han). Duas técncas e controle vsual são estuaas: look-an-move e servo-vsual, que ferem entre s pela realmentação o controle. A prmera utlza sensores e posção, a partr e uma únca magem capturaa no níco a movmentação. A seguna utlza versas magens capturaas urante o processo. A prncpal contrbução este trabalho está no uso a transformaa SIFT, robusta a rotações, translações, muança e escala e lumnação, para obter e correlaconar pontos-chave entre as magens e referênca e capturaas em tempo real. A metoologa é valaa expermentalmente através e um manpulaor robótco baseao na estrutura mecânca e uma mesa x-y-θ. Um sstema eletrônco é utlzao como nterface entre o robô e o software e controle, one estão mplementaas toas as técncas propostas. Testes ncas são realzaos com magens e objetos crculares, sem o uso e transformações como o SIFT. Em segua, são fetos testes com a magem e um panel real e um manfol, utlzano transformaas SIFT para etermnar a localzação o manpulaor em relação ao panel e controlá-lo até uma pose esejaa. Os resultaos mostram que o esempenho o controle servo-vsual epene muto o tempo e processamento e caa magem, ao contráro o look-an-move. No entanto, o controle servo-vsual apresenta erros fnas e posconamento muto menores. O métoo

7 SIFT é aproprao para uso em ambos os controles, ese que a resolução as magens seja alta o sufcente para evtar correlações falsas. Palavras-chaves Manpulaor robótco; sstemas eye-n-han; controle look-an-move; controle servo-vsual; Transformações SIFT.

8 Abstract Ngr, Ilana; Fetosa, Raul Queroz; Meggolaro, Marco Antono. Comparson between look-an-move an vsual servo control usng SIFT transforms n eye-n-han manpulator systems. Ro e Janero, 9, 9p. MSc. Dssertaton Departamento e Engenhara Elétrca, Pontfíca Unversae Católca o Ro e Janero. Computer vson can be use to calbrate an self-localze robots. There are many applcatons n self-localzaton an control apple to nustral manpulators an moble robots. In partcular, vsual control can be useful n submarne nterventons, where a robotc manpulator s mounte on a Remote Operate Vehcle (ROV) to execute tasks at hgh epths, such as hanlng manfol valves. Ths work has the objectve to evelop an mplement vsual control technques to self-localze an poston robotc manpulators. It s assume that a monocular camera s attache to the robot en-effector (eye-n-han confguraton). Two vsual control technques are stue: look-an-move an vsual servo control. Ther man fference s relate to the aopte feeback sensors. The frst technque uses poston sensors wth the a of a sngle mage capture at the begnnng of the robot movement. The secon technque reles on several mages capture n real tme urng the robot movement. The man contrbuton of ths work s the use of the SIFT transform, robust to rotaton, translaton, changes n scale an llumnaton, to obtan an correlate key-ponts between reference mages an mages capture n real tme. The methoology s expermentally valate usng a manpulator base on the mechancal structure of an x-y-θ coornate table. An electronc system was evelope to control the robot through a software n a computer, where were mplemente all the technques propose. Prelmnary tests are performe on smple crcular-shape objects, wthout the nee for SIFT transforms. Next, tests are performe wth a photo of an actual manfol panel typcally use n submarne nterventons, usng SIFT transform to fn the localzaton of the manpulator wth respect to the panel. The results show that the performance of the vsual servo control epens on the mage processng tme, unlke the look-an-move. However, the vsual-servo control presents smaller postonng errors. The SIFT metho s approprate for both controls, snce mage resoluton be hgh enough to avo false matchng.

9 Keywors Robotc manpulator; eye-n-han; look-an-move control; vsual servo control; SIFT Transform.

10 Sumáro Introução 6 Vsão Computaconal.. Processamento a magem... Parâmetros extrínsecos... Parâmetros ntrínsecos... Moelo a câmera Calbração a Câmera 4.. SIFT (Scale Invarant Feature Transform) 6... Detecção os pontos chave 7... Elmnação os pontos chave fracos 9... Determnação a orentação os pontos chave Cálculo os escrtores os pontos chave..5. Pareamento Controle Vsual.. Arquteturas e Controle 4... Controle look-an-move baseao em pose 5... Controle look-an-move baseao em magem 5... Controle servo-vsual baseao em pose Controle servo-vsual baseao em magem 6.. Cnemátca Inversa 7... Jacobano e um manpulaor plano e graus e lberae 7... Jacobana e um manpulaor genérco 9.. Controle PID 4.4. Integração a Vsão Computaconal no Controle 4 4 Sstema Expermental Sstema mecânco 45

11 4.. Moelo Matemátco a Mesa XYθ Sstema eletrônco Sstema com realmentação por sensores e posção (Controle Look-an-Move) Sstema com realmentação por magem (Controle Servo-Vsual) Software e controle Processamento a Imagem Equaconamento o sstema com alvo crcular Equaconamento o sstema com alvo D genérco 67 5 Resultaos Expermento : Teste frontal utlzano como alvo círculo Expermento : Teste lateral utlzano como alvo círculo Expermento : Teste frontal utlzano como alvo panel Expermento 4: Teste lateral utlzano como alvo panel 9 6 Conclusões 7 Referêncas Bblográfcas Apênce I 5 Apênce II 7 Apênce III 9

12 Lsta e fguras Fgura - Manpulaor TA-4 7 Fgura - Moelo e Projeção a Câmera Fgura - Transformação o sstema e coorenaas o muno para sstema e coorenaas a câmera Fgura 4 - Resultao o métoo SIFT aplcao a uma magem 7 Fgura 5 - Gaussanas aplcaas a caa otava, e a partr e suas subtrações surgem as DOG s (Dferença-e-Gaussanas) 8 Fgura 6 - Detecção os máxmos e mínmos nas ferenças entre gaussanas (DOG s) 9 Fgura 7 - Orentação os pontos a vznhança (esquera), e escrtor o keypont (reta) Fgura 8 - Descrtor os pontos Fgura 9 - Resultao o algortmo e etecção e pontos corresponentes (Lowe, 4) Fgura - Esquema e um sstema genérco Fgura - Controle look-an-move baseao em pose 5 Fgura - Controle look-an-move baseao em magem 6 Fgura - Controle servo-vsual baseao em pose 6 Fgura 4 - Controle servo-vsual baseao em magem 7 Fgura 5 - Manpulaor planar e graus e lberae 8 Fgura 6 - Movmentações nfntesmas e um manpulaor genérco 4 Fgura 7 - Esquema o Sstema Expermental 44 Fgura 8 - Manpulaor TA-4 45 Fgura 9 - Mesa Coorenaa XYθ 46 Fgura Motoreutor Banebots 46 Fgura - Acoplamento mecânco entre os exos o motor e a mesa 47 Fgura - Esquema a Mesa XYθ 47 Fgura - Câmera Logtech utlzaa para aqusção as magens 48 Fgura 4 - Parâmetros o Manpulaor 49 Fgura 5 - Placa eletrônca 54

13 Fgura 6 - Controlaor e Velocae Banebots 54 Fgura 7 - Tela prncpal o software 58 Fgura 8 - Janela e seleção a magem e referênca (controle baseao em magem) 59 Fgura 9 - Janela e stâncas esejaas o objeto e nteresse (controle baseao em pose) 59 Fgura - Esquema os testes com sco 6 Fgura - Imagem obta a câmera com sco eslocao o centro 64 Fgura - Vsta frontal e superor o sco 65 Fgura - Pontos chaves ( x o, y o ) encontraos pelo algortmo SIFT sobre o objeto alvo 68 Fgura 4 Esquema o expermento utlzano objetos D 69 Fgura 5 Resolução em pxels versus tempo e processamento o algortmo SIFT 7 Fgura 6 - Vsta superor o expermento, para teste frontal utlzano círculo vermelho como alvo 74 Fgura 7 - Vsta ncal o expermento e 75 Fgura 8 - Vsta fnal o expermento 75 Fgura 9 - Gráfco a posção real e esejaa versus tempo (controle lookan-move baseao em pose), expermento 77 Fgura 4 - Gráfco a posção real, esejaa e perceba pela câmera através o software, versus tempo (controle servo-vsual baseao em pose), expermento 78 Fgura 4 - Gráfco e característcas versus tempo (controle look-an-move baseao em magem), expermento 79 Fgura 4 - Gráfco e característcas versus tempo (controle servo-vsual baseao em magem), expermento 79 Fgura 4 - Comparação entre as técncas e controle pelo gráfco posção versus tempo, expermento 8 Fgura 44 - Imagem ncal, eseja e resultantes nas quatro técncas e controle, expermento 8 Fgura 45 - Vsta superor o expermento para teste lateral utlzano círculo vermelho como alvo 8

14 Fgura 46 - Imagem esejaa o expermento 84 Fgura 47 - Comparação entre as técncas e controle pelo gráfco posção versus tempo, expermento 85 Fgura 48 - Imagem ncal, esejaa, e resultantes nas quatro técncas e controle, expermento 86 Fgura 49 - Vsta superor o expermento para teste frontal utlzano como alvo o panel D 87 Fgura 5 - Imagem frontal o panel para o expermento 88 Fgura 5 - Imagem ncal o expermento utlzano como alvo o panel D 88 Fgura 5 - Esquema entre a posção atual, esejaa e e referênca 89 Fgura 5 - Comparação entre as técncas e controle pelo gráfco posção versus tempo, expermento 9 Fgura 54 - Imagem ncal, esejaa e resultantes nas quatro técncas e controle, expermento 9 Fgura 55 - Vsta superor o expermento 4 para teste lateral utlzano panel D como alvo 94 Fgura 56 - Imagem lateral o panel 94 Fgura 57 - Imagem ncal o expermento 4 utlzano como alvo o panel D 95 Fgura 58 - Gráfco a posção real, esejaa e perceba pela câmera através o software versus tempo para o controle servo-vsual caso (A), expermento 4 97 Fgura 59 - Gráfco a posção real, esejaa e perceba pela câmera através o software versus tempo para o controle servo-vsual caso (B), expermento 4 98 Fgura 6 - Comparação entre as técncas e controle pelo gráfco posção versus tempo, expermento 4 99 Fgura 6 - Imagem ncal, esejaa e resultantes nas quatro técncas e controle, expermento 4

15 Lsta e tabelas Tabela - Parâmetros envaos através a porta seral à eletrônca esenvolva 56 Tabela - Posções reas e relatvas obtas no expermento, para as quatro técncas e controle, assocaa a valores esejaas x = cm, y = cm, θ =, r = R = 95pxels e a = pxels 76 Tabela - Posções reas e relatvas obtas no expermento, para as quatro técncas e controle, assocaa a valores esejaos x = 7, 5cm, y = 6cm, θ =, r = R = 85pxels e a = 6pxels 84 Tabela 4 - Posções reas e relatvas obtas no expermento para quarto técncas e controle, assocaa a valores esejaos x = cm, y = cm, θ =, x rel = 9cm, y rel = cm e θ = 9 Tabela 5 - Posções reas e relatvas obtas no expermento 4 para quatro técncas e controle, assocaa a valores esejaos rel x = 8cm, y = 5cm, θ = e x = 8 cm, y = 5 cm e θ = 95 rel rel rel

16 Introução 6 Introução Após o crescmento nvual as áreas e robótca e vsão computaconal, percebe-se hoje em a uma fusão e ambas. A vsão computaconal é uma cênca que tem como objetvo extrar nformações e magens capturaas por spostvos como câmera e víeo, scanner, etc. Por sua vez, a robótca está seno muto exploraa no campo nustral, a fm e garantr uma melhora sgnfcatva na efcáca e qualae o trabalho, além a possblae e substtur o trabalho humano em locas pergosos e e fícl acesso. Sstemas robótcos poem ser entenos como spostvos eletromecâncos equpaos com sensores e atuaores, controlaos através e um sstema computaconal. Estes sensores são utlzaos para mer ferentes granezas no ambente e trabalho, como por exemplo posção, velocae e força. Atualmente, a maor parte os robôs nustras é programaa para segur uma trajetóra pré-efna. Isso é sufcente quano o robô trabalha num ambente fxo, one os objetos e nteresse estão sempre a uma stânca préefna o robô. Entretanto, se a posção o robô é alteraa, toas as trajetóras evem ser reprogramaas para que este ana seja capaz e realzar as evas operações (Augustson, 7). A vsão estereoscópca ou estéreo z respeto à reconstrução a nformação em três mensões. É a reproução artfcal a vsão bnocular natural. A vsão monocular permte examnar a posção e a reção os objetos entro o campo a vsão humana em um únco plano. Permte reconhecer nos objetos a forma, as cores e as mensões. A fotografa smples é uma reproução a vsão monocular. Por outro lao, a vsão bnocular permte a percepção e profunae, que é aa pela ferença e ângulos com que as magens são percebas. A estereoscopa é utlzaa para a obtenção a posção e um ponto no espaço trmensonal. Para sso, no entanto, é necessáro etermnar projeções e pontos a cena em um par e magens. Dversos algortmos para este fm foram

17 Introução 7 propostos na lteratura, tas como o algortmo proposto por (Tomas e Kanae, 99), e (Harrs e Stephens, 988). Um os mas recentes algortmos utlzaos na área e vsão computaconal para este fm é o algortmo SIFT (Scale Invarant Feature Transform), proposto por Dav Lowe (4). Este algortmo é nvarante a rotação, a lumnação, a escala e a posção a câmera, e garante um bom esempenho para ferentes tpos e conções e captura as magens. Com o objetvo e explorar as vantagens a vsão computaconal e a robótca, a PETROBRAS patrocna projetos e entfcação e pose e manpulaores urante ntervenções submarnas. O manpulaor TA-4 (Fgura ), acoplao a um ROV (Remote Operatng Vehcle), tem como objetvo prncpal operar válvulas em panés submarnos sob granes profunaes. Um sstema baseao em vsão computaconal sera capaz e etermnar automatcamente a posção e um objeto alvo. Já o ROV é o veículo responsável pela locomoção o manpulaor, capaz e operar em granes profunaes. Fgura - Manpulaor TA-4 Insprao na aplcação acma, o presente trabalho tem como objetvo comparar ferentes técncas e controle servo-vsual através o esenvolvmento e um sstema robótco expermental composto e uma mesa automatzaa XYθ e

18 Introução 8 uma câmera acoplaa à sua extremae. Esta câmera é responsável pela captura e magens que servrão e base para o sstema e vsão computaconal etermnar e controlar a posção a mesa robótca. O projeto é composto e quatro partes stntas: a prmera referente à mecânca o robô em questão, one uma mesa XYθ comercal everá ser automatzaa e controlaa por um computaor. A seguna refere-se à eletrônca utlzaa como nterface entre o robô e o computaor. A tercera parte refere-se ao software e vsão computaconal, responsável por etermnar, a partr e magens obtas pela câmera, a posção o alvo a ser alcançaa pelo robô. Será utlzao o algortmo SIFT para a etermnação os pontos chaves nas magens. A últma parte z respeto às ferentes técncas e controle a serem aplcaas no posconamento o robô. Através o controle, espera-se que o robô seja capaz e alcançar ferentes confgurações em relação aos objetos alvos. Espera-se que o robô atnja seu alvo utlzano a realmentação e sensores e posção (encoers), e através e magens capturaas ao longo e seu percurso. Smth e Papankolopoulos (996) chamam o controle com realmentação exclusva por sensores e posção e controle cego, uma vez que, etermnaa a posção o alvo, o robô se movmenta sem o auxlo a câmera. Já o controle com realmentação por magem utlza város frames a câmera, e por sso é capaz e compensar erros e ruíos e e posconamento urante o percurso. Espera-se, no entanto, que este apresente um esempenho computaconal nferor evo ao tempo e processamento e caa magem. Dversos autores já esenvolveram pesqusas nestas áreas. Inoue e Shra (97) utlzaram um manpulaor robótco e 7 graus e lberae, com uma câmera na extremae o últmo elo (sstema eye-n-han), para encaxar um objeto entro e um orfíco o mesmo formato. Através e programação própra, o controle etermna vsualmente a posção eseja e a real, e através apenas e magens o objeto alcança o alvo esejao. Allota e Colombo (999) mplementaram um sstema robótco com câmera também na extremae. As característcas vsuas foram obtas através e contornos, e com o esenvolvmento e um controle D/D baseao em magens. O sstema fo capaz e realzar tarefas e posconamento e movmentação e objetos. Houshang (99) esenvolveu um sstema para capturar objetos em movmento usano uma câmera fxa e pré-calbraa.

19 Introução 9 A contrbução este trabalho está na comparação entre as prncpas arquteturas em um mesmo sstema expermental, especalmente esenvolvo para este propósto. Além sto, este trabalho apresenta uma formulação efcente para o controle servo-vsual usano SIFT quano os pontos e referênca se encontram em um mesmo plano. Esta ssertação está va em ses capítulos, escrtos a segunte forma: o capítulo apresenta a teora necessára para a compreensão o trabalho, va entre os assuntos referentes à área e controle e robótca e os assuntos lgaos a área e vsão computaconal. O capítulo apresenta a ntegração entre as áreas e vsão computaconal e controle robótco, escreveno too o equaconamento e métoos utlzaos. O capítulo 4 escreve o procemento expermental realzao para valar o projeto e para a extração e resultaos. As equações apresentaas no capítulo são aaptaas e forma a torná-las compatíves com o expermento. O capítulo 5 apresenta os resultaos alcançaos usano as ferentes técncas e controle. É feta uma comparação entre as técncas mplementaas, apontano as vantagens e esvantagens e caa uma. O capítulo 6 apresenta as conclusões o trabalho.

20 Vsão Computaconal Vsão Computaconal Este capítulo escreve tópcos relaconaos à vsão computaconal subjacentes ao presente trabalho. A prmera seção apresenta como etermnar parâmetros ntrínsecos e extrínsecos a câmera e consequentemente a transformaa entre a posção a câmera e o objeto, a partr e pares e pontos no espaço e na magem. A seguna seção apresenta uma técnca muto conheca na área e vsão computaconal chamaa SIFT. Este algortmo é capaz e gerar pares e pontos corresponentes entre uas magens e ferentes vstas e um mesmo objeto, em ferentes conções e lumnação, rotação ou escala as magens... Processamento a magem Um sstema e vsão estereoscópca basea-se na relação entre as coorenaas e pontos no espaço trmensonal e as coorenaas as projeções estes pontos na magem. Normalmente estas equações referem-se ao sstema e coorenaas a câmera, seno as projeções os pontos na magem aas pelas coorenaas lnha e coluna em número e pxels. No moelo conheco como câmera e orfíco, apresentao na Fgura, enomna-se stânca focal f a stânca entre o plano a magem e o centro O e coorenaas a câmera. A lnha que passa por O e é perpencular ao plano a magem é conheca como exo ótco. E o ponto one ocorre à nterseção é chamao e ponto prncpal ou centro a magem o (Trucco & Verr, 998).

21 Vsão Computaconal seno Fgura - Moelo e Projeção a Câmera As equações báscas o sstema e coorenaas a câmera são: X x f () Z Y y f () Z x, y as coorenaas o ponto na magem, e X, Y, Z as coorenaas o ponto no espaço, conhecas na lteratura e vsão computaconal como coorenaas no muno. A relação entre as coorenaas e um ponto no muno e as coorenaas e sua projeção na magem, envolve os grupos e parâmetros chamaos parâmetros extrínsecos e ntrínsecos. Os parâmetros extrínsecos efnem a localzação e orentação e um ponto no sstema e coorenaas a câmera em relação ao muno. Já os parâmetros ntrínsecos são necessáros para relaconar o ponto nas coorenaas o pxel com o sstema e coorenaas a câmera.... Parâmetros extrínsecos Os parâmetros extrínsecos efnem a transformação geométrca que relacona uncamente o sstema e coorenaas a câmera e o sstema e coorenaas o muno. São eles:

22 Vsão Computaconal muno na qual um vetor e translação D, T, que escreve a posção relatva entre as orgens os os sstemas, uma matrz ortogonal x R, que expressa a rotação relatva entre os exos e um e outro sstema e coorenaas. Dessa forma, a relação entre o sstema e coorenaas o ponto P no m P e na câmera c P é: P c m R P T () r R r r r r r r r r (4) e T T T T x y z (5) como é lustrao na Fgura. Fgura - Transformação o sstema e coorenaas o muno para sstema e coorenaas a câmera

23 Vsão Computaconal... Parâmetros ntrínsecos Os parâmetros ntrínsecos caracterzam as nfluêncas ótcas, geométrcas e gtas a câmera na magem. São eles: a stânca focal; as mensões horzontal e vertcal os pxels na matrz e sensores; as coorenaas o vetor que representa eslocamento a orgem o sstema e coorenaas a magem relatvamente ao ponto em que o exo ótco atnge o plano e projeção; coefcentes relatvos à storção geométrca causaa pela ótca. Ao etermnar a relação e um ponto no sstema e coorenaas a magem em pxel x m, y m e o mesmo ponto no sstema e coorenaas a câmera c x, y one c, tem-se que: x o y x y c m x o x s x (6) c m y o y s y (7) o, são as coorenaas em pxels o centro a magem e tamanho efetvo o pxel (em mlímetros) nas reções horzontal e vertcal. s, o Na maora os casos, as nfluêncas ótcas poem ser moelaas smplesmente como storções raas, a segunte forma: x y x s y c 4 xs kr kr (8) c 4 ys kr kr (9) seno x s, y s as coorenaas storcas os pontos e r x s y s (Trucco & Verr, 998). Poe-se observar nas equações (8) e (9) que a storção no centro a magem é sempre nula, e cresce conforme o afastamento o centro. Estas storções poem ser sgnfcatvas epeneno a câmera utlzaa, no entanto são esprezaas no presente trabalho.

24 Vsão Computaconal 4... Moelo a câmera Uma vez etermnaos os valores os parâmetros ntrínsecos e extrínsecos, poe-se relaconar retamente o sstema e coorenaas a magem com o o muno, sem que seja necessáro explctar o sstema e coorenaas a câmera. Desta forma, substtuno as equações (4) a (7) em (), tem-se que: x m o x f x r r X r Y r Z T m m m x () m m m X ry rz Tz y m o y f y r m m m y () m m m X ry rz Tz r X r Y r Z T one f x f s x e f y f s y. Observano que as equações () e () possuem o mesmo enomnaor, m m m m m poe-se assumr para caa par e pontos X Y, Z, x, y m m m m x ox f y r X ry rz Ty m m m m y o f r X r Y r Z T y x, a equação () Generalzano, poem-se conserar as coorenaas translaaas m m m m x o, y o x, y x y magem está no ponto (,). Conserano também x, conserano que a orgem as coorenaas a fx fy, a equação () poe ser representaa como uma equação lnear e 8 coefcentes esconhecos: one x y m m X X m m v v 5 x y..4. Calbração a Câmera m Y m m Y v m v v v v v 6 4 x m y r r r Z m T y m Z v m v 7 x m y v v v v v m 4 v 8 r r r T x. () O processo e etermnar os valores os parâmetros o moelo a câmera é chamao e calbração a câmera. Escreveno a equação () para N pontos cujas m m m m m coorenaas num referencal o muno X, Y, Z e suas projeções x, y

25 Vsão Computaconal 5 na magem são conhecas, tem-se um sstema homogêneo e N equações lneares como abaxo: v v,..., v8 one T Av (4) e a matrz A e mensão Nx8 é aa por: m m m m m m m m m m m m m m x X x Y x Z x y X y Y y Z y (5) m m m m m m m m m m m m m m x X x Y x Z x y X y Y y Z y A m m m m m m m m m m m m m m xn X N xn YN xn Z N xn y N X N y N YN y N Z N y N A solução o sstema lnear homogêneo a equação (4) é aa pelo autovetor corresponente ao menor autovalor e A T A (Forsyth e Ponce, ). Conserano que toos os parâmetros a câmera possuem um fator e escala, tem-se que v v, e que: v r, r, r, Ty, r, r, r, T x (6) Pelas propreaes a matrz e rotação, sabe-se que r r r, e a partr sso poe-se conclur que: r r v v v r (7) De forma smlar, assumno que r r r e que, tem-se que: r r v 5 v6 v7 r (8) Nesta etapa, já foram etermnaas as uas prmeras lnhas a matrz e rotação, as componentes x e y o vetor e translação, bem como o fator e escala e o fator e forma. Sabeno que a tercera lnha a matrz e rotação poe ser etermnaa pelo prouto vetoral entre as uas prmeras lnhas, resta apenas etermnar a componente z o vetor e translação e a stânca focal na reção horzontal f x. Para etermnar estes últmos parâmetros, retorna-se às equações () ou () e obtém-se a solução o sstema mnmzano o erro quarátco e: T A f Utlzano os mesmos N pares e pontos, tem-se z x b (9).

26 Vsão Computaconal 6 e x x A xn m m m x x b x r r r m m m N X X X r r r m m m N X X X r Y m m r Y r Y m m m N m N ry r Y r Y r r r m m m N Z Z Z r r r m m m N Z Z Z T x T x T m m m N x () () Desta forma, etermnam-se toos os parâmetros ntrínsecos e extrínsecos a câmera: matrz e rotação R, vetor e translação T, stânca focal nas reções horzontal e vertcal f x e.. SIFT (Scale Invarant Feature Transform) f y, e fator e forma. O métoo SIFT (Lowe, 4) tem como prncpal objetvo a extração e feções nvarantes, chamaos pontos chave, em uma magem, poeno ser utlzao para estabelecer corresponêncas entre ferentes vstas e um objeto ou e uma cena. Estas feções são nvarantes quanto à escala e à rotação a magem, e são robustas contra storção, muanças no ponto e vsta o ponto, ruíos na magem, e varações na lumnação a cena. Um exemplo o resultao o métoo SIFT aplcao a uma magem poe ser vsto na Fgura 4, one em azul estão ncaos os pontos-chaves etermnaos pelo algortmo, bem como a orentação o ponto e acoro com o algortmo.

27 Vsão Computaconal Fgura 4 - Resultao o métoo SIFT aplcao a uma magem Apresenta-se a segur uma escrção sucnta o algortmo SIFT que consste e 5 passos sequencas: a. Detecção os pontos chave; b. Elmnação os pontos chave fracos ; c. Determnação a orentação os pontos chave;. Cálculo os escrtores os pontos chave; e. Pareamento.... Detecção os pontos chave O métoo tem como entraa uma magem ncal I x, y a partr a qual são craas versas magens em ferentes escalas. A caa uma as magens prouzas é aplcao um fltro gaussano G x, y, e suavzação com ferentes valores e esvo parão, crano-se assm magens em város níves ou escalas, ou seja x, y, Gx, y, Ix y L, () one representa a operação e convolução em x e y, L x, y, representa a magem suavzaa pela gaussana, e

28 Vsão Computaconal 8 G () x y x, y, e Alcançano um certo nível ocorre uma sub amostragem a magem que reuz suas mensões à metae. Caa conjunto e magens e mesmas mensões formam uma otava. Em segua magens e níves ajacentes são subtraías para prouzr as DOG s (Dferença-e-Gaussanas): x, y, Gx, y, k Gx, y, Ix y D, (4) x, y, k Lx, y, L (5) one k é o fator e suavzação aplcao às gaussanas. Na assm chamaa prâme DOG (apresentaas na Fgura 5) procuram-se os pontos extremos (máxmos ou mínmos) alongo as mensões x, y,. Caa ponto a prâme DOG é comparao com seus 8 vznhos na mesma escala, além os 9 pontos vznhos nas escalas acma e abaxo, conforme mostra a Fgura 6. O ponto só é seleconao como ponto chave se seu valor na prâme DOG for maor (ou menor) o que o e toos os seus vznhos. Escala (Otava segunte) Escala (ª Otava) Gaussanas Dferença e Gaussanas (DOG) Fgura 5 - Gaussanas aplcaas a caa otava, e a partr e suas subtrações surgem as DOG s (Dferença-e-Gaussanas)

29 Vsão Computaconal 9 Escala Fgura 6 - Detecção os máxmos e mínmos nas ferenças entre gaussanas (DOG s)... Elmnação os pontos chave fracos Nesta etapa é feta uma fltragem os pontos chave conseraos fracos, ou seja, que estão sobre arestas e/ou cuja vznhança tem baxo contraste. A conção o contraste basea-se no valor na prâme DOG sobre o ponto. A conção quanto a localzar-se sobre arestas é verfcaa utlzano um algortmo que tem a mesma base teórca os algortmos e etecção e cantos já menconaos (Harrs e Stephens, 988).... Determnação a orentação os pontos chave Para caa ponto resultante a etapa anteror, calculam-se a magntue e a orentação o graente em caa posção pertencente à vznhança em torno o ponto, aplcano-se as equações abaxo: m ( x, y) ( L( x, y) L( x, y)) ( L( x, y ) L( x, y )) (6) ( x, y) tan (( L( x, y ) L( x, y )) /( L( x, y) L( x, y))) (7) Monta-se a partr estes valores um hstograma e orentações, conteno 6 faxas, cobrno os 6. Caa ponto é acresco ao hstograma amorteco por uma gaussana crcular. Pcos no hstograma e orentação representam a reção omnante o graente local. O maor pco e orentação no hstograma é encontrao juntamente com quasquer outros pcos 8% o pco mas alto, e são

30 Vsão Computaconal utlzaos para crar keyponts com sua orentação. Mas e uma orentação poe ser assocaa a um keypont. Seno assm, caa keypont possu 4 mensões: localzação em x, localzação em y, escala e orentação...4. Cálculo os escrtores os pontos chave A Fgura 7 lustra o cálculo o escrtor o keypont. Prmeramente a magntue e orentação o graente são amostraas ao reor a localzação o keypont. A fm e garantr nvarânca à orentação, as coorenaas o escrtor e a orentação o graente são rotaconaas e acoro com a orentação o keypont. Os graentes são representaos no lao esquero a Fgura 7, por setas ncano assm sua orentação. Graente a Imagem Descrtor o Keypont Fgura 7 - Orentação os pontos a vznhança (esquera), e escrtor o keypont (reta) O escrtor o keypont poe ser observao no lao reto a Fgura 7. Caa quarante o escrtor contém a soma os graentes one as setas, em 8 ferentes reções, contém o comprmento equvalente a magntue o hstograma. A fm e evtar nfluêncas nas fronteras o escrtor, aplca-se um peso maor aos pontos centras. Este peso será gual a o ponto e o centro (horzontal e vertcal) a vznhança., seno a stânca entre

31 Vsão Computaconal Graente a Imagem Descrtor o Keypont Fgura 8 - Descrtor os pontos Para garantr a nvarânca à lumnação, o vetor escrtor o ponto eve ser normalzao. Suas componentes são lmtaas em,, e então o vetor é normalzao novamente. Assm é crao o escrtor e caa keypont. Em seu artgo Lowe apresenta um vetor x escrtor partno e 8x8 pontos e vznhança. No entanto, os expermentos realzaos tanto em seu artgo, quanto neste trabalho, utlzaram um vetor escrtor e tamanho 4x4, amtno assm uma vznhança ao reor o ponto e 6x Pareamento Seguno toas as etapas menconaas acma, o métoo é capaz e etermnar os pontos-chaves a partr e uma magem e entraa, e seus escrtores. Para ncar o processo e matchng (etermnação os pares e pontos corresponentes), um par e magens eve ser submeto ao processo o SIFT, obteno assm o escrtor e caa magem. A mea e correlação entre os pontos é aa pela stânca euclana entre seus escrtores. A fm e etermnar o corresponente e um ponto a prmera magem na seguna, caa ponto o prmero escrtor é comparao com toos os pontos o seguno escrtor, e o que apresentar a menor stânca será conserao. Para evtar correlações falsas, se a ferença entre os os prmeros pontos com menor stânca for maor que 8%, os pontos são escartaos.

32 Vsão Computaconal matchng. Na Fgura 9 poe-se observar um exemplo e resultao o métoo e Fgura 9 - Resultao o algortmo e etecção e pontos corresponentes (Lowe, 4)

33 Controle Vsual Controle Vsual Este capítulo rá apresentar e forma geral o problema o controle vsual e robôs (manpulaores). Serão apresentaas na seção. ferentes arquteturas e controles correlaconano as uas técncas aboraas neste trabalho, com ferentes varáves e controle. O sstema apresentao na Fgura nca como se relaconam os sstemas mecâncos, eletrôncos e computaconas em um projeto e controle. Fgura - Esquema e um sstema genérco O exemplo e controle vsual mas comum na lteratura é o e um manpulaor robótco e N graus e lberae one se eseja alcançar um objeto no espaço com o auxílo e uma câmera acoplaa à sua extremae. Conforme apresentao no capítulo anteror, uma vez extraía uma magem o objeto, o processamento a magem feto em um software e controle, se encarrega e etermnar as coorenaas a serem atngas pelo robô. Conhecas estas coorenaas, cabe à cnemátca nversa ncar quas eslocamentos everão ser aplcaos a caa junta o robô (apresentao na seção.). Estes são envaos a um sstema eletrônco capaz e aconar os motores acoplaos às juntas, e forma a atngr a posção esejaa. Para etermnar as tensões necessáras a ser envaa aos motores o robô para que este atnja uma pose esejaa, será utlzao o controle PID (Proporconal-Integral-Dervatvo), escrto na tercera seção. Por fm é escrta a ntegração entre o processamento a magem e o software e controle, com o sstema eletrônco e mecânco o robô.

34 Controle Vsual 4.. Arquteturas e Controle Esta seção rá apresentar as versas técncas propostas na lteratura para controlar sstemas robótcos com processamento e magens. As prncpas ferenças entre elas zem respeto à realmentação e às varáves esejaas o sstema. Sanerson e Wess (98) ntrouzram os concetos, utlzaos até hoje, para classfcar sstemas servo-vsuas. O sstema look-an-move utlza vsão computaconal para gerar posções esejaas (set-ponts) para as juntas utlzano apenas uma magem, capturaa no níco o movmento, sem realmentação vsual. Por outro lao, se o sstema utlza sucessvas magens para corrgr em tempo real erros nas juntas, este sstema poe ser referencao como servo-vsual. Caa uma estas técncas poe ser mplementaa seguno uas ferentes escolhas para varáves e estao: varáves baseaas em poses (posções e orentações o robô), ou varáves baseaas em característcas a magem. No controle baseao em poses, é escolha uma pose relatva esejaa entre uma câmera presa à extremae o robô (sstema eye-n-han) e o objeto e nteresse, a ser controlaa. Já no controle baseao em característcas e magem, o sstema apenas recebe uma magem assocaa à posção fnal esejaa, enquanto que o controle se encarrega e mover o robô até que a câmera em sua extremae vsualze uma magem com mesmas característcas. Um os exemplos mas comuns e controle servo-vsual consste em levar a extremae e um manpulaor até um alvo esejao. Uma câmera acoplaa na extremae o manpulaor permte que a posção fnal (esejaa), seja calculaa em relação à posção atual (real) o manpulaor (Hutchnson, Hager, & Corke, 996). Sabeno que o controle poe ser classfcao não só pelo uso e uma ou múltplas magens, mas também pela varável controlaa (poses ou característcas e magem), formam-se quatro tpos ferentes e controle, conforme apresentao nos tens a segur.

35 Controle Vsual 5... Controle look-an-move baseao em pose Conforme escrto anterormente, a presença e sensores e posção no controle o tpo look-an-move faz com que a realmentação o sstema seja feta apenas nas juntas, cabeno aos sensores e posção a confrmação e realmentação o sstema. O controle se nca quano o robô captura uma magem o ambente, e a partr esta são extraías característcas capazes e etermnar a posção real o robô em relação ao alvo (Fgura ). O usuáro por sua vez efne uma posção esejaa em relação ao alvo. A ferença entre a posção esejaa e a real nca o controle, one sensores e posção acoplaos ao robô são capazes e verfcar a posção alcançaa. A realmentação entre os sensores e o controle garante que a posção fnal será atnga. Neste caso, amte-se que o processamento a magem ncal etermnará a posção relatva entre a câmera e o objeto, e que qualquer problema neste processamento rá resultar numa posção fnal com erros. Posção Desejaa + - Equações Cnemátcas o Robô Controlaor Amplfcaor Robô Câmera Sensores e Posção Posção Real Detecção a Pose Extração e Característcas a Imagem Frame Fgura - Controle look-an-move baseao em pose... Controle look-an-move baseao em magem Esta técnca se fere a menconaa acma em relação aos alvos a serem estabelecos. No controle baseao em magens, é necessáro etermnar as característcas a magem a serem alcançaas. Uma vez receba uma magem e referênca, o robô everá se posconar e forma que a magem extraía naquela posção seja gual à esejaa pelo usuáro. Para tal, característcas são extraías a magem real e a esejaa, e comparaas.

36 Controle Vsual 6 Pela Fgura, poe-se perceber a presença as matrzes Jacobanas a magem, que são responsáves por converter a ferença entre as característcas esejaas e as reas em parâmetros e entraa o controlaor. Característcas Desejaas + - Jacobano e Imagem Controlaor Amplfcaor Robô Câmera Sensores e Posção Característcas Reas Extração e Característcas a Imagem Frame Fgura - Controle look-an-move baseao em magem... Controle servo-vsual baseao em pose O controle servo-vsual não precsa utlzar nformações os sensores as juntas o robô. A realmentação o sstema é feta através e magens obtas em tempo real, one a caa nstante e tempo um novo frame é capturao pela câmera, e é etermnaa uma nova ferença entre a posção esejaa e a real. Este cclo se repete até o momento em que o alvo é atngo (Fgura ). Posção Desejaa + - Equações Cnemátcas o Robô Amplfcaor Robô Câmera Posção Real Detecção a Pose Extração e Característcas a Imagem Frame Fgura - Controle servo-vsual baseao em pose..4. Controle servo-vsual baseao em magem Por últmo, o controle servo-vsual baseao em magem se fere o baseao em pose em relação à varável e estao utlzaa. Neste caso o controle se basea em característcas a magem e não mas em ângulos estmaos as juntas. O objetvo o robô é atngr uma posção e one a magem extraía seja

37 Controle Vsual 7 gual à magem e referênca. Novamente, a presença as matrzes Jacobanas e magem são as responsáves pela conversão entre as característcas a magem e os parâmetros e entraa o robô (Fgura 4). Característca Desejaa + - Jacobano e magem Amplfcaor Robô Câmera Característcas Reas Extração e Característcas a Imagem Frame.. Cnemátca Inversa Fgura 4 - Controle servo-vsual baseao em magem Uma vez conheca a transformação entre a posção a câmera e o objeto alvo, se faz necessáro etermnar as movmentações as juntas o manpulaor, capaz e levar a sua extremae a uma posção x, y, z no espaço. Estes valores poem ser obtos utlzano a cnemátca nversa o manpulaor. Mutos manpulaores não possuem uma expressão algébrca para as equações a cnemátca nversa. Desse moo, é comum utlzar métoos numércos para a obtenção a cnemátca nversa, com o auxílo e matrzes Jacobanas. Para uma melhor compreensão, serão apresentaos a segur o cálculo a matrz Jacobana em os casos: o prmero para um caso partcular e um manpulaor e graus e lberae, e em segua um caso genérco e um manpulaor e N graus e lberae.... Jacobano e um manpulaor plano e graus e lberae Para o caso e um manpulaor e graus e lberae com juntas rotatvas, as movmentações são restrtas a um plano x y. Seguno Asaa e Slotne (986), as equações que relaconam a posção e sua extremae x, y e os eslocamentos as juntas,, são

38 Controle Vsual 8 y, l cos l cos, l sn l sn x (8) one l, l, e são efnos na Fgura 5. Fgura 5 - Manpulaor planar e graus e lberae No caso o manpulaor apresentao na Fgura 5, os movmentos nfntesmas as juntas poem ser obtos smplesmente ervano as equações (8). Seno assm: x x, x, (9) y y, y, Em forma vetoral a equação acma poe ser escrta a segunte forma: one x e efnos como: x J () representam os vetores as movmentações nfntesmas, x x y T T. () A partr a equação (), é possível calcular numercamente valores e, x, y utlzano o algortmo e assocaos a uma posção esejaa Newton-Raphson. A matrz Jacobana J contém as ervaas parcas as funções x, e y, em relação às juntas e movmento e, e poe ser escrta como:

39 Controle Vsual 9 x J y x y (). Das equações (8) e (), a matrz Jacobana o manpulaor planar e os graus e lberae é, l sn J l cos l sn l sn l cos l cos () Conserano que as juntas o manpulaor se movem com velocaes T gual a T v, e que a velocae resultante na extremae o manpulaor seja x, y, o Jacobano representa a relação entre as velocaes nas juntas e na extremae. Dvno ambos os laos a equação () por t, obtêm-se fnalmente: v J (4)... Jacobana e um manpulaor genérco Nesta seção será apresentao o cálculo a matrz Jacobana para o caso e um manpulaor genérco e N graus e lberae. Neste caso, a matrz Jacobana estará assocaa à rotação e translação nfntesmal a extremae. Na Fgura 6 representam-se as translações nfntesmas a extremae como seno o vetor tr-mensonal vetor tr-mensonal x e, assm como as rotações nfntesmas são representaas pelo sstema e coorenaas O x, y z e. Ambos os vetores são representaos em relação ao,. Para smplfcar as equações, os os vetores serão combnaos e efnos como o vetor p e 6 mensões: xe p e 6x (5)

40 Controle Vsual 4 Fgura 6 - Movmentações nfntesmas e um manpulaor genérco Dvno ambos os laos por t, obtêm-se as velocaes lnear e angular a extremae o manpulaor: v e p e 6x. (6) Assm como no prmero caso (tem..), a velocae na extremae poe ser obta em função as velocaes nas juntas: one q q q T p J q (7),,..., q n é o vetor nx e velocae nas juntas, e J é a matrz Jacobana geométrca o manpulaor. A mensão a matrz Jacobana agora é 6xn; as prmeras três lnhas são compostas por vetores assocaos à velocae lnear v e, já as três últmas lnhas são os vetores assocaos à velocae angular e... Controle PID Uma vez que a posção/característca esejaa é comparaa com a real, um controlaor eve ser empregao e forma que a nformação esejaa chegue aos motores responsáves pelo funconamento o robô. Dversas técncas e controle poem ser encontraas na lteratura, porém neste trabalho optou-se por

41 Controle Vsual 4 mplementar um controle PID (Proporconal-Integral-Dervatvo), uma as técncas mas utlzaas na área e robótca (Astrom & Hagglun, 995). O controle PID é conheco por sua faclae e mplementação, uma vez que este controla nvualmente caa junta e um robô. A prncpal esvantagem esta técnca é o fato e não levar em conseração os efetos nãolneares a nâmca o robô, que no entanto não são sgnfcatvos na maora os sstemas eye-n-han, cujas velocaes são lmtaas pelo tempo e processamento as magens. Depeneno a confguração e velocae o robô, é comum se observar a nfluênca nâmca e um elo em outro. Conforme o nome, o controle PID poe ser enteno como a composção e três ferentes técncas: proporconal, ntegral e ervatva. A segur é apresentao seu equaconamento: one: u K P e K I t et K representa o elo em questão o robô, u é o torque e saía o controle, D e (8) e é o erro entre a posção esejaa e a real, ou entre as característcas e magem K P é o ganho proporconal, K I é o ganho ntegral, K D é o ganho ervatvo. O prmero termo, proporconal, controla a rgez as juntas. Atua bascamente como um amplfcaor, proporconal ao erro entre a posção esejaa e a real. O controle ntegral poe ser enteno como um acumulaor. Durante too o processo, o termo cresce com a curva erro versus tempo. Este só começa a nfluencar sgnfcatvamente o controle quano o termo proporconal não consegur mas compensar os pequenos erros (também chamaos e erros resuas). Por últmo, o controle ervatvo representa a taxa (ou velocae) e varação o erro em relação ao tempo. Este controle poe ser enteno como um amorteceor o sstema, e por sso evta osclações em torno a posção esejaa.

42 Controle Vsual 4 I Caa termo menconao acma possu uma constante e controle ( K P, K, K ). Zegler e Nchols (94) propuseram regras para a calbração estes D parâmetros, utlzaas especalmente em casos one não é conheco o moelo matemátco o sstema. Para os emas casos, a sntona o controle poe ser obta fazeno uso e técncas expermentas (Ogata, 997). No presente trabalho, as constantes K P, K I e K D foram etermnaas através e procementos expermentas. A calbração é feta nvualmente para caa elo, etermnano por vez caa constante. Incalmente toas as constantes são forçaas em zero, varano apenas o valor e K P. Quano fnalmente é escolho o valor a constante baseao na rgez esejaa para a junta, vara-se o valor e K I (manteno a constante proporconal com o valor já escolho). Por fm, quano etermnao o valor esejao para a constante ntegral, vara-se o valor a constante ervatva até que este também atnja a calbração esejaa. Este procemento para sntonzar controles PID é bastante comum em procementos expermentas one a movmentação e um elo não nfluenca em outro. Além sso é utlzao em casos one não é necessára alta precsão nos valores as constantes..4. Integração a Vsão Computaconal no Controle Uma vez estabeleca a posção esejaa para caa junta o manpulaor, o controle PID (escrto na seção.) é encarregao e levar as juntas a uma posção esejaa. Uma vez que o controle PID fornece um valor e atuação, este eve ser processao por um sstema eletrônco capaz e transformar a nformação vna o computaor em tensão elétrca para os atuaores. Para sso, essa eletrônca eve possur um sstema e baxa potênca, responsável pela nterpretação a nformação receba, e um sstema e alta potênca, que será responsável por fornecer a energa requera pelos atuaores. Uma vez envaa uma tensão aos atuaores, os sstemas e controle poem ser ferencaos pela forma e realmentação o sstema, ou seja, a manera como fazem a verfcação a posção fnal. Conforme vsto na seção., as realmentações o sstema poem ser fetas através e sensores e posção acoplaos aos motores (controle look-an-move), como também utlzano novas

43 Controle Vsual 4 magens aquras ao longo a movmentação o manpulaor (controle servovsual). Optano-se pelo controle look-an-move, uma magem é extraía a câmera e processaa. As posções relatvas entre o objeto e a magem são envaas ao controle PID, que recebe também as nformações vnas os sensores e posção. O erro entre a posção esejaa e a atual é realmentao a caa nstante e tempo até que a posção esejaa seja atnga. Pelo controle servo-vsual, váras magens são sucessvamente extraías a câmera. A caa nstante e tempo uma magem é processaa e são etermnaas as posções relatvas entre o objeto e a magem. O controle PID é processao utlzano como erro a stânca relatva até o alvo. Uma tensão e saía é geraa e encamnhaa aos motores. Feto sso, uma nova magem é capturaa pela câmera, e o cclo se repete. São extraías versas magens a câmera, até que o manpulaor atnja a posção esejaa.

44 Sstema Expermental 44 4 Sstema Expermental O esenvolvmento o sstema expermental requer a ntegração entre as áreas e mecânca, eletrônca, controle e vsão computaconal. Através a Fgura 7 é possível compreener melhor toas as etapas o projeto o sstema e como ele está estruturao. Fgura 7 - Esquema o Sstema Expermental O sstema utlza uma câmera fxa a uma mesa coorenaa XYθ, que rá ser controlaa em reção a um objeto alvo. A magem extraía a câmera é processaa por um computaor PC, e através e um software e vsão computaconal são etermnaas as posções a serem atngas pela mesa. Essa posção é envaa a uma placa eletrônca, one um mcrocontrolaor transforma esta nformação em snas elétrcos para os motores/atuaores a mesa. Este capítulo rá apresentar o procemento expermental crao para testar e valar os resultaos. A prmera seção escreve too o esenvolvmento mecânco realzao, ncluno a automatzação e uma mesa coorenaa responsável pela locomoção o protótpo. Em segua, é apresentao o moelo matemátco a mesa, vsta como um manpulaor robótco. A tercera seção escreve o sstema eletrônco utlzao como nterface entre o sstema expermental e o computaor. Na quarta seção será apresentao o software crao para gerencar toas as arquteturas e controle. E por fm os equaconamentos obtos através o processamento e magem utlzaos entro o sstema e controle.

45 Sstema Expermental Sstema mecânco Conforme menconao no Capítulo, o presente trabalho possu potencas aplcações em tarefas e ntervenção submarna. Em uma típca tarefa e nteresse a Petrobras, o manpulaor Slngsby TA-4 (Fgura 8), acoplao a uma ROV, realza as movmentações necessáras para que a ferramenta em sua extremae atnja o objeto esejao, no caso válvulas e equpamentos (manfols). Este manpulaor hráulco, e 6 graus e lberae, é capaz e suportar uma carga e até kg. Fgura 8 - Manpulaor TA-4 A arqutetura fechaa o controlaor o manpulaor TA-4 fculta a mplementação as técncas e controle propostas sem o suporte o fabrcante. Deste moo, optou-se por utlzar uma mesa XYθ, com graus e lberae, já exstente no Laboratóro e Robótca a PUC-Ro, para a comprovação expermental. A mesa, apesar e operar no seco, nclu toos os elementos e controle que poeram ser mplementaos no manpulaor TA-4. Pela Fgura 9, poe-se perceber os motores responsáves pela movmentação os elos a mesa. Os os prmeros elos e translação, são responsáves pela movmentação em x e y, e o tercero é referente à rotação. Uma câmera fca acoplaa a este últmo elo, poeno assm ser graa e -8 a 8.

46 Sstema Expermental 46 Fgura 9 - Mesa Coorenaa XYθ A mesa era orgnalmente controlaa manualmente através e três fusos, porém estes não permtam uma movmentação a mesa e forma automátca. Para a automatzação, utlzaram-se motoreutores e corrente contínua a marca Banebots, toos com tensão máxma e entraa gual a 4 volts, para que, acoplaos aos exos, puessem ser controlaos por uma eletrônca e posterormente por um computaor. As especfcações técncas e o atasheet os motores encontram-se no Apênce I. Fgura Motoreutor Banebots Para as juntas referentes às coorenaas x e y, utlzaram-se motores com reução 6:. Já para o tercero elo, referente à angulação a câmera, optou-se pelo motor com reução e 5:, uma vez que não se faza necessára alta velocae e rotação. Foram projetaos acoplamentos mecâncos em forma

47 Sstema Expermental 47 clínrca, conectano os exos o motor e o fuso a mesa, os quas possuem ferentes âmetros. Para manter os motores fxos à mesa, foram realzaas algumas mofcações na estrutura o sstema, e forma que não comprometesse a movmentação os elos. É necessáro estacar que o motor referente à movmentação na coorenaa x não poe ser fxao à mesa. Isto acontece pos quano o motor referente à movmentação em y é aconao, o posconamento o motor x mua (conforme a Fgura ). Logo, para que o motor x possa eslzar sobre a mesa, foram acoplaos roletes a ele. Na Fgura, poe-se perceber o acoplamento mecânco construío para unr os elos o motor e a mesa, assm como os roletes presos na base o motor, permtno assm o seu eslocamento. Fgura - Acoplamento mecânco entre os exos o motor e a mesa Fgura - Esquema a Mesa XYθ

48 Sstema Expermental 48 Na extremae a mesa, fo posconaa uma câmera gtal para fazer a aqusção a magem. Fo escolha a câmera QuckCam Orbt AF a marca Logtech, e esta fo acoplaa a mesa juntamente com seu suporte própro (Fgura ). Esta câmera fo escolha para este projeto pela alta qualae as magens extraías, poeno capturar víeos e até 96x7 pxels, em um total e frames/s. Além a alta qualae, a câmera possu foco automátco, altamente necessáro evo à varação e sua posção em relação ao objeto. Por ser uma câmera o tpo webcam, sua conexão ao computaor é feta através e porta USB, facltano assm a comuncação. A câmera possblta extrar magens em versos parões, porém neste trabalho optou-se por utlzar magens coloras, no formato RGB. O tamanho as magens extraías varou entre 5x88 e 96x7 pxels epeneno o controle utlzao. Fgura - Câmera Logtech utlzaa para aqusção as magens 4.. Moelo Matemátco a Mesa XYθ Para estabelecer o moelo matemátco a mesa XYθ, ela é representaa como um manpulaor plano e graus e lberae. As movmentações em x e y poem ser comparaas a juntas prsmátcas, seno suas coorenaas representaas por stâncas e respectvamente (ve Fgura 4). Já a rotação a câmera na extremae poe ser nterpretaa como uma junta rotatva com ângulo representao por em relação ao exo x. São efnos, e como postvos no sento em que crescem e valor em relação a x, y e no

49 Sstema Expermental 49 sento trgonométrco. A Fgura 4 apresenta o Esquema o manpulaor juntamente com os parâmetros e caa elo. Fgura 4 - Parâmetros o Manpulaor Assume-se que os elos, e possuem respectvamente massa m, m m, momento e nérca em relação ao centro e massa I, I entre seu centro e massa e as juntas, e são l c l, c e e I, e a stânca e l c. Na mesa coorenaa, como o centro e massa a câmera está sobre o centro e rotação a junta, l c. A extremae o manpulaor é efna pelas coorenaas x, ye, e, a partr a Fgura 4, poe-se zer que x e l cos (9) y e l sn (4) (4) A equação e movmento e caa elo é aa pelas seguntes equações: H q h q q G,, (4) j j j j k jk seno H a matrz e nérca o manpulaor, h termos não-lneares responsáves por efetos como a força centrífuga e termo e Corols, G refere-se ao torque que j k e

50 Sstema Expermental 5 eve ser aconao ao elo para compensar os efetos gravtaconas, e q representa o vetor e posção os elos q q q q. Para escobrr as equações o movmento os elos, é necessáro prmero, calcular a matrz e nérca o manpulaor. Como o sstema é plano e só possu uma junta rotatóra, os jacobanos analítco e geométrco são guas. Inca-se então o cálculo as matrzes Jacobanas que relaconam a velocae a extremae com a velocae as juntas o robô. Estas poem ser vas em uma parte lnear L J : cos sn l l y x J L e e (4) e angular A J : J A (44) É necessáro também calcular toas as matrzes Jacobanas totas () L J e () J A (Asaa e Slotne, 985) que relaconam a velocae lnear e angular o centro e massa e caa elo às velocaes as juntas. Para a junta tem-se que: () L c c c J l y x (45) () A J (46) para a junta : () L c c c J l y x (47) () A J (48) e por últmo os termos relaconaos à junta : () cos sn sn cos c c L c c c c l l J l l y x (49)

51 Sstema Expermental 5 () J A (5) Poe-se então etermnar a matrz e nérca o manpulaor, expressa e n T T manera geral como H J L A A L J m J I J manpulaor, tem-se que m m H mlc sn m mlc sn m m mlc cos mlc cos mlc I. Para o caso o (5) Para o cálculo os termos h, também presentes nas equações e movmento, sabe-se e manera geral que h jk H q j k Seno assm, para o caso a mesa XYθ, os ses termos são expressaos como: H q h m l c cos jk h m l c sn cos h m l c sn h m l c ml c cos m h l sn h c (5) (5) Sabeno que neste caso os elos encontram-se paralelos a mesa, supõem-se os efetos gravtaconas (representaos pelos termos G ) esprezíves. Seno assm, toos os termos necessáros para o cálculo as equações e movmento já foram etermnaos e, a partr a equação (46) são obtas as equações e movmento: F m m m m l sn m (54) c l c cos F m m m l cos m (55) c l c sn ml c I m lc (56) mlc sn cos Uma vez etermnaas as equações a nâmca os três elos, é possível smular a trajetóra o manpulaor. Neste trabalho, no entanto, não foram realzaas smulações, pos as equações referentes à parte e vsão computaconal não poeram ser smulaas. Isso porque a smulação epenera as magens obtas urante a execução o controle em tempo real.

52 Sstema Expermental 5 Para aplcar acelerações constantes a x (lnear) na junta, a y (lnear) na junta, e ' (angular) na junta é necessáro utlzar um controlaor não lnear para cancelar os efetos nâmcos. Deseja-se controlar uma trajetóra com valores a t esejaos t x y, t e t a t ' t supono sem pera e generalae, a mesa ncalmente paraa na posção,,,, nstante t. Poe-se então etermnar a le não-lnear e controle e torque computao combnao com um controle PID e ganhos que a le e controle PID, obeece à formulação u K P tem-se para os três elos u K K D K I axt K K P, K I e no K D. Sabeno t (57) a t K a P D x I x t (58) u K a yt K a t K a I y t (59) P D y u ' t K t ' t K P K D I (6) ' Obtas as les e controle, poe-se então calcular o torque a ser envao a caa junta: m m m u ml sn c u m l c F cos (6) m m u ml cos c u m l c F sn (6) u mlc u I mlc u (6) mlc sn cos O moelo apresentao acma representa o controle nâmco o manpulaor, conheco também como controle e Torque Computao. Através este são conseraos efetos não-lneares a nâmca o robô orgnáros a velocae os elos ou a nfluênca entre eles. No entanto estes efetos não são sgnfcatvos na maora os sstemas eye-n-han, cujas velocaes são lmtaas pelo tempo e processamento as magens. Seno assm, para este trabalho fo apenas conserao o controle PID, utlzano apenas o moelo cnemátco o manpulaor.

53 Sstema Expermental Sstema eletrônco O sstema eletrônco esenvolvo para este projeto encarrega-se e receber uma posção esejaa o computaor, processá-la, e envar o torque necessáro para os motores. Duas maneras e se fazer um controle eletrônco e atuaores pelo computaor foram conseraas. Na prmera, uma porta paralela é utlzaa para controlar conversores Analógcos/Dgtas que fornecem uma tensão analógca e referênca para que um crcuto e alta potênca faça a amplfcação e corrente e/ou tensão. Na seguna, uma porta e comuncação seral (USB, RS, etc.) é utlzaa para envar valores que serão nterpretaos por uma eletrônca mcrocontrolaa (prova e uma nterface e comuncação seral) que comanará crcutos e alta potênca para atvação os atuaores. Neste caso, o mcrocontrolaor utlzao poe nclusve ser programao para receber o computaor somente as posções esejaas as juntas, executano o controle PID nternamente. Desenvolveu-se para este trabalho uma placa que se comunca com o computaor va seral, conteno esta um mcrocontrolaor (Apênce II) responsável por calcular e envar torques para os motores. A placa eletrônca esenvolva funcona como uma nterface entre o computaor e os motores e atvação a mesa. A Fgura 5 apresenta um Esquema a placa, e através ela nota-se a presença o conector seral (entfcao pelo número ) e o mcrocontrolaor (entfcao pelo número ). Foram ncluíos também botões e ajuste manual e posção. Caa par e botões é responsável pelo aconamento e um motor no sento postvo e negatvo. Os ses botões (os para caa um os três elos) também estão entfcaos na Fgura 5 pelo número.

54 Sstema Expermental 54 Fgura 5 - Placa eletrônca O snal e saía a eletrônca é o tpo PPM (Pulse Poston Moulaton). Este snal fo escolho porque versos sstemas e potênca sponíves no mercao utlzam-no como snal e atvação. Desta forma, a mesma eletrônca poe ser utlzaa em ferentes sstemas e potênca, se aequano assm a corrente renaa por ferentes motores DC. Para atvação os motores DC, foram utlzaos controlaores e velocae Banebots BB--45, que suportam correntes contínuas e A, 45A e pco, e são atvaos por snas PPM vnos retamente a placa eletrônca. Fgura 6 - Controlaor e Velocae Banebots

55 Sstema Expermental 55 Neste projeto serão estuaas uas ferentes técncas e controle (conforme vsto no Capítulo ). O controle look-an-move se utlza e sensores e posção para realmentar o sstema. Já o controle servo-vsual esconhece a posção a mesa no espaço e utlza apenas o erro entre o objeto e a câmera (obto através e magens) para levar a mesa coorenaa até a posção esejaa. Para que a eletrônca esenvolva puesse se aequar às uas técncas, foram mplementaas pequenas muanças no mcrocontrolaor responsável pelo controle. A mplementação no sstema eletrônco e ambas as técncas serão escrtas nas seções seguntes Sstema com realmentação por sensores e posção (Controle Lookan-Move) Uma vez receba o computaor a nformação a posção esejaa, calculaa a partr a magem a câmera na posção ncal, o mcrocontrolaor lê a posção atual os motores através os sensores e posção as juntas, e calcula através o controle PID o torque a ser envao para caa motor. Este cclo se repete a caa nstante e tempo, até que a mesa atnja a posção esejaa. Este processo é nteramente realzao entro o mcrocontrolaor, sem que seja necessára qualquer outra ntervenção o software o computaor, e sem a captura e novas magens. Se, urante a execução a tarefa, alguma outra nformação for envaa à eletrônca, o controle automatcamente mua e trajetóra, rgno-se então à nova posção esejaa. Vale ressaltar que as constantes K P, K I e K D, necessáras para o controle PID, são nformaas contnuamente à placa eletrônca juntamente com a nformação a posção esejaa, permtno assm que os ganhos sejam mofcaos se necessáro Sstema com realmentação por magem (Controle Servo-Vsual) No controle servo-vsual, o erro entre a posção esejaa e a real não é obto no mcrocontrolaor, e sm no computaor. Isso acontece pos o erro entre a posção esejaa e a real é obto através as magens, e vara ao longo a

56 Sstema Expermental 56 movmentação a mesa. Para este caso, o cálculo o controle PID é feto através o software o computaor, e apenas o resultao é envao à placa eletrônca. Para comportar os os sstemas e controle, a formulação o PID utlzaa no mcrocontrolaor fo acrescentaa e um novo fator: u K P K D K I t T (64) one T é um torque calculao pelo software e envao à eletrônca. Para que este torque seja envao retamente aos motores sem ser alterao pela rotna PID resente no mcro-controlaor, é necessáro que os valores as posções esejaas e as constantes resultano em K P, u T. K I e K D envaos ao sstema eletrônco sejam nulos, No caso o controle look-an-move, os valores as posções esejaas e as constantes o controle PID são envaos normalmente, com a ferença que para este caso os valores e T evem ser guas a zero. Na Tabela estão lstaos, em orem e envo, os parâmetros envaos à eletrônca, varano com as técncas e controle. Tabela - Parâmetros envaos através a porta seral à eletrônca esenvolva Parâmetros envaos à eletrônca Controle look-an-move Controle Servo-vsual Posção esejaa Ganhos (guas para os três elos) Torque envao aos motores Elo x x Elo y y Elo Proporconal K K P Integral K K I Dervatvo K K D Elo T T Elo T T Elo T T P I D

57 Sstema Expermental 57 Vale ressaltar que os ganhos utlzaos no controle servo-vsual não estão representaos na tabela acma. Seus valores ferentes e zero, são calbraos entro o software, para gerar os torques T, T e T. Tanto para o controle look-an-move quanto o servo-vsual, o controle PID fo empregao em sua forma scretzaa. O taxa e amostragem vara com a frequênca ora o mcrocontrolaor (controle look-an-move), ora o computaor (controle servo-vsual). A formulação geral o controle PID screto é K D u( t) K e( t) e( t) e( t ) K t e( t) (65) P I t one o erro e (t) representa a ferença entre a posção esejaa e a atual. Conforme a equação (65), o termo ervatvo poe ser representao como a ferença entre o erro no nstante atual e o nstante anteror. Já o termo ntegral representa um acumulaor, em que a caa nstante e tempo é acresco o valor o erro Software e controle Para a mplementação o software e controle no computaor optou-se por utlzar o programa Matlab a empresa MathWorks, evo à sua vasta bbloteca e vsão computaconal, e também pela faclae e comuncação com a porta seral. O software crao poerá ser e grane ajua na área e pesqusa, servno como ferramenta e estuo. A tela prncpal o programa, apresentaa na Fgura 7, contém toas as opções e controle a serem executaas. No canto reto a tela, uma chave nca se o alvo utlzao será um círculo vermelho (utlzao nos prmeros testes), ou se será utlzaa uma magem e um panel e válvulas típco e ntervenções submarnas (smulano um panel real).

58 Sstema Expermental 58 Fgura 7 - Tela prncpal o software Na parte nferor a tela, os botões permtem ao usuáro a troca as varáves e referênca. No caso o controle baseao em magem, uma janela permte a escolha a magem e referênca (Fgura 8). Ou seja, a magem a câmera que se eseja observar quano o sstema atngr a posção fnal. No caso o controle baseao em pose, uma janela permte ao usuáro que nque as posções esejaas em x, y e, representaas relatvamente ao objeto e nteresse (Fgura 9).

59 Sstema Expermental 59 Fgura 8 - Janela e seleção a magem e referênca (controle baseao em magem) Fgura 9 - Janela e stâncas esejaas o objeto e nteresse (controle baseao em pose) Uma vez escolha a magem ou pose e referênca, e se o controle rá se aplcar ao círculo ou ao panel, o usuáro everá escolher na lateral esquera a tela entre as opções e controle: Controle look-an-move baseao em pose

60 Sstema Expermental 6 Controle look-an-move baseao em magem Controle servo-vsual baseao em pose Controle servo-vsual baseao em magem A segur será apresentao um passo a passo o programa, escreveno toas as prncpas etapas efetuaas pelo software e controle. Passo: Captura uma magem a câmera. Passo: Controle baseao em pose ou em magem. o Baseao em pose: Processa magem obta no passo, e obtém coorenaas relatvas entre a câmera e o objeto: x,,. rel y rel Usuáro etermna posção e referênca esejaa x, ref y ref, ref. Se controle escolho for look-an-move: Lê posção atual os encoers x, y,. Calcula posção esejaa: x x xrel xref y y y y, rel ref rel, rel ref. Enva parâmetros para eletrônca. Fm. Se controle escolho for servo-vsual: Obtém-se o erro entre a câmera e o objeto: e x x rel x e y y ref y rel ref rel ref,, e Cálculo o controle PID, obteno torques para as juntas. Enva parâmetros para eletrônca. Se erro em alguma as juntas for maor que um lmar, retorna ao passo para capturar uma nova magem, senão, fm. o Baseao em magem Determnam-se as característcas a magem obta no Passo: $, $, $..

61 Sstema Expermental 6 Compara característcas obtas com as característcas a magem e referênca $ ref, $ ref, $ ref A partr a ferença entre as característcas esejaas e as reas, utlza-se a matrz Jacobana e magem, efna na seção 4.6, para obter as coorenaas relatvas entre a câmera e o objeto x y rel rel rel J * $ $ $. $ $ $ ref ref ref Se controle escolho for look-an-move:. Lê posção atual os encoers x, y,. Calcula posção esejaa: x x xrel, y y, rel. y rel Enva parâmetros para eletrônca. Fm. Se controle escolho for servo-vsual: Obtém-se erro entre a câmera e o objeto e x, x rel e, e. rel y y rel Inca cálculo o controle PID, e obtém torques para as juntas. Enva parâmetros para eletrônca. Se erro em alguma as característcas $, $ ou $ em relação a $ ref, $ ref ou $ ref for maor que um lmar, retorna ao passo, senão, fm. y, Vale ressaltar que urante o controle look-an-move a posção ncal x, mea pelos sensores e posção as juntas não precsa ser utlzaa no software o computaor, pos ela é computaa retamente na placa eletrônca.

62 Sstema Expermental Processamento a Imagem Durante os testes realzaos neste trabalho, foram utlzaos os objetos alvos stntos. O prmero objeto utlzao fo um círculo (vermelho) mpresso sobre uma superfíce vertcal, a fm e facltar o processamento a vsão computaconal. Em segua, foram mplementaas novas técncas que permtram amplar o programa, e forma que este funconasse também utlzano qualquer outro objeto plano como referênca. Para valar os expermentos com um alvo genérco, utlzou-se uma magem e um panel e válvulas submarno, smulano assm uma aplcação real para o projeto. A segur serão escrtos os processamentos as magens para os os casos. Prmero serão apresentaos os equaconamentos utlzaos no caso o círculo e em segua para o caso genérco e um objeto plano Equaconamento o sstema com alvo crcular A fm e mnmzar o esforço computaconal nesta etapa o projeto, fo escolho um sco crcular vermelho, lso, em um plano vertcal, e que puesse ser e fácl reconhecmento na magem. A cor vermelha fo escolha aleatoramente por se tratar e uma as cores prmáras, uma vez utlzano o parão RGB. A partr então a relação entre sem-exos a elpse resultante na magem, as stâncas em observar os parâmetros relevantes neste expermento. x, y, poem ser conhecas. Na Fgura poe-se

63 Sstema Expermental 6 Fgura - Esquema os testes com sco A Fgura mostra a vsta superor o sco e a mesa, e amte-se o sco com exo axal na reção y ; x e y representam os exos e movmentação a mesa; é a stânca entre o centro a câmera e o centro o sco; a é a stânca entre o centro o sco e o exo óptco a câmera; é o ângulo entre o exo x e o segmento que contém ; e é o ângulo entre o exo óptco e o segmento que contém. Note que quano o sco encontra-se centralzao na magem, a. Pela Fgura, poem ser euzas as seguntes equações: x cos (66) y sen (67) Para smplfcar as equações, efne-se também: a sen (68) ' (69) Quano o exo óptco a câmera atravessa o centro o sco, poe-se perceber uma stânca a entre o centro o sco e o centro a magem. Pela Fgura é possível perceber também que quano a câmera não se encontra perpencular ao sco, este poe ser representao na magem por uma elpse com sem-exos menor r e maor R.

64 Sstema Expermental 64 Fgura - Imagem obta a câmera com sco eslocao o centro Assumno que o centro a câmera estará sempre na mesma altura que o centro o sco, uma vez que a mesa não se esloca na vertcal, poe-se afrmar que o sem-exo maor só rá varar e tamanho na magem quano houver eslocamento em y. Ou seja, quano a câmera se aproxmar o sco R aumenta, e quano a câmera se afastar este mnu. Essa afrmatva só é vála, no entanto, se a, resultano em K (7) R seno K uma constante. Caso a não seja muto menor que, a expressão acma se torna uma aproxmação, aotaa aqu por smplcae, pos nos expermentos conuzos o valor esejao e a é zero, satsfazeno a. Amtno-se o sco escentralzao a magem, estabelece-se que: a a (7) r R one r é o rao (real) o sco. Para uma magem centralzaa,, logo a. Para etermnar o ângulo e nclnação o sco em relação à câmera, utlza-se a razão entre seus sem-exos na magem. Observano a Fgura, one a magem a esquera representa o sco vsto e frente, e a magem a reta a vsão superor, poe-se estabelecer que a r R r sen sen (7) R

65 Sstema Expermental 65 e Fgura - Vsta frontal e superor o sco Substtuno as equações (68) e (7) em (69), é possível etermnar o valor ', obteno assm os valores necessáros para a atuação os elos x, y e, one '. Estes valores, que representam os eslocamentos e a rotação a câmera em relação ao sco, são sufcentes para permtr que um controle baseao em pose seja executao. Para as técncas e controle baseaas em magem, as varáves esejaas são característcas a serem efnas pelas varáves $, $ e $. Tas característcas são escrtas, seguno quasquer característcas provas a magem. Para este objeto alvo crcular, as varáves serão escolhas em função e a, r e R. $, R A fm e facltar os cálculos, as varáves $, $ e $ serão efnas como r $, R a $. R Reescreveno as equações já obtas em função as novas varáves, tem-se K que a equação (7) passa a ser escrta como K $ e a equação (7) por sn $ R r. Seno assm, os valores e x e y, escrtos anterormente nas equações (66) e (67), passam a ser escrtos como: $ R x K $ (7) y K $ $ (74)

66 Sstema Expermental 66 A equação (7), R a r a,poe ser reescrta como r a $ ; a equação (68), a sen, como $ $ sen K r ; e, por últmo, a equação (69), ', como $ $ sen $ sen ' K r. Seno p J $ a matrz jacobana e magem responsável pela transformação entre o vetor e característcas T $ $ $ $ e o vetor e parâmetros esejaos T p, e qp J a matrz Jacobana e transformação entre o vetor e coorenaas esejaas q e o vetor e parâmetros esejaos p, tem-se que p a J p $ $ $ $ $ (75) p a J q y x qp ' (76) Com sso é possível formular a matrz que relacona varações as coorenaas esejaas com varações o vetor e característcas o objeto $ $ $ $ ' p J qp J y x (77) seno r K J r K J p p sec cos $ $ (78) ' sec ' tan sen cos cos sen J qp (79)

67 Sstema Expermental 67 Escreveno as matrzes acma em relação aos novos parâmetros $, $ e $, tem-se que: K $ (8) $ r J p J qp K $ $ K $ r $ $ r $ K $ $ K $ $ K $ r $ (8) Seno assm, conhecos os valores reas e esejaos e $, $ e $, poese etermnar o vetor $ $ $ $ $ e consequentemente, a partr a equação $ $ (77), etermnar os erros referentes às juntas esejaas x, y, '. Note que a equação (77) só é exata para erros nfntesmas, portanto a sua aplcação a erros fntos é uma aproxmação. Esta aproxmação melhora à mea que a câmera se aproxma e seu objetvo quano os erros $, $ e $ tenem para zero. Vale ressaltar que neste caso a matrz Jacobana e magem consegue etermnar o vetor e característcas nepenente as posções atuas os motores, seno assm o sstema não precsa e realmentação os sensores e posção. Para um sstema genérco é necessáro uma realmentação os motores Equaconamento o sstema com alvo D genérco Para a seguna parte o expermento, o sstema será mofcao e forma a operar utlzano como referênca alvos planos genércos. Para fazer o reconhecmento as magens obtas pela câmera, será utlzao o algortmo SIFT (escrto anterormente na seção.) responsável por etermnar pontos chaves na magem. Através este algortmo, também é possível crar pares e pontos corresponentes entre uas magens e vstas ferentes e um mesmo objeto. A partr estas corresponêncas, poerão ser obtas as stâncas relatvas entre a

68 Sstema Expermental 68 câmera e o objeto. Executano o algortmo sobre uma magem e referênca, cujas coorenaas os pontos no espaço são conhecas, é possível etermnar para caa ponto encontrao a relação entre as coorenaas este na magem (em pxels) e as coorenaas no espaço. Na Fgura é representao um objeto plano utlzao como alvo no espaço, one os pontos ncaos representam os pontos chaves encontraos pelo algortmo. Um sstema e referênca x o, y o é fxao ao objeto, com orgem efna em seu centro geométrco. Fgura - Pontos chaves x o, y o encontraos pelo algortmo SIFT sobre o objeto alvo A Fgura 4 mostra a projeção e um ponto o objeto, a uma stânca x o e seu centro na horzontal, conserano que a câmera se encontra a uma stânca x c, y c o centro o objeto, e formano um ângulo entre seu exo óptco e a reção e y c.

69 Sstema Expermental 69 x x cos y sen c o c x o x x sen y cos c o c Centro o Objeto D y c x c f x Fgura 4 Esquema o expermento utlzano objetos D Na Fgura 4, x o representa a stânca entre um os pontos chaves e o centro o objeto alvo mea na horzontal. Já x representa a mesma stânca nas coorenaas a magem, em pxels. Seno f a stânca focal a câmera, expressa em pxels, tem-se que: x x sen y cos x x c o e consequentemente monta-se o sstema f c c o cos y x c sen (8) f x yc tan xc xo x xc tan yc f xo (8) tan X Para M pares e pontos o, o vetor X poe ser etermnao por um ajuste e mínmo quaraos

70 Sstema Expermental 7 f x xo x f x xo x X f xm xomxm A f xo x o xom B A X B X pnv A B (84) one pnv (A) é a pseuo-nversa a matrz A. Uma vez etermnao o vetor X, poem ser etermnaas as stâncas relatvas esejaas efnção e X x y,. Seno X X X T c, c atan X X k, obtém-se a partr a x c y c X tan X tan X tan X tan Note que as equações (84) e (85) epenem os valores e x,..., x (85) o om para obter x c, y c e. Esses valores foram obtos prevamente a partr a magem e referênca, capturaa em uma posção conheca a câmera e aplcano a equação (8) para caa um os M pontos SIFT a magem e referênca. coorenaa Os equaconamentos escrtos acma foram realzaos em função a x o os pontos o objeto. De forma análoga, as mesmas stâncas poeram ter so obtas utlzano as coorenaas em y o. A partr o sstema: xc sen yc cos y xo y F yo sen (86) X * e utlzano a formulação a pseuo-nversa para M pares e pontos y o, y : o vetor * y x y yo y x y y o X* f X* pnva * B * (87) ym xm ym yom A* B * X* X X, é possível * * X poe ser etermnao. A partr e T apenas etermnar o par e equações

71 Sstema Expermental 7 asen X * x c sen y c cos X k * (88) Note que ao usar apenas y o, y para estmar a pose a câmera em relação ao objeto, obtém-se um sstema netermnao, com apenas equações para as ncógntas x c, y c e. Isto ocorre porque o exo óptco a câmera está sempre em um plano horzontal perpencular à reção vertcal os pares o x x, são usaos na obtenção e x y, usaas apenas para conferr os resultaos. c, c y o. Assm, na prátca apenas. As equações (86-88) são No capítulo segunte, serão escrtos os testes realzaos tanto com o alvo em forma e círculo quanto com a magem o panel, e serão apresentaos gráfcos, quantfcano os resultaos. Por fm, será apresentaa uma comparação entre as técncas look-an-move e servo-vsual mostrano as vantagens e esvantagens e caa uma.

72 Resultaos 7 5 Resultaos Este capítulo rá apresentar os testes realzaos para valar o trabalho. Os prmeros testes serão realzaos utlzano um círculo vermelho como objeto alvo. Para os testes seguntes, será utlzaa uma magem e um panel e válvulas típco e ntervenções submarnas. Devo à presença e encoers acoplaos aos motores, é possível etermnar a posção e caa elo em tempo real, mesmo que estes valores não tenham so utlzaos no algortmo e controle. Assm, para caa expermento realzao, será traçao um gráfco a posção as juntas em relação ao tempo. Os testes são vos em quatro etapas: as uas prmeras utlzano o círculo vermelho e as uas últmas utlzano o panel. Para ambos os casos será avalao o posconamento frontal (one a câmera vsualza o alvo com o exo óptco a câmera alnhao ao centro o objeto), e o posconamento lateral em relação ao alvo (one a câmera avsta ou uma parte o objeto, ou a lateralmente utlzano a rotação a câmera). Durante os testes com o panel, percebeu-se que o tempo e processamento o algortmo SIFT cresca muto com o tamanho a magem. O controle servovsual epene a freqüênca o processamento a magem para envar os torques aos motores. Incalmente foram utlzaas magens e 96 x 7 pxels, porém nesta resolução o tempo e processamento o algortmo SIFT era em méa 5 segunos, gerao a partr o software Matlab em um notebook (processaor Intel Core Duo e. GHz, 48MB e memóra RAM e placa e víeo Moble Intel 965 Express Chpset Famly). Desta forma, o sstema não consegua corrgr aequaamente pequenos erros e posção e assm não converga até a posção esejaa. A solução encontraa fo mnur a resolução as magens obtas pela câmera para 5 x 88 pxels, somente nos casos e controle servo-vsual. Para os testes o controle look-an-move, foram mantas as magens e 96 x 7 pxels, uma vez que esse controle se basea apenas em

73 Resultaos 7 uma magem (e quanto maor a qualae a magem, mas precsos serão os resultaos). Na Fgura 5, um gráfco apresenta a resolução em pxels e uma magem e seu tempo e processamento pelo algortmo SIFT. Vale ressaltar que a mplementação o algortmo utlzao fo obta no ste ofcal o craor Dav Lowe e, após análse entre ferentes mplementações sponíves, constatou-se que esta, além e mas fel ao algortmo orgnal, era também uma as mas rápas. Fgura 5 Resolução em pxels versus tempo e processamento o algortmo SIFT Vale ressaltar também que o tempo necessáro para a mesa atngr uma aa posção epene retamente a velocae máxma os motores. Durante o controle look-an-move a velocae utlzaa fo máxma, porém no controle servo-vsual a velocae fo ajustaa e acoro com a proxmae o alvo. Fazeno uma estmatva e sua velocae, conclu-se que a velocae máxma a mesa (nas coorenaas x e y ) é e. mm/s, ou. cm/s. 5.. Expermento : Teste frontal utlzano como alvo círculo Para ncar os testes, montou-se o expermento apresentao na Fgura 6, one a posção ncal e fnal são meas em relação à posção ncal a câmera. Conforme menconao no Capítulo 4, o equaconamento a pose o círculo fo realzao amtno-se que a stânca entre a câmera e o círculo era muto maor

74 Resultaos 74 que a stânca entre seu centro e o exo óptco a câmera. Para evtar a nclusão e erros assocaos a essa aproxmação, os expermentos com o círculo para os controles baseaos em pose foram realzaas com o grau e lberae e rotação a mesa travao, fxao em. Fgura 6 - Vsta superor o expermento, para teste frontal utlzano círculo vermelho como alvo A posção fnal esejaa representa a posção one é possível observar o círculo e frente, ou seja, com o exo óptco a câmera alnhao com o centro o círculo. Nesta pose, o círculo é avstao com sem-exos guas na magem r R 95 pxels pxels. a, e a stânca entre o centro a magem e o círculo é Na Fgura 7 encontra-se a magem ncal o expermento, já na Fgura 8 encontra-se a magem que se eseja obter com o expermento (utlzaa como magem e referênca no controle baseao em magem). Seno assm a posção eal a ser encontraa pelo controle a fm e atngr a posção fnal esejaa é x cm, y cm e.

75 Resultaos 75 Fgura 7 - Vsta ncal o expermento e Fgura 8 - Vsta fnal o expermento Foram testaas as quatro técncas e controle: look-an-move baseao em pose e em magem, e servo-vsual também baseao em pose e em magem. Os resultaos encontram-se na Tabela, one x rel, y rel e rel são as coorenaas encontraas pelo software e controle a partr a magem capturaa na posção ncal, e x f, y f e f são as coorenaas reas atngas pela mesa, nferas pelas leturas os encoers. As últmas três lnhas referem-se às característcas a magem, que também poer ser utlzaas para avalação o resultao; r, R e a corresponem respectvamente aos sem-exos menor e maor a magem o círculo e a stânca entre o centro a magem e o círculo. Para o controle servovsual, as posções relatvas x rel, y rel e rel varam a caa nteração o controle, quano novas magens são capturaas, e por sso não foram apresentaas na Tabela.

76 Resultaos 76 Tabela - Posções reas e relatvas obtas no expermento, para as quatro técncas e controle, assocaa a valores esejaas, r R 95pxels e a pxels x cm, y cm, Controle Controle Controle Controle look-an-move look-an-move servo-vsual servo-vsual baseao em baseao em baseao em baseao em pose magem pose magem x, cm 7,9 cm rel y 8, cm 8, cm rel 48 nterações nterações rel x,7 cm 9, cm, cm 5,4 cm f y 8, cm 8,4 cm, cm,5 cm f f 79 pxels 8 pxels pxels 89 pxels r 8 pxels 8 pxels pxels 95 pxels R 5 pxels -7 pxels - pxels -7 pxels a Exceto o controle servo-vsual baseao em magem, toos os controles apresentaram resultaos próxmos o esperao. No controle look-an-move, os erros em x, y, foram provenentes o cálculo a posção x,, a partr rel y rel a magem. Vale lembrar que, nos controles baseaos em pose fo fxao o ângulo. Porém, no caso o controle servo-vsual baseao em magem, a posção fnal é obta utlzano as matrzes Jacobanas e magem, e por sso não era possível fxar a rotação a câmera, o que gerou erros na orentação fnal e e para o look-an-move e servo-vsual respectvamente, assm como erros em x e y. No entanto, ao observar a Fgura 44 com as magens resultantes, percebe-se que a magem fnal fcou muto próxma a esejaa, mesmo conserano os erros na posção fnal. Isto nca que a Jacobana e magem está próxma e uma sngularae na confguração e referênca escolha, ou seja, pequenos erros em r, R e a resultam em granes erros em x, y e. rel

77 x(cm) y(cm) ( ) Resultaos 77 Durante a execução o programa, são apresentaos ao usuáro versos gráfcos para o acompanhamento a tarefa. Para toos os tpos e controle, são apresentaos gráfcos a posção versus tempo. No controle look-an-move, a posção real os sensores vem acompanhaa a posção esejaa, que permanece constante urante too o processo. Já no controle servo-vsual, a posção esejaa vara urante a execução a tarefa, e por sso, juntamente com a posção real é apresentao o erro entre a posção esejaa e a real (chamao anterormente também e posção relatva). Nas Fguras 9 e 4 são apresentaos os resultaos obtos nos controles baseaos em pose. x y 8 y 6 x Tempo(s) Fgura 9 - Gráfco a posção real e esejaa versus tempo (controle lookan-move baseao em pose), expermento

78 Posção em ( ) Posção em Y(cm) Posção em X(cm) Posção em ( ) Posção em Y(cm) Posção em X(cm) Resultaos Tempo(s) Posção Real Posção Desejaa Posção Desejaa perceba pela câmera Fgura 4 - Gráfco a posção real, esejaa e perceba pela câmera através o software, versus tempo (controle servo-vsual baseao em pose), expermento Para o controle baseao em magem, também são apresentaos gráfcos as característcas versus tempo, uma vez que a varável esejaa não é mas a posção, e sm as característcas e magem $, $ e $. Nas Fguras 4 e 4 são Tempo(s) apresentaos os resultaos obtos nos controles baseaos em magem.

79 Característcas Reas e Desejaas Característcas Reas e Desejaas Resultaos $ $ $ S $ $ $ Tempo(s) Fgura 4 - Gráfco e característcas versus tempo (controle look-an-move baseao em magem), expermento.5.5 $ $ $ $ $ -.5 $ Tempo(s) Fgura 4 - Gráfco e característcas versus tempo (controle servo-vsual baseao em magem), expermento

80 Resultaos 8 Para estabelecer uma comparação entre as técncas propostas, fo construío um gráfco com as posções reas, meas a partr os sensores e posção ao longo a movmentação a mesa, para toas as técncas e controle. Pela Fgura 4, percebe-se que o controle look-an-move possu um tempo e acomoação, efno como tempo necessáro para a curva atngr a posção esejaa com um erro e 5% (Ogata, 997), menor que o o controle servovsual. No entanto, apesar e lento o controle servo-vsual atng a posção esejaa com um tempo e acomoação em torno e 5 segunos. O que torna o tempo fnal o controle gual a 9 segunos são as correções efetuaas através a magem. A Fgura 44 apresenta as magens obtas pelas quatro técncas e controle.

81 Posções em ( ) Posções em Y(cm) Posções em X(cm) Resultaos Tempo(s) Controle Look an Move baseao em magem 4Controle 5Servo-Vsual 6 baseao 7 em pose 8 9 Controle Servo-Vsual baseao em magem 5 5 Controle Look an Move baseao em pose Posção Real Desejaa Fgura 4 - Comparação entre as técncas e controle pelo gráfco posção versus tempo, expermento Tempo(s)

82 Resultaos 8 Imagem Incal Imagem Desejaa Controle Look an Move baseao em pose Controle Look an Move baseao em magem Controle Servo Vsual baseao em pose Controle Servo Vsual baseao em magem Fgura 44 - Imagem ncal, eseja e resultantes nas quatro técncas e controle, expermento Pelas magens geraas, percebe-se também que o resultao o controle servo-vsual baseao em magem, apesar o posconamento ferencao, realmente está e acoro com o esperao. Conforme vsto na Tabela, ambos os resultaos o controle look-an-move apresentaram um eslocamento em y menor o que o esperao. Seno assm, o círculo avstao ao fnal o expermento também obteve raos menores que os a magem e referênca. Por fm, além e apresentar o melhor posconamento, o controle servo-vsual e fato apresentou as magens mas semelhantes à esejaa. Além e posconar a câmera bem ao centro

83 Resultaos 8 a magem, o eslocamento mas precso em y fez com que o círculo fosse avstao com os raos guas ao a magem e referênca. 5.. Expermento : Teste lateral utlzano como alvo círculo Fgura 45. Para este expermento, a mesa fo posconaa conforme o esquema a A posção fnal esejaa representa a posção one é possível observar o círculo escentralzao, porém ana assm com sem-exos guas. Nesta pose, o círculo é avstao com r R 85 pxels, e a stânca entre o centro a magem e o círculo a gual a -6 pxels. Essa combnação e r, R e a encontra-se longe as confgurações e sngularae a matrz Jacobana e magem. Desse moo, espera-se obter um menor erro na pose fnal x, y,. O expermento se nca na mesma posção que no teste anteror, por sso a magem ncal é a mesma a Fgura 7. Já a magem a ser obta pelo controle encontra-se na Fgura 46. Fgura 45 - Vsta superor o expermento para teste lateral utlzano círculo vermelho como alvo

84 Resultaos 84 Fgura 46 - Imagem esejaa o expermento A fm e atngr a posção fnal esejaa, o controle everá encontrar como coorenaas x 7. 5cm, y 6 cm e. Novamente foram testaas as quatro técncas e controle e os resultaos encontram-se na Tabela. Tabela - Posções reas e relatvas obtas no expermento, para as quatro técncas e controle, assocaa a valores esejaos, r R 85pxels e a 6pxels Controle look-an-move baseao em pose Controle look-an-move baseao em magem x 7,5 cm 7, cm rel y 4,4 cm 4,9 cm rel rel Controle servo-vsual baseao em pose x 7, 5cm, y 6cm, Controle servo-vsual baseao em Imagem 6 nterações 7 nterações x 8, cm 6,9 cm 7, cm 7, cm f y 4,6 cm 5, cm 4, cm 4, cm f f 57 pxels 64 pxels 8 pxels 78 pxels r 6 pxels 68 pxels 84 pxels 8 pxels R -55 pxels -87 pxels -7 pxels -66 pxels a

85 Posções em X(cm) Posções em Y(cm) Posções em ( ) Resultaos 85 Para estabelecer a comparação entre as técncas propostas, será apresentao na Fgura 47, o gráfco com as posções reas obtas nos quatro controles Tempo(s) Controle Look an Move baseao em pose Controle Look an Move baseao em magem 4Controle 5Servo-Vsual 6 baseao 7 em pose 8 9 Controle Servo-Vsual baseao em magem Posção Real Desejaa Fgura 47 - Comparação entre as técncas e controle pelo gráfco posção versus tempo, expermento

86 Resultaos 86 Assm como no prmero expermento, é possível notar que evo à falta e realmentação por magem o controle look-an-move, os eslocamentos em x e y não foram precsos. Isto poe ser observao não só pelos valores apresentaos na Tabela, como também pelas magens geraas pelos controles, one o erro no centro o círculo e o tamanho os raos geraos emonstram o mau posconamento (Fgura 48). Já o controle servo-vsual, apesar e mas lento, conseguu posconar a câmera e forma a apresentar um resultao muto próxmo o esperao. Imagem Incal Imagem Desejaa Controle Look an Move baseao em pose Controle Look an Move baseao em magem Controle Servo Vsual baseao em pose Controle Servo Vsual baseao em magem Fgura 48 - Imagem ncal, esejaa, e resultantes nas quatro técncas e controle, expermento

87 Resultaos Expermento : Teste frontal utlzano como alvo panel Para os testes com o panel frontal, a câmera fo posconaa ncalmente conforme a Fgura 49. Para estes testes, o posconamento fo obto através o algortmo SIFT, e por sso além as posções em x e y também poe ser etermnaa a rotação a câmera sem a necessae e usar aproxmação no moelo. y(cm) Panel x, y, Posção Fnal Desejaa y rel x y,, Posção Incal x rel x(cm) Fgura 49 - Vsta superor o expermento para teste frontal utlzano como alvo o panel D Seguno o Esquema a Fgura 49, é possível verfcar as seguntes relações x y x y x y rel rel rel (89) Para atngr a posção esejaa, o software e controle evera então encontrar como coorenaas os parâmetros xrel 9cm, yrel cm e rel, e fscamente eseja-se que a mesa coorenaa atnja x cm, y cm e. Poe-se afrmar também que

88 Resultaos 88 one x f y f f x y f f f x y x y rel rel rel (9),, são as coorenaas reas atngas pela mesa e x,, rel y rel representam os valores encontraos pelo software e controle. A equação (9) poe ser confrmaa, uma vez que as coorenaas relatvas esejaas são envaas à mesa porém epenem e um controle exato para serem atngas. Nestas confgurações esejaas o panel é vsto conforme a Fgura 5, e partno-se a posção ncal apresentaa no Esquema a Fgura 49, é possível observar a Fgura 5. rel Fgura 5 - Imagem frontal o panel para o expermento Fgura 5 - Imagem ncal o expermento utlzano como alvo o panel D

89 Resultaos 89 Nos expermentos utlzano SIFT, foram utlzaos apenas os controles baseaos em pose. Os controles baseaos em magem epeneram e uma matrz Jacobana e magem que fosse obta a partr e parâmetros geométrcos o panel $, $, etc., como por exemplo, sua largura e altura na magem, e a posção e seu centro geométrco. Porém, não foram mplementaos neste trabalho algortmos que possbltassem obter estes parâmetros para a magem e um panel genérco. Estes parâmetros poeram ser obtos, por exemplo, através e um algortmo e etecção e arestas. No entanto, mplementou-se uas formas e controle baseao em pose, tanto para o look-an-move quanto para o servovsual. As uas formas consstem em nformar a pose esejaa (Caso A) através e coorenaas x,,, ou (Caso B) através e uma magem prevamente y obta na posção esejaa. Utlzou-se como magem e referênca, uma magem frontal o panel. Para os casos one a magem esejaa era ferente a magem e referênca, eram fetas uas correlações: a prmera entre a magem esejaa e a e referênca, e a seguna entre a magem atual e a e referênca (conforme ncao na Fgura 5). Seno assm era possível obter a relação entre a magem atual e a esejaa. Fgura 5 - Esquema entre a posção atual, esejaa e e referênca Abaxo a Tabela 4, apresenta os resultaos obtos nos quatro controles. As prmeras lnhas ncam as stâncas relatvas encontraas pelo software, e as últmas lnhas as posções reas atngas pela mesa x,,. f y f f

90 Resultaos 9 Tabela 4 - Posções reas e relatvas obtas no expermento para quarto técncas e controle, assocaa a valores esejaos, x rel 9cm, y rel cm e Controle look-an-move baseao em pose Caso (A) Controle look-an-move baseao em pose Caso (B) x 7, cm 7,5 cm rel y 9 cm 9, cm rel 7,6 7,7 rel x cm, y cm, rel Controle servo-vsual baseao em pose Caso (A) Controle servo-vsual baseao em pose Caso (B) 55 nterações 7 nterações x 8,5 cm 8,4 cm 9,5 cm 9,5 cm f y 9, cm 9, cm 9,8 cm 9,5 cm f f Mas uma vez, foram traçaos toos os valores e posção em um únco gráfco, apresentao na Fgura 5.

91 Posções em ( ) Posções em Y(cm) Posções em ( ) Posções em X(cm) Posções em Y(cm) Posções em X(cm) Resultaos Tempo(s) Controle Look an Move baseao em pose (Caso A) Controle Look an Move baseao em pose (Caso B) Controle Servo-Vsual baseao em pose (Caso A) Controle Servo-Vsual baseao em pose (Caso B) Posção Real Desejaa Fgura 5 - Comparação entre as técncas e controle pelo gráfco posção -5 4 versus 6 tempo, 8 expermento 4 Tempo(s) Para toos os casos e controle look-an-move, o tempo fnal e processamento fo relatvamente o mesmo tanto para o círculo quanto para o panel, já que apenas uma magem era analsaa (e uma vez etermnaa a posção, o controle não precsa capturar ou processar novas magens). No entanto, para o controle servo-vsual é nteressante reparar que o tempo e acomoação

92 Resultaos 9 aumentou conseravelmente, uma vez que a caa nteração o programa um novo processamento o algortmo SIFT é realzao. Para o caso o círculo o controle servo-vsual apresentou um tempo e acomoação em torno e 5 segunos, e um tempo fnal e 9 segunos. Para este caso com o panel, o tempo e acomoação aumentou para 9 segunos, e o tempo fnal para segunos. Pelas magens obtas ao fnal o controle (Fgura 54), percebe-se a nfluênca a realmentação vsual na precsão o expermento. As magens obtas pelo controle look-an-move não conseguram atngr a magem esperaa com tanta precsão quanto o servo vsual.

93 Resultaos 9 Imagem Incal Imagem Desejaa Controle Look an Move baseao em pose - Caso (A) Controle Look an Move baseao em pose - Caso (B) Controle Servo Vsual baseao em pose - Caso (A) Controle Servo Vsual baseao em pose - Caso (B) Fgura 54 - Imagem ncal, esejaa e resultantes nas quatro técncas e controle, expermento 5.4. Expermento 4: Teste lateral utlzano como alvo panel Fgura 55. Para os testes com o panel lateral, o expermento fo montao conforme a

94 Resultaos 94 Para atngr a posção esejaa, o software e controle evera então encontrar como parâmetros x 8cm, y 5 cm e ; e x 8 cm, y 5cm e. Nesta confguração, o panel é vsto conforme a Fgura rel rel 56, e esta é a magem nformaa ao software nos controles o caso (B). Já a magem ncal o expermento poe ser observaa na Fgura 57. rel Fgura 55 - Vsta superor o expermento 4 para teste lateral utlzano panel D como alvo Fgura 56 - Imagem lateral o panel

95 Resultaos 95 Fgura 57 - Imagem ncal o expermento 4 utlzano como alvo o panel D Novamente foram testaas as quatro técncas e controle, e os resultaos encontram-se na Tabela 5. Tabela 5 - Posções reas e relatvas obtas no expermento 4 para quatro técncas e controle, assocaa a valores esejaos e x 8 cm, y 5cm e Controle look-an-move baseao em pose Caso (A) rel Controle rel look-an-move baseao em pose Caso (B) x 6,6 cm 6,6 cm rel y 5,9 cm 9 cm rel 6,5 8 rel x 8cm, y 5cm, rel Controle servo-vsual baseao em pose Caso (A) Controle servo-vsual baseao em pose Caso (B) nterações 5 nterações x 6,8 cm 6,8 cm 6,5 cm 7, cm f y 6, cm 9,4 cm 7 cm 6,6 cm f f

96 Resultaos 96 Pelos resultaos apresentaos na Tabela 5, percebe-se que a posção esejaa fo atnga com maores erros para o controle look-an-move. Ao analsar as magens fnas geraas por estes, poe-se perceber que toos conseguram convergr para magens bem próxmas a esejaa. Durante a execução o controle servo-vsual, percebeu-se no entanto que quanto mas próxmo o objeto alvo, maor era o erro nas posções obtas pelo software. Isso poe ser explcao pela baxa resolução as magens. Além sso, mutas vezes a rotação erraa a câmera mplcava na pera e grane parte o objeto alvo no seu campo e vsão. Além sso, grane parte o objeto alvo se encontrava na regão e storção a câmera, cuja calbragem fo gnoraa neste projeto. Com estes problemas, o algortmo SIFT etectava um número muto baxo e correlações, que em alguns casos poam até não ser veraeras. A fm e mnmzar os resultaos e posconamento falso, foram fetas verfcações ao longo o processo e forma que um posconamento muto stante o posconamento obto na nteração anteror fosse escartao. A prncípo, optouse por manter o resultao anteror, assumo como correto, e contnuar a movmentação a mesa. Porém, se fossem obtas sucessvas posções erraas, a mesa poera chegar ao fm o curso e anfcar o expermento. Por sso optou-se por automatcamente parar a mesa nestes casos até que um novo resultao correto fosse obto. Foram conseraos posconamentos falsos, aqueles que obtvessem uma ferença na angulação e 5 a mas que na nteração anteror. No caso o controle servo-vsual caso (B), que obteve um total e 5 nterações, cerca e nterações foram escartaas por apresentarem resultaos conseraos falsos. Ao analsar o gráfco obto na Fgura 59, é possível observar os erros e posconamento obtos. Na curva que nca a posção esejaa obta pelo software observa-se que versos pontos encontram-se muto afastaos a nteração anteror. Para o caso o controle servo-vsual caso (A), também fo mplementao o mesmo mecansmo e escartar nterações falsas. Ao executar o mesmo teste algumas vezes, percebeu-se que este também apresentava o mesmo problema. No entanto, o expermento apresentao na Tabela 5, conseguu convergr rapamente sem contar com nenhum posconamento falso (ve Fgura 58). É mportante ressaltar que apesar e a programação, o posconamento o objeto alvo, e a posção ncal a câmera ser o mesmo, as trajetóras obtas ao longo e versos

97 Posção em ( ) Posção em Y(cm) Posção em ( ) Posção em Y(cm) Posção em X(cm) Posção em X(cm) Resultaos 97 expermentos fclmente serão guas. Isso porque os resultaos epenem as magens obtas, e urante a movmentação a mesa as magens não são obtas exatamente no mesmo nstante. Ao fnal o expermento, no entanto, espera-se que toos os expermentos atnjam uma posção fnal smlar Tempo(s) Posção Real Posção Desejaa Posção Desejaa perceba pela câmera 4 Fgura 58 - Gráfco a posção real, esejaa e perceba pela câmera através o software versus tempo para o controle servo-vsual caso (A), expermento Tempo(s)

98 Posção em ( ) Posção em Y(cm) Posção em ( ) Posção em X(cm) Posção em Y(cm) Posção em X(cm) Resultaos Tempo(s) Posção Real Posção Desejaa Posção Desejaa perceba pela câmera Fgura 59 - Gráfco a posção real, esejaa e perceba pela câmera através o software versus tempo para o controle servo-vsual caso (B), expermento 4 5Na Fgura 6, é 5apresentao um 5gráfco com o 5 resultao 4os quatro Tempo(s) controles. Percebe-se que nenhum eles atngu a posção esejaa, porém pela Fgura 6, observa-se que toas as magens atngas assemelham-se a esejaa.

99 Posções em ( ) Posções em Y(cm) Posções em ( ) Posções em X(cm) Posções em Y(cm) Posções em X(cm) Resultaos Tempo(s) 5 Controle Look an Move baseao em pose (Caso A) Controle Look an Move baseao em pose (Caso B) Controle Servo-Vsual baseao em pose (Caso A) Controle Servo-Vsual baseao em pose (Caso B) Posção Real Desejaa Fgura 6 - Comparação entre as técncas e controle pelo gráfco posção -5 4 versus 6 tempo, 8expermento 4 4 Tempo(s)

100 Resultaos Imagem Incal Imagem Desejaa Controle Look an Move baseao em pose - Caso (A) Controle Look an Move baseao em pose - Caso (B) Controle Servo Vsual baseao em pose - Caso (A) Controle Servo Vsual baseao em pose - Caso (B) Fgura 6 - Imagem ncal, esejaa e resultantes nas quatro técncas e controle, expermento 4