Acompanhamento de Cenas com Calbração Atomátca de Câmeras por Fláo Szenberg Orentadores: Marcelo Gattass Palo Cezar Pnto Caralho Departamento de Informátca, PUC-Ro 9 de dezembro de 00
Jz Vrtal pontos de objetos pontos de referênca
Problema Dada ma seqüênca de magens qe apresentam a salzação, total o parcal, de m determnado modelo, acompanhar este modelo, calbrando as câmeras para cada magem de forma atomátca, a fm de sobrepor objetos rtas. Reqstos: Menor nterenção possíel do sáro Processamento em tempo real
Modelos Os modelos tlzados na tese: F F 5 F 7 F F 6 F 4 Modelo de m campo de ftebol F 3 F 8 F 9 F 9 F 5 F F 6 F 8 Modelo sem smetra F F 7 F 4 F 3
Algortmo básco Imagem A A A3 A4 A5 Fltragem para realce de lnhas Extração de segmentos de retas longos Reconhecmento dos segmentos Cálclo da transformação projeta planar Calbração da câmera
Fltragem para realce de lnhas O fltro Laplacano da Gassana (LoG) é aplcado à magem, baseado na lmnânca. 0 0 4 0 0 4 6 fltro gassano fltro laplacano
Fltragem para realce de lnhas Problemas com lnhas dplas
Fltragem para realce de lnhas A transformação negata é aplcada entre o cálclo da lmnânca e o fltro LoG.
Fltragem para realce de lnhas Resltado de ma segmentação (threshold) feta na magem fltrada. (em negato para salzar melhor)
Extração de segmentos de retas longos O objeto é localzar segmentos de retas longos canddatos a serem lnhas da magem do modelo. O procedmento é dddo em dos passos:. Elmnação de pontos qe não estão sobre nenhm segmento de reta.. Determnação de segmentos de retas.
Elmnando pontos qe não estão sobre m segmento de reta A magem é ddda, por ma grade reglar, em céllas retanglares.
Elmnando pontos qe não estão sobre m segmento de reta Para cada célla, os atoalores e ( ) da matrz de coarânca, dada abaxo, são calclados. Se = 0 o / > M (dado) então o atoetor de é a dreção predomnante senão a célla não tem ma dreção predomnante n n n n n,
Elmnando pontos qe não estão sobre m segmento de reta Podemos atrbr pesos aos pontos (resltado do LoG). n n n n n n n n n n
Elmnando pontos qe não estão sobre m segmento de reta Céllas com pontos formando segmentos de retas:
Determnando segmentos de reta As céllas são percorrdas de modo qe as lnhas são processadas de baxo para cma e as céllas em cada colna são processadas da esqerda para dreta. Um alor é dado para cada célla: Se não exste ma dreção predomnate na célla, o alor é zero. Caso contráro, erfca-se os três znhos abaxo e o znho à esqerda da célla corrente. Se algm deles tem ma dreção predomnante smlar ao da célla corrente, qando ndos, então a célla corrente recebe o alor da célla qe tem a dreção mas smlar; senão, m noo alor é sado para a célla corrente.
Determnando segmentos de reta São formados grpos com céllas de mesmo alor, representados na fgra abaxo por cores dstntas.
Extração de segmentos de reta Cada grpo fornece m segmento de reta. A reta de eqação =a+b é encontrada por método de mínmos qadrados: O segmento é obtdo lmtando a reta pela caxa enoltóra dos pontos sados. n n n n n n b a
Extração de segmentos de reta Os segmentos de reta qe estão sobre a mesma reta sporte são ndos, formando segmentos longos, sando mínmos qadrados. e a b c No fnal do processo, tem-se m conjnto de segmentos de reta. f d f 7 f 4 f 5 f 6 f 3 f f
Extração de segmentos de reta Sobrepondo as lnhas extraída na magem, temos o segnte resltado:
Reconhecmento dos segmentos A partr do conjnto de segmentos, as lnhas do modelo são detectadas e o modelo reconhecdo [Grmson90]. Método baseado na Transformada de Hogh. Método de reconhecmento baseado em modelo. Conjnto de restrções
Reconhecmento dos segmentos Método de Reconhecmento baseado em Modelo Modelo f 7 F F 5 F 7 F F 6 F 4 Árore de Interpretação f 4 f 5 f 6 f 3 f F 3 f Vsalzação f : F F 7 F F 3 F 4 F 5 F 6 f : F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7
f f f 3 Reconhecmento dos segmentos Dscardando nós F Modelo F 5 F 7 Árore de Interpretação Vsalzação f 4 F F 6 F 4 f 5 f 7 F 3 f 6 f : F F 7 F F 3 F 4 F 5 F 6 f : F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 F F F 3 F 4 F 5 F 6 F 7 O nó {f : F,f :F 6,f 3 :F 3 } é dscardado por qe ola a restrção: f 3 : F F F 3 F 4 F 5 F 6 F 7 A lnha representante de F 6 dee estar entres as lnhas qe representam F e F 3, na salzação.
Reconhecmento dos segmentos Problema relaconado com a perspecta ) ( ) ( ) ( ) ( ) )( ( ) )( ( t t t t s s s s t t s s t t s s 0.8
Reconhecmento dos segmentos Problema relaconado com a perspecta f 3 f f
Reconhecmento dos segmentos Escolhendo a melhor solção F Modelo F 5 F 7 f 7 F F 6 F 4 f 4 f 5 f 6 f 3 f F 3 f Vsalzação Em geral, exstem dersas nterpretações possíes; Escolhemos a nterpretação onde a soma dos comprmentos dos segmentos representatos é máxma. f : F 4 f : F 3 f 3 : f 4 : f 5 : F 6 f 6 : F 7 f 7 : F Vencedor f : F 4 f : f 3 : f 4 : F 3 f 5 : F 6 f 6 : F 7 f 7 : F
Reconhecmento dos segmentos f 7 f 4 f 5 f 6 f 3 f f Resltado fnal Vsalzação Modelo F F 5 F 7 F F 6 F 4 F 3 f : F 4 f : F 3 f 3 : f 4 : f 5 : F 6 f 6 : F 7 f 7 : F o Modelo F F 5 F 7 F F 6 F 4 F 3 f : F f : F 3 f 3 : f 4 : f 5 : F 6 f 6 : F 5 f 7 : F
Cálclo da transformação projeta planar Uma transformação projeta planar H (homografa) correspondente às lnhas reconhecdas é encontrada (sando pontos de nterseção e pontos de fga como pontos de referênca). pontos de fga H pontos de nterseção Modelo reconstrído
Calbração da câmera Modelo de Câmera - pnhole 3 0 3 0 0 3 0 z y x t r t ft r fr t ft r fr s s s z z y z x p~ f Z Y X P ~ ~ C Plano da magem projetada x y z o r r 3 r O magem p P = (x, y, z) p = (, )
Calbração da câmera A câmera é calbrada sando método de Tsa para a reconstrção de elementos qe não estão no plano do modelo. Erros de sobreposção
Algortmo estenddo Imagem A A A3 B B B3 A4 A5 Fltragem para realce de lnhas Extração de segmentos de retas longos Reconhecmento dos segmentos Cálclo da transformação projeta planar prelmnar Reconstrção da salzação do modelo Reajste das Lnhas Cálclo da transformação projeta planar Calbração da câmera
Reajste das lnhas São sadas faxas de tolerânca para descartar pontos dstantes. tolerânca para reajste das lnhas reconstrídas
Reajste das lnhas lnha reconstrída pontos da magem faxa de tolerânca noa lnha localzada A noa lnha localzada é obtda pelo método dos mínmos qadrados
Reajste das lnhas Resltado do reajste das lnhas:
Cálclo da transformação projeta planar Depos do reajste das lnhas do modelo na salzação, ma noa transformação é encontrada e ma noa reconstrção pode ser obtda.
Calbração da câmera A câmera é calbrada sando o método de Tsa, com erro de sobreposção acetáel.
Trabalhando com ma seqüênca Próxma magem da seqüênca A Fltragem para realce de lnhas B3 Reajste das Lnhas A4 Cálclo da transformação projeta planar A5 Calbração da câmera Para a prmera magem, aplcamos o algortmo proposto por ntero. Para otmzar o processo, da segnda magem em dante, tramos proeto do resltado da magem anteror. A transformação projeta planar fnal da magem anteror é sada como a transformação prelmnar para a magem corrente.
Reajste dos segmentos pontos da cena n noo ajste posção do segmento na cena n- posção do segmento na cena n- estmata de posção do segmento para cena n Estmata de posção do segmento na cena n dada sas posções nas cena n- e n-. Faxa de tolerânca sem estmata Faxa de tolerânca com estmata
Algortmo proposto Prmera magem da seqüênca Fltragem para realce de lnhas Reajste dos segmentos Extração de segmentos de retas longos Cálclo da transformação projeta planar Reconhecmento dos segmentos Cálclo da transformação projeta planar prelmnar Reconstrção da salzação do modelo Próxma magem da seqüênca Fltragem para realce de lnhas Calbração da câmera
Herístca para determnar o lmar de corte sado na segmentação Procra m patamar com alor máxmo no gráfco qe nforma o número de segmentos extraídos para cada alor do lmar de corte. Segmentos extraídos 9 8 7 6 5 4 3 0 6 7 8 9 0 3 4 5 6 7 8 9 0 3 4 5 6 7 8 9 30 3 3 33 34 35 36 37 38 39 Lmar
Resltados Seqüênca real Seqüênca artfcal
Resltados
Resltados Algortmo ntero Dferença Va acompanhamento
Resltados Protótpo para testar o algortmo sando ma câmera 8mm Resltado do algortmo sando a câmera posconada conforme a magem acma:
Resltados webcam Sem oclsão Com oclsão
Resltados Otro modelo
Resltados Onde o algortmo falha Falta de ntdez Sombra parcal
Resltados A seqüênca real de teste tem 67 magens Comptador: Pentm III 600MHz Tempo de processamento: 40 mlsegndos Comptador: Pentm 4.7GHz Tempo de processamento: 500 mlsegndos (<< 34 mlsegndos necessáros para processamento em tempo real 30 fps)
Resltados (precsão) Pontos do Campo Coordenadas Corretas Coordenadas Reconstrídas x y z Erro 05,0 68,00 0,00 8,707 6,584 8,73 5,97 0,6 88,5 3,84 0,00 30,7 78,33 8,747 77,55,499 88,5 54,6 0,00,36 83,463 0,44 83,97 0,854 99,5 4,84 0,00 59,039 34,06 58,566 33,85 0,64 99,5 43,6 0,00 46,690 74,86 46,067 74,484 0,7 05,0 30,34 0,00 69,87 55,0 69,69 54,697 0,446 05,0 30,34,44 70,9 8,066 70,5 80,863 0,735 05,0 37,66,44 4,0 94,645 3,9 94,407 0,845 05,0 37,66 0,00 3,405 70,7 3,08 69,876 0,50 Erro Médo 0,696 Comparação entre as coordenadas corretas e reconstrídas para a prmera cena.
Resltados (precsão) Pontos do Campo Coordenadas Corretas Coordenadas Reconstrídas x y z Erro 05,0 68,00 0,00 97,67 05,940 96,79 05,585 0,57 88,5 3,84 0,00 43,883 66,434 43,549 66,0 0,530 88,5 54,6 0,00 6,0 73,74 5,655 7,63 0,709 99,5 4,84 0,00 73,344 4,09 73,5 3,75 0,38 99,5 43,6 0,00 60,67 64,798 60,366 64,4 0,486 05,0 30,34 0,00 84,60 45,73 83,99 44,94 0,309 05,0 30,34,44 85,4 7,90 84,886 7,090 0,407 05,0 37,66,44 38,7 84,768 37,744 84,538 0,447 05,0 37,66 0,00 37,46 60,349 37,5 60,063 0,355 Erro Médo 0,45 Comparação entre as coordenadas corretas e reconstrídas para ma otra cena.
Conclsões A estratéga de ddr a magem em céllas resole bem o problema da extração de segmentos de retas qando a magem contém regões com característcas dersas. Uma boa manera para dentfcar lnhas do modelo na magem é a tlzação do método baseado na árore de nterpretações. Um conjnto de apenas 5 restrções é sfcente. O reajste das lnhas tlzando ma faxa de tolerânca e operando com a magem fltrada e segmentada apresento bons resltados para a noa localzação dos segmentos na seqüênca de qadros. Uma estmata de localzação de segmentos baseada em qadros passados é mportante, podendo condzr a resltados melhores.
Conclsões A herístca apresentada para determnar m alor de lmar tlzado no método de segmentação apresento na prátca resltados satsfatóros. O crtéro qe saza a restrção de paralelsmo mostro-se efcente qando exste ma dstorção perspecta na magem. ) ( ) ( ) ( ) ( ) )( ( ) )( ( t t t t s s s s t t s s t t s s
Conclsões O algortmo proposto gero bons resltados mesmo qando aplcado às magens com rídos captradas de ma transmssão de TV. O algortmo pode ser sado em comptadores pessoas (nenhm hardware especalzado é necessáro). O tempo de processamento é bem abaxo do necessáro para processamento em tempo real. O tempo extra pode ser sado, por exemplo, para desenhar anúncos o propagandas.
Trabalhos ftros Pesqsar otros fltros para realce de lnhas e métodos de segmentação. Obter métodos para determnar o alor do lmar sado na segmentação. Utlzar de forma mas efcente os alores dos pontos da magem resltante do fltro LoG, atraés de fnções de transferênca. Crtéro de paralelsmo: determnar alores para e. Desenoler otras técncas de coletas de pontos para o reajste das lnhas.
Trabalhos ftros Inestgar métodos para sazar a seqüênca de câmeras atraés da aplcação do fltro de Kalman. Desenoler técncas para acompanhar otros objetos qe se moem sobre o modelo, tas como bola e jogadores sobre as lnhas do gramado. Desenhar objetos no campo atrás dos jogadores, dando a mpressão de qe os jogadores estão andando sobre eles.
Trabalhos ftros Chroma Key