Calibração de múltiplas câmeras baseada em um padrão invariante. (Multiple camera calibration based on invariant pattern)

Transcrição

1 Calibração de múltiplas câmeras baseada em um padrão invariante (Multiple camera calibration based on invariant pattern) Manuel Eduardo Loaiza Fernandez Marcelo Gattass (orientador) Alberto B. Raposo (co-orientador) 1

2 Sumario Introdução Motivação Objetivos Múltipla calibração de câmeras Conceitos básicos. Métodos existentes. Método proposto. Testes e Resultados Conclusões e trabalhos futuros 2

3 Introdução Uma linha de pesquisa muito atraente nos últimos anos tem sido a área de realidade virtual e aumentada. No desenvolvimento de aplicações nessa área uma ferramenta chave são os sistemas de rastreamento. 3

4 Introdução Diversas tecnologias tem sido propostas na implementação dos sistemas de rastreamento como: sonora, eletro-magnética, mecânica, óptica e híbrida. 4

5 Introdução A tecnologia óptica tem prevalecido por algumas vantagens como: Disponibilidade e baixo custo do equipamento. Não poluição do campo de rastreamento. 5

6 Introdução A precisão alcançada no cálculo da posição 3D dos objetos rastreados está diretamente relacionada a uma correta e precisa calibração das câmeras. 6

7 Motivação Montar um sistema de múltiplas câmeras com equipamentos de baixo custo. 7

8 Objetivo Propor um novo método para calibração simultânea de várias câmeras que seja simples, robusto e preciso. 8

9 Objetivo Requisitos para o sistema desejado: Deve ser flexível ao permitir estender o número de câmeras que serão calibradas. Rápido e simples de executar por parte do usuário. Conseguir uma calibração válida entre as diversas câmeras que permita uma boa precisão na recuperação da posição 3D dos objetos rastreados ( < 5mm ). 9

10 Resumo das contribuições Novo padrão tem mais informações geométricas que outros da literatura. Permite a captura e o reconhecimento pontos de referência de forma mais simples e robusta. Melhora a precisão da calibração em função dos relações geométricas do padrão. 10

11 Framework conceitual para a calibração de câmeras Sistema estéreo de câmeras Sistema de múltiplas câmeras 1. Aquisição de dados 2. Calibração inicial 3. Otimização 11

12 1 ra Etapa: Aquisição de dados Processo de captura de pontos de referência usados como dados de entrada para os diferentes cálculos realizados no processo de calibração das câmeras. Esta etapa tem como principal componente: o padrão de calibração. 12

13 1 ra Etapa: Aquisição de dados Padrão de calibração é uma objeto sintético em cuja estrutura encontram-se marcadores específicos que definirão pontos de referência. Alguns tipos de padrões usados são: a) Padrão Planar. b) Padrão Unidimensional. c) Padrão Adimensional. 13

14 1 ra Etapa: Aquisição de dados Padrão Planar Permite extrair vários pontos de referência por vista do padrão. O formato oferece várias informações físicas como distâncias entre marcadores, colinearidade. Possui restrições na correta visualização simultânea do padrão em sistemas onde temos mais de duas câmeras. Padrões planares usados em trabalhos como, (a) Bouguet[3], (b) Zhang[18] e Tsai[14] e (c) Heikkila[5]. 14

15 1 ra Etapa: Aquisição de dados Padrão Unidimensional Permite extrair dois pontos de referência por vista padrão. Este formato oferece a distância entre os marcadores como informação física. Poucas restrições na visualização simultânea em sistemas com mais de duas câmeras. Problemas com a detecção de falsos marcadores que podem ser considerados como parte do padrão e oclusão. 15

16 1 ra Etapa: Aquisição de dados Padrão Adimensional Permite extrair um ponto de referência por vista do padrão. O formato não oferece informação física útil. Não tem restrições na visualização simultânea em sistemas com mais de duas câmeras. Problemas mais graves com a detecção de falsos marcadores que podem ser considerados como parte do padrão e oclusão. 16

17 2 da Etapa: Calibração inicial O objetivo é analisar os diferentes métodos utilizados para calcular o valor inicial dos parâmetros das câmeras. Conceitos importantes são: Modelo de câmera Parâmetros das câmeras. Podem ser agrupados em dois tipos básicos de métodos: fotogramétrico e auto-calibração. 17

18 Modelo de câmera Modelo de câmera é uma forma conceitual de definir como funciona internamente um dispositivo de captura de imagem. Tem como objetivo modelar o processo que leva um ponto 3D do espaço físico enxergado por uma câmera para um ponto 2D posicionado dentro da imagem. 18

19 Calibração de câmera O modelo de câmera apóia-se na definição de alguns parâmetros. A calibração de câmera é o conjunto de processos que permite calcular um valor adequado para estes parâmetros. 19

20 Calibração de câmera: parâmetros Internos ou intrínsicos. Distancia focal (fx, fy). Centro da imagem(u 0, v 0 ). Externos ou extrínsicos. Matriz de rotação ( R ). Vetor de translação ( T ). 20

21 Calibração de câmera: parâmetros Coeficientes da distorção das lentes. Radial (k1,k2). Tangencial (p1,p2). Tipos de distorção pincushion e barrel. Barrel Pincushion 21

22 3 ra Etapa: Otimização As soluções iniciais satisfazem uma aproximação algébrica linear para um problema que não é linear (modelo de câmera real com distorção da lentes). Algoritmos de minimização não-linear tentam melhorar a estimativa inicial obtida para os parâmetros, com base no valor do erro produzido por funções de controle que verificam os valores de certas características fornecidas pelo formato dos padrões através de: Reprojeção 3D 2D. Reprojeção 2D 2D. Distância 3D entre pontos de referência reconstruídos. 22

23 3 ra Etapa: Otimização Reprojeção 3D 2D: Posição 2D extraída (u,v) diferente a posição reprojetada 2D (u,v ) 23

24 3 ra Etapa: Otimização Reprojeção 2D 2D: 24

25 3 ra Etapa: Otimização Distância 3D entre pontos de referência reconstruídos: dcd dab dbc dab!= d AB dbc!= d BC dcd!= d CD d CD d AB d BC C D A B 25

26 Principais Trabalhos Relacionados Método proposto por Borghese et al. (2000) e adotado em sistemas de rastreamento óptico comerciais como ART GmbH (2009) e VICON (2009). Método proposto por Svoboda et al (2005), modificado para funcionar num sistema estéreo proposto por Pintaric et al. (2007) e adotado para uso no sistema de rastreamento óptico comercial chamado IOTracker (2009) Método proposto por Kurillo et al (2008) exemplifica o problema de sistemas múltipla calibração de câmeras com distribuição centralizada e descentralizada. Método proposto por Jean-Yves Bouguet (2008). 26

27 Calibração de câmeras estéreo Método proposto por Jean-Yves Bouguet (2008) : Aquisição de dados: padrão planar com formato de tabuleiro de xadrez. Calibração inicial: método fotogramétrico. Otimização: usando informação da reprojeção 3D 2D dos pontos de referência extraídos da superfície do padrão planar. 27

28 Calibração de câmeras estéreo Pode-se capturar muitos pontos de referência por vista do padrão A captura da amostra de vistas do padrão planar é difícil pelos problemas de visibilidade deste tipo de padrão. Não extensível para um sistema múltipla calibração. 28

29 Calibração de câmeras estéreo Método proposto por Borghese et al. (2000): Aquisição de dados: padrão planar em formato de L e uma barra com dois marcadores em cada extremo (padrão unidimensional). Calibração inicial: método de auto-calibração. Otimização: reprojeção 2D 2D dos pontos de referencia capturados e extraídos desde a amostra do padrão unidimensional e a distância 3D entre os marcadores. 29

30 Calibração de câmeras estéreo Na calibração inicial a extração dos parâmetros internos e externos é feita a partir da decomposição da matriz fundamental (auto-calibração). Precisa de um processamento adicional para realizar uma correta correspondência entre as imagens dos pontos que conformam a barra com 2 marcadores. Otimização baseada no erro de reprojeção 2D-2D e distancia 3D entre os marcadores do padrão. Extensível para um sistema múltipla calibração. 30

31 Múltipla calibração de câmera Método proposto por Svoboda et al. (2005) e modificado por Pintaric et al(2007): Aquisição de dados: padrão planar e padrão adimensional (ponteiro laser, marcador esférico). Calibração inicial: híbrido fotogramétrico e autocalibração. Otimização: reprojeção 3D 2D dos pontos de referencia capturados com o padrão adimensional. 31

32 Múltipla calibração de câmera Calibração inicial alguns parâmetros internos e de distorção das lentes ( radial, tangencial) precisam ser pré calculados (método fotogramétrico). Só a função de erro de reprojeção 3D-2D pode ser usada na otimização. Correspondência 2D entre os pontos da referência nas diferentes câmeras precisam de um pós processamento para detectar falsas correspondências. Distribuição de câmeras centralizado. 32

33 Múltipla calibração de câmera Método proposto por Kurillo et al. (2008): Aquisição de dados: padrão planar e unidimensional. Calibração inicial: híbrido fotogramétrico e auto-calibração. Otimização: reprojeção 2D 2D e distância 3D entre marcadores do padrão unidimensional. 33

34 Múltipla calibração de câmera Calibração parâmetros internos e de distorção das lentes calculados com método fotogramétrico, os parâmetros externos são calculados com um método de auto-calibração. Correspondência 2D entre pontos da amostragem precisam de um pós processamento para detectar falsas correspondências. Analisa o problema de distribuição de câmeras, suporta sistemas centralizados e descentralizados. 34

35 Método proposto Aquisição de dados: padrão planar(intrínsicos) e padrão invariante (unidimensional) proposto por Loaiza et al. (2007). Calibração inicial: híbrido fotogramétrico e auto-calibração. Otimização: pode usar as funções de controle: reprojeção 3D 2D, reprojeção 2D 2D, distância 3D entre os marcadores e adicionar duas funções derivadas da medição da colinearidade dos marcadores tanto em 2D (imagem) como 3D(reconstrução 3D). 35

36 Método proposto Aquisição de dados: padrão invariante Este padrão tem suas origens em uma técnica proposta na área de processamento e reconhecimento de imagens aéreas conhecida como P2-invariant, que está baseada nas propriedades do cross ratio definido por 4 pontos colineares, e foi proposta por Meer et al.(1993). Essa técnica foi adaptada para definir um método robusto para reconhecimento deste tipo de padrão por Loaiza et al (2007) e Texeira et al(2008). 36

37 Método proposto As principais características deste padrão são: Possui um método especifico para seu reconhecimento. Pode se criar um identificador único para cada padrão colinear. Uma vez identificado o padrão também podemos reconhecer individualmente cada marcador que o compõe. Para uma correta diferenciação de um padrão invariante em relação ao outro as distâncias entre os 4 marcadores devem ser diferentes (restrição). 37

38 Método proposto Algumas características adicionais: O método precisa de uma etapa de treinamento para calcular o identificador único para cada padrão invariante (em cada câmera). Todo o processo de reconhecimento do padrão é feito só com informação das posições 2D na imagem dos marcadores que compõem o padrão. 38

39 Método proposto Algumas características adicionais: Ao poder identificar individualmente cada padrão invariante é viável usar simultaneamente mais de um destes padrões para captura de uma amostra de vistas para calibração. 39

40 Método proposto Algumas características adicionais: 2 padrões simultaneamente. 40

41 Método proposto Calibração inicial: Método fotogramétrico usado para o calcular os parâmetros intrínsecos e coeficientes de distorção das lentes. Método de auto-calibração usado para calcular os parâmetros extrínsecos (R e t ) entre as câmeras. 41

42 Método proposto Otimização: Propomos uma nova função de erro composta pelas funções de controle convencionais: Reprojeção 3D 2D. Reprojeção 2D 2D. Distância 3D entre pontos de referência reconstruídos. E modelamos mais duas funções extraídas do formato do padrão proposto: Medida da colinearidade entre os marcadores em 2D (Posição 2D dos marcadores na imagem) e 3D (Posições 3D dos marcadores reconstruídos). 42

43 Método proposto Otimização: A colinearidade 2D está diretamente ligada a correção da distorção das lentes, nesse processo são utilizados o valor dos parâmetros intrínsecos e coeficientes de distorção das lentes. A colinearidade 3D está diretamente ligada ao processo de reconstrução 3D das posições dos marcadores, nesse processo são utilizados o valor dos parâmetros intrínsecos e extrínsecos. 43

44 Implementação A partir do framework proposto foi feita uma implementação geral que permite a simulação dos diversos métodos citados. Implementados 3 módulos. 44

45 Implementação Modulo 1: captura e calibração inicial fotogramétrica. 45

46 Implementação Modulo 2: captura amostra padrões invariantes. 46

47 Implementação Modulo 3: auto-calibração e otimização da calibração. 47

48 Testes Para testar e comparar o método proposto montamos uma infraestrutura formada por mais de duas câmeras. O equipamento utilizado foi: 2 câmeras web e 4 câmeras firewire. 2 tripés. 2 padrões invariantes. 1 padrão planar. 1 computador. (a) Cameras web, (b) e (c) Cameras firewire 48

49 Teste Foram montados 2 sistemas X e Y. Sistema X: quatro câmeras firewire. Sistema Y: duas câmeras web e duas câmeras firewire. Capturamos e processamos num só computador as imagens vindas das 4 câmeras mantendo uma taxa 30 fps. Sistema X Sistema Y 49

50 Teste Principais objetivos do teste: Testar se a característica adicional de colinearidade que o padrão invariante possui pode contribuir a obter melhores resultados quando inserido dentro da função de erro usada para otimizar os parâmetros das câmeras. Testar se a precisão alcançada na recuperação da posição 3D avaliada pela função que mede a distância 3D entre os marcadores do padrão, consegue ser igual ou melhor que as alcançadas por outros métodos encontrados na literatura. dab dbc dcd 50

51 Teste: metodologia Metodologia do teste: Modelar e implementar diversas funções de erro formadas basicamente por funções de controle convencionais. Implementaremos funções de erro onde adicionamos as funções de controle derivadas da colinearidade 51

52 Teste: funções de erro Função de erro 1: simula o ambiente de calibração definido pelos métodos de Borghese et al. (2000), Kurillo et al. (2008) e Uematsu et al. (2007). Função de erro 2: Função de erro 3: simula o ambiente de calibração definido pelo método descritos por Bouguet et al (2008). Função de erro 4: 52

53 Teste: funções de erro Função de erro 5: simula um ambiente de calibração onde todas as funções de controle convencionais podem ser utilizadas, definindo uma função de erro global robusta. Função de erro 6: Função de erro 7: simula o ambiente de calibração definido pelos métodos descritos por Svoboda et al.(2005) e Pintaric et al. (2007). Só a função de controle de reprojeção 3D-2D é usada. Função de erro 8: 53

54 Resultados Resumo percentual dos resultados alcançados com o teste feito sobre o sistema X, onde mostramos o ganho ou perda dos resultados da calibração realizada com as funções par (usam a colinearidade) em comparação as impar (não usam a colinearidade). 54

55 Resultados Resumo dos resultados alcançados com o teste feito sobre o sistema Y. O ganho percentual médio quase sempre favoreceu as funções par que foram as que incluíram as funções de colinearidade do padrão invariante. O ganho médio percentual foi de 3.9%, e tivemos uma calibração onde obtivemos um ganho máximo de 18% e no pior caso uma perda de 0,96%. 55

56 Resultados O valor do erro médio alcançado na função que mede a distância 3D entre os marcadores foi de 1.43 ± 0,7mm, o que consideramos muito bom por ficar bem abaixo no limite de 5mm permitido em sistemas de rastreamento óptico comerciais. A seguir é mostrada uma comparação deste tipo de erro de medição 3D onde citamos resultados de outros métodos propostos academicamente e alguns fornecidos por especificações de produtos comerciais. 56

57 Resultados Vantagens que nosso padrão invariante oferece em relação a outros padrões de calibração. 4 pontos de referência recuperados por vista do padrão analisado comparado a 2 do padrão unidimensional (barra com dois marcadores) e 1 no caso do padrão adimensional. Possibilidade de usar mais de um padrão invariante simultaneamente na captura de amostras de pontos referenciais. Maior robustez em relação ao processo de identificação grupal e individual dos padrões e os marcadores que o compõem, baseada na técnica de reconhecimento desenvolvida para o tipo de padrão invariante. Desvantagem em comum tanto no padrão invariante, unidimensional e adimensional é a oclusão dos marcadores. 57

58 Conclusões Como resultado desta tese foi proposto a modelagem e implementação de um novo método de múltipla calibração de câmeras, baseado na proposta de um novo tipo de padrão de calibração (padrão invariante). O formato do padrão invariante proposto como parte do método fornece várias características físicas importantes que melhoraram os resultados da calibração e posterior otimização dos parâmetros das câmeras. 58

59 Conclusões Os resultados dos testes realizados mostraram que: A utilização da característica de colinearidade melhora os resultados do processo de calibração das câmeras. Conseguimos uma boa precisão milimétrica semelhante e melhor a outros métodos propostos na literatura, isto levando em conta que nosso sistema de câmeras não conta com o recurso de sincronismo entre câmeras que é uma característica importante presente em sistemas mais profissionais. Esta tese também propõe a concepção de um framework conceitual que é pode ser tornar uma ferramenta de apoio muito útil para analisar as etapas e os processos que compõem um método de múltipla calibração de câmeras. 59

60 Trabalhos futuros Algumas trabalhos mais concretos que gostaríamos de testar a curto prazo seriam: Testar nosso método de calibração num sistema de câmeras com sincronismo. Aprimorar o processo de extração e identificação da posição 2D dos marcadores do padrão na imagem. Aprimorar o framework conceitual para ser complementado e estendido com o analise de mais métodos de calibração existentes na literatura. Implementar um sistema de rastreamento óptico sobre nosso sistema de 6 câmeras e estendê-lo para suportar aplicações de captura movimento. Testar nosso método em sistemas de reconstrução 3D (scanner 3D) onde a precisão milimétrica é requerida. 60

61 Áreas de aplicação da teoria múltipla calibração de câmeras Sistemas de rastreamento óptico, usadas em aplicações de realidade virtual e aumentada. 61