Um Estudo das Técnicas de Obtenção de Forma a partir de Estéreo e Luz Estruturada para Engenharia

Transcrição

1 Um Estudo das Técnicas de Obtenção de Forma a partir de Estéreo e Luz Estruturada para Engenharia Aluno: Gabriel Malizia Orientador: Professor Marcelo Gattass Co-Orientador: Professor Paulo Cezar Carvalho

2 Roteiro Introdução. Métodos de codificação de luz estruturada. Sistema estudado. 1. Calibração de câmeras e padrões de calibração. 2. Captura e processamento de imagens. 3. Triangulação e modelo final. Implementação: demonstração. Resultados obtidos. Testes realizados. Conclusões e trabalhos futuros.

3 Introdução Estudo dos métodos estéreos ativos para captura de formas. Voltado para aplicações em engenharia. Precisão nas medidas e robustez na captura de diferentes objetos. Câmeras e projetores acessíveis. Motivação inicial: Visão Computacional.

4 Classificação dos Métodos de Aquisição de Formas Classificação dos métodos de aquisição de formas. Diferentes métodos para diferentes propósitos.

5 Princípio Básico de Métodos Estéreos Ativos: Triangulação Mesmo princípio da visão estéreo. Câmeras calibradas.

6 Princípio Básico de Métodos Estéreos Ativos Dificuldade na correspondência automática entre pontos das duas imagens.

7 Princípio Básico de Métodos Estéreos Ativos Solução: utilizar uma fonte de luz para marcar a cena com padrões conhecidos.

8 Princípio Básico de Métodos Estéreos Ativos Projetor digital como fonte de luz estruturada. Padrões com vários elementos. Cada elemento deve ser codificado univocamente.

9 Métodos de Codificação de Luz Estruturada: Codificação Temporal Projeta seqüencialmente slides com os dígitos do número binário das listras enumeradas. n slides para 2 n listras. Dois níveis de iluminação. Cenas estáticas. Codifica um eixo. [23] Posdamer

10 Métodos de Codificação de Luz Estruturada: Codificação Temporal Codificação de Gray: codificação mais robusta. Fronteiras não são repetidas. Em [10] foram utilizados três canais de cores. 3x menos slides para mesmo número de listras codificadas. [22]Inokuchi

11 Métodos de Codificação de Luz Estruturada: Codificação Espacial Único slide. Vizinhança utilizada para codificar posição. Necessidade de manter a estrutura espacial. [32] Griffin

12 Métodos de Codificação de Luz Estruturada: Codificação Espacial

13 Métodos de Codificação de Luz Estruturada: Codificação Modulada Modula intensidade da luz ao longo de um eixo. Codificação direta. 2 8 níveis de intensidade. Padrão único. Utiliza padrão auxiliar. Restrição a texturas de objetos. Sensível a ruídos. [28] Carihill [30] Tajima

14 Métodos de Codificação de Luz Estruturada: Codificação Modulada

15 Sistema Estudado Codificação temporal. Código de Gray.

16 Calibração de Câmeras Modelo de Tsai. Conjunto de parâmetros extrínsecos dá a orientação da câmera em relação a uma referência fixa: T matriz de translação da câmera. R matriz de rotação.

17 Calibração de Câmeras Conjunto de parâmetros intrínsecos define o as características ópticas, geométricas e digitais da câmera: f distância focal k 1 e k 2 coeficientes de distorção radial das lentes. o x e o y coordenadas do centro da imagem no plano da imagem. s x e s y fatores de escala horizontal e vertical.

18 Calibração de Câmeras f

19 Calibração de Câmeras Inicialmente modelo foi simplificado para o modelo de câmera pinhole. Houve uma necessidade de se tratar as distorções radiais: OpenCV. Calibração feita com padrões de calibração coplanares.

20 Padrões de Calibração Padrão com elipses. Padrão com vértices

21 Padrão com Elipses: Processamento Filtro Threshold Invertido Componentes Conexas A B C

22 Padrão com Elipses: Processamento A C B Bordas das Componentes A C B Centro das Elipses A B A B C C

23 Padrão com Elipses: Resultado

24 Padrão com Vértices: Protótipos

25 Padrão com Vértices: Processamento Filtro Threshold Invertido Bordas das Componentes Conexas em Listas Circulares

26 Padrão com Vértices: Processamento

27 Padrão com Vértices: Processamento Heurística para encontrar vértices nas listas. Dado uma lista de tamanho n: - x m, y m são as coordenadas de um pixel na posição m, com 1 m n. - d x x, y y dá a distância do ponto m ao m p ponto p. p m p m - Para os 2k vizinhos mais próximos ao ponto na posição m podemos definir o somatório: r m k i1 d m mi d m mi

28 Padrão com Vértices: Processamento 1. r m r min 2. r m r, p m k p m k

29 Padrão com Vértices: Processamento > 0 < 0 Fit de Reta

30 Padrão com Vértices

31 Captura e Processamento de Imagens: Ruídos Tratamento de ruídos. - Ruído Gaussiano. - Somado ao valor de cada pixel: - Distribuição Gaussiana: - Imagem média. ), ( ), ( ), ( y x n y x C y x E ) ( x e x G 1 0 ), ( 1 ), ( k i i y x E k y x E

32 Captura e Processamento de Imagens: Ruídos k 1 k 8 Câmera: Sony DFW-VL500

33 Captura e Processamento de Imagens: Codificação Temporal Eixos codificados separadamente com listras horizontais e verticais. n slides produz 2 n listras. As coordenadas codificadas de um pixel são dadas por (u,v), que é diferente das sua coordenadas na imagem da câmera. Listras projetadas devem ter a mesma largura em pixels.

34 Captura e Processamento de Imagens: Seqüência de Imagens

35 Captura e Processamento de Imagens: Detecção de Listras

36 Captura e Processamento de Imagens: Detecção de Listras Critério de avaliação para cada pixel na imagem. Intensidade do Pixel na Imagem do Padrão ND 30 ND 0 Intensidade do Pixel na Imagem do Padrão Inverso

37 Captura e Processamento de Imagens: Detecção de Bordas Resultado da operação.

38 Captura e Processamento de Imagens: Diferentes Exposições

39 Captura e Processamento de Imagens: Pixels Válidos

40 Captura e Processamento de Imagens: Pixels Válidos

41 Captura e Processamento de Imagens: Decodificação Grupos de pixels conexos com mesmo par de coordenadas codificadas. ( u, v)

42 Triangulação: Ponto Médio Ponto representativo com coordenadas da imagem para cada grupo de pixels com coordenadas codificadas ( u, v).

43 Triangulação Triangulação entre os pontos médios de mesma coordenada codificada nas duas câmeras.

44 Triangulação: Nuvem de Pontos Utilizamos pontos de coordenadas codificadas vizinhas para criar polígonos.

45 Triangulação: Modelo Poligonal

46 Triangulação: Modelo Poligonal

47 Triangulação: Modelo Poligonal

48 Triangulação: Textura Imagens do objeto iluminado uniformemente são utilizadas como textura. Uma textura para cada câmera. Ponto médio é utilizado como coordenada de textura do vértice.

49 Triangulação: Textura

50 Implementação: Demonstração

51 Equipamentos Utilizados AMD Athlon XP1600+, com 512MB de memória e placa gráfica NVIDIA FX5600. Câmeras Sony DFW-VL500 da Sony. Projetores CTX EzPro 610 (LCD) e Infocus X1 (DLP).

52 Problemas Ocorridos Padrões de interferência na superfície dos modelos capturados com muitos pontos. Mesmos padrões de interferências encontrados nas imagens.

53 Problemas Ocorridos Um problema que ocorre nas fronteiras das imagens capturadas entre listras claras e escuras projetadas sobre o objeto capturado.

54 Primeiro Teste Padrão com vértices foi capturado pelo sistema. Três diferentes usuários mediram distâncias entre vértices. Calibração feita com os dois padrões.

55 Primeiro Teste Resultados do padrão com elipses. Distâncias médias dos três usuários. Desvio Padrão: 0,066cm

56 Primeiro Teste Resultados do padrão com vértices. Distâncias médias dos três usuários. Desvio Padrão: 0,073cm

57 Segundo Tese Ajuste de Cilindro Uma tubulação de PVC foi capturada. Levanta-se os parâmetros da equação paramétrica de um cilindro que melhor descreve a tubulação utilizada. No final comparamos o raio achado com o raio real da tubulação.

58 Segundo Tese Ajuste de Cilindro p ( s, ) p0 s dirz R cos( ) dirx R sin( ) diry p 0 dirz R - Ponto por onde passa o eixo central. - Direção do eixo central. - Raio do cilindro. dirx, diry e dirz são ortogonais entre si.

59 Segundo Tese Ajuste de Cilindro p0 ( a0, b0, c0) dirz ( u, v, w) Se o eixo não for paralelo ao plano XZ: p0 ( a0,0, c0) dirz ( u,1, w) Queremos minimizar para cada ponto: ( r i ) b R

60 Segundo Tese Ajuste de Cilindro Com: E: r i R 2 2 ) ( c a ),, ( c z y a x p p a ) ( ) ( c z y a x a ) 1 ( ))) ( ( )) ( ( ( w u c z w y a x u c dirz dirz dirz dirz a 0 c

61 Segundo Tese Ajuste de Cilindro Diâmetro médio do tubo: ( 150,3 0,5)mm Colocado em três diferentes posições em relação às câmeras. Câmeras foram calibradas várias vezes com cada um dos dois padrões de calibração.

62 Segundo Tese Resultados Posição A

63 Segundo Tese Resultados Maiores erros: B1 (padrão com elipses) 3,6% C4 (padrão com vértices) 3,5%

64 Conclusões Calibração das câmeras deve ser melhorada. Diferença de resultados entre os dois testes. Método de codificação temporal de luz estruturada foi eficaz para diferentes tipos de objetos. Dificuldade apenas para materiais excessivamente especulares. Resolução das câmeras foi um fator limitante no sistema. Padrão de calibração com vértice pode ser utilizado em outras aplicações em tempo real.

65 Conclusões Método de ajuste de cilindro de utilização simplificada. OpenCV recomendado para aplicações de Visão Computacional em tempo real.

66 Trabalhos Futuros Melhorar a calibração de câmeras do sistema. Possivelmente utilizar calibração 3D. Utilizar melhores câmeras. Buscar outra solução mais portátil.