Local SLAM. Defesa de Dissertação. Mestrado em Informática Lucas Teixeira. Departamento de Informática, PUC-Rio

Transcrição

1 Local SLAM Defesa de Dissertação Mestrado em Informática Lucas Teixeira Departamento de Informática, PUC-Rio

2 Overview Dehnel Consulting Ltd. Use of Commercial Cyclotrons Cyclotron Components Extraction Lens System Scope of the Study Computer Simulation Model Results Acknowledgements Março 2010 Defesa de Dissertação 2

3 Motivação A motivação desse trabalho é o desafio de localizar um objeto dentro de um ambiente conhecido. Março 2010 Defesa de Dissertação 3

4 Motivação Mas isso é realmente um desafio? Afinal o ambiente é conhecido. Março 2010 Defesa de Dissertação 4

5 Motivação Em alguns lugares sim! Março 2010 Defesa de Dissertação 5

6 Motivação Mas os ambientes podem ser organizados Março 2010 Defesa de Dissertação 6

7 Motivação Então existe ou não o desafio de encontrar objetos em lugares conhecidos? Março 2010 Defesa de Dissertação 7

8 Motivação Vamos pensar em outros exemplos Março 2010 Defesa de Dissertação 8

9 Motivação Podemos aumentar... Centro de distribuição da Amazon Circulam Objetos por semana Março 2010 Defesa de Dissertação 9

10 Motivação Podemos aumentar mais... Fabrica do Boeing peças usadas por dia Março 2010 Defesa de Dissertação 10

11 Motivação Encontrar objetos são um desafio quando: Número de objetos muito grande O fluxo é tão grande que os mesmo objetos são colocados em posições diferentes. A pessoa que está procurando o objeto não conhece o ambiente. Março 2010 Defesa de Dissertação 11

12 Objetivo Localizar uma posição em um espaço tridimensional previamente conhecido (e mapeado). Março 2010 Defesa de Dissertação 12

13 Aplicações Problema com tamanho Estoques de fabricas Centros de distribuição Problema com o fluxo Centros de distribuição Problema com o usuário. Museus Bibliotecas Supermercados Março 2010 Defesa de Dissertação 13

14 Algumas soluções existentes Pick-by-list Pick-by-voice Pick-by-light Pick-by-robots Março 2010 Defesa de Dissertação 14

15 Março 2010 Defesa de Dissertação 15

16 Abordagem Nós propusemos uma abordagem baseada visão computacional (Pick-byvision) Pick-by-vision é uma tecnologia ainda em desenvolvimento ainda nenhuma solução comercial por falta de algoritmo de rastreamento. Março 2010 Defesa de Dissertação 16

17 Abordagem O usuário carregará uma câmera e um algum tipo de display. Nosso algoritmo reconhece marcadores naturais e fiduciais no ambiente e interpola a posição da câmera entre os marcadores usando um algoritmo de Visual SLAM. Março 2010 Defesa de Dissertação 17

18 Trabalho Relacionado Visual SLAM(Simultaneous Localisation and Mapping) Março 2010 Defesa de Dissertação 18

19 Local SLAM - Visão geral Em pré-processamento o ambiente é mapeado armazenando a posição 3D de cada marcador. Em tempo real o algoritmo procura por marcadores e em paralelo executa uma algoritmo de SLAM inicializado no ultimo marcador encontrado. Março 2010 Defesa de Dissertação 19

20 Marcadores Fiduciais ARToolKit Plus Março 2010 Defesa de Dissertação 20

21 Marcadores Naturais Detecção de texturas - Speeded-Up Robust Features (SURF) Março 2010 Defesa de Dissertação 21

22 Marcadores Naturais Reconhecimento de texturas Com ponderação em relação a concentração dos pontos chaves Março 2010 Defesa de Dissertação 22

23 Marcadores Naturais Calibração de Câmera Pontos chaves -> DLT + RANSAC -> Homografia Homografia -> Zhang + Intrínsecos -> Extrínsecos Março 2010 Defesa de Dissertação 23

24 Mapeamento Medição de pontos para descobri a posição 3D dos marcadores Março 2010 Defesa de Dissertação 24

25 Visual SLAM Responsável por estimar a posição da câmera na ausência de marcadores Capaz de gerar um mapa de características em tempo real e acompanhá-las No entanto, essa técnica tem problema com o erro acumulado e a perda do rastreamento. Março 2010 Defesa de Dissertação 25

26 Visual SLAM Erro acumulado O erro acumulado é proveniente de medidas feitas sobre outras medidas Outra razão são medidas erradas ocasionais. Março 2010 Defesa de Dissertação 26

27 SLAM x Local SLAM SLAM não usa nenhum conhecimento prévio do ambiente. Enquanto o Local SLAM usa esse conhecimento para resolver o problema do erro acumulado e da perda do rastreamento. Março 2010 Defesa de Dissertação 27

28 SLAM Algoritmo 1 Março 2010 Defesa de Dissertação 28

29 SLAM Algoritmo 2 Março 2010 Defesa de Dissertação 29

30 Heurísticas Heurística 1 - Quando possível Tem como ideia base, que o rastreamento de marcadores sempre melhor que o SLAM Heurística 2 - Apenas com marcador no centro Tem como ideia base, que para o SLAM criar um mapa de qualidade é necessário uma inicialização de qualidade. Março 2010 Defesa de Dissertação 30

31 Heurística 1 - Quando possível Essa heurística reinicializa o SLAM o máximo possível sem impedir que um mapa seja gerado para quando não houver marcadores disponíveis. Para isso delimitamos uma borda e um tamanho mínimo para o marcador Março 2010 Defesa de Dissertação 31

32 Heurística 2 - Apenas com marcador no centro Essa heurística reinicializa o SLAM apenas quando o marcador está na melhor posição possível,ou seja, centralizado e de tamanho grande. Março 2010 Defesa de Dissertação 32

33 Processamento Geral Dois processos em paralelo Processo de Relocalização ARTKP SURF Processo de Principal Atualiza o SLAM Captura Imagem Heurística ou Reinicializa o SLAM Março 2010 Defesa de Dissertação 33

34 Testes Março 2010 Defesa de Dissertação 34

35 Testes Março 2010 Defesa de Dissertação 35

36 Medição em larga escala Erro menor de 5 mm no mapeamento 3D de uma sala de 20 m 2 Março 2010 Defesa de Dissertação 36

37 Erro de mapeamento de uma sala Medição de uma folha de papel A3 Março 2010 Defesa de Dissertação 37

38 Erro de mapeamento em pequena escala Erro menor de 2 mm 20m 12m 8m 9m Março 2010 Defesa de Dissertação 38

39 Precisão na indicação de pontos 3D - Teste Qualitativo Rastreamento por uma parede Março 2010 Defesa de Dissertação 39

40 Precisão na indicação de pontos 3D - Teste Qualitativo Testados: LSLAM-QP heurística quando possível LSLAM-MC heurística marcador ao centro ARTKP ARToolKitPlus SLAM-A Visual SLAM de Davison original LSLAM-ARTKP Local SLAM inicializado sempre que o ARTKP entra um marcador. Video 1 Março 2010 Defesa de Dissertação 40

41 Teste Qualitativo Conclusões ARTKP e LSLAM-ARTKP tem um comportamento muito parecido e inadequado quando existe um trecho de video sem marcadores => novos métodos são necessários. SLAM-A é inadequado para localização em ambientes conhecidos onde os erros precisam ser pequenos e o processo robusto. O resultado LSLAM-MC e do LSLAM-QP são parecidos com o do ARTKP quando o marcador esta aparente na imagem. O LSLAM-MC apresenta erros esporádicos mesmo com o marcador aparecendo em um canto do video. Março 2010 Defesa de Dissertação 41

42 Teste Qualitativo Conclusões Em contrapartida, o LSLAM-MC apresenta erros de reprojeção menores para pontos mais distantes LSALM-QP LSALM-MC Março 2010 Defesa de Dissertação 42

43 Teste Qualitativo Conclusões Local SLAM apresentou erros de 5 a 10 cm para pontos próximos ao marcador de inicialização. Para pontos mais distantes foi possível apenas ter uma indicação grosseira das suas posições, sendo impossível identificá-los. Março 2010 Defesa de Dissertação 43

44 Precisão na indicação de pontos 3D - Teste Quantitativo Nesse teste fizemos um percurso linear com a câmera usando uma haste de tripé. FALTA FOTO Video 2 Março 2010 Defesa de Dissertação 44

45 Precisão na indicação de pontos 3D - Teste Quantitativo Gráfico de erro por distância Março 2010 Defesa de Dissertação 45

46 Precisão na indicação de pontos 3D - Teste Quantitativo Apresenta um erro de 20 cm até pelo menos 80 cm do marcador. É um valor aceitável de erro, no entanto ainda necessita de muitos marcadores. Março 2010 Defesa de Dissertação 46

47 Precisão na indicação de pontos 3D - Teste Quantitativo Gráfico da movimentação da câmera O gráfico que devia ser uma linha reta variando apenas em z também, varia em x cerca de 7 cm e cerca de 20 cm em y. Março 2010 Defesa de Dissertação 47

48 Precisão na indicação de pontos 3D - Teste Quantitativo Nota-se que o algoritmo de SLAM funciona muito melhor para localização da câmera do que para reprojetar objetos virtuais. Março 2010 Defesa de Dissertação 48

49 Inicialização com marcadores naturais Video 3 Março 2010 Defesa de Dissertação 49

50 Inicialização com marcadores naturais Funciona bem frontalmente. Diagonalmente, não funciona tão bem quanto o ARTKP A busca ativa corrige eventuais problemas de atraso no processamento. Março 2010 Defesa de Dissertação 50

51 Conclusões Gerais A estação total cria um mapa de erro praticamente zero, e nas dimensões da sala testada não é necessário múltiplas medições nem otimização. o Local SLAM se mostrou ser capaz de rastrear a posição da câmera por ambientes conhecidos. No entanto, o algoritmo de SLAM usado (Davison) se mostrou capaz apenas de rastrear a posição da câmera com qualidade por uma distância muito pequena a partir do marcador no qual foi inicializado. A idéia de se utilizar uma mistura de marcadores naturais e fiduciais se mostrou adequada para os objetivos do trabalho. Março 2010 Defesa de Dissertação 51

52 Trabalhos Futuros reinicialização baseado em objetos não planares, detecção de movimento em imagens borradas Outros filtros(partícula, UKF,...) Acelerômetros e giroscópios. Março 2010 Defesa de Dissertação 52

53 Agradecimentos Aos meus orientadores A Fabíola Aos meus companheiros de laboratório Daniel Pustka e Michael Loesler Março 2010 Defesa de Dissertação 53