iar 2.0: API o,mizada para aplicações de entretenimento em realidade aumentada na plataforma ios

Transcrição

1 iar 2.0: API o,mizada para aplicações de entretenimento em realidade aumentada na plataforma ios Állan Milbratz de Camargo Orientador: Dalton Solano dos Reis FURB Universidade Regional de Blumenau DSC Departamento de Sistemas e Computação Grupo de Pesquisa em Computação Gráfica, Processamento de Imagens e Entretenimento Digital

2 Roteiro ü Introdução ü Fundamentação ü Desenvolvimento ü Operacionalidade ü Resultados ü Conclusões ü Demonstração

3 Introdução iphone Augmented Reality 2.0 ü API de realidade aumentada para ios ü Novas versões das bibliotecas e SO ü Processamento paralelo com SIMD

4 Fundamentação API de Realidade Aumentada ü Desenvolvida por Jonathan Hess em 2011/2 ü Objetos virtuais sobrepostos ao mundo real ü Plataforma ios versão 4 ü Necessitava de o,mizações

5 Fundamentação Novas versões ü Plataforma ios versão 6 ü OpenCV versão ü ArUco versão ü Adicionada arquitetura Armv7s

6 Fundamentação Processamento paralelo ü Single Instruc2on Mul2ple Data ü Módulo NEON do processador ARM ü Extensão de 128 bits para a arquitetura ARM ü 32 registradores com 64 bits de largura ü Dados de 8, 16, 32 e 64 bits em ponto flutuante ou inteiros

7 Fundamentação Trabalho correlato: AR Defender

8 Fundamentação Trabalho correlato: Vuforia

9 Requisitos a) permi,r a captura de imagens através da câmera digital do disposi,vo móvel (RF); b) u,lizar processamento paralelo em tarefas complexas e/ou extensas (RF); c) disponibilizar de forma paramétrica os algoritmos de RA necessários para se criar uma aplicação de entretenimento (RF); d) ser implementada para a plataforma ios (RNF).

10 Casos de uso

11 Classes

12 Sequência RA

13 Desenvolvimento ü XCode ü Instruments ü Enterprise Architect ü SourceTree ü Bitbucket ü CMake Ferramentas

14 Desenvolvimento Primeiro passo: analisar o desempenho

15 Desenvolvimento Método de threshold adapivo 1. Filtro da imagem para comparação com a original 2. Designar zero ou o valor máximo (255) para cada pixel

16 Desenvolvimento Box filter Média ponderada dos vizinhos de cada pixel 1 definir kernel 2 calcular denominador 3 buscar o próximo vizinho, aplicar peso 4 calcular média, gravar no endereço de saída

17 Conversão de ro,nas para assembler C++

18 Desenvolvimento Execução paralela com SIMD 1. Definição dos índices de busca Para cada 8 pixels: 2. Preparação dos registradores 3. Cáculo da média u,lizando shij right accumulate 4. Gravar o resultado em memória

19 Conversão de ro,nas para assembler C++ e SIMD

20 Conversão de ro,nas para assembler ASM e SIMD

21 Desenvolvimento Método de threshold adapivo ü Filtro da imagem para comparação com a original 2. Designar zero ou o valor máximo (255) para cada pixel

22 Desenvolvimento Execução paralela com SIMD 1. Carga dos registradores constantes Para cada 8 pixels: 2. Carga dos registradores que serão comparados 3. Realizar comparação dos valores e atribuir o valor 4. Gravar o resultado em memória

23 Método de threshold

24 Operacionalidade

25 Operacionalidade Opções de interface ü Alternar entre modelos 3D e arestas simples ü Visualizar informações de desempenho ü Visualizar detalhes de desempenho

26 Resultados CaracterísIcas dos testes ü Versão 1.0 compilada para ios 6 ü Realizados com o disposi,vo iphone 4S ü ARM Cortex- A9, dois núcleos de 800 MHz ü 512 MB de memória DDR2

27 Resultados Consumo de memória Número de marcadores Memória (Megabytes) iar iar2 1 2,52 2,53 2 2,53 2,54 3 2,54 2,55

28 Resultados Desempenho global Número de marcadores Quadros por segundo Tempo de Detecção (milisegundos) iar iar2 iar iar2 1 8,50 13,00 126,20 75,15 2 7,40 11,00 140,33 90,50 3 5,91 10,13 170,12 100,53

29 Resultados Desempenho das etapas de RA Etapa de RA Tempo de execução (milisegundos) iar iar2 Escala de cinza 2,35 2,35 Threshold 40,33 1,30 Detectar retângulos 40,13 33,42 Iden,ficação marcadores 28,93 24,12 Refinar cantos 1,05 0,05 Remover duplicatas 0,05 0,02 Calcular matriz de posição 13,15 11,72

30 Resultados Desempenho das versões do algoritmo de threshold Tipo de codificação Tempo de execução (milisegundos) C++ 13,35 C++ e SIMD 8,50 Assembler e SIMD 1,30

31 Conclusão iphone Augmented Reality 2.0 ü Realidade aumentada com desempenho melhorado ü Manteve as caracterís,cas funcionais da versão 1.0 ü Ro,nas o,mizadas com SIMD e Assembler ü Ainda há espaço para o,mizações ü Open source

32 Extensões ü O,mizar ainda mais o motor de detecção, u,lizando threads; ü Explorar os recursos de marcadores compostos; ü Implementar o reconhecimento de marcadores criados pelo usuário; ü Desenvolver mais a parte de renderização dos objetos 3D; ü Tornar a API mais independente da plataform ios, visando compilar para outras plataformas ARM.

33

34 Amostra de buffer: ü Box filter

35 Amostra de buffer: ü Threshold

36 Sequência Macro

37 Método de threshold