Mapeamento de ambientes e processamento visual utilizando Kinect

Tamanho: px
Começar a partir da página:

Download "Mapeamento de ambientes e processamento visual utilizando Kinect"

Transcrição

1 Mapeamento de ambientes e processamento visual utilizando Kinect Mário Alberto Cecchi Raduan Bolsista PIBIC/UFRJ Orientador: Adriano Joaquim de Oliveira Cruz, PhD Laboratório de Inteligência Computacional NCE - UFRJ XXXV JICTAC 1 de outubro de 2013 Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

2 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

3 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

4 Motivação Robótica Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

5 Motivação Robótica SLAM: Simultaneous Localization and Mapping Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

6 Motivação Robótica SLAM: Simultaneous Localization and Mapping Diculdades com os sensores disponíveis no laboratório Sensores de distância: baixa conabilidade e pouca informação Sensores de visão: diculdade para extrair informações relevantes Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

7 Motivação Robótica SLAM: Simultaneous Localization and Mapping Diculdades com os sensores disponíveis no laboratório Sensores de distância: baixa conabilidade e pouca informação Sensores de visão: diculdade para extrair informações relevantes Kinect Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

8 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

9 Kinect Acessório do videogame Xbox 360 Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

10 Kinect Acessório do videogame Xbox 360 Dispositivo RGB-D: integração entre um sensor de profundidade e uma câmera de vídeo Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

11 Kinect Acessório do videogame Xbox 360 Dispositivo RGB-D: integração entre um sensor de profundidade e uma câmera de vídeo Até pontos por frame (VGA) Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

12 Kinect Acessório do videogame Xbox 360 Dispositivo RGB-D: integração entre um sensor de profundidade e uma câmera de vídeo Até pontos por frame (VGA) 30 leituras por segundo (30 Hz) Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

13 Kinect Acessório do videogame Xbox 360 Dispositivo RGB-D: integração entre um sensor de profundidade e uma câmera de vídeo Até pontos por frame (VGA) 30 leituras por segundo (30 Hz) US$ 99 Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

14 Microsoft Kinect Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

15 O modelo RGB-D Cada pixel possui duas informações: Níveis de cores RGB: red, green, blue Profundidade (em metros) A biblioteca utilizada libfreenect nos dá essas informações em duas estruturas separadas: uma para a imagem RGB e outra para a profundidade de cada ponto Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

16 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

17 Objetivo 1 Reconstruir virtualmente, em 3D, a cena vista pelo Kinect Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

18 Objetivo 1 Reconstruir virtualmente, em 3D, a cena vista pelo Kinect 2 Resolver a questão da localização agregando informações de várias cenas Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

19 Objetivo 1 Reconstruir virtualmente, em 3D, a cena vista pelo Kinect 2 Resolver a questão da localização agregando informações de várias cenas 3 Construir um mapa 3D de um ambiente explorado com um Kinect Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

20 Objetivo 1 Reconstruir virtualmente, em 3D, a cena vista pelo Kinect 2 Resolver a questão da localização agregando informações de várias cenas 3 Construir um mapa 3D de um ambiente explorado com um Kinect P. Henry, M. Krainin, E. Herbst, X. Ren, D. Fox, RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments, 2012, The International Journal of Robotics Research Projeto LabicKinect! Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

21 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

22 Como funciona Da maneira mais simples, o algoritmo pode ser descrito como: 1 O mapa do mundo começa vazio 2 A cada iteração, extrair a imagem RGB-D do Kinect 3 Alinhar a cena atual com as cenas anteriores 4 Adicionar a cena atual ao mapa do mundo Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

23 O algoritmo (rgbprevious, depthprevious) grabkinectframe() featuresprevious extractrgbfeatures(rgbprevious) cloudprevious generate3dpointcloud(rgbprevious, depthprevious) world cloudprevious while kinect is receiving frames do (rgbcurrent, depthcurrent) grabkinectframe() featurescurrent extractrgbfeatures(rgbcurrent) cloudcurrent get3dpointsfrom2d(rgbcurrent, depthcurrent) relatedfeatures matchfeatures(featuresprevious, featurescurrent) (transformation, inliers) ndalignment(cloudcurrent, cloudprevious, relatedfeatures) cloudcurrent applytransformation(cloudcurrent, transformation) world world pointcloudcurrent (rgbprevious, depthprevious) (rgbcurrent, depthcurrent) featuresprevious featurescurrent transformationprevious transformation end Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

24 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

25 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

26 Processamento de imagem Processamento da imagem RGB: biblioteca OpenCV Extração de características (features) da imagem: Fast Corner Detector Descritores de características: BRIEF Descriptors Associação de características: Brute Force Matcher Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

27 Processamento de imagem Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

28 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

29 Transformação de coordenadas Considere dois universos S e T, com n pontos em R 3 cada um. S = {s 1, s 2,..., s n }, T = {t 1, t 2,..., t n } Considere que S é uma representação de T em um diferente sistema de coordenadas. Diremos que um ponto s i corresponde a t i em outro sistema de coordenadas (1 i n). Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

30 Transformação de coordenadas Considere dois universos S e T, com n pontos em R 3 cada um. S = {s 1, s 2,..., s n }, T = {t 1, t 2,..., t n } Considere que S é uma representação de T em um diferente sistema de coordenadas. Diremos que um ponto s i corresponde a t i em outro sistema de coordenadas (1 i n). Seja F (p) uma transformação R 3 R 3, que consiste em uma matriz de rotação r e um vetor de translação t. F (p) = r p + t Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

31 Transformação de coordenadas Considere dois universos S e T, com n pontos em R 3 cada um. S = {s 1, s 2,..., s n }, T = {t 1, t 2,..., t n } Considere que S é uma representação de T em um diferente sistema de coordenadas. Diremos que um ponto s i corresponde a t i em outro sistema de coordenadas (1 i n). Seja F (p) uma transformação R 3 R 3, que consiste em uma matriz de rotação r e um vetor de translação t. F (p) = r p + t F (s i ) t i i Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

32 Transformação de coordenadas Considere dois universos S e T, com n pontos em R 3 cada um. S = {s 1, s 2,..., s n }, T = {t 1, t 2,..., t n } Considere que S é uma representação de T em um diferente sistema de coordenadas. Diremos que um ponto s i corresponde a t i em outro sistema de coordenadas (1 i n). Seja F (p) uma transformação R 3 R 3, que consiste em uma matriz de rotação r e um vetor de translação t. F = argmin F ( F (p) = r p + t F (s i ) t i i 1 inliers i inliers F (S i ) T i 2 ) Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

33 Transformação de coordenadas Solução proposta: método de Horn Berthold K. P. Horn, Closed-form solution of absolute orientation using unit quaternions, USA, 1986 Implementação escolhida: Point Cloud Library (PCL) Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

34 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

35 Otimizando a solução O alinhamento entre dois frames pode ser impreciso por muitos motivos. Os features podem ter sido mal extraídas, gerando features ambíguos A associação entre features pode ter combinado features não correspondentes A informação de profundidade do Kinect pode estar incompleta durante a captura (pontos oclusos) Métodos de orientação absoluta podem ter um grande erro quando aplicados a universos imprecisos. Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

36 Otimizando a solução O alinhamento entre dois frames pode ser impreciso por muitos motivos. Os features podem ter sido mal extraídas, gerando features ambíguos A associação entre features pode ter combinado features não correspondentes A informação de profundidade do Kinect pode estar incompleta durante a captura (pontos oclusos) Métodos de orientação absoluta podem ter um grande erro quando aplicados a universos imprecisos. Uma solução para contornar esses erros é reduzir a amostra de pontos usada para encontrar a transformação. Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

37 Otimizando a solução O alinhamento entre dois frames pode ser impreciso por muitos motivos. Os features podem ter sido mal extraídas, gerando features ambíguos A associação entre features pode ter combinado features não correspondentes A informação de profundidade do Kinect pode estar incompleta durante a captura (pontos oclusos) Métodos de orientação absoluta podem ter um grande erro quando aplicados a universos imprecisos. Uma solução para contornar esses erros é reduzir a amostra de pontos usada para encontrar a transformação. RANSAC: Random Sample Consensus Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

38 Otimizando a solução: RANSAC 1 Dene-se um número mínimo n de pontos necessários para executar um modelo 2 Seja P o conjunto contendo todos os pontos, P > n 3 Seleciona-se um subconjunto S1 contendo n pontos de P (S1 P), escolhidos aleatoriamente 4 O modelo M1 é estimado a partir dos pontos em S1 5 Usando M1, determinamos o conjunto S1 de pontos de P que estão dentro de um erro tolerável (inliers) 6 O conjunto S1 é chamado de conjunto de consenso de S1 7 Se S1 é maior que um certo limite t, usar S1 para estimar o modelo M1 8 Caso o erro obtido por M1 seja aceitável, encontramos um bom modelo 9 Caso contrário, guardo o melhor modelo encontrado após todas as iterações Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

39 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

40 Resultados Projeto ainda em andamento. Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

41 Resultados Projeto ainda em andamento. Algumas estatísticas de execução: (valores aproximados) pontos válidos por frame do Kinect (81%) 190 features extraídos por imagem 25% dos features inválidos por falta de profundidade 100 associações entre as imagens por reconstrução 30% das associações descartadas por falta de profundidade 5 segundos por reconstrução (com a atualização do mapa no disco) Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

42 Testes Teste 1: Alinhamento entre duas cenas iguais (nenhum movimento) Transformação esperada: identidade Transformação obtida: F = Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

43 Testes Teste 2: Alinhamento entre cenas aumentando a inclinação vertical do Kinect Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

44 Sumário 1 Motivação 2 Kinect 3 Objetivo 4 O algoritmo 5 As técnicas utilizadas Visão computacional: processamento de imagem Alinhamento de cenas: transformação de coordenadas Otimização das solucões: minimização de erro 6 Resultados 7 Conclusões Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

45 Conclusões Muita informação é descartada pois não possui dado de profundidade correspondente, por estar em uma área de sombra do sensor infravermelho (oclusão) Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

46 Conclusões Muita informação é descartada pois não possui dado de profundidade correspondente, por estar em uma área de sombra do sensor infravermelho (oclusão) São necessárias mais etapas de otimização do alinhamento, uma vez que o erro varia bastante e é cumulativo a cada iteração Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

47 Conclusões Muita informação é descartada pois não possui dado de profundidade correspondente, por estar em uma área de sombra do sensor infravermelho (oclusão) São necessárias mais etapas de otimização do alinhamento, uma vez que o erro varia bastante e é cumulativo a cada iteração Há um grande custo de espaço para manter um mapa com muitas cenas, pois cada cena acumula cerca de 10MB no mapa É necessário eliminar redundância para uma representação mais compacta das cenas (downsampling) Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

48 Conclusões Muita informação é descartada pois não possui dado de profundidade correspondente, por estar em uma área de sombra do sensor infravermelho (oclusão) São necessárias mais etapas de otimização do alinhamento, uma vez que o erro varia bastante e é cumulativo a cada iteração Há um grande custo de espaço para manter um mapa com muitas cenas, pois cada cena acumula cerca de 10MB no mapa É necessário eliminar redundância para uma representação mais compacta das cenas (downsampling) Apesar dos erros encontrados, com a otimização do alinhamento é possível obter um mapa bem próximo ao mundo real Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

49 Conclusões Muita informação é descartada pois não possui dado de profundidade correspondente, por estar em uma área de sombra do sensor infravermelho (oclusão) São necessárias mais etapas de otimização do alinhamento, uma vez que o erro varia bastante e é cumulativo a cada iteração Há um grande custo de espaço para manter um mapa com muitas cenas, pois cada cena acumula cerca de 10MB no mapa É necessário eliminar redundância para uma representação mais compacta das cenas (downsampling) Apesar dos erros encontrados, com a otimização do alinhamento é possível obter um mapa bem próximo ao mundo real Nível de informação do mapa extraído do Kinect é bem melhor do que usando outros dispositivos, resultando em mapas ricos em detalhes Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

50 Trabalhos futuros Adicionar novos métodos de correção da transformação ao algoritmo ICP: Iteractive Closest Point Loop closure detection SBA: Sparse Bundle Adjustment Incorporar o Kinect a um robô para explorar ambientes automaticamente Utilizar o mapa gerado para orientação do próprio robô com algoritmos de pathnding Comparar resultados de outros modelos de Kinect: Kinect for PC, Kinect 2 Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

51 Referências P. Henry, M. Krainin, E. Herbst, X. Ren, D. Fox, RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments, 2012, The International Journal of Robotics Research E. Rosten, Machine Learning for High-speed Corner Detection, 2006 M. Calonder, BRIEF: Binary Robust Independent Elementary Features, 2010 Berthold K. P. Horn, Closed-form solution of absolute orientation using unit quaternions, 1986 libfreenect: Point Cloud Library: OpenCV: Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

52 Fim Obrigado! Código disponível em: Mário Alberto Cecchi Raduan (UFRJ) LabicKinect JIC / 32

Occupancy grid based graph-slam using the distance transform, SURF features and SGD

Occupancy grid based graph-slam using the distance transform, SURF features and SGD Occupancy grid based graph-slam using the distance transform, SURF features and SGD Autores: Arturo Gil, Miguel Juliá, Óscar Reinoso Artur Segal Kaim Agenda Introdução Arquitetura Resultados Trabalho futuro

Leia mais

Face Recognition using RGB-D Images

Face Recognition using RGB-D Images Face Recognition using RGB-D Images Helder C. R. de Oliveira N.USP: 7122065 Polyana Nunes N.USP: 9043220 Sobre o Artigo Publication: 2013 IEEE Sixth International Conference Author(s) Goswami, G. (Índia

Leia mais

Cálculo de volume de objetos utilizando câmeras RGB-D

Cálculo de volume de objetos utilizando câmeras RGB-D Cálculo de volume de objetos utilizando câmeras RGB-D Servílio Souza de ASSIS 1,3,4 ; Izadora Aparecida RAMOS 1,3,4 ; Bruno Alberto Soares OLIVEIRA 1,3 ; Marlon MARCON 2,3 1 Estudante de Engenharia de

Leia mais

Criação de mosaico usadando o SURF e o matcher FLANN

Criação de mosaico usadando o SURF e o matcher FLANN Criação de mosaico usadando o SURF e o matcher FLANN Felipe Jordão Pinheiro de Andrade Universidade Federal do Maranhão, São Luis, BRA Abstract. O trabalho propoe uma metodologia para a criação de um mosaico

Leia mais

UNIVERSIDADE FEDERAL FLUMINENSE Pedro Martins Menezes. Um estudo dos estágios dos pipelines gráficos

UNIVERSIDADE FEDERAL FLUMINENSE Pedro Martins Menezes. Um estudo dos estágios dos pipelines gráficos UNIVERSIDADE FEDERAL FLUMINENSE Pedro Martins Menezes Um estudo dos estágios dos pipelines gráficos Niterói 2008 Pedro Martins Menezes Um estudo dos estágios dos pipelines gráficos Trabalho de Conclusão

Leia mais

Prof. Fernando V. Paulovich 3 de agosto de SCC Computação Gráca

Prof. Fernando V. Paulovich  3 de agosto de SCC Computação Gráca Dispositivos de Saída e SCC0250 - Computação Gráca Prof. Fernando V. Paulovich http://www.icmc.usp.br/~paulovic [email protected] Instituto de Ciências Matemáticas e de Computação (ICMC) Universidade

Leia mais

SEMINÁRIO DOS ARTIGOS:

SEMINÁRIO DOS ARTIGOS: SEMINÁRIO DOS ARTIGOS: Text Detection and Character Recognition in Scene Images with Unsupervised Feature Learning End-to-End Text Recognition with Convolutional Neural Networks Fernanda Maria Sirlene

Leia mais

PMR2560 Visão Computacional Visão estéreo. Prof. Eduardo L. L. Cabral

PMR2560 Visão Computacional Visão estéreo. Prof. Eduardo L. L. Cabral PMR2560 Visão Computacional Visão estéreo Prof. Eduardo L. L. Cabral Objetivos Introdução Equações básicas Processo de correspondência Geometria epipolar Retificação de imagens Reconstrução 3D Visão estéreo

Leia mais

Visão computacional. Juliana Patrícia Detroz Orientador: André Tavares Silva

Visão computacional. Juliana Patrícia Detroz Orientador: André Tavares Silva Visão computacional Juliana Patrícia Detroz Orientador: André Tavares Silva Visão computacional Tentativa de replicar a habilidade humana da visão através da percepção e entendimento de uma imagem; Fazer

Leia mais

RECONHECIMENTO FACIAL UTILIZANDO EIGENFACES

RECONHECIMENTO FACIAL UTILIZANDO EIGENFACES Universidade Federal do Rio de Janeiro Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia Programa de Engenharia de Sistemas e Computação Rio de Janeiro, RJ Brasil RECONHECIMENTO

Leia mais

AFONSO HENRIQUES FONTES NETO SEGUNDO UM ALGORITMO PARA LOCALIZAÇÃO E MAPEAMENTO SIMULTÂNEOS COM UMA CÂMERA RGB-D.

AFONSO HENRIQUES FONTES NETO SEGUNDO UM ALGORITMO PARA LOCALIZAÇÃO E MAPEAMENTO SIMULTÂNEOS COM UMA CÂMERA RGB-D. UNIVERSIDADE ESTADUAL DO CEARÁ CENTRO DE CIÊNCIAS E TECNOLOGIA PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO MESTRADO ACADÊMICO EM CIÊNCIA DA COMPUTAÇÃO AFONSO HENRIQUES FONTES NETO SEGUNDO UM ALGORITMO

Leia mais

Universidade Estadual do Oeste do Paraná - UNIOESTE Implementação de uma lupa digital baseada em captura de imagens Deivide Possamai, Fernando

Universidade Estadual do Oeste do Paraná - UNIOESTE Implementação de uma lupa digital baseada em captura de imagens Deivide Possamai, Fernando Universidade Estadual do Oeste do Paraná - UNIOESTE Implementação de uma lupa digital baseada em captura de imagens Deivide Possamai, Fernando Fernandes Bolsista: MEC/SESu Ciência da Computação 2011. Orientador:

Leia mais

Diego Martin Mancini Orientador: Prof. Paulo A. V. de Miranda Instituto de Matemática e Estatística Universidade de São Paulo

Diego Martin Mancini Orientador: Prof. Paulo A. V. de Miranda Instituto de Matemática e Estatística Universidade de São Paulo Estudo de comparação do descritor de imagens coloridas BIC empregando diferentes abordagens de classificação de detecção de bordas: Canny e Operador Laplaciano Diego Martin Mancini Orientador: Prof. Paulo

Leia mais

PMR2560 ELEMENTOS DE ROBÓTICA 2016 TRABALHO DE VISÃO COMPUTACIONAL CALIBRAÇÃO DE CÂMERAS E VISÃO ESTÉREO

PMR2560 ELEMENTOS DE ROBÓTICA 2016 TRABALHO DE VISÃO COMPUTACIONAL CALIBRAÇÃO DE CÂMERAS E VISÃO ESTÉREO PMR2560 ELEMENTOS DE ROBÓTICA 2016 TRABALHO DE VISÃO COMPUTACIONAL CALIBRAÇÃO DE CÂMERAS E VISÃO ESTÉREO Esse trabalho consiste de três partes. Na primeira parte do trabalho você vai calibrar duas câmeras

Leia mais

Reconstrução e Síntese de Cenários Tridimensionais a partir de Imagens Estereoscópicas

Reconstrução e Síntese de Cenários Tridimensionais a partir de Imagens Estereoscópicas MAC499 - Trabalho de Formatura Supervisionado Reconstrução e Síntese de Cenários Tridimensionais a partir de Imagens Estereoscópicas Alunos: Daniel Ferreira Santos Eduardo Bretones Mascarenhas Apolinário

Leia mais

Introdução a Visão Computacional. Prof. Dr. Geraldo Braz Junior DEINF - UFMA

Introdução a Visão Computacional. Prof. Dr. Geraldo Braz Junior DEINF - UFMA Introdução a Visão Computacional Prof. Dr. Geraldo Braz Junior DEINF - UFMA O que é Visão Computacional? Você já viu? 2 O que se espera? Visão é sobre entender imagens Coloridas ou em tons de cinza Pequenas

Leia mais

MouseCam: aplicação de controle do mouse via câmera

MouseCam: aplicação de controle do mouse via câmera MouseCam: aplicação de controle do mouse via câmera Introdução ao Processamento de Imagens COS756 PESC/COPPE/UFRJ 2013 1 Renan Garrot [email protected] 1. Introdução O processo de tracking por vídeo consiste

Leia mais

Trabalho Final de Processamento de Imagens: Panografia

Trabalho Final de Processamento de Imagens: Panografia Trabalho Final de Processamento de Imagens: Panografia 1. Introdução Vítor Silva Sousa 1 1 Escola Politécnica Universidade Federal do Rio de Janeiro (UFRJ) Rio de Janeiro RJ Brasil [email protected]

Leia mais

SEMINÁRIO Visão Computacional Aluno: Afonso Pinheiro

SEMINÁRIO Visão Computacional Aluno: Afonso Pinheiro SEMINÁRIO Visão Computacional Aluno: Afonso Pinheiro Detecting Pedestrians Using Patterns of Motion and Appearance *Paul Viola *Michael J. Jones *Daniel Snow Por que detectar pedestres? http://conexaopenedo.com.br/2016/02/sistema-consegue-detectar-pedestres-em-tempo-real/

Leia mais

Sistema de Identificação de Pessoas baseado em Visão Computacional Estereoscópica

Sistema de Identificação de Pessoas baseado em Visão Computacional Estereoscópica ANDAMENTO DO PROJETO - SEMANA 02 Na segunda semana de execução do projeto, as seguintes atividades foram executadas : Atividades Principais Algoritmos de Captura Simultânea de Imagens das Câmeras Implementação

Leia mais

VISÃO DIGITAL, OS OLHOS DO FUTURO

VISÃO DIGITAL, OS OLHOS DO FUTURO VISÃO DIGITAL, OS OLHOS DO FUTURO Eduardo Marcelo Nicastro Carvalho*, Luana Fonseca Guimarães*, Priscila Amâncio da Silva*, Maurício Neves Asenjo** * Acadêmicos da Faculdade de Ciências e de Tecnologia

Leia mais

Relatório sobre os Resultados obtidos através do uso dos algoritmos SIFT e RANSAC para Reconstrução de um Objeto a partir de uma Nuvem de Pontos

Relatório sobre os Resultados obtidos através do uso dos algoritmos SIFT e RANSAC para Reconstrução de um Objeto a partir de uma Nuvem de Pontos Relatório sobre os Resultados obtidos através do uso dos algoritmos SIFT e RANSAC para Reconstrução de um Objeto a partir de uma Nuvem de Pontos Gustavo Moreira PUC-Rio, Departamento de Informática Rua

Leia mais

AVALIAÇÃO DA PRECISÃO DO SENSOR KINECT PARA MEDIDAS DE DISTÂNCIA

AVALIAÇÃO DA PRECISÃO DO SENSOR KINECT PARA MEDIDAS DE DISTÂNCIA AVALIAÇÃO DA PRECISÃO DO SENSOR KINECT PARA MEDIDAS DE DISTÂNCIA Paulo R. S. Custódio 1, Gustavo C. Silva 2, Helosman V. Figueiredo 3 1,3 Universidade do Vale do Paraíba, [email protected] 2 PROBES

Leia mais

Reconhecimento de Gestos

Reconhecimento de Gestos Reconhecimento de Gestos Henrique Augusto Richter Tópicos em Visão Computacional Universidade Federal do Paraná Sumário Introdução Utilização Problemas Trabalhos Artigo 1 Artigo 2 Project Soli Introdução

Leia mais

RECONHECIMENTO IDENTIFICAÇÃO BASEADA EM APARÊNCIA

RECONHECIMENTO IDENTIFICAÇÃO BASEADA EM APARÊNCIA RECONHECIMENTO IDENTIFICAÇÃO BASEADA EM APARÊNCIA Envolve a pergunta: É esta parte da imagem uma parte do objeto X? (modelo dado, região da imagem dada) Utiliza imagens ao invés de características como

Leia mais

RECONHECIMENTO DE CARACTERES EM IMAGENS COM RUÍDO

RECONHECIMENTO DE CARACTERES EM IMAGENS COM RUÍDO RECONHECIMENTO DE CARACTERES EM IMAGENS COM RUÍDO Fernanda Maria Sirlene Pio SUMARIO Introdução Trabalhos Relacionados Metodologia Experimentos Conclusão Referências 2 INTRODUÇÃO Reconhecimento de Padrões

Leia mais

UNIVERSIDADE FEDERAL DE SANTA CATARINA PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA DE AUTOMAÇÃO E SISTEMAS. Flávio Gabriel Oliveira Barbosa

UNIVERSIDADE FEDERAL DE SANTA CATARINA PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA DE AUTOMAÇÃO E SISTEMAS. Flávio Gabriel Oliveira Barbosa UNIVERSIDADE FEDERAL DE SANTA CATARINA PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA DE AUTOMAÇÃO E SISTEMAS Flávio Gabriel Oliveira Barbosa SISTEMA DE LOCALIZAÇÃO, MAPEAMENTO E REGISTRO 3D PARA ROBÓTICA MÓVEL

Leia mais

VISÃO COMPUTACIONAL PARA RECONHECIMENTO DE FACES APLICADO NA IDENTIFICAÇÃO E AUTENTICAÇÃO DE USUÁRIOS NA WEB. Márcio Koch

VISÃO COMPUTACIONAL PARA RECONHECIMENTO DE FACES APLICADO NA IDENTIFICAÇÃO E AUTENTICAÇÃO DE USUÁRIOS NA WEB. Márcio Koch VISÃO COMPUTACIONAL PARA RECONHECIMENTO DE FACES APLICADO NA IDENTIFICAÇÃO E AUTENTICAÇÃO DE USUÁRIOS NA WEB Márcio Koch Orientador: Jacques Robert Heckmann ROTEIRO Introdução Objetivos do trabalho Fundamentação

Leia mais

Introdução ao Processamento de Imagens Digitais Aula 01

Introdução ao Processamento de Imagens Digitais Aula 01 Introdução ao Processamento de Imagens Digitais Aula 01 Douglas Farias Cordeiro Universidade Federal de Goiás 06 de julho de 2015 Mini-currículo Professor do curso Gestão da Informação Formação: Graduação

Leia mais

Reconstrução de Objetos 3D utilizando Estruturas de Indexação Espacial com o Microsoft Kinect

Reconstrução de Objetos 3D utilizando Estruturas de Indexação Espacial com o Microsoft Kinect Reconstrução de Objetos 3D utilizando Estruturas de Indexação Espacial com o Microsoft Kinect Fernando Akio Araújo Yamada, Luciano Walenty Xavier Cejnog, Renan Augusto Dembogurski, Marcelo Bernardes Vieira,

Leia mais

Disciplina de Sensores Inteligentes SSC-0715

Disciplina de Sensores Inteligentes SSC-0715 USP - ICMC - SSC SSC 0715 (SensInt) - 2o. Semestre 2016 Disciplina de SSC-0715 Prof. Fernando Osório LRM / ICMC - USP Email: fosorio [at] { icmc. usp. br, gmail. com } Estagiário PAE: Rafael Berri (Doutorando

Leia mais

Calibração Robusta de Vídeo Para Realidade Aumentada

Calibração Robusta de Vídeo Para Realidade Aumentada Calibração Robusta de Vídeo Para Realidade Aumentada Bruno Madeira 1,2, Luiz Velho 1, Paulo Cezar Carvalho 1 1 Instituto Nacional de Matemática Pura e Aplicada (IMPA) Estrada Dona Castorina, 110, Jardim

Leia mais

2 Reconhecimento Facial

2 Reconhecimento Facial 2 Reconhecimento Facial Em termos gerais, o reconhecimento facial é o processo pelo qual se mede o grau de similaridade entre duas imagens faciais com o proposito de identificar a um indivíduo ou de verificar

Leia mais

Introdução à Computação Gráfica. Claudio Esperança Paulo Roma Cavalcanti

Introdução à Computação Gráfica. Claudio Esperança Paulo Roma Cavalcanti Introdução à Computação Gráfica Claudio Esperança Paulo Roma Cavalcanti Estrutura do Curso Ênfase na parte prática Avaliação através de trabalhos de implementação C / C++ OpenGL c/ GLUT Grau (nota) baseado

Leia mais

António Costa. Paulo Roma Cavalcanti

António Costa. Paulo Roma Cavalcanti Introdução à Computação Gráfica Preâmbulo Adaptação: Autoria: João Paulo Pereira António Costa Claudio Esperança Paulo Roma Cavalcanti Computação Gráfica Modelos Matemáticos Análise (reconhecimento de

Leia mais

Visão Computacional. Prof. Leandro Augusto Frata Fernandes TCC Introdução à Ciência da Computação (2012.

Visão Computacional. Prof. Leandro Augusto Frata Fernandes TCC Introdução à Ciência da Computação (2012. Visão Computacional Prof. Leandro Augusto Frata Fernandes [email protected] TCC-00.169 Introdução à Ciência da Computação (2012.1) Visão Humana Responsável por cerca de 75% de nossa percepção O ato

Leia mais

INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS PROGRAMA DE PÓS-GRADUAÇÃO EM SENSORIAMENTO REMOTO DIVISÃO DE PROCESSAMENTO DE IMAGENS

INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS PROGRAMA DE PÓS-GRADUAÇÃO EM SENSORIAMENTO REMOTO DIVISÃO DE PROCESSAMENTO DE IMAGENS INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS PROGRAMA DE PÓS-GRADUAÇÃO EM SENSORIAMENTO REMOTO DIVISÃO DE PROCESSAMENTO DE IMAGENS SER-300: INTRODUÇÃO AO GEOPROCESSAMENTO Laboratório II: Cartografia em GIS/Registro

Leia mais

Reconhecimento de objetos com Kinect. MAC Profª Nina Alexandre Martins

Reconhecimento de objetos com Kinect. MAC Profª Nina Alexandre Martins Reconhecimento de objetos com Kinect MAC5832 - Profª Nina Alexandre Martins [email protected] 28 de Outubro de 212 Classificar objetos conhecidos colocados sobre uma mesa Roteiro 1. Aquisição dos dados

Leia mais

Descritores de Imagens

Descritores de Imagens Descritores de Imagens André Tavares da Silva PPGCA/UDESC Outubro de 2017 André Tavares da Silva (PPGCA/UDESC) Descritores de Imagens Outubro de 2017 1 / 18 Descritores Locais e Frameworks SIFT SURF Viola-Jones

Leia mais

4 Construção dos Classificadores

4 Construção dos Classificadores 4 Construção dos Classificadores 4.1. Modelagem O aprendizado supervisionado contém a etapa de modelagem, nessa etapa definimos quais serão as características encaminhadas ao classificador para o treinamento.

Leia mais

Programa 25/02/2019. Objetivo Geral: Processamento Digital de Imagens I Turma A. Objetivos Específicos:

Programa 25/02/2019. Objetivo Geral: Processamento Digital de Imagens I Turma A. Objetivos Específicos: Curso de Engenharia Cartográfica e Agrimensura Processamento Digital de Imagens I Turma A 2019/1 semestre Objetivo Geral: Conhecer técnicas de processamento de digitais que permitem extrair e identificar

Leia mais

Métodos de Extração de Características

Métodos de Extração de Características 1. Introdução Métodos de Extração de Características A Interpretação ou entendimento de uma cena demanda o reconhecimento de seus objetos. Reconhecimento de objetos ou padrões contidos em uma cena -> é

Leia mais

Visão Computacional. Alessandro L. Koerich. Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR)

Visão Computacional. Alessandro L. Koerich. Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR) Visão Computacional Alessandro L. Koerich Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR) Análise da Imagem Análise da Imagem O algoritmo opera sobre a imagem e extrai

Leia mais

Representação da Informação Imagem e Vídeo

Representação da Informação Imagem e Vídeo Representação da Informação Imagem e Vídeo José Gustavo de Souza Paiva Gráficos Pixels Bitmaps Mídia Imagem 1 Mídia Imagem Cores O olho humano vê uma única cor quando três cores primárias são apresentadas

Leia mais

DESENVOLVIMENTO DE UM ROBÔ MÓVEL COM CÂMERA DE PROFUNDIDADE

DESENVOLVIMENTO DE UM ROBÔ MÓVEL COM CÂMERA DE PROFUNDIDADE DESENVOLVIMENTO DE UM ROBÔ MÓVEL COM CÂMERA DE PROFUNDIDADE JOSÉ RICARDO P. DE BRITO, CAIRO LÚCIO N. JÚNIOR Laboratório de Máquinas Inteligentes Instituto Tecnológico de Aeronáutica São José dos Campos,

Leia mais

ATIVIDADES PRÁTICAS SUPERVISIONADAS

ATIVIDADES PRÁTICAS SUPERVISIONADAS ATIVIDADES PRÁTICAS SUPERVISIONADAS 8ª. Série Computação Gráfica Ciência da Computação A atividade prática supervisionada (ATPS) é um procedimento metodológico de ensino-aprendizagem desenvolvido por meio

Leia mais

Reconhecimento de Faces com PCA e Redes Neurais

Reconhecimento de Faces com PCA e Redes Neurais Reconhecimento de Faces com Sandro Santos Andrade Programa de Pós-graduação em Mecatrônica Setembro / 2003 Visão Computacional Computacional Computação Computação Visual Computação Computação Gráfica Introdução

Leia mais

Determinação de vícios refrativos oculares utilizando Support Vector Machines

Determinação de vícios refrativos oculares utilizando Support Vector Machines Determinação de vícios refrativos oculares utilizando Support Vector Machines Giampaolo Luiz Libralão, André Ponce de Leon F. de Carvalho, Antonio Valerio Netto, Maria Cristina Ferreira de Oliveira Instituto

Leia mais

PROCESSAMENTO DIGITAL DE IMAGENS

PROCESSAMENTO DIGITAL DE IMAGENS UNIVERSIDADE DE SÃO PAULO ESCOLA SUPERIOR DE AGRICULTURA LUIZ DE QUEIROZ DEPARTAMENTO DE ENGENHARIA DE BIOSSISTEMAS DISCIPLINA: LEB450 TOPOGRAFIA E GEOPROCESSAMENTO II PROF. DR. CARLOS ALBERTO VETTORAZZI

Leia mais

Ferramenta de Reconhecimento de Gestos da Mão

Ferramenta de Reconhecimento de Gestos da Mão Ferramenta de Reconhecimento de Gestos da Mão Rodrigo Bambineti Acadêmico Dalton Solano dos Reis Orientador Roteiro Introdução Objetivo Motivação Processo Visão computacional: Técnicas Realce Morfologia

Leia mais