Renderização de pessoas em movimento a partir de vídeos. Ricardo Juliano Mesquita Silva Oda Supervisor: Carlos Hitoshi Morimoto

Transcrição

1 Renderização de pessoas em movimento a partir de vídeos Ricardo Juliano Mesquita Silva Oda Supervisor: Carlos Hitoshi Morimoto Trabalho de conclusão de curso IME - USP

2 Renderização Rendering is the process of generating an image from a model

3 Renderização Rendering is the process of generating an image from a model Modelo Imagem

4 Processamento de dados Dados Computação gráfica Visão computacional Imagem Processamento de imagens

5 TV 3D Interativa da Silva, J. R. ; Santos, T. T., and Morimoto, C. H. - PROJETO: TV 3D Interativa (

6 TV 3D Interativa da Silva, J. R. ; Santos, T. T., and Morimoto, C. H. - PROJETO: TV 3D Interativa (

7 TV 3D Interativa da Silva, J. R. ; Santos, T. T., and Morimoto, C. H. - PROJETO: TV 3D Interativa (

8 TV 3D Interativa da Silva, J. R. ; Santos, T. T., and Morimoto, C. H. - PROJETO: TV 3D Interativa (

9 TV 3D Interativa da Silva, J. R. ; Santos, T. T., and Morimoto, C. H. - PROJETO: TV 3D Interativa (

10 TV 3D Interativa Diagrama de blocos 1 do método do Jeferson 1. da Silva, J. R. - Renderização iterativa de câmeras virtuais a partir da itegração de múltiplas câmeras esparsas por meio de homografias e decomposições planares da cena (Figura 3.1)

11 TV 3D Interativa Diagrama de blocos 1 do método do Jeferson 1. da Silva, J. R. - Renderização iterativa de câmeras virtuais a partir da itegração de múltiplas câmeras esparsas por meio de homografias e decomposições planares da cena (Figura 3.1)

12 TV 3D Interativa Diagrama de blocos 1 do método do Jeferson 1. da Silva, J. R. - Renderização iterativa de câmeras virtuais a partir da itegração de múltiplas câmeras esparsas por meio de homografias e decomposições planares da cena (Figura 3.1)

13 Objetivo Melhorar a renderização das pessoas

14 Desafios A segmentação dos objetos em movimento O rastreamento dos objetos móveis por uma câmera A correspondência entre objetos vistos por mais de uma câmera O modelamento dos objetos e sua renderização por uma câmera virtual

15 Segmentação Diferencia os objetos móveis do fundo da cena

16 Segmentação Subtração de fundo

17 Segmentação Falhas na segmentaçao Defeitos na renderização

18 Rastreamento Associa cada objeto da cena a um identificador e uma posição

19 Rastreamento Subtração de fundo Cálculo do suporte Thiago T. Santos, Carlos H. Morimoto, Multiple camera people detection and tracking using support integration

20 Rastreamento Projeção do suporte no chão Resultado Thiago T. Santos, Carlos H. Morimoto, Multiple camera people detection and tracking using support integration

21 Rastreamento Falsos positivos/negativos Posicionamento Identificação

22 TV 3D Interativa Blocos que afetam diretamente na renderização das pessoas

23 Solução proposta Melhora no pré-processamento dos dados Segmentação e rastreamento

24 Métodos Filtro nos dados de rastreamento Uso do Condensation Filter Suavização do rastreamento

25 Filtro Objetivo: Remover falsos positivos/negativos Melhorar posicionamento Identificar corretamente as pessoas

26 TV 3D Interativa Filtro

27 Idéia do algoritmo Escolha um objeto em um momento ti isolado que fique em cena por pelo menos um t Siga ele ao longo do tempo preencha buracos relacione um id Coloque o resultado nos dados de saída Remova dos dados de entrada Repita o processo até não encontrar um objeto válido

28 Idéia do algoritmo Escolha um objeto em um momento ti isolado que fique em cena por pelo menos um t Siga ele ao longo do tempo preencha buracos relacione um id Coloque o resultado nos dados de saída Remova dos dados de entrada Repita o processo até não encontrar um objeto válido

29 Condensation Conditional density propagation 1 Método para rastrear e prever a movimentação de objetos Filtro de partículas Utiliza amostragem Melhor que o Kalman Filter para rastreamento de movimento não linear 1. CONDENSATION -- conditional density propagation for visual tracking Michael Isard and Andrew Blake Int. J. Computer Vision, 29, 1, 5--28, (1998)

30 Condensation Implementação do OpenCV Inicialização necessária Atualização de pesos para cada amostra

31 Condensation Idéia básica do modelo

32 Condensation Pesos amostra medida

33 Filtro Verde: objeto sendo rastreado Vermelho: previsão da posição Cinza: outros objetos Preto: amostras do condensation

34 Suavização Deixa os dados mais homogêneos Diminui ruído Idéia: Para cada objeto fazer uma convolução temporal com pesos inversamente proporcionais à distância temporal

35 Suavização Para um objeto arbitrário em um instante t, temos: Pesos: Posições:... St-2 St-1 St St+1 St+2...

36 Resultados Falta de métricas para medir a qualidade do resultado Dados reais não presentes Análise visual do resultado

37 Resumindo meu trabalho Estudo da implementação TV3D Procura da causa dos artefatos Tentativa de melhora na renderização

38 Obrigado pela atenção Perguntas?