Reconhecimento de Ações

Transcrição

1 Reconhecimento de Ações Humanas a partir de Vídeos Ana Paula Brandão Lopes SEMINÁRIOS DO NPDI 07/11/2008

2 Roteiro Introdução ao Problema Reconhecimento de Ações: Visão Geral Abordagens para Rec. de Ações Exemplos Trabalho em Andamento Idéias Questões 2

4 Motivação Recuperação de Informação Visual Estado da Arte (chang2007): Detectores de conceito. Vetor de características: Probabilidade de ocorrência de cada conceito Suporta busca textual 4

5 Motivação Quais conceitos detectar? LSCOM Large-Scale Concept Ontology for Multimedia ~2000 conceitos identificados. ~400 anotados em 80 horas de vídeo (TRECVID). Por quadro. 5

6 Motivação Quais conceitos detectar? LSCOM activity/event 24 conceitos envolvendo movimento Anotados por seqüência (não por quadro) 6

7 Motivação Quais conceitos detectar? LSCOM activity/event 24 conceitos envolvendo movimento Anotados por seqüência (não por quadro) tratamento diferenciado para a informação dinâmica! 7

8 Motivação Um possível conceito dinâmico:ações humanas. 8

9 Definição do Problema (Ideal) Dado: um vídeo Identificar: O que as pessoas estão fazendo nele. 9

10 Definição do Problema (+Realista) Dados: uma seqüência de quadros, filmados com uma única câmera. um conjunto finito de ações. Identificar: Presença de uma ou mais dessas ações. Pode envolver: Localização (espaço, tempo). 10

11 Aplicações Recup. de Vídeos com Base no Conteúdo. Segurança: 11 Detecção de movimentos anormais. Reconhecimento pelo jeito de andar (gait). Análise de vídeos esportivos. Interação Humano-computador. Movimentos em pacientes: Detecção de anomalias.

13 Etapas para o Reconhecimento de AçõesA Representação das seqüências Modelagem das ações Classificação de novas seqüências Frame àframe seqüência subseqüências Conjunto de exemplos rotulados Aprendizagem de máquina Aplicação ao modelo 13 Comparação direta

14 Abordagens para Representação Modelo dos objetos em movimento Representações genéricas Características densas Características esparsas Modelos 3D Modelos 2D Trajetórias Bag-of-Words Aparência Silhuetas (blobs, partes, pontos de interesse) Outras (filtros, volumes de voxels, etc...) Seqüência de 14 poses (modelagem) Volumes espaçotemporais Moldes espaçotemporais

16 Abordagens baseadas em modelos dos objetos em movimento

17 Modelos 3D 17 Fonte: yilmaz2006

18 Modelos 2D - aparência 18 efros2003

19 Modelos 2D - silhuetas 19 wang2007

20 Modelos 2D Moldes 2D MEI (col. 2) Motion Energy Image onde MHI (col. 3) Motion history image como (quando?) 20 bobick2001

21 Modelos 2D volumes ST black yilmaz2005

22 Trajetórias rias cuntoor

23 Abordagens Baseadas em modelos dos objetos em movimento Limitações: várias suposições sobre o conteúdo: Pessoa/objeto está inteiramente contido seqüência. São dados: Segmentação Rastreamento Tipos de ações: Poucos Conhecidos Bem diferentes entre si Só funcionam em situações controladas. 23

24 Abordagens Genéricas Nenhuma ou poucas suposições Uma linha que se sobressai: Abordagens Bag-of-Words (BOW) 24

25 Bases de Dados Weizmann blank2005 KTH schuldt2004 Filmes laptev

26 Weizmann 81 seqüências 9 pessoas 9 ações 25 fps, 180 x 144 Correndo, caminhando. Fazendo polichinelo. Pulando para frente com as duas pernas. Pulando no lugar. Galopando de lado. Acenando com as duas mãos. Acenando com uma mão. Inclinando-se. 26

27 27 Weizmann

28 KTH 2391 seqüências 25 sujeitos 6 ações Caminhando, trotando, correndo, boxeando, acenando, batendo palmas. 4 cenários 28 Cena externa. Cena externa com variação de escala. Cena externa com roupas diferentes. Cena interna. 25 fps, 160x120

29 29 KTH

30 Filmes 397 seqüências 12 filmes 8 ações Atender o telefone Sair do carro Apertar as mãos Abraçar uma pessoa Beijar Sentar-se Levantar-se Ficar de pé 30

31 31 Filmes

32 Abordagens Bag-of-Words (BOW) Bag-of-words para RI em textos: Dicionário: palavras do conjunto de treino Representação de um texto: vetor de ocorrências das palavras do dicionário 32

33 Abordagens Bag-of-Words (BOW) Bag-of-words para RI em textos: Dicionário: palavras do conjunto de treino Representação de um texto: vetor de ocorrências das palavras do dicionário 33

34 BOW em imagens Seleção de pedaços de várias imagens. Descrição dos pedaços, Conteúdo visual. Agrupamento por semelhança. Grupo = Palavra do dicionário. BOW da imagem: Contagem de pedaços em cada grupo. 34

35 BOW em imagens agarwal

36 BOW em vídeosv dollar

37 BOW questões-chave Escolha dos pontos a serem descritos. Caraterísticas densas. Características esparsas. Pontos de interesse. Escolha aleatória. Descrição dos pontos. Construção do vocabulário. 37

38 Utilizando BOW para reconhecimento de açõesa

39 Descritores diversos...

40 Recognizing Human Actions: A Local SVM Approach (schuldt2004) Características: Características locais (LF) Pontos de interesse de laptev2003 Jets espaço-temporais derivadas parciais de diversas ordens BOW feitos com esses pontos (HistLF) Histog. de grad. espaço-temporais (HistSTG) 4 escalas de tempo (pirâmide temporal) pontos com gradiente temporal acima de um limiar 40

41 Recognizing Human Actions: A Local SVM Approach (schuldt2004) Resultados (KTH) Treinamento: Combinações de cenários LF + SVM Melhor em todos HistLF melhor que HistSTG SVM melhor que NN 41 Média = 71.7%

42 Behavior Recognition via Sparse Spatio- Temporal Features (dollar2005) BOW Malha mais densa de pontos. Características: Valores dos pixels normalizados. Gradientes de brilho. Fluxo óptico. Teste KTH ~80%. 42

43 3D-SIFT A 3-Dimensional SIFT Descriptor and its Application to Action Recognition (scovanner2007) Gradientes no espaço-tempo. Weizmann 82.6%. 43

44 Local velocity-adapted motion events for spatio-temporal temporal recognition (laptev2007a) Altera o descritor de laptev2003 Adaptação local de velocidade 44 Compensar movimentos de câmera Várias combinações de: Descritores Distâncias SVM, NN Melhor (KTH): 86.3%

45 Adicionando Informação Temporal...

46 Discriminative Subsequence Mining for Action Classification (nowozin2007) Características de dollar2005 ItemSet boosting Combinações de palavras mais discriminativas Redução de características Histograma no tempo: 46

47 Discriminative Subsequence Mining for Action Classification (nowozin2007) Mineração das seqüências mais freqüentes. Algoritmo PrefixSpan LPBoost: Identifica as sequências mais discriminativas. Classifica. KTH 84.7% Baseline (SVM + kernel não-linear) 87% 47

48 Técnicas não- supervisionadas...

49 Características: dollar2005 Unsupervised Learning of Human Action Categories Using Spatial-Temporal Words (niebles2008) Técnicas não-supervisionadas: plsa (probabilistic Latent Semantic Analysis) LDA (Latent Dirichlet Allocation) KTH: 83% Weizmann: 90% Skate: 80% 49

50 Semi-Latent Dirichlet Allocation: A Hierarchical Model for Human Action Recognition (wang2007b) Detecta, rastreia e estabiliza cada pessoa Descritor do quadro: 50 Fluxo óptico de efros2003. Similaridade: correlação normalizada. Vocabulário de quadros. BOW sobre a sequência: cada quadro é contado

51 Semi-Latent Dirichlet Allocation: A Hierarchical Model for Human Action Recognition (wang2007b) Classificação: Variação do plsa. KTH 92.4% Futebol 79.19% 51

52 Adicionando Informação Estrutural...

53 A Hierarchical Model of Shape and Appearance for Human Action Classification(niebles2007) Abordagens BOW 53 informação de posição? Modelo hierárquico (mod. de constelação) 1ª camada: partes 2ª camada: BOW das partes

54 A Hierarchical Model of Shape and Appearance for Human Action Classification(niebles2007) Descritores: Descritores de dollar2005. Seleção aleatória dos pontos da borda + contexto da forma. Classificação (SVM): Por quadro + votação. Weizmann: Quadro: 55% Votação: 72.8% Mas... Classificação por quadro. Sem subtração de fundo. Sem compensação de movimento. 54

55 Spatial-Temporal correlatons for unsupervised action classification (savarese2008) Correlogramas espaçotemporais: kernel espaço-temporal co-ocorrência das palavras Distância, ângulo Quantização dos correlogramas correlatons 55

56 Spatial-Temporal correlatons for unsupervised action classification (savarese2008) KTH sem correlatons X com correlatons 56

57 Learning Human Actions via Information Maximization (liu2008a) Características: dollar2005 Formação do vocabulário: Funde agrupamentos muito similares. Video Word Clusters (VWC). Informação estrutural: Correlograma espacial entre as VWC. Casamento de pirâmides. 57

58 Learning Human Actions via Information Maximization (liu2008a) KTH VWC: 91% Correlograma: 94% Pirâmides: 93.8% 58

59 Learning realistic human actions from movies (laptev2008) Pontos de interesse espaço-tempo (laptev2003) Representação mais densa (s/ sel. escala) 59

60 Learning realistic human actions from movies (laptev2008) Informação Estrutural Grids variados (canais): 60

61 Learning realistic human actions from movies (laptev2008) Classificação SVM multicanal (fusão?) KTH 91.8% FILMES 61

63 Trabalho em Andamento Representação BOW: Pontos de interesse: SURF Descritores: SURF + fluxo óptico na vizinhança. Construção do vocabulário: k-means. Representação final. Testes? 63

65 Idéias Trabalho em Andamento Representação BOW: Pontos de interesse: SURF Descritores: SURF + fluxo óptico na vizinhança. Construção do vocabulário: k-means. Representação final. Testes? 65

66 Idéias Trabalho em Andamento Representação BOW: Comparação com SIFT, PCA- SIFT Pontos de interesse: SURF Descritores: SURF + fluxo óptico na vizinhança. Construção do vocabulário: k-means. Representação final. Testes? 66

67 Idéias Trabalho em Andamento Representação BOW: Pontos de interesse: SURF Descritores: Comparação com SIFT, PCA- SIFT PCA SURF + fluxo óptico na vizinhança. Construção do vocabulário: k-means. Representação final. Testes? 67

68 Idéias Trabalho em Andamento Representação BOW: Comparação com SIFT, PCA- SIFT Pontos de interesse: SURF Descritores: SURF + fluxo óptico na vizinhança. Construção do vocabulário: k-means. Representação final. Testes? PCA Diferentes pesos para FO e SURF 68

69 Idéias Trabalho em Andamento Representação BOW: Comparação com SIFT, PCA- SIFT Pontos de interesse: SURF Descritores: SURF + fluxo óptico na vizinhança. Construção do vocabulário: k-means. Representação final. Testes? Agrupamento com parada por semelhança. PCA Diferentes pesos para FO e SURF 69

70 Idéias Trabalho em Andamento Representação BOW: Comparação com SIFT, PCA- SIFT Pontos de interesse: SURF Descritores: SURF + fluxo óptico na vizinhança. Construção do vocabulário: k-means. Representação final. Testes? Agrupamento com parada por semelhança. PCA Diferentes pesos para FO e SURF 70 Representação tf/idf

71 Idéias Representação Adição de informação: de cor? estrutural? temporal? Mecanismos de fusão? 71

72 Idéias BOW Alternativas para: Redução de dimensionalidade? Seleção de características? Criação do vocabulário: Alternativas ao k-means? 72

73 Idéias Modelagem/Classificação Técnicas de Aprendizagem de Máquina. Supervisionadas. Não-supervisionadas. Modelos que lidam com dados seqüenciais. Buscar modelos em RI tradicional? 73

74 Idéias - Geral Estender outras técnicas de rec. de objetos? Técnicas de boosting? Outras? 74

76 Bobick1997 Movimento: Unidade fundamental. Ex: balançar o bastão. Atividade: Sequência estatística de movimentos. Ex: lançar a bola. Ação: Complexo, depende do contexto (???) 76 Questões Como tratar a nomenclatura? Moeslung2006 Primitivas motoras: Entidades atômicas. Ações: Composta de primitivas motoras. Atividades: Eventos de largas escala.

77 Questões Como tratar a nomenclatura? Zelnik-manor2001 Eventos: Objetos temporais de longa duração. Cuntoor2008 Ação = Atividade Evento: Unidades básicas. schuldt2004, blank2005, niebles2007, 2008, laptev2007, 2008, rodrigues2008, ramasso2008 ações humanas. 77

78 Questões Modelo dos objetos em movimento Representações genéricas Características densas Características esparsas Modelos 3D Modelos 2D Trajetórias Bag-of-Words Aparência Silhuetas (blobs, partes, pontos de interesse) Outras (filtros, volumes de voxels, etc...) Seqüência de 78 poses (modelagem) Volumes espaçotemporais Moldes espaçotemporais

79 Questões Modelo dos objetos em movimento Representações genéricas Características densas Características esparsas Modelos 3D Modelos 2D Trajetórias Bag-of-Words Aparência Silhuetas (blobs, partes, pontos de interesse) Outras (filtros, volumes de voxels, etc...) Seqüência de 79 poses (modelagem) Volumes espaçotemporais Moldes espaçotemporais

80 Questões Modelo dos objetos em movimento Representações genéricas Características densas Características esparsas Modelos 3D Aparência Modelos 2D Silhuetas Trajetórias (blobs, partes, pontos de interesse) REPRESENTAÇÃO FINAL?????? Outras (filtros, volumes de voxels, etc...) Bag-of-Words Seqüência de 80 poses (modelagem) Volumes espaçotemporais Moldes espaçotemporais

81 Referências Adicionais Abdelkader Activity Representation Using 3D ShapeModels. Aggarwall1999 Human Motion Analysis: A review. Agarwal2004 Learning to Detect Objects in Images via a Sparse, Part-Based Representation Bobick1997 Movement, Activity and Action: the role of knowledge in the perception of motion. Chang2007 Recent Advances and Challenges of Semantic Image/Video Search. 81

82 Referências Adicionais Cuntoor2008 Recognizing Shapes in Video Sequences using Multi-class Boosting. Efros2003 Recognizing Action at a Distance. Laptev2007 Retrieving Actions in Movies Moeslung A survey of advances in vision-based human motion capture and analysis. 82

83 Referências Adicionais Ramasso Human action recognition in videos based on the Transferable Belief Model. Rodriguez Action MACH: A Spatiotemporal Maximum Average Correlation Height Filter for Action Recognition. Yilmaz Matching actions in presence of camera motion. Zelnik-manor2001 Event-based Analysis of Video. 83