Delimitação de Shots em Vídeo Digital. Thiago Teixeira Santos

Transcrição

1 Delimitação de Shots em Vídeo Digital Thiago Teixeira Santos Laboratório de Interação (LATIN) IME/USP Laboratório de Imagens Visão e Estruturas Espaciais (LIVES) CEI/SENAC Orientador: Prof ō Carlos Hitoshi Morimoto Laboratório de Interação (LATIN) IME/USP thsant/mestrado.html 1

2 Motivação Grande capacidade de processamento (GHz!) e armazenamento dos computadores pessoais. Grandes larguras de banda disponíveis. Bibliotecas digitais. Vídeo é extenso e não-estruturado. Navegação é difícil. Necessidade de estruturar, indexar e pesquisar em vídeo digital. Como pesquisar em vídeo digital? Como recuperar informação baseando-se no conteúdo do vídeo? Content-based information retrieval (CBIR). Nagasaka e Tanaka [16] (1991), Zhang et. al [28] (1993)... Área com cerca de 10 anos. Pattern Recognition: Special Issue on Image/Video Communication (2002). Muitos trabalhos sendo desenvolvidos atualmente. Na indústria: Surgimento do MPEG-7 [15]. TREC Video Track [33]: Conferences. modalidade de conteúdo audiovisual nas Text REtrieval Thiago Santos, LATIN/LIVES 2

3 Um framework para CBIR Sistema de Busca Interface Extração de Características Casamento de Características Usuário Estruturação Extração de Características Vídeo Digital Indexação Banco de Vídeo Geração de Meta Dados Thiago Santos, LATIN/LIVES 3

4 Estruturação O paradigma seqüencial de navegação, digital., não é o ideal para vídeo Para obter melhores formas de navegação e indexação, precisamos estruturar o vídeo, decompondo-o em unidades menores. Que unidades são essas? Em um nível semântico mais alto: cenas. Em um nível semântico mais baixo: shot. Um shot é um conjunto de quadros temporalmente vizinhos e espacialmente conectados. Representa uma ação contínua no espaço. Thiago Santos, LATIN/LIVES 4

5 Transições entre Shots Há várias formas de se fazer a passagem de um shot a outro, definidas pela técnica de edição utilizada. As transições mais comuns em cinema e TV são: Transições Abruptas (Cortes) Thiago Santos, LATIN/LIVES 5

6 Transições entre Shots Transições Graduais Wipes Fades Thiago Santos, LATIN/LIVES 6

7 Transições entre Shots Transições Graduais Dissoluções Thiago Santos, LATIN/LIVES 7

8 O Problema da Delimitação de Shots Segmentação Temporal ou Shot Boundary Detection (SBD) Vídeo digital é uma seqüência V = q 0, q 1, q 2,..., q t de quadros (imagens de resolução M N). O problema é encontrar o conjunto T de quadros q i (fronteiras). que delimitam os shots Seja R o conjunto de quadros obtido por uma solução. A performance da solução é dada por: cobertura = T R T precisão = T R R Thiago Santos, LATIN/LIVES 8

9 Estado da Arte TREC 2001 SBD Task. Conjunto de testes: graduais [18]. 42 vídeos, quadros, 2061 cortes 1108 transições CL1 CL2 F1 F2 IBM1 IBM2 IC MBF MS MM1 MM2 Cortes Cobertura 0,988 0,989 0,970 0,970 0,979 0,965 0,935 0,816 0,928 0,947 0,909 Precisão 0,904 0,771 0,961 0,961 0,963 0,963 0,893 0,590 0,926 0,726 0,886 Graduais Cobertura 0,707 0,709 0,621 0,597 0,732 0,770 0,640 0,037 0,694 0,778 0,446 Precisão 0,555 0,555 0,720 0,736 0,621 0,566 0, ,649 0,667 0,870 CL F IBM IC MS MBF MM CLIPS-IMAG, França Universidade de Fudan, China IBM Almaden, EUA Imperial College, Reino Unido Microsoft Research Asia, China Universidade de Glasgow, Reino Unido Media Mill, Holanda Detecção de transições graduais ainda não atinge níveis satisfatórios! Thiago Santos, LATIN/LIVES 9

10 Sinal de Similaridades Considere, para uma função de similaridade entre dois quadros d, f V [i] = d(q i, q i+1 ) Os shots são delimitados analisando-se o sinal f V. Por exemplo: LIMIAR-SBD(f V ) 1 Selecione um limiar k 2 R q 0 3 para i de 0 até T 1 4 se f V [i] k 5 R R, q i+1 6 devolva R Thiago Santos, LATIN/LIVES 10

11 Sinal de Similaridades As duas funções de similaridade mais largamente utilizadas na literatura são: Diferença entre Pixels (Casamento de Padrões) d p (q i, q j ) = M N q c i (x, y) qc j (x, y) c {R,G,B} x=1 y= Thiago Santos, LATIN/LIVES 11

12 Sinal de Similaridades Diferença entre Histogramas d h (q i, q j ) = c {R,G,B} L h c i [l] hc j [l] l= Thiago Santos, LATIN/LIVES 12

13 Sinal de Similaridades Diferença entre pixels é sensível a movimentações (objetos ou câmera) Diferença entre histogramas é mais robusta às movimentações, mas sensível às variações de luminosidade Thiago Santos, LATIN/LIVES 13

14 Twin-comparison [28] LIMIAR-SBD detecta cortes. Como adaptá-lo às transições graduais? Utilizar diferenças acumuladas: dh(qi,qi+1) k h k 1 corte abrupto qe qs qc i Dh(qi,qi+1) k h qs qe qs qc i qs: Possivel inicio de trans. gradual qe: Fim de trans. gradual (confirmado) qc: Fim de trans. gradual (nao aceito) Thiago Santos, LATIN/LIVES 14

15 Incrementando a Performance das Similaridades Filtros para enfatizar análise local Yeo & Liu [26] propõem uma slide window de tamanho 2m + 1. Um corte é detectado em q i se f V [i] é o máximo em f V [i m + 1],..., f V [i 1], f V [i], f V [i + 1],..., f V [i + m 1]. f V [i] é c vezes maior que o segundo maior valor na janela, onde c é uma constante definida previamente. Ferman & Tekalp [7] Obter f V [i] pelas passagem de um filtro passa baixas (média, mediana, médiamediana) Analisar f V [i] = f V [i] f V [i] ao invés de f V Thiago Santos, LATIN/LIVES 15

16 Incrementando a Performance das Similaridades Composição de múltiplas medidas em clustering 2-médias 2 Scatter plot dp X dh dh dp Thiago Santos, LATIN/LIVES 16

17 Modelagem de Transições Graduais Transições graduais não podem ser identificadas pela análise simples de similaridades entre quadros sucessivos. Transições graduais podem ser modeladas via funções de transição sobre a luminosidade do pixel entre 2 estados. Autores vêm utilizando modelos lineares. Yu et. al. [27] utilizam um função linear α definida entre t 1 e t 2 e o quadro negro q 0 : Fade-out q t (x, y) = q t1 (x, y)α(t) + q 0 (x, y)[1 α(t)] Fade-in q t (x, y) = q 0 (x, y)α(t) + q t2 (x, y)[1 α(t)] Dissolução q t (x, y) = q t1 (x, y)α(t) + q t2 (x, y)[1 α(t)] Thiago Santos, LATIN/LIVES 17

18 Modelagem de Transições Graduais Truong et. al. [21] Média da luminosidade com comportamento linear: (a) Variância da luminosidade com comportamento parabólico: 4 x 10 4 (b) Thiago Santos, LATIN/LIVES 18

19 Modelagem de Transições Graduais Yeo & Liu [26]: Tome propõem tomar k maior que o comprimento máximo de uma transição gradual. f k V [i] = d(q i, q i+k ) Considere o seguinte modelo linear para transições graduais: g n = c 1, n < α 1, c 2 c 1 α 2 α (n α 2 ) + c 2, 1 α 1 n < α 2, c 2, n α 2 Daí, podemos esperar, em f k V, o surgimento de platôs antecedendo as transições graduais: d k i (g n) = 0, n < α 1 k, c 2 c 1 α 2 α [n (α 1 k)], 1 α 1 k n < α 2 k, c 2 c 1, α 2 k n < α 1 c 2 c 1 α 2 α (n α 2 ), 1 α 1 n < α 2, 0, n α 2 Thiago Santos, LATIN/LIVES 19

20 Modelagem de Transições Graduais Thiago Santos, LATIN/LIVES 20

21 Análise em Baixa Resolução [26] Mais rápido! Opera em imagens menores com pouquíssima perda de performance. Atua como filtro de suavização. Menor sensibilidade aos movimentos. Imagens DC são facilmente obtidas do stream MPEG! Não há custos com decodificação. Thiago Santos, LATIN/LIVES 21

22 Amostragem Espacial Xiong et. al. [24] propõem dividir a imagem em blocos: Divide-se a imagem em B blocos sem sobreposição. Comparam-se os blocos correspondentes entre dois quadros. Se B c blocos mudaram, há uma transição caso B c B > k % A idéia é ganhar velocidade examinando um subconjunto de S blocos. O erro é dado por: e = P r ( Sc S > k % B ) c B < k % + P r ( Sc S < k % B ) c B > k % O erro é bastante pequeno (centésimos) tomando-se apenas metade dos blocos! Thiago Santos, LATIN/LIVES 22

23 Amostragem Temporal É necessário examinar todos os quadros? Xiong & Lee [25] provam que nenhuma transição, abrupta ou temporal, é perdida se o vídeo for analisado comparando-se pares de quadros q l e q r = q l+step e incrementando-se l step 2 se 2 gt max < step < shot min (a) q l q r (b) Gradual Abrupta q l q r (c) q l q r Thiago Santos, LATIN/LIVES 23

24 Clustering Os métodos vistos anteriormente dependem de limiares que podem variar muito dependendo do tipo de vídeo (ação, drama, telejornal, clip,...) ou até mesmo dentro de um mesmo vídeo! Clustering de características. Quadros dentro de um mesmo cluster e sucessivos temporalmente estão no mesmo shot. Shots dentro de um mesmo cluster podem ser múltiplas ocorrências de um mesmo cenário/ambiente/situação dentro de um mesmo vídeo. Uma boa pista para a segmentação em cenas! Menos sujeito às arbitrariedades nas escolhas dos limiares. Vetor médio (µ) dos clusters podem ser bons índices (indexação e busca). Vários trabalhos na literatura [5, 7, 11, 17, 22, 31]. Thiago Santos, LATIN/LIVES 24

25 Resultados Preliminares [19] Estudos em detecção de cortes. Testes com d p, d h e d e, essa última baseada em contagem de bordas. Casamento de Padrões: Sem Filtragem Subtração de Mediana Derivada Discreta Filme Cobertura Precisão Cobertura Precisão Cobertura Precisão Eu, tu, eles Villa-Lobos Shrek Comparação de Histogramas: Sem Filtragem Subtração de Mediana Derivada Discreta Filme Cobertura Precisão Cobertura Precisão Cobertura Precisão Eu, tu, eles Villa-Lobos Shrek Thiago Santos, LATIN/LIVES 25

26 Resultados Preliminares [19] Contagem de Bordas: Sem Filtragem Subtração de Mediana Derivada Discreta Filme Cobertura Precisão Cobertura Precisão Cobertura Precisão Eu, tu, eles Villa-Lobos Shrek Problemas: Conjunto de teste muito pequeno. d e mostrou-se pouco eficaz. Thiago Santos, LATIN/LIVES 26

27 Plano de Trabalho Setembro Outubro (2002) Implementações dos vários métodos da literatura descritos anteriormente [26, 7, 21]. Análise em várias resoluções. Clustering com vetores de características diversos. Novembro (2002) Fevereiro (2003) Composição de métodos. Ênfase em detecção e caracterização de transições graduais. Protótipos e demos (Scilab? Matlab r?). Métodos bem sucedidos: possível implementação em C, Java TM. Frameworks para processamento de vídeo estão sendo considerados [34]. Thiago Santos, LATIN/LIVES 27

28 Referências [1] F. Arman, A. Hsu, M.-Y. Chiu Image Processing on Compressed Data for Large Video Databases, Proceedings of First ACM International Conference on Multimedia (1993). [2] D. H. Ballard e C. M. Brown, Computer Vision, Prentice Hall (1982). [3] J. S. Boreczky e L. D. Wilcox, A Hidden Markov Model Framework for Video Segmentation Using Audio and Image Features, FX Palo Alto Laboratory (1998). [4] S.-F. Chang e H. Sundaram, Structural and Semantic Analysis od Video, IEEE International Conference on Multimedia (2000). [5] M. S. Drew e J. Au, Video Summarization by Efficient Clustering of Compressed Chromaticity Signatures, International Symposium on Multimedia Infomation Processing ISMIP 00 (2000). 24 [6] R. O. Duda, P. E. Hart e D. G. Stork, Pattern Classification, Wiley-Interscience (2001). 37 [7] A. M. Ferman and A. M. Tekalp, Efficient Filtering and Clustering Methods for Temporal Video Segmentation and Visual Summarization, Journal of Visual Communication and Image Representation (1998). 15, 24, 27 [8] U. Gargi, R. Kasturi, S. Antani, Performance Characterization and Comparison of Video Indexing Algorithms, Proceedings of Conference on Computer Vision and Pattern Recognition (CVPR) (1995). Thiago Santos, LATIN/LIVES 28

29 Referências [9] A. Girgensohn e J. Foote, Video Classification Using Transform Coefficients, Proceedings of the Intemational Conference on Acoustics, Speech, and Signal Processing (1999). [10] R. C. Gonzalez e R. E. Woods, Digital Image Processing, Addison-Wesley (1992). 37 [11] B. Günsel, A. M. Ferman e A. M. Tekalp, Temporal Video Segmentation Using Unsupervised Clustering and Semantic Object Tracking, Journal of Visual Communication and Image Representation (1998). 24 [12] K. A. Hua e J.-H. Oh, Detecting Video Shot Boundaries up to 16 Times Faster, ACM Multimedia (2000). [13] I. Koprinska and S. Carrato, Temporal Video Segmentation: A Survey, Signal Processing: Image Comunication, Elsevier Science (2001). [14] Y.-F. Ma, J. Sheng, Y. Chen e H.-J. Zhang, MSR-Asia at TREC-10 Video Track: Shot Boundary Detection Task, TREC-10 Video Track Report (2001). [15] J. M. Martínez (editor), MPEG-7 Overview, ISO/IEC N4674, Jeju (2002). 2 [16] A. Nagasaka e Y. Tanaka, Automatic Video Indexing and Full-motion Search for Object Appearances, Proceedings of Second Working Conference on Visual Database (1991). 2 [17] C.-W. Ngo, T.-C. Pong e H.-J. Zhang, On Clustering and Retrieval of Video Shots, ACM MM (2001). 24 [18] G. M. Quénot, CLIPS System Description and Evaluation, TREC-10 Video Track Report (2001). 9 Thiago Santos, LATIN/LIVES 29

30 Referências [19] T. T. Santos e C. H. Morimoto, Comparison of Temporal Video Segmentation Techniques, LATIN/IME-USP e LIVES/CEI-SENAC (2002). 25, 26 [20] H. Sundaram e S.-F. Chang, Video Scene Segmentation Using Video and Audio Features, IEEE International Conference on Multimedia (2000). [21] B. T. Truong, C. Dorai e S. Venkatesh, New Enhancements to Cut, Fade and Dissolve Detection Process in Video Segmentation, ACM Multimedia (2000). 18, 27, 35 [22] S. Uchihashi, J. Foote, A. Girgensohn e J. Boreczky, Video Manga: Generating Semantically Meaningful Summaries, ACM Multimedia (1999). 24 [23] N. Vasconcelos e A. Lippman, A Bayesian Video Modeling Framework for Shot Segmentation and Content Characterization, IEEE Computer Vision and Pattern Recognition Conference (1997). [24] W. Xiong, J. C.-M. Lee, M.-C. Ip, Net Comparison: A Fast and Effective Method for Classifying Image Sequences, Proceedings of SPIE Conference on Storage and Retrieval for Image and Video Databases III (1995). 22 [25] W. Xiong and J. C.-M. Lee, Efficient Scene Change Detection and Camera Motion Annotation for Video Classification, Computer Vision and Image Understanding, ACM (1998). 23 [26] B.-L. Yeo and B. Liu, Rapid Scene Analysis on Compressed Video, IEEE Transactions on Circuits and Systems for Video Technology (1995). 15, 19, 21, 27 Thiago Santos, LATIN/LIVES 30

31 Referências [27] H. Yu, G. Bozdagi e S. Harrington, Feature-based Hierarchical Video Segmentation, Proceedings of International Conference on Image Processing (1997). 17 [28] H.-J. Zhang, A. Kankanhalli, S. W. Smoliar, Automatic Partitioning of Full-motion Video, Multimedia Systems (1993). 2, 14 [29] H.-J. Zhang, C. Y. Low, Y. H. Gong, S. W. Smoliar, Video Parsing Using Compressed Data, Proceedings of SPIE Conference on Image and Video Processing II (1994). [30] H.-J. Zhang, C. Y. Low, S. W. Smoliar e J. H. Wu, Video Parsing, Retrieval and Browsing: An Integrated and Content-based Solution, ACM Multimedia (1995). [31] Y. Zhuang, Y. Rui, T. S. Huang e S. Mehrotra, Adaptative Key Frame Extraction Using Unsupervised Clustering, Proc. ICIP 98 (1998). 24 [32] The Open Video Project, [33] TREC Video Retrieval Track, 2 [34] GStreamer - Open Source Multimedia Framework, 27 Thiago Santos, LATIN/LIVES 31

32 Perguntas? Thiago Santos, LATIN/LIVES 32

33 Apêndice A: Sobre o termo DCT(0,0) e imagens DC A transformada dos cossenos discreta (DCT) é dada por DCT (u, v) = α(u)α(v) N 1 x=0 N 1 y=0 [ ] [ ] (2x + 1)uπ (2y + 1)vπ f(x, y)cos, 2N 2N onde α(n) = 1 N para u = 0 para u = 1, 2,..., N 1 2 N Thiago Santos, LATIN/LIVES 33

34 Apêndice A: Sobre o termo DCT(0,0) e imagens DC Considere um bloco b de um quadro q(x, y). Como os blocos tem dimensão 8 8, temos que: DCT qb (0, 0) = = N 1 x=0 1 8 N 1 y=0 N 1 x=0 N 1 y=0 q b (x, y) q b (x, y) cos 0 cos 0 DCT qb (0, 0) encontra-se armazenado diretamente na stream JPEG. Esse termo é 8 vezes maior que a média dos pixels do bloco b. Thiago Santos, LATIN/LIVES 34

35 Apêndice B: Cobertura e Precisão Ponderadas [21] T x = {q i, q i+1,..., q j }, i j é o conjunto de quadros de uma transição x. T = {T 1, T 2,..., T n } é o conjunto de transições existentes no vídeo V. T = { T 1, T 2,..., T m } é o conjunto de transições candidatas dado por uma solução. Cobertura Ponderada (R): R = n i=1 θ i Υ Υ = {T i, i [1, n] j [1, m] e T i T j }, θ i = { 0, se Ti / Υ, T i T τ(i) T i caso contrário Thiago Santos, LATIN/LIVES 35

36 Apêndice B: Cobertura e Precisão Ponderadas Precisão Ponderada (P): P = n i=1 θ i Υ θ i = { 0, se Ti / Υ, T i T τ(i) T τ(i) caso contrário τ(i) é a transição correspondente a T i em T. Thiago Santos, LATIN/LIVES 36

37 Apêndice C: JPEG e MPEG JPEG [10]: Compressão via transformada DCT: Menor erro raiz média quadrática. Artefato de Bloco: mais suave. Quantização: reter os coeficientes com maior quantidade de informação. Imagem Subdividir em imagens 8 X 8 Transformada Cosseno Discreta Quantificador Codificador de Huffman JPEG Thiago Santos, LATIN/LIVES 37

38 Apêndice C: JPEG e MPEG MPEG Reduz a redundância temporal. I quadros: imagens JPEG P e B quadros: reconstruídos a partir de I (ou P) quadros via macroblocos e vetores de movimento. Thiago Santos, LATIN/LIVES 38