Thiago Teixeira Santos

Transcrição

1 Representação de vídeo para indexação e busca Thiago Teixeira Santos thsant@ime.usp.br Laboratório de Interação (LATIN) IME/USP Laboratório de Imagens Visão e Estruturas Espaciais (LIVES) CEI/SENAC Orientador: Prof. Carlos Hitoshi Morimoto Laboratório de Interação (LATIN) IME/USP 1

2 Recuperação de Informação por Conteúdo Content-base Information Retrieval (CBIR) Anotação humana (palavras chave, legendas,...): boa qualidade mas inconsistente entre anotadores e momentos diferentes, além de muito cara. Exemplo: Yahoo!. Anotação automática: em nível mais baixo, consistente e barata mas com qualidade inferior. CBIR automática em texto é bem conhecida e largamente difundida (Google, Altavista, etc...), mas e quanto as outras formas de mídia? 2

3 IBM QBIC - Hermitage Museum 3

4 IBM QBIC - Hermitage Museum Resultados Man Wearing a Red Caftan 4

5 St. Peter 5

6 The Fox Hunt (???) 6

7 Motivação 1. Computadores domésticos com GHz de poder. 2. Banda larga. 3. Telefonia celular 3G (128 Kbps a 2 Mbps), convergência celular/handheld. 4. DivX & Cia. : usuários lidam ativamente com vídeo hoje. OK, CBIR para vídeo! 7

8 O que é Vídeo Digital Qualidade VHS: pixels por quadro, 25 quadros/segundo. MPEG-1 Quadros I, P e B. Quadro I é uma imagem JPEG (reduz redundância espacial), dividida em macroblocks de pixels. Quadros P e B: reconstruídos a partir dos macroblocks de I por compensação de movimento. Reduz redundância temporal. MPEG-2: High-quality TV, mas segue os mesmos princípios do padrão #1. MPEG-4: Quebra o conteúdo audiovisual em peças que podem ser montadas em tempo-real. MPEG-7: Bingo! adiante... É este que queremos. Maiores detalhes mais 8

9 AT&T News Browser 9

10 10

11 11

12 12

13 Físchlár School of Computer Applications and Centre for Digital Video Processing Dublin City University Alan Smeaton et. all 13

14 14

15 Estrutura A tradicional busca seqüencial de vídeo O vídeo deve ser navegável. não funciona. Um shot é uma seqüência de quadros sucessivos originários de uma captura pela câmera (o que eu obtenho entre um REC e um STOP). Efeitos de edição tal como fades e dissoluções tornam as fronteiras entre shots mais difíceis de serem encontradas. Identificação de todos os shots pode ser considerada o 1 o passo em sua estruturação. Porém, shot cena. Shots não traduzem bem a semântica do vídeo! 15

16 Quadros Chave (keyframes) Shots e cenas poderiam ser indexados por quadros que representassem bem seu conteúdo de modo que o usuário rapidamente os identificasse. Como escolher keyframes? Quantos keyframes são necessários? 1, 2, 3? 10? MPEG: I-frames são bons candidatos a keyframes. 16

17 TREC Video Track A Text Retrieval Conference (TREC) é promovida pelo National Institute of Standards and Technology (NIST) e possui uma modalidade de vídeo desde 2001: a TREC Video Track. Promove a pesquisa em CBIR aplicada a vídeo digital, via uma avaliação aberta, baseada em métricas, dos resultados dos vários grupos de pesquisa inscritos. Quem? Em 2001: Universidades Carnegie Mellon (EUA), Dublin City (Irlanda), Fudan (China), Glasgow (Reino Unido), Imperial College (Reino Unido), Johns Hopkins (EUA), Maryland (EUA), North Texas (EUA). Corporações IBM Almaden & T. J. Watson (EUA), Microsoft Research Asia (China). Dados (vídeos) provenientes da BBC e do Open Video Project. 17

18 TREC Video Track Avaliação baseada em tópicos que refletem possíveis aplicações (alguns exemplos abaixo). Entrada: texto, vídeo, imagens e áudio como exemplos. Descrição em texto Vídeo Imagem Áudio cenas com um barco amarelo. 1 o planeta Júpiter. 2 um astronauta dirigindo um jipe lunar. 2 imagens de Ronald Reagan falando. 3 3 cenas de Star Wars com R2D2 e C3PO. 2 prédios parecidos com o Capitólio. 1 onde aparece a pessoa X. 1 paisagens naturais com pássaros paisagens naturais com água espirrando explosões em progresso. 1 o logo da Northwest Airlines. 5 cenas com tráfego (carros, caminhões,...). 1 cenas com uma técnica específica de câmera: zoom. 1 18

19 1. Delimitação de Shots. 2. Busca TREC Video Track The Tracks 19

20 TREC Video Track Resultados de 2001 CMU Sistema Infomedia: colour histogram matching, textura, video OCR, detecção de faces e reconhecimento de fala. Fudan Em 17 tópicos, movimentação de câmera, detecção e reconhecimento de faces, video OCR, reconhecimento de voz, categorização de voz (masculino/feminino). IBM CueVideo ( evolução do QBIC): baseado em construção semi-automática de modelos para diferentes tipos de cenas, eventos e objetos. Microsoft Research Asia Técnica muito elaborada de SBD (cortes abruptos e graduais). 20

21 TREC Video Track 2002 Feature Extraction Caracterização binária: o shot possui ou não a característica. Externa Shot fora de prédios, construções. Interna Dentro de alguma construção. Face Há uma face humana no shot. Pessoas Há um grupo de 2 ou + pessoas. Urbana Paisagem urbana. Natural Paisagem natural: campos, lagos, florestas,... Texto Há texto no segmento. Fala Há vozes humanas. Som Instrumental Há sons de instrumentos musicais (nesta edição, apenas percursão). Monólogo Uma única voz humana no segmento. 21

22 The Multimedia Content Description Interface MPEG-7 International Organisation for Standardisation (ISO) International Eletrotechnical Commission (IEC) SubComitee 29 WG 11 Família de especificações

23 MPEG-7 Partes 1. Systems: Transporte, armazenamento, sincronização, codificação Description Definition Language 3. Visual 4. Audio: Descritores e esquemas para representação de áudio. 5. Multimedia Description Schemes 6. Reference Software: Conhecido como XM: implementação de referência de partes do padrão. 7. Conformance: Teste de conformidade com o padrão (em desenvolvimento...). 23

24 MPEG-7 Ds, DSs e DDL Description (D) Define a sintaxe e a semântica de uma certa característica do conteúdo audiovisual: textura, cor, forma, movimentação de câmera, timbre,... Description Scheme (DS) Especifica a estrutura e as relações entre as Ds. Description Definition Language (DDL) Permite definições de novas Ds e novos DSs, baseada em esquema XML. 24

25 MPEG-7 Ds, DSs e DDL Description Definition Language Extensao Definicao Tags D1 D4 D2 D6 D5 D7 D3 DSa DSb D1 D7 D6 DSd Instanciacao... <scene id=1> <time>... <camera>... <annotation>... </scene>... Estruturacao DSc D3 Codificacao D2 D4 D

26 MPEG-7 Multimedia Description Scheme (MDS) 26

27 MPEG-7 Multimedia Description Scheme (MDS) Slides de Philippe Salembier 2 o MPEG-7 Awareness Event, Março 2001, Cingapura Slides de Ana Belén Benítez e Shih-Fu Chang 1 o MPEG-7 Awareness Event, Outubro 2000, Paris 27

28 MPEG-7 Visual Possui 25 Ds/DSs: Elementos Básicos 2 Coordenadas (espaciais) e Interpolação Temporal. Cor 7 Domínio de Cor, Quantização, Cores Dominantes, Histograma, Estrutura, Layout (coeficientes DCT) e Agregação de Histogramas GoF/GoP (média, intersecção,...). Textura 3 Textura Homogênea (baixo nível: decomposição em canais e energia), Texture Browsing (alto nível: regularidade, direção, granularidade) e Histograma de Bordas. Forma 3 Contorno, Região e Forma 3D. Movimento 4 Movimentação Paramétrica, Trajetória, Movimentação de Câmera e Atividade. 28

29 Localização 2 Espacial e Espaço-temporal. Face 1 Reconhecimento (eigenface). Containers 3 Grade (espacial), Série temporal e Múltiplas de Visões (2D-3D). 29

30 Conclusões Vídeo é um caminho natural para CBIR. Conteúdo audiovisual é largamente utilizado pelas pessoas e a tecnologia atual tem poder suficiente para processá-lo. CBIR em conteúdo AV é muito difícil, sobretudo em uma abordagem generalista. Cada grupo deverá fechar em uma determinada aplicação. No caso de MPEG-7, isto significa utilizar um subconjunto de Ds e DSs e especificar outros tantos com DDL. MPEG-7 está se tornando a linguagem comum na comunidade da área, sendo a E/S padrão para o TREC Video Podemos esperar algumas aplicações surgindo em breve (3 anos?). Telejornais parecem ser os primeiros a ganhar navegação e busca, devido à sua forma bem conhecida. Aplicações podem surgir desde a criação de conteúdo AV até seu consumo. 30

31 Nosso trabalho Buscar novas soluções em SBD. Montagem de shots em cenas? TREC 2003? Fun. 31

32 Referências [Chang et. all] S.-F. Chang, Q. Huang, T. Huang, A. Puri, B. Shararay, Multimedia Search and Retrieval, em Advances in Multimedia: Systems, Standards and Networks, New York, Marcel Dekker, [Chang, Sikora & Puri] S.-F. Chang, T. Sikora, A. Puri, Overview of the MPEG-7 Standard, em IEEE Transactions on Circuits and Systems for Video Technology, Special Issue on MPEG-7, [Smeaton, Over & Taban] A. F. Smeaton, P. Over, R. Taban, The TREC-2001 Video Track Report, em Proceedings of The Tenth Text REtrieval Conference (TREC 2001), [MPEG-7 Overview] J. M. Martínez (editor), MPEG-7 Overview, ISO/IEC JTC1/SC29/WG11 N4674, Jeju, [MPEG-7 Standard] MPEG-7 Standard: ISO/IEC ISO/IEC ISO/IEC ISO/IEC ISO/IEC ISO/IEC ISO/IEC MPEG-7 Systems MPEG-7 Description Definition Language MPEG-7 Visual MPEG-7 Audio MPEG-7 Multimedia Description Schemes MPEG-7 Reference Software MPEG-7 Conformance [Web1] [Web2] [Web3] TREC Video Retrieval Track: Guidelines for the TREC-2002 Video Track: The MPEG Home Page: [Web4] MPEG-7 Alliance: 32

33 Perguntas? 33