Recuperação de Informação com Base no Conteúdo Visual

Transcrição

1 Recuperação de Informação com Base no Conteúdo Visual Silvio Jamil Ferzoli Guimarães Arnaldo de Albuquerque Araújo Núcleo de Processamento Digital de Imagens - NPDI Departamento de Ciência da Computação DCC Universidade Federal de Minas Gerais - UFMG {sjamil,arnaldo}@dcc.ufmg.br Resumo A facilidade de captura e compressão de imagens digitais tem produzido uma quantidade gigantesca de informação visual on-line. Como conseqüência, grandes desafios se apresentam nas áreas de armazenamento, indexação e recuperação de informação visual em grandes arquivos. Como alguém encontra uma foto em um arquivo contendo milhões de fotografias? Como um jornalista encontra um clipe específico entre uma infinidade de videotapes, variando de histórico a contemporâneo, de esporte a humorístico? Como identificar o número de vezes que um determinado comercial de televisão passou por dia? Algoritmos e sistemas eficientes, funcionando em tempo real, são necessários para suprir estas necessidades de profissionais (jornalistas, comunicadores visuais, bibliotecários, cientistas) e do usuário em geral que precisa localizar informação visual on-line. Este trabalho aborda a problemática da indexação e recuperação de imagens/vídeos tendo como base seu conteúdo visual. 1. Introdução Tradicionalmente, a informação visual tem sido armazenada de forma analógica e indexada manualmente usando esquemas proprietários. Atualmente, com o avanço da tecnologia de digitalização e compressão, sistemas de base de dados digitais já são utilizados para armazenar imagens, juntamente com seus metadados e taxonomias associados, muito embora o custo de grandes sistemas seja ainda formidável. Metadados incluem informação bibliográfica, condições de captura ou geração de imagens, parâmetros de compressão, etc. Taxonomia é uma hierarquia de classes subjetivas (povo, natureza, notícias) usada para organizar assuntos de imagens em vários níveis, incluindo classes semânticas (humor, política) e classes visuais (povo, paisagens). A seleção apropriada de metadados e taxonomias, que devem incorporar características especiais do domínio de aplicação, é geralmente, o primeiro passo para colocar em funcionamento uma grande base de imagens. Obviamente, existem sérias limitações no uso destes indexadores, uma vez que requerem anotação manual (dificultando seu uso em grandes arquivos) e que sofrem influência tanto do domínio de aplicação quanto do conhecimento da pessoa realizando a tarefa. Enfim, estes indexadores estão sempre limitados na sua viabilidade de

2 capturar todo o conteúdo de uma imagem (lembrando o conhecido ditado, uma imagem vale mil palavras ) [2, 5]. Análise do conteúdo multimídia e indexação baseados no conteúdo visual sinalizam, juntos, uma direção promissora para complementar a metodologia mencionada anteriormente. Vários sistemas de consulta de imagens/vídeos baseados no conteúdo visual têm sido apresentados na literatura. Tem havido grande progresso no desenvolvimento de ferramentas que permitem aos usuários especificarem consultas de imagens/vídeos através do uso de esboços, seleção de características visuais (cor, textura, forma e movimento), passagem de exemplos, e características espaciais/temporais [4, 8, 12, 15, 22, 23, 28]. Quando as seqüências de imagens são consideradas, o problema de indexação torna-se muito mais complicado, pois envolve a identificação e o entendimento de uma cena ou tomada para proporcionar uma indexação destes elementos de forma eficiente. Devido ao formato não estruturado e ao comprimento do vídeo, entenda-se somente seqüência de imagens, esta indexação não é uma tarefa das mais fáceis [8, 28]. Neste sentido, métodos para indexação em vídeo de forma automática são extremamente interessantes na sociedade moderna, que visa a rapidez e a precisão das respostas às perguntas (consultas) feitas. Um exemplo para o uso destes indexadores está associado à navegação dentro do vídeo, onde é vantajoso ter sistemas capazes de segmentar o vídeo em unidades significativas sem um conhecimento específico a priori da natureza do programa ao qual o vídeo está associado [24]. Outros problemas em vídeo, por exemplo, estão associados à detecção de determinados eventos, como o instante que um predador ataca uma presa em um vídeo de documentário [16], e à restauração de filmes antigos [11]. Este trabalho aborda a problemática da indexação e recuperação de imagens/vídeos tendo como base seu conteúdo visual [4, 5, 8, 15, 28]. Este texto apresenta a seguinte estrutura: a Seção 1 apresentou uma motivação do uso do conteúdo visual; a Seção 2 apresenta diversas técnicas de indexação que se baseiam em propriedades das imagens como cores, texturas e formas, para então analisar-se o caso das seqüências de imagens, na Seção 3. Por fim, as conclusões são apresentadas na Seção Indexação de Imagens Digitais O problema da recuperação de imagens é um caso particular da área de manipulação e recuperação de informação. De acordo com o paradigma clássico da recuperação automática de informação, o arquivo está organizado na forma de documentos que podem ser recuperados através de índices sintéticos, por sua vez organizados com uma estrutura de dados que permitam consulta e recuperação rápida. O usuário formula seu problema de recuperação de informação como uma expressão de uma linguagem de consulta. A consulta é traduzida numa linguagem de índices, o índice resultante é casado contra aqueles da base de dados, sendo então recuperados os documentos que contêm os índices casados. Um documento é a quantidade mínima de informação que pode ser recuperada de um arquivo, sendo identificado por um modelo que define a composição do documento e por

3 uma instância, que é o dado útil a ser arquivado. Partes de instâncias diferentes podem representar aspectos diferentes, que podem ser especificadas e relacionadas umas às outras de acordo com o modelo do documento. O principal objetivo de um sistema de gerenciamento de informação é poder, facilmente e eficientemente, separar documentos de um arquivo que sejam relevantes para uma determinada necessidade do usuário. Isto requer um esquema de indexação com significado. Índices são representações sintéticas dos documentos: a consulta é formulada e realizada referindo-se aos índices para se obter umarecuperação eficiente. O problema da indexação pode ser resumido como a atribuição de palavras-chaves, obtidas de uma linguagem descritiva, às entidades dos documentos (palavras, objetos, etc.) para facilitar sua separação. O principal requisito é que a associação linguagem/palavras-chaves/documentos tenha a capacidade de discriminação suficiente para eliminar, do espaço de consulta, os dados imprestáveis, sem no entanto perder informação interessante. Enfim, os índices devem ser significativos, discriminantes e utilizáveis, uma vez que eles devem estar relacionados com a maneira na qual o usuário faz sua consulta no ambiente real. Quando se trata de documentos como as imagens ou vídeos que estão associados a diferentes tipos de conteúdo visual, a recuperação de informação visual é ainda mais complexa. Neste caso, os índices podem ser classificados com respeito à relação que eles têm com a imagem ou vídeo da seguinte maneira [5]: metadados independentes do conteúdo - são dados que não concernem diretamente ao conteúdo da imagem ou vídeo, mas estão, de alguma maneira, relacionados com este, como o formato da imagem, autoria, data, local, condições de iluminação, etc.; metadados dependentes do conteúdo - são dados que se referem a características consideradas de nível baixo e médio, como cor, textura, forma, esboço, relação espacial, movimento e combinações destes. Para alguns tipos de imagens, como as provenientes de satélites, da biomedicina, tomografia computadorizada, etc., é possível descrever o conteúdo destas em termos da geometria intrínseca e de configurações topológicas; metadados descritivos do conteúdo - são dados que se referem ao conteúdo semântico e que concernem as relações das entidades da imagem com entidades do mundo real ou eventos temporais, emoções e significados associados a sinais visuais e cenas. O conteúdo visual de imagens pode ainda ser classificado em dois tipos principais [15]: conteúdo primitivo de imagens - que se refere aos elementos básicos que compõem a imagem, assim como às características das imagens que podem ser reconhecidas e extraídas automaticamente pelo computador (análise de imagens, reconhecimento de padrões, visão computacional). Conteúdos primitivos são, em geral, de natureza quantitativa; conteúdo complexo de imagens - que se refere aos padrões de uma imagem que são percebidos com significado por humanos. Em geral, eles não podem ser identificados automaticamente por computador e são de natureza qualitativa. A maior vantagem associada com a indexação de conteúdo primitivo é que sua extração pode ser automática. Entretanto, este conteúdo pode não ser suficientemente rico para uma

4 grande variedade de aplicações, uma vez que tipos de objetos e características significativas que podem ser reconhecidos pela máquina, são ainda limitados. Por outro lado, o conteúdo complexo da imagem é semanticamente rico, mas sua extração e indexação são custosos, uma vez que um envolvimento manual considerável é geralmente necessário. Um problema chave da indexação de imagens consiste em conseguir estabelecer relações entre os dois tipos de conteúdos de maneira que as desvantagens de cada um possam ser reduzidas ou eliminadas. Assim, um desafio crucial para a indexação e recuperação de imagens pelo conteúdo está no desenvolvimento de mecanismos para a automação da indexação, que começaria com a extração automática de conteúdo primitivo e subseqüentemente faria uso de possíveis regras de conhecimento junto com informação contextual relevante, permitindo uma identificação automática ou inferência de conteúdo complexo. Com tal mecanismo, uma estrutura poderosa de indexação poderia ser construída para possibilitar a recuperação baseada em conceitos semânticos ricos. Trata-se de uma tecnologia que espelha o sistema visual humano. O problema da indexação está fortemente ligado ao problema da formulação da consulta. Para recuperar imagens estáticas usando metadados dependentes do conteúdo (cor, textura, forma e esboço), o paradigma básico da recuperação requer que, para cada imagem, seja pré-calculado um conjunto de características distintas. As consultas são expressas através de exemplos visuais. Para começar a consulta, o usuário seleciona as características (e suas faixas de validade) que são importantes e escolhe uma medida de similaridade. Exemplos tanto podem ser preparados pelo usuário (com ajuda de uma interface homem-máquina) ou extraídos de imagens (amostras). O sistema verifica a similaridade entre o conteúdo da imagem usada na consulta e das imagens da base de dados. Como nem sempre os resultados obtidos em resposta à uma consulta são plenamente satisfatórios, em geral, procura-se melhorar este resultado através de uma metodologia onde se tenta manter o número de perdas o mais baixo possível (às custas de um número mais alto de falsas respostas) e permitir uma forma de interação chamada realimentação por relevância. Interfaces visuais são usadas para facilitar este tipo de consulta. Recuperação por similaridade de cor, textura e forma são apresentadas nas próximas seções. A recuperação baseada em similaridade difere da operação de casamento (matching), que é definida em visão computacional como sendo uma operação para reconhecimento de objetos na qual deve-se decidir se o objeto observado corresponde ou não ao modelo. Assim, a recuperação baseada em similaridade é uma operação de re-ordenamento das imagens da base de dados, de acordo com sua similaridade medida em relação à imagem exemplo da consulta. Desta maneira, é uma operação que concerne mais a ordenamento do que classificação, sem ao menos postular a existência de uma imagem alvo. O reordenamento das imagens da base de dados é realizado, mesmo que não haja imagens similares ao exemplo. Neste caso, o usuário faz parte do sistema de recuperação, devendo analisar as respostas apresentadas e se for o caso, deve refinar a consulta. Tudo isto realça a importância da existência de interfaces flexíveis e ferramentas de visualização [1, 5]. As próximas seções apresentam a indexação de imagens considerando os atributos cor, textura e forma.

5 2.1 Indexação Baseada em Cor A cor é uma das características mais utilizadas pelos seres humanos para reconhecimento e discriminação visual [4]. No entanto, é normal as pessoas utilizarem diferentes sistemas nominais de cores em diferentes contextos para descrever a cor de um certo objeto, como associar a cor vermelha a um pêssego, que embora possua um tom avermelhado, ou descrever um carro como sendo vermelho escuro, ou marrom avermelhado. A extração de cores automatizada pelo computador ainda não é capaz de fazer referências ao contexto, o que pode dificultar a identificação entre uma informação de uma cor ou de uma distorção de cor. A aparência de uma cor em objetos do mundo real geralmente é alterada pela textura da superfície, pela iluminação e sombra de outros objetos, e as condições de observação e captura. Os sistemas de bancos de dados de imagens devem enfrentar esses problemas para obter uma análise automática das cores. A informação de cor é um componente importante do conteúdo de uma imagem, além de se apresentar robusta a distorção, rotação e translação do objeto. Quando usada em operações de recuperação de informação, permite encontrar imagens [9]: contendo uma cor especificada por meio de proporções atribuídas; cujas cores são similares àquelas de uma imagem exemplo; contendo regiões de cores como especificado na consulta; contendo um objeto conhecido com base nas propriedades de suas cores. O sistema QBIC (Query by Image and Video Content) de recuperação de informação visual permite consultas em grandes bases de dados com base em imagens exemplos, esboços e desenhos feitos pelo usuário, além de padrões de cor e textura. QBIC foi um dos projetos pioneiros nesta área, cuja tecnologia migrou para a escala comercial, sendo encontrada em produtos da IBM (Digital Library, DB2, Content Management). 2.2 Indexação Baseada em Textura A textura é um elemento importante na visão humana, provendo em uma cena a profundidade e orientação da superfície. É comum relacionar texturas a superfícies 3D, sendo bem utilizadas em sistemas de computação gráfica para incrementar o realismo. Outras aplicações para as texturas envolvem a identificação de imagens aéreas como corpos d'água, campos de milhos e montanhas. A extração de características a partir da textura é considerada como um descritor importante para imagens naturais e por causa de seu uso em pesquisas de imagens em grandes bancos de dados. A textura refere-se a um padrão visual que tem algumas propriedades de homogeneidade que não resultam simplesmente de uma cor ou intensidade [10, 18]. Devido à diversidade de texturas encontradas em imagens naturais é difícil obter uma definição exata. Entretanto, uma boa definição para textura é associá-la a um efeito visual produzido pela distribuição espacial de variações de níveis de cinza sobre pequenas áreas.

6 2.3 Indexação Baseada em Forma Forma é um critério importante para identificação de objetos com base em seu perfil e estrutura física [6, 14]. Seu uso é freqüente em alguns sistemas, tipo as bases de imagens da medicina, onde os objetos das imagens são similares em termos de cor e textura. Nas aplicações de recuperação, as características da forma podem ser consideradas como sendo globais ou locais. Características globais são propriedades derivadas da forma inteira como redondeza, circularidade, momentos centrais, etc. Características locais são aquelas derivadas através do processamento parcial da forma, incluindo tamanho e orientação de segmentos consecutivos de bordas, pontos de curvaturas, ângulos de curvas. As características de forma podem também ser classificadas em parâmetros internos, que descrevem a região envolvida pelo contorno do objeto, e parâmetros externos, que descrevem as bordas externas do objeto. 3. Segmentação e Indexação em Vídeo Digital Segundo [31], o vídeo digital consegue gerenciar com sucesso a apresentação de eventos dinâmicos, que possuem imagens, sons, textos e gráficos. Atualmente, ferramentas capazes de abstrair o conteúdo dinâmico do vídeo e armazená-lo em estruturas de fácil manuseio são imprescindíveis. Partindo deste aspecto, percebe-se que o vídeo pode ser composto por uma enorme quantidade de informações fisicamente e até semanticamente diferenciadas. A unidade fundamental de um vídeo é a tomada, pois captura uma ação contínua a partir de uma câmera, isto é, uma tomada representa uma seqüência ininterrupta de quadros gerados a partir de uma única câmera, podendo haver tanto o movimento de câmera, como por exemplo, zoom, pan, tilt, quanto o de objeto, refletindo um fragmento da estória. Segundo [3], uma cena é usualmente composta de um número pequeno de tomadas interrelacionadas que são unificadas pela posição temporal ou características dramáticas similares. Enquanto a tomada representa uma unidade física do vídeo, a cena representa uma unidade semântica do mesmo, possuindo algum significado. O processo de identificação destas unidades é chamado de segmentação do vídeo, sendo obtidos os limites (início e fim) das tomadas/cenas. Estes limites são utilizados para a criação automática de índices de forma a tornar eficiente a recuperação de informação em vídeo. Estes índices são melhor visualizados a partir de representações gráficas do conteúdo do vídeo, como por exemplo, a tabela de conteúdo. A seguir, são mostradas algumas técnicas para a segmentação e representação do vídeo. 3.1 Segmentação em Vídeo Digital Como é sabido, uma cena é um agrupamento de tomadas, que por sua vez são constituídas por seqüências de quadros. Devido à grande quantidade de tomadas e cenas contidas no

7 vídeo, uma forma para facilitar o acesso ao conteúdo do vídeo é necessário. Neste sentido, as tomadas podem ser consideradas de forma resumida através de quadros que representam de forma saliente o seu conteúdo, chamados de quadros-chaves. Estes quadros são também úteis na identificação das cenas. A seguir, são descritas várias técnicas para a detecção de tomadas, quadros-chaves e cenas Detecção de tomadas Geralmente, a mudança no assunto coincide com transições entre tomadas, onde uma tomada é definida como uma seqüência ininterrupta de quadros gerados a partir de uma única câmera. Grosseiramente falando, uma tomada acontece desde o início da gravação até o momento em que ela é interrompida. Durante uma tomada, tanto o movimento de câmera quanto o de objeto podem ocorrer. Uma identificação manual das transições entre tomadas é um processo custoso e nada prático. Técnicas para a identificação automática dos limites das tomadas podem ser encontradas, por exemplo, em [7, 17, 29]. Uma dificuldade neste processo aparece devido à variedade de técnicas usadas para criar transições entre tomadas. A forma mais simples destas é o corte, que é uma transição abrupta entre tomadas. Um fade é uma transição gradual entre tomadas, podendo ser de duas maneiras: fade in e fade out. No primeiro, ocorre um escurecimento gradual dos quadros da primeira tomada da transição até atingir um quadro escuro seguido pelos quadros da segunda tomada. Já no segundo, ocorre uma interrupção dos quadros da primeira tomada, seguida por um clareamento dos quadros da segunda tomada, que inicialmente estão escuros até atingir o brilho real do quadro. Pode-se ainda citar como tipos de transições: o dissolve, que é a sobreposição entre os fades; o wipe, que é a substituição de pixels da primeira tomada por pixels da segunda tomada seguindo padrões regulares, tais como, linhas da esquerda para a direita. Técnicas para a detecção dos limites das tomadas podem ser agrupadas em: baseada em agrupamento, baseada em estatísticas, baseada em histogramas, e baseada em pixels Detecção de Quadros-Chaves Quadros-chaves são um ou mais quadros que representam todo o conteúdo de uma tomada da maneira mais representativa possível. Técnicas para a extração de quadros-chaves podem, por exemplo, encontradas em [20], e podem ser baseadas no limite da tomada, baseadas no conteúdo visual e baseadas em agrupamento não-supervisionado Detecção de Cenas Cenas representam unidades semânticas obtidas a partir do agrupamento de tomadas similares. Técnicas podem ser encontradas em [25, 29, 30]. Dois tipos de abordagens para a análise de uma cena podem ser descritos: baseada em modelos - um modelo de uma aplicação (domínio) particular é primeiro construído. Tais modelos especificam, por exemplo, as características dos limites da cena. Como esta abordagem é baseada em modelos de aplicações específicas,

8 normalmente possui alta precisão. Os inconvenientes são: um bom conhecimento e experiência da aplicação e um custo elevado de tempo para a modelagem do problema; propósito geral - nenhum modelo de domínio é requerido, e dentre os pioneiros tem-se o trabalho desenvolvido na Universidade de Princeton e na IBM. Uma pergunta pode surgir: como são identificadas quais tomadas que fazem parte da mesma cena? Esta identificação pode ocorrer, por exemplo, através da similaridade visual e/ou proximidade temporal. A similaridade visual pode ser através da análise de histograma, de pixel, de estatísticas, de movimento, etc. Estas similaridades podem ser as mesmas definidas para a detecção de tomada, mudando apenas os limiares a serem considerados. Uma outra pergunta pode ser feita: todas as tomadas que são similares fazem parte da mesma cena? A resposta é depende. Na maioria das vezes, o fator distância temporal é levado em consideração no momento da união entre grupos de mesma similaridade, pois duas tomadas que estão muito distantes temporalmente, e que possuem um alto grau de similaridade visual, podem não fazer parte da mesma cena. 3.2 Representação do conteúdo do vídeo Devido à natureza não estruturada e ao tamanho do vídeo, o acesso ao seu conteúdo tornase uma tarefa bastante complicada. Métodos estruturados de representação compacta do conteúdo do vídeo têm sido desenvolvidos com objetivo de facilitar o acesso ao vídeo (navegação e recuperação). Existem algumas formas de representação do vídeo [13, 19, 21, 25, 26, 27], dentre elas, podemos descrever: 1. grafo de transição de cena (Scene Transition Graph - STG) [19, 30] é um grafo extraído automaticamente a partir do conteúdo visual e da informação temporal do vídeo que representa, sem conhecimento específico do conteúdo e estrutura do vídeo, o fluxo da estória contida no vídeo. Os nodos do grafo representam grupos de tomadas similares enquanto que suas arestas indicam o fluxo temporal da estória. 2. tabela de Conteúdo [26] é motivado pelo importante papel desempenhado pela tabela de conteúdo (Table of Contents - ToC) em livros, onde a navegação e a busca dos diferentes conceitos é extremamente facilitada. Em um primeiro instante, deve-se levar em consideração qual é a unidade básica para ser indexada pela tabela de conteúdo. Esta unidade está associada ao nível de granularidade desejada, onde esta pode ser considerada a partir de tomadas, ou a partir de cenas. 4. Conclusão Informação visual e imagens em suas diferentes formas sempre foram preferidas como uma maneira eficiente de representar e comunicar informação, em relação ao texto alfanumérico. A grande proliferação de imagens e vídeos digitais representa uma crescente necessidade para o desenvolvimento de técnicas sofisticadas para analisar, catalogar e recuperar informação visual automaticamente. Trata-se de uma área multidisciplinar

9 envolvendo tópicos de processamento digital de imagens, reconhecimento de padrões, computação gráfica, ciência cognitiva, teoria da informação, recuperação de informação e sistemas de gerenciamento de bancos de dados. Vários sistemas de consulta de imagens/vídeos baseados no conteúdo visual têm sido apresentados na literatura. Tem havido grande progresso no desenvolvimento de ferramentas que permitem aos usuários especificarem consultas de imagens/vídeos através do uso de esboços, seleção de características visuais (cor, textura, forma e movimento), passagem de exemplos, e características espaciais/temporais. Este trabalho apresentou uma revisão da problemática da recuperação de informação visual com base no conteúdo em imagens e vídeos digitais. Espera-se que possa ser útil para iniciar o leitor interessado na área. Agradecimentos Os autores agradecem ao CNPq, CAPES, FAPEMIG, COFECUB e ao Projeto SIAM/PRONEX/DCC pelo suporte financeiro para a realização deste trabalho e aos revisores, pelas sugestões que certamente enriqueceram a qualidade do texto. Bibliografia [1] F. Abate, M. Nappi, G. Tortora, and M. Tucci. IME: an image management environment with content-based access. Image and Vision Computing, 17: , [2] R. Baeza-Yatez and B. Ribeiro-Neto. Modern Information Retrieval. Addison Wesley, [3] F. Beaver. Dictionary of Film Terms. Twayne Publishing, New York, [4] A. D. Bimbo. Special issue on Color and texture analysis. Pattern Recognition, 32(10), [5] A. D. Bimbo. Visual Information Retrieval. Morgan Kaufmann, [6] A. D. Bimbo and P. Pala. Visual image retrieval by elastic matching of user sketches. IEEE Transaction Pattern Analysis and Machine Intelligence, 19(2): , February [7] J. S. Boreczky and L. A. Rowe. Comparison of video shot boundary detection techniques. In Proc. of the SPIE Storage and Retrieval for Image and Video Database, [8] T. Chen. (Ed.). Special issue on Multimedia processing - Part 1. Proceedings of the IEEE, 86(5), [9] C. Colombo and A. D. Bimbo. Color-indexing image representation and retrieval. Pattern Recognition, 32: , [10] A. de A. Araújo. Texture analysis: A review. Revista Tecnologia e Ciência, 1(2-3), [11] A. de A. Araújo, S. J. F. Guimarães, and G. Cerqueira. A new approach for old movie restoration. In Proc. of the SPIE (Accepted), 2000.

10 [12] A. de A. Araújo, L. Perroton, L. M. B. Claudino, R. R. Oliveira, S. J. F. Guimarães, and E. Bastos. Non linear features extraction applied to pollen grain images. In Proc. of the IS&T/SPIE (Accepted), [13] A. M. Ferman, A. M. Tekalp, and R. Mehrotra. Effective content representation for video. In Proc. of the IEEE International Conference on Image Processing, Chicago, IL, October [14] B. Günsel and A. M. Tekalp. Shape similarity matching for query-by-example. Pattern Recognition, 31(7): , [15] V. N. Gudivada and V. V. Raghavan. (Eds.). Special issue on Content-based image retrieval systems. IEEE Computer, 9, [16] N. Haering. A Framework for the Design of Event Detectors. PhD thesis, University of Edinburgh, Scotland, [17] A. Hampapur, R. Jain, and T. Weymouth. Digital video segmentation. In Proc. of the ACM Multimedia, pages , San Francisco, CA, October [18] R. M. Haralick. Statistical and structural approaches to textures. Proceedings of the IEEE, 67(5), [19] M. M.Yeung and B.-L. Yeo. Video visualization for compact presentation of pictorial content. Technical Report RC 20615, IBM Research Division, Nov [20] A. Nagasaka and Y. Tanaka. Automatic video indexing and full-video search for object appearances. In Proc. of the SPIE Visual Database Systems II, [21] J. Nam and A. H. Tewfik. Dynamic video summarization and visualization. In ACM Multimedia, pages 53-56, Orlando, FL, October [22] P. Pala and S. Santini. Image retrieval by shape and texture. Pattern Recognition, 32: , [23] A. Pentland, R. W. Picard, and S. Sclaroff. Photobook: Tools of content-based manipulation of image databases. In Proc. of the SPIE Storage and Retrieval of Image and Video Database, San Jose, CA, USA, [24] V. Roth. Content-based retrieval from digital video. Image and Vision Computing, 17(7): , May [25] Y. Rui, T. S. Huang, and S. Mehrotra. Browsing and retrieving video content in a unified framework. In Proc. of the IEEE Workshop on Multimedia Signal Processing (MMSP), LA, CA, December [26] Y. Rui, T. S. Huang, and S. Mehrotra. Constructing table-of-contents for videos. ACM Multimedia Systems Journal, Special Issue Multimedia Systems on Video Libraries, [27] P. Salembier, N. O. Connor, P. Correia, and F. Pereira. Hierarchical visual description schemes for still images and video sequences. In Proc. of the IEEE International Conference on Image Processing, Kobe, Japan, Octover [28] A. Tekalp. (Ed.). Special issue on Multimedia processing - Part 2. Proceedings of the IEEE, 86(6), [29] B.-L. Yeo. Efficient Processing of Compressed Images and Video. PhD thesis, Department of Electrical Engineering, Princeton University, January [30] M. Yeung and B.-L. Yeo. Segmentation of video by clustering and graph analysis. Computer Vision and Image Understanding, 71(1):94-109, July [31] H. Zhang, A. Kanknhalli, and S. W. Smoliar. Automatic partitioning of full-motion video. Multimedia Systems, 1:10-28, 1993.