Um ambiente para indexação e recuperação de conteúdo de vídeo baseado em características visuais.

Transcrição

1 Um ambiente para indexação e recuperação de conteúdo de vídeo baseado em características visuais. Carlos A. F. Pimentel Filho,Thomas A. Buck NUPERC UNIFACS R. Ponciano de Oliveira, Salvador, BA Brazil fragapimentel@gmail.com, thomas@unifacs.br Celso A. S. Santos DCC UFBA Av. Adhemar de Barros s/n Salvador, BA Brazil saibel@ufba.br ABSTRACT This work is centered in video information retrieval based on its visual characteristics. It proposes an environment for automatic summarization and indexing of digital videos in order to support the operations of query based on visual content in a video repository. The approach described was applied to a repository containing more than 34 hours of journalistic videos, key-frame sampled by about 1.25% of the total of frames. This reduced representation was then used to index the video contents, providing the basis for various experiments and analysis of performance for the recovery of visual content in videos with the application of various techniques implemented in this work. Categories and Subject Descriptors H.3.1 [Information Storage and Retrieval]: Content Analysis and Indexing Abstracting methods and Indexing methods. General Terms Management, Measurement, Performance, Experimentation. Keywords Indexação de vídeo, CBVR, CBIR, recuperação de conteúdo, sumarização de vídeo. 1. INTRODUÇÃO O avanço das tecnologias de produção, transmissão, distribuição e armazenamento de vídeos resultou na criação de grandes repositórios dessas mídias, porém diversas questões importantes ainda devem ser respondidas, dentre estas: Como representar o conteúdo do vídeo para dar suporte à busca de uma cena ou um quadro específico? Como gerenciar, navegar e recuperar informação de forma eficiente e rápida em mídia visual? Como buscar uma cena ou um quadro específico dentro do conteúdo do vídeo? Essas questões norteantes tornam a análise automática de conteúdo multimídia (Automatic Multimedia Content Analysis) uma área de pesquisa cada vez mais importante e explorada [1]. O uso extensivo dos vídeos digitais e a necessidade de gerenciamento de repositórios dessas mídias têm impulsionado o desenvolvimento dos chamados sistemas CBVR (content based video retrieval) [1][4][5]. Tais sistemas são baseados na representação (descrição) reduzida do conteúdo do vídeo a partir das características pictóricas de seus quadros, dos objetos que os compõem e do relacionamento entre quadros sucessivos, dentre outras características. Este trabalho envolve todas as fases do processo de recuperação de vídeos por conteúdo, indo desde a extração de características visuais para produzir uma representação compactada do conteúdo dos vídeos até a recuperação de partes específicas de um determinado vídeo por similaridade visual. A abordagem descrita foi aplicada a um repositório contendo mais de 34 horas de vídeos jornalísticos, representados de forma reduzida por cerca de 1,25% do número total de seus quadros. Essa representação reduzida foi utilizada para a extração de características visuais e indexação do conteúdo dos vídeos jornalísticos avaliados, resultando numa base de dados para diversos experimentos, bem como para a análise do desempenho das técnicas de recuperação de conteúdo implementadas dentro do ambiente. Além do ambiente propriamente dito e da construção da base indexada de vídeos, o artigo tem uma contribuição importante relacionada à técnica de recuperação de quadros com tolerância a pequenas mudanças. A técnica utilizada proposta neste artigo é equivalente à descrita por Jacobs et al. [6], mas com a aplicação em quadros de vídeos, com excelentes resultados. No caso da base de vídeos jornalísticos analisada, a alteração proposta permite encontrar partes semanticamente relacionadas (notícias do mesmo gênero), pertencentes a diferentes edições, mesmo com algumas mudanças nas cenas. O trabalho está estruturado da seguinte maneira. A seção seguinte a essa introdução define os aspectos da recuperação de informação visual. A seção 3 trata do ambiente implementado e proposto pelo presente trabalho na solução da indexação e busca de informação visual nos vídeos digitais. Na seção 4 são apresentados os resultados da avaliação do ambiente para a recuperação de vídeos a partir de suas características visuais. Finalmente, as últimas seções apresentam as conclusões e a lista de referências. 2. RECUPERAÇÃO DE INFORMAÇÃO EM VÍDEOS Em 1951, Calvin Moores [2] cunhou o termo Information Retrieval ou Recuperação de Informação, associando-o ao processo sobre o qual, um conjunto de definições pode converter uma requisição de informação num conjunto de referências de fato úteis. Este processo, em geral, inicia-se com a definição de uma estrutura de índices que é utilizada para permitir a recuperação de partes específicas do conjunto de informações armazenado. A indexação do conteúdo de um vídeo pode ser feita da forma manual ou automática, ou ainda, aplicando-se uma combinação de ambas os processos. Na indexação manual, uma base de dados precisa ser criada com a descrição e as entras dos índices dos

2 vídeos. Na indexação automática, um sistema computacional analisa o conteúdo visual ou audiovisual gerando automaticamente as entradas dos índices. No caso deste trabalho, o foco está na indexação automática de vídeos, tomando como base o conteúdo visual dos quadros-chave. Uma vez que cada quadro do vídeo é também uma imagem, os algoritmos empregados nesse trabalho baseiam-se nas técnicas já existentes para a extração de características de imagem [6]. Conforme a fig. 1, a recuperação de imagem é feita basicamente de três formas: busca por texto ; busca por rascunho e busca por exemplo [13]. Neste trabalho, consideram-se apenas as formas de busca por exemplo e busca por rascunho utilizando-se as características visuais extraídas dos quadros que compõem o vídeo, conforme será apresentado nas próximas seções. 3. O AMBIENTE PROPOSTO O ambiente proposto neste artigo dispõe de uma série funcionalidades relacionadas à captura e ao processamento dos quadros individuais dos vídeos. Também há módulos voltados à indexação, busca e navegação no conteúdo visual. A arquitetura do ambiente é dividida em dois módulos principais: um módulo responsável pelo parsing [17] do fluxo do vídeo, chamado de vídeo parsing e um módulo denominado de vídeo oráculo, que é responsável pela indexação, recuperação e navegação nos vídeos. A arquitetura do ambiente implementado é ilustrada na fig. 2 [18]. Figura 1 - Formas de busca de imagem: busca por texto (a), busca por rascunho (b) e busca por exemplo (c). Na busca por texto (fig. 1 (a)), o usuário fornece uma descrição textual do conteúdo que procura. Essa descrição é aplicada sobre um repositório de dados para recuperar o conteúdo. Nessa abordagem, é necessário que o conteúdo do vídeo seja previamente anotado seguindo algum padrão de metadados, por exemplo, o MPEG-7 [14]. Essa abordagem é a mais eficiente do ponto de vista semântico, entretanto, ela é bastante dependente das anotações feitas a priori. Além do mais, as anotações ficam restritas a um vocabulário e são bastante custosas, pois, cada hora de vídeo anotada adequadamente consome cerca de dez horas de trabalho [15]. Para Dimitrova et al. [16], além do custo natural da geração de uma anotação manual, quando é possível realizá-la, ela pode ser subjetiva e incompleta. Na busca por esboço ou busca por rascunho (fig. 1 (b)), o usuário faz um sketch da imagem que está procurando, esse rabisco deve ser da melhor forma como ele se recorda da imagem alvo que tem em mente. Tão similar quanto possível em termos de cor, forma e posição dos objetos. Para realização da busca por esboço, no presente trabalho, são utilizadas características extraídas através da transformada wavelet [6]. Na busca por exemplo (fig. 1 (c)), o usuário oferece uma imagem de busca similar àquela(s) que ele deseja encontrar, essa imagem serve como uma espécie de gabarito, exemplo ou modelo do qual são extraídas características básicas utilizadas no processo de busca, daí, o nome busca por exemplo. A imagem de busca pode ser uma fotografia, uma imagem em baixa resolução, um thumbnail semelhante ao quadro alvo desejado, ou uma imagem sintética gerada por computação gráfica. Figura 2 Ambiente para indexação, recuperação e navegação em conteúdos de vídeo. 3.1 Características do vídeo parsing O vídeo parsing foi implementado em uma aplicação em C++ com recursos do Microsoft directx. Qualquer vídeo cujo codec esteja instalado e reconhecido pelo directx pode ter o parsing realizado. As funcionalidades implementadas por ele são: 1. Redimensionamento dos quadros do vídeo para a resolução de 128 x 128 pixels. 2. Extração das distâncias entre quadros (visando dar suporte à detecção automática de corte de tomadas). 3. Seleção de quadros-chave e armazenamento em thumbnails. 4. Extração da assinatura wavelet [6] e das características estatísticas dos quadros-chave. 5. Geração de arquivos com os dados estatísticos, as distâncias entre os quadros e a assinatura wavelet dos quadros-chave.

3 3.1.1 Redimensionamento de quadros Todos os quadros do vídeo são processados pelo vídeo parsing para redução da resolução espacial. Independente da resolução de entrada do vídeo, cada quadro é redimensionado para 128 x 128 pixels. Três fatores motivaram esse redimensionamento: 1. O processamento de quadros em resolução reduzida apresenta menor custo computacional nas últimas fases do parser. 2. O redimensionamento pouco interfere nos dados obtidos dos quadros quando comparados com os dados obtidos a partir da sua resolução original. As características estatísticas e de diferenças ou distâncias interquadros não sofrem alterações relevantes com a redução da resolução espacial. 3. A extração da assinatura wavelet também sofre pouca interferência, uma vez que, os detalhes presentes no quadro em maior resolução são normalmente descartados da assinatura pelo método. O motivo de se escolher 128 x 128 é uma restrição do algoritmo da DWT apresentado por Jacobs et al. [6]. Essa restrição impõe que a quantidade de linhas e de colunas seja sempre potência de dois. Rosenberg e Rowley [7] também fazem uma redução na resolução em um trabalho envolvendo o agrupamento de imagens. Vale ressaltar que a razão de aspecto dos quadros pode ser alterada em alguns casos, resultando em distorções das imagens. Porém, isso não chega a ser um problema para a busca de quadros similares, uma vez que as imagens utilizadas como parâmetro de entrada das buscas sofrem a mesma alteração na razão de aspecto Extração das distâncias entre quadros Em sua essência, pode-se afirmar que os métodos para detecção automática de corte de tomada e para extração de quadros-chave utilizados nesse trabalho são basicamente os mesmos [8]. A diferença principal deste método está nos limiares aplicados e nos canais de cores empregados por cada método (RGB ou YIQ). Outra diferença é que, considerando q i um quadro no instante i, para a detecção de corte de tomada, faz-se uma comparação entre os quadros adjacentes q i e q i+1, enquanto que, na extração de quadros-chave verifica-se a diferença entre o quadro-chave i e os próximos n quadros candidatos a novo quadro-chave (q i e q i+n ) Seleção de quadros-chave A seleção de quadros-chave cumpre dois papéis fundamentais: primeiro, a seleção de quais quadros serão processados nas fases de extração das características estatísticas e da assinatura wavelet; segundo, ela dá suporte à geração de um conjunto de quadros representativos para sumarização e navegação no vídeo [3]. Devido à redundância temporal, quadros adjacentes tendem a apresentar características estatísticas muito similares, bem como assinaturas wavelet próximas ou mesmo idênticas [6]. Um dos objetivos do trabalho é exatamente selecionar uma quantidade de quadros-chave que produzam a melhor relação de perda por redundância na captura de quadros representativos. Desse modo um conjunto reduzido de quadros-chave tende a apresentar sumários compactos dos vídeos para compor uma base que torne a indexação viável (em termos de complexidade de tempo e espaço). Quadros consecutivos são considerados redundantes quando possuem grande similaridade visual, definida através de métricas de diferenças entre os mesmos [18]. A análise de um conjunto menor de quadros traz três vantagens: (i) maior velocidade de processamento na extração das características visuais dos quadros; (ii) redução da quantidade de informação redundante nos índices gerados e; (iii) redução do custo de armazenamento e melhor desempenho no tempo de resposta às consultas. A seleção adequada de quadros-chave depende dos objetivos da aplicação que os utilizará. Para a aplicação de sumarização e suporte à busca orientada ao conteúdo visual deste trabalho, considera-se que a captura de quadros-chave deve apresentar, simultaneamente, a menor perda de quadros representativos e a menor redundância possível. Isto porque, espera-se que a representação reduzida do vídeo através do sumário estático seja suficiente para permitir a implementação da busca por conteúdo visual com uma precisão aceitável [22]. A dificuldade na geração de sumários adequados para o ambiente proposto, se da no ajuste das variáveis (perda e redundância). Os algoritmos que minimizam as perdas agregam redundância, enquanto que, os algoritmos voltados à minimização da redundância, implicam em perdas consideráveis de quadros representativos do conteúdo visual. O detalhamento dos algoritmos de seleção de quadroschave implementados no ambiente aqui proposto, bem como suas avaliações, são discutidos em [18] Extração da assinatura de wavelet e das características estatísticas dos quadros-chave Na abordagem seguida por este trabalho, as características visuais dos quadros-chave que representam um vídeo foram mapeadas em duas partes: (i) assinatura de wavelet e; (ii) características estatísticas dos quadros-chave. A assinatura wavelet dos quadros-chave segue a proposta de Jacobs et al. [6],a qual consiste de uma coleção composta pela média dos valores de pixel da imagem, pelos dez maiores e dez menores coeficientes da transformada wavelet da imagem [10][11][12]. A extração dos coeficientes, obtidos de forma independente para cada canal de cor, YIQ nesse caso, define a chamada assinatura da imagem [6]. Os coeficientes mais altos, ou seja, os mais energéticos em valor absoluto, representam as principais componentes de freqüência da imagem (em outras palavras, a essência da imagem ). Embora essa seja uma representação muito resumida, ela preserva componentes essenciais de cor e informação espacial dos objetos contidos nas imagens ou quadros. Detalhes da implementação, dos algoritmos utlizados, além da justificativa sobre a escolha o espaço YIQ são discutidas na referência [6]. Nove características foram selecionadas para composição de um vetor que representa estatisticamente o conteúdo visual de cada quadro-chave. De fato, essas nove características se resumem conceitualmente a apenas três, já que cada uma foi aplicada a um dos três canais do espaço de cor. As características básicas dos quadros extraídas são: média, entropia e variância [9]. As características estatísticas utilizadas para representar o conteúdo dos quadros-chave também são obtidas no espaço de cor YIQ a fim de manter a conformidade com os coeficientes obtidos pela assinatura wavelet Geração de arquivos de dados A ferramenta de vídeo parsing gera quatro arquivos com os dados resultantes do seu processamento. O primeiro contém as características do vídeo processado, tais como a taxa de quadros

4 por segundo, a resolução espacial, a quantidade total de quadros, etc. O segundo arquivo contém a diferença interquadros, para dar suporte à detecção de cortes de tomada. O terceiro arquivo guarda as características estatísticas dos quadros-chave. Finalmente, o quarto arquivo armazena as assinaturas wavelet dos quadroschave. Esses dois últimos arquivos servem de base para a busca de quadros baseada em similaridade visual. 3.2 Características do vídeo oráculo A ferramenta vídeo oráculo, construída no ambiente de programação Borland C++ Builder 6.0, consome os dados produzidos pelo vídeo parsing no formato de arquivos e alimenta um SGBD com o os dados providos do parsing. Também é função do vídeo oráculo a análise destes dados, busca de quadros e navegação nos vídeos indexados. As principais funcionalidades do vídeo oráculo são as seguintes: 1. Indexação e inserção dos dados gerados pela ferramenta de parsing (arquivos de texto) no banco de dados (SGBD). 2. Análise dos dados das distâncias oferecidas pelo vídeo parsing para inferência de cortes de tomada. 3. Interface de uso para busca de quadros dos vídeos indexados. 4. Busca por métrica visual estatística dos quadros de vídeo a partir de imagem fornecida como exemplo. 5. Busca de quadros de vídeo por métrica de assinatura de imagem a partir de imagem exemplo ou rascunho. 6. Acesso ao segmento do vídeo representado pelo quadrochave, independente da métrica de busca utilizada. As seções seguintes desta seção detalham cada uma das funcionalidades do vídeo oráculo Indexação e inserção dos dados no repositório O processo de inserção dos dados gerados pelo vídeo parsing é semi-automático, já que o usuário seleciona individualmente qual vídeo processado pelo parsing será indexado no repositório. Após selecionar os dados do vídeo, os quatro arquivos com a representação das características dos vídeos são automaticamente inseridos na base de dados Detecção de cortes de tomadas No caso dos dados de distância interquadros, o vídeo oráculo já analisa e identifica possíveis cortes de tomada inserindo no banco de dados apenas as fronteiras das tomadas conforme distâncias interquadros pixel-a-pixel. Outras duas métricas foram analisadas: a distância euclidiana entre histogramas dos quadros e a diferença das assinaturas dos quadros com base na métrica de assinatura de imagem descrita por Jacobs et al. [6]. Os resultados desses dois outros métodos não foram tão satisfatórios quanto à comparação pixel-a-pixel, por isso, a prevalência desse último método. Os detalhes e as comparações de desempenho entre os métodos estão fora do escopo deste trabalho e podem ser encontrados em [18] Interface para busca de quadros do vídeo Para sistemas de recuperação de imagem, a interação entre o usuário e o sistema é crucial, uma vez que a informação de entrada é flexível e que modificações na consulta só podem ser obtidas pelo envolvimento do usuário com o procedimento de pesquisa. Normalmente, os ambientes de sistemas de recuperação têm uma área para especificar a pesquisa e outra para exibir os resultados. No vídeo oráculo essa interface tenta ser simples e intuitiva. A interface de busca e navegação do vídeo oráculo é mostrada na fig. 3. A especificação da pesquisa é feita selecionando-se um arquivo de imagem no diretório de arquivos desejado (ver fig. 3-(2)). Há um botão para busca estatística fig. 3-(4), que procede a busca na base de quadros representados por vetor estatístico. O botão busca por wavelet procede a busca na base de quadros representados por assinatura wavelet, podendo ser usada a métrica de classificação exemplo ou rascunho [6]. A imagem de busca Q é mostrada na fig. 3-(1) e o resultado do quadro alvo mais similar é representado por um thumbnail mostrado na fig. 3-(5). Os demais quadros são mostrados por ordem de similaridade da esquerda para a direita na primeira e segunda linha dos resultados, isso, até o 10 o quadro. Os resultados a partir da 11 a classificação são mostrados em outras páginas, cada uma com 10 quadros, em ordem decrescente de similaridade. Figura 3 Interface de busca da de quadros do vídeo oráculo Acesso e navegação nos vídeos indexados Tanto o acesso quanto a navegação no conteúdo dos vídeos utilizam a mesma interface de busca da fig. 3. Cada thumbnail apresenta o nome do arquivo associado ao vídeo, assim como a posição exata do quadro-chave no vídeo (formato SMPTE). A exibição do conteúdo de cada vídeo pode ser iniciada exatamente a partir do quadro-chave correspondente na interface Processo de busca de quadros Para se efetuar uma busca, independente do método (estatístico ou por assinatura wavelet), uma seqüência de passos é seguida. Primeiro, o usuário fornece uma imagem de exemplo ou rascunho ao sistema, essa imagem é chamada de imagem de busca Q. De acordo com o método de busca selecionado, a imagem terá suas características extraídas. Os mesmos processos aplicados ao quadro no vídeo parsing (redimensionamento da imagem para 128 x 128 pixels e a conversão do espaço de cor de RGB para YIQ) são então aplicados à imagem Q. Caso seja selecionado o método estatístico, serão extraídas as características estatísticas da imagem de busca, as quais são mapeadas em um vetor de nove dimensões. Caso o escolhido seja o método de

5 assinatura de imagem, a mesma será extraída da imagem Q e então utilizada na busca. Uma vez extraídas as características estatísticas ou de assinatura da imagem de busca, já seria possível comparar o vetor ou a assinatura com toda a base de dados de quadros-chave e classificá-los por grau de similaridade com a imagem de busca Q. Entretanto, tal operação, quando aplicada em toda base, envolve um alto custo computacional. Para contornar o problema, um filtro primário pré-seleciona no SGBD os vetores mais prováveis, trazendo um subconjunto de vetores muito menor para ser classificado. Este processo é semelhante ao realizado pelo sistema QBIC [21] Busca por métrica de assinatura de imagem No caso da busca baseada em assinatura de imagem, o filtro primário leva em consideração apenas as três médias dos valores de pixels dos canais de cor YIQ. Após a filtragem, cada assinatura representativa de um quadro resultante é comparada com a assinatura característica da imagem de busca de acordo com a métrica descrita por Jacobs et. al. [6], e por fim, os quadros são ordenados pela distância e exibidos Busca por métrica estatística No caso da busca baseada em estatística o filtro primário leva em consideração as nove medias descritas no item Após a filtragem, cada vetor representativo de um quadro resultante é comparado com o vetor de características da imagem de busca pela distância Euclidiana [9]. Em seguida, os quadros são ordenados e exibidos. 4. AVALIAÇÃO DO AMBIENTE Uma série de experimentos foram executados a fim de definir as melhores soluções para a implementação do ambiente de recuperação de vídeos. Estes experimentos incluíram a avaliação do processo de extração de quadros-chave utilizado, conforme apresentado em [18]. No trabalho, foi demonstrado que o ambiente apresenta uma relação de perdas de quadros-chave (quadros que deveriam ter sido selecionados) de 10% para uma redundância (quadros-chave selecionados indevidamente) em torno de 12% para os métodos implementados. Assim, foi possível concluir que a representação resumida do conteúdo do vídeo obtida pelo ambiente pode ser usada efetivamente como base para as buscas orientadas ao conteúdo. A segunda fase de experimentos incluiu a avaliação na recuperação de vídeos a partir de imagens de busca Q. Para estes experimentos, foi necessário construir um repositório de vídeos, obtidos a partir da captura de transmissões da TV aberta. Mais especificamente, foram capturadas 46 edições do Jornal Nacional da Rede Globo, com duração média de 44,5 minutos por edição, incluindo os intervalos comerciais. Em suma, foi gerada uma base contendo mais de 34 horas de vídeos ou cerca de 3,5 milhões de quadros individuais. 4.1 Avaliação da recuperação de quadros por similaridade visual A avaliação de desempenho das abordagens de CBIR não é um trabalho trivial por três motivos. Primeiro, não há um padrão preciso a respeito das métricas utilizadas para avaliação de desempenho das buscas de imagens ou de quadros. Segundo, não há uma base padrão para avaliação do resultados das buscas [20]. E, terceiro, o limite consensual se duas imagens são semelhantes é subjetivo e impreciso. Para avaliar o desempenho das buscas de quadros realizadas pelo ambiente, foram utilizadas duas medidas emprestadas da área de recuperação de informação: revocação e precisão [20]. Mais especificamente, na avaliação de desempenho de busca de quadros, µ denota o número total de quadros relevantes recuperados, λ o número total de quadros recuperados e ϑ número total de quadros relevantes. As medidas de precisão (p) e revocação (r) são: µ p =, λ O número total de quadros relevantes (ϑ ) pode variar muito de acordo com o quadro procurado. Por exemplo, a busca de um quadro atípico, terá poucas ocorrências na base de vídeos, enquanto que a busca de um quadro que faz parte de uma vinheta, pode se repetir muitas vezes em toda base, pois cada vez que a vinheta é exibida, uma nova ocorrência desse quadro deverá integrar a base. A avaliação de desempenho da busca para cada quadro é feita em duas etapas. Na primeira etapa, as ocorrências de quadros similares são contadas manualmente, isto é, após ter sido especificada uma busca, estabelece-se quantos quadros devem ser retornados. Na segunda etapa, a quantidade de quadros retornada pelo método automático é comparada àquela obtida manualmente. Essa segunda etapa ainda segue alguns critérios importantes relacionados com a posição do quadro na classificação de similaridade, pois não basta que o quadro seja retornado; é necessário que o mesmo esteja bem classificado. A posição de classificação do quadro está diretamente relacionada com a equação da precisão. O ideal é que os quadros alvo sejam retornados e classificados entre os primeiros resultados, o que na prática nem sempre ocorre. Por isso, foi admitida uma certa faixa de tolerância para a posição máxima admitida na classificação. Esta faixa de tolerância é relativa já que depende da quantidade de quadros alvos esperados. Sendo assim, cada quadro buscado é avaliado quatro vezes com relação às medidas de precisão e de revocação. O motivo da avaliação em quatro etapas foi dar uma maior margem de tolerância na classificação da busca dos quadros. Como conseqüência, observa-se que, quando o conjunto de amostras classificadas é aumentado, ocorre um aumento na revocação e uma redução na precisão. As quatro avaliações seguem o seguinte critério: para a precisão p i, λ varia de ϑ a 4ϑ ( λ = iϑ ), sendo que i {1, 2, 3, 4}. Na prática, isto quer dizer que para a primeira busca, são avaliados os quadros classificados até a posiçãoϑ ; na segunda até 2 ϑ ; na terceira até 3 ϑ e, finalmente, na quarta e última busca, são avaliados os resultados de precisão e revocação até 4 ϑ. Vale ressaltar que nas buscas feitas num ambiente de produção, a quantidade de quadros considerados corretos não será conhecida a priori pelo usuário, o fato de avaliar-se até no máximo quatro vezes a quantidade manual é uma métrica formal apenas para a avaliação de desempenho do ambiente proposto no presente trabalho. Na prática, um usuário pode navegar por um conjunto realmente muito maior de quadros retornados. Também se destaca que, quanto maior esse conjunto, mais provável é a obtenção de uma revocação de 100% ou muito próxima disso, uma vez que r = µ ϑ

6 todo conjunto de quadros da base irá, obviamente, conter todos os quadros esperados pela busca. 4.2 Considerações sobre o objetivo das buscas de quadros Na busca baseada em similaridade, o usuário pode ter em mente um grau de proximidade entre quadros que depende dos seus objetivos. Ele poder esperar quadros com o máximo de semelhança com a imagem de busca Q ou pode esperar quadros com um grau de similaridade menos rígida. Desse modo, esse trabalho avalia e define dois tipos específicos de busca. Uma é chamada de busca de quadros mais similares e a outra de busca de quadros com tolerância a pequenas mudanças : Na busca de quadros mais similares o objetivo do usuário é recuperar os quadros mais similares ao quadro fornecido como exemplo. Enquadram-se no objetivo desse tipo de busca, quadros que a priori sabe-se pertencer a uma categoria que pode aparecer diversas vezes na base de quadros-chave, tais como quadros presentes em vinhetas e comerciais que se repetem durante a programação. Ao fazer esse tipo de busca, o usuário deve dispor de um quadro de exemplo, que seja muito semelhante ao que se pretende recuperar. Em outras palavras, o usuário deseja recuperar todas as re-ocorrências das cenas cujo quadro-chave ele dispõem como exemplo. Um exemplo desse tipo de busca seria a seleção de todos os segmentos de previsão do tempo, baseado em um quadro comum da mini-vinheta que chama este tipo de notícia no telejornal. Na busca de quadros similares com tolerância a pequenas mudanças há um grau maior de liberdade na tolerância dada à similaridade. Esses casos podem ser úteis em diversas situações a depender das necessidades do usuário. Como um exemplo típico observado nos vídeos do Jornal Nacional, o apresentador âncora costuma aparecer num cenário cujo plano de fundo é temático à notícia. Por exemplo, notícias relacionadas à política têm um plano de fundo temático próprio, bem como as notícias relacionadas à saúde, educação, economia, esportes, futebol e assim sucessivamente. Um exemplo acontece nas notícias internacionais, onde, além das mudanças anteriormente descritas, a bandeira do país em questão é alterada no plano de fundo, como pode ser observado na fig. 4. Figura 4 Busca de notícias internacionais. A fig. 4 ilustra esse exemplo de busca de quadros similares com tolerância a pequenas mudanças, embora todos os quadros estejam relacionados a notícias internacionais, podem ocorrer mudanças do apresentador, na cor do seu terno, no mapa e na bandeira do país ao qual a notícia se refere, dentre outras. Vale notar no caso das bandeiras que, tanto seu tamanho, quanto suas cores e formas podem variar bastante, e mesmo assim, esse tipo de busca foi bem sucedida nos experimentos realizados, conforme mostram os resultados da seção Resultados dos experimentos Da base total de vídeos jornalísticos, os quase 3,5 milhões de quadros foram reduzidos a quadros-chave. Esse subconjunto de quadros é usado tanto para a busca baseada em características estatísticas quanto para busca baseada na assinatura wavelet. Outro fato importante é que esse subconjunto contém apenas cerca de 1,25% da base total de quadros [18]. Os resultados da avaliação das buscas quanto às métricas de precisão e revocação são apresentados nas próximas subseções Resultados da busca de quadros mais similares Para esses experimentos, foram considerados os métodos de busca baseados em características estatísticas e em assinatura da imagem da busca por exemplo. Foram testadas 25 imagens em dois experimentos. Estas imagens foram selecionadas de forma aleatória e correspondiam a quadros-chave cujas ocorrências poderiam ir de uma até dezenas de vezes na base de dados. Figura 5 Quadros para buscas mais similares Os resultados das buscas por estatística e por exemplo são apresentados nas tabelas 1 e 2, respectivamente. Conforme as tabelas, o método de busca por exemplo baseado na assinatura de wavelet apresentou o melhor desempenho. Tabela 1 Resultados da busca por estatística Revocação 62,40% 64,18% 73,90% 75,62% Precisão 62,40% 32,09% 24,63% 18,90% Tabela 2 Resultados da busca por exemplo Revocação 91,80% 93,40% 94,71% 95,91% Precisão 91,80% 46,70% 31,57% 23,98% Resultados da busca de quadros com tolerância a pequenas mudanças Nesses experimentos, foi considerada uma tolerância a mudanças nos quadros conforme descrito na seção 4.2 Foram selecionadas 25 imagens de exemplo do Jornal Nacional, todas diferentes das utilizadas no experimento descrito no item Todos esses exemplos possuem algum apresentador (âncora) tratando de uma notícia com um plano de fundo temático relacionado (fig. 6). Figura 6 Exemplos de imagens com tolerância a mudanças. As mudanças nas imagens selecionadas nessa base de exemplos ocorrem de diversas formas, por exemplo: na cor do terno do apresentador ou em outros detalhes no plano de fundo temático.

7 Normalmente esses temas são formados por algum efeito de animação que os constrói, por isso, nem sempre o quadro-chave capturado na sumarização contém exatamente o mesmo quadro. Dessa forma, deseja-se que o sistema de busca seja tolerante o suficiente nestas carências em detalhes. A fig. 6 ilustra alguns exemplos utilizados nos testes, como por exemplo: notícias sobre educação, saúde, seleção brasileira de futebol, vôlei, Fundo Monetário Internacional, notícia internacional, eleições americanas, notícias do presidente do Brasil, campeonato brasileiro de futebol e entorpecentes. Os resultados obtidos nessa categoria de experimento são mostrados na tabela 3. Tabela 3 Resultados da busca por exemplo com tolerância a mudanças. Revocação 82,45% 88,66% 89,57% 91,15% Precisão 82,45% 44,33% 29,86% 22,79% Resultados da busca de quadros rascunhados Os rascunhos utilizados foram criados manualmente a partir de algumas imagens exemplos, conforme mostram os exemplos da fig. 7. O objetivo nesse experimento era eliminar detalhes nas cenas na obtenção de quadros com similaridade visual. Figura 7 Imagens rascunhadas. Os resultados desse tipo de busca foram bastante satisfatórios quando as imagens apresentavam realmente uma boa semelhança na posição dos objetos. O espectro reduzido de cores não representou um problema para esse tipo de busca. Os resultados apresentados na tabela 4 mostram que a revocação chega a atingir uma média de 90% de sucesso até as 4ϑ primeiras colocações. Outro fato é que o sucesso da busca está intimamente ligado à qualidade do rascunho. Nos casos em que o rascunho é criado de modo mais livre, a tendência é que um rabisco ruim tenha como conseqüência baixo desempenho nas buscas. Tabela 4 Resultados da busca por rascunho Revocação 76,45% 83,03% 89,59% 90,57% Precisão 76,45% 41,52% 29,86% 22,64% Resultados da busca de quadros sorteados Nesse tópico, uma última avaliação é proposta com o objetivo de mostrar que o ambiente apresentado neste trabalho é viável, tanto na seleção dos quadros-chave [18], quanto nas buscas dos quadros. Nesse experimento, um conjunto de 25 quadros foi selecionado aleatoriamente a partir de todos os quadros associados à edição do Jornal Nacional capturada no dia 26 de setembro de Esses 25 quadros foram utilizados como quadros de exemplo nos dois métodos de busca propostos: estatístico e wavelet por exemplo. O objetivo do experimento foi mostrar que, se todo o vídeo tiver quadros-chave adequados compondo um sumário que o represente adequadamente para indexação de busca, e se cada quadro sorteado for visualmente similar a pelo menos um quadro pertencente ao sumário, e ainda, sendo os métodos de busca propostos também adequados, esperase, no caso ótimo, que 100% dos quadros sorteados sejam recuperados pelo ambiente proposto. A primeira busca realizada, baseada em similaridade estatística, obteve os resultados apresentados na tabela 5. Essa tabela mostra que a revocação inicial fica um pouco abaixo dos 70%, evoluindo para próximo de 75% ao se reduzir a precisão. Tabela 5 Resultados da busca estatística com imagens sorteadas. Revocação 68,40% 70,00% 70,00% 74,00% Precisão 68,40% 35,00% 23,33% 18,50% A tabela 6, baseada no método de busca por exemplo, apresenta resultados bastante semelhantes aos da busca estatística. Tabela 6 Resultados da busca por exemplo com imagens sorteadas. Revocação 67,73% 73,20% 74,00% 78,00% Precisão 67,73% 36,60% 24,67% 19,50% Para ambos os métodos, houve situações (praticamente para as mesmas imagens) em que os quadros selecionados aleatoriamente não puderam ser encontrados pelo ambiente. Este problema é decorrente não da falha do método de busca, mas sim da falha na captura de alguns quadros-chave, indicando que esse é um ponto crítico do sistema, conforme discutido em [18]. Em compensação, os resultados das buscas apresentaram um desempenho muito bom, se for levado em conta que a maior parte dos quadros não fora recuperada justamente por não ter sido indexada. 5. AGRADECIMENTOS Os autores agradecem ao CAPES e ao CNPq pelo financiamento da pesquisa através de bolsa de mestrado e do projeto DEIVID (Ambiente para DEscrição, Indexação e Consulta de Conteúdos de VÍdeos Digitais). Processo CNPq: Nº / CONCLUSÕES Os métodos e técnicas implementados e avaliados no ambiente apresentado, composto pelas ferramentas de vídeo parsing e vídeo oráculo, podem ser utilizados, em princípio, para processar e indexar qualquer categoria de vídeo digital. Em outras palavras, os resultados obtidos nesse trabalho não se restringem apenas à categoria dos vídeos jornalísticos (e, especificamente edições do Jornal Nacional), podendo ser potencialmente aplicados em outras categorias de vídeo, tais como documentários, filmes e outros. A redução do conjunto total de quadros do vídeo para um sumário compacto é importante para a redução do custo computacional envolvido tanto na extração das características que representam o conteúdo visual como no processo de recuperação. Além disso, o sumário reduz o custo de armazenamento e o tamanho da base de dados usada na indexação. Essa técnica torna o sistema de busca por similaridade visual mais eficiente e com poucas informações redundantes. Em contrapartida, não é possível encontrar uma sumarização automática completamente livre de perda de quadros-

8 chave e, ao mesmo tempo, sem qualquer redundância de informação visual. Porém, se controlada, a relação de perda versus redundância pode ficar dentro de um nível aceitável, conforme demostraram os experimentos. O uso de uma antena interna e de baixa qualidade no processo de captura das amostras de vídeo apresentou um pequeno ruído branco. Este fato não foi considerado grave e poderia ser até considerado interessante no sentido de reforçar a eficiência dos resultados de busca por similaridade, uma vez que com o ruído, trechos de vinhetas iguais apresentam pequenas diferenças visuais. A captura de vídeos transmitidos usando tecnologia digital deve eliminar este problema. Os resultados apresentados no item 4.3 reforçam a tese de que a fase de captura de quadroschave atende aos objetivos esperados. Considerando-se a complexidade apresentada na indexação automática de conteúdo visual de vídeos e na recuperação desse tipo de conteúdo, os métodos de busca de quadros mostraram-se satisfatórios tanto em termos de desempenho quanto no tempo de retorno às consultas. Os testes foram realizados num ambiente totalmente implementado sobre uma arquitetura PC (configuração média comercializada em 2007). A recuperação de quadros visualmente similares ocorreu em menos de um segundo ou no máximo 20 segundos, em casos mais extremos, a depender do método utilizado. Isso é considerado um resultado bastante atraente visto que o conjunto indexado de vídeos nesse ambiente fora superior a 34 horas. Embora não tenha sido o objetivo inicial do presente trabalho as buscas de quadros com tolerância a pequenas mudanças carregam aspectos semânticos mesmo que em pequeno grau. Desse modo, o exemplo das buscas de quadros contendo o apresentador e a bandeira de um país que retornam quadros de notícias internacionais configuram uma busca que agregam semântica em algum grau. A avaliação ou quantificação do grau de semântica deve ser investigado em trabalhos futuros. Os três métodos de busca: por características estatísticas; por assinatura de wavelet rascunho e exemplo, mostraram-se basicamente estáveis para a proposta de busca de quadros sorteados. Para que esses métodos tivessem melhores resultados, seria necessário reduzir a taxa de perda de quadros do módulo de captura de quadros-chave realizado pelo vídeo parsing, o que, em contrapartida, acarretaria em mais redundância na base gerada. 7. REFERÊNCIAS [1] F. J. Seinstra et al. High-Performance Distributed Video Content Analysis with Parallel-Horus. IEEE Multimedia, Oct.-Dec Vol. 14, N.4, pp [2] C.N. Moores. Datacoding applied to mechanical organization of knowledge. Am. Doc. 2 (1951), [3] A. Hanjalic; H. Zhang. An integrated scheme for automated video abstraction based on unsupervised cluster-validity analysis. IEEE Trans. Circuits Systems Video Technol. 9 (8) (1999) [4] B. T. Truong. In Search of Structural and Expressive Elements in Film Based on Visual Grammar. These presented on the Department of Computing Science Curtin University of Technology, [5] H.J. Zhang; J.Y.A. Wang; Y. Altunbasak. Content-Based Video Retrieval and Compression: A Unified Solution. Proc. IEEE Int. Conf. Image Processing pp DOI 2 [6] C. E. Jacobs; A. Finkelstein; D. H. Salesin. Fast multiresolution image querying. SIGGRAPH, Aug pp [7] T. Lui; C. Rosenberg; H. A. Rowley. Clustering Billions of Images with Large Scale Nearest Neighbor Search. IEEE Workshop on Applications of Computer Vision, [8] T. T. Santos. Segmentação automática de tomadas em vídeo. Dissertação de Mestrado, Universidade de São Paulo, [9] C. R. Gonzalez; R. E. Woods. Processamento de imagens digitais. São Paulo, SP: Edigard Blücher, [10] C. K. Chui. An Introduction to Wavelets, volume 1. Academic Press, Inc., Boston, [11] I. Daubechies. Ten Lectures on Wavelets. SIAM, Philadelphia, [12] R. DeVore et alli. Image compression through wavelet transform coding. IEEE Trans. Inform. Theory. 38(2): , Mar [13] T. Deselaers. Features for Image Retrieval. Rheinisch- Westfalische Technische Hochschule, Techical Report, Aachen, [14] M. Gertz; K.-U. Sattler; F. Gorin; M. Hogarth; J. Stone. Annotating Scientific Images: A Concept-based Approach. In Proc SSDBM'2002, Edinburgh, Scotland, Jul 2002 [15] IBM T. J. Watson Research Center, MARVEL: Multimedia Analysis and Retrieval System. URL Acesso em 19/07/2007. [16] N. Dimitrova; H.-J. Zhang; B. Shahraray; I. Sezan; T. Huang; A. Zakhor. Applications of video-content analysis and retrieval. IEEE Multimedia, pages 42 55, Jul-Sep [17] Y. Zhang; T. Chua. Video Modeling and Retrieval. Multimedia Image and Video Processing. CRC Press, Sep [18] Pimentel Filho C. A. F., C.A.S. Santos, T. A. Buck. Integração de Métodos Baseados em Diferença de Quadros para Sumarização do Conteúdo de Vídeos. XIV WEBMEDIA, pp.1-4. [19] Pimentel Filho C. A. F. Um ambiente para indexação e recuperação de conteúdo de vídeo baseado em características visuais. Dissertação de mestrado, Universidade Salvador, Setembro de [20] D. Feng; W.C. Siu; H. J. Zhang. Multimedia Information Retrieval and Management: Technological Fundamentals and Applications (Fundamentals of content-based image retrieval). Springer-Verlag Berlin Heidelberg 2003 [21] M. Flickner et al. Query by image and video content: The QBIC system. IEEE Computer, 28(9): 23-32, [22] S. E. F. de Ávila et al. VSUMM: An Approach for Automatic Video Summarization and Quantitative Evaluation, XXI SIBGRAPI, pp