SACCA Sistema Automático de Catalogação de Conteúdo Audiovisual. Liane Tarouco Renato Dutra Mary Konrath UFRGS/CINTED/PGIE

Transcrição

1 SACCA Sistema Automático de Catalogação de Conteúdo Audiovisual Liane Tarouco Renato Dutra Mary Konrath UFRGS/CINTED/PGIE 1

2 Cenário atual Acervo de vídeos começa a ser produzido na UFRGS e em outras instituições Exemplos Projeto Cala a boca já morreu Acervo TV Escola do MEC 2

3 Bibliotecas digitais Vídeos com conferências, aulas, experimentos, demonstração de procedimentos, visitas em campo etc... estão proliferando mas ficam muitas vezes sem serem usados pelo desconhecimento de seu conteúdo pela potencial população de usuários, os professores. 3

4 Importância do uso do vídeo A linguagem audiovisual favorece a percepção, a sensação sobre o conceito. 75% da percepção humana é visual 20% da percepção é auditiva outras modalidades somam juntas apenas 5% de nossa capacidade perceptiva Estamos na idade das imagens e provavelmente a alfabetização primária do século 21 será visual. 4

5 Problemas de uso Dificuldade para encontrar conteúdo em vídeo tempo demandado para que o acervo seja inspecionado pelos potenciais utilizadores a natureza da mídia, vídeo, não permite uma visualização rápida do conteúdo 5

6 Problema a resolver Sub-utilização utilização de um material educacional que pode ter grande impacto no processo de aprendizagem. 6

7 Objetivo do projeto Aumentar a utilização de recursos de vídeo educacional para melhorar a aprendizagem Ampliar o conhecimento sobre os acervos de vídeos educacionais disponíveis na UFRGS e em outros repositórios 7

8 Precursor Internet2 - projeto VALA (Virtual Adaptative Learning Architecture) na University of Arizona usa software comercial VIRAGE, para fazer a análise software funciona para a língua inglesa. O resultado possibilita ao aluno digitar uma ou mais palavras chaves e receber uma coleção de URLs que apontam para vídeos armazenados no repositório (incluindo pontos específicos do vídeo onde a palavra é dita). 8

9 9

10 10

11 Projeto SACCA Buscou uma solução que apoiasse a indexação dos vídeos por seu conteúdo 11

12 Padrões de anotação estudados SMIL - Synchronized Multimedia Integration Language ANNODEX MPEG 7 12

13 SMIL O SMIL é tipicamente utilizado para apresentações multimídia do tipo rich media, que integram áudio e video streaming, texto ou qualquer outro tipo de arquivo. 13

14 SMIL O SMIL é uma linguagem baseada no XML, trabalhando com tags semelhantes ao HTML, podendo ser editado por qualquer editor de texto comum, pois os elementos multimídia não são inseridos, somente referenciados. Exemplo de vídeo sincronizado com SMIL: Vídeo Índice com imagens Slides 14

15 SMIL Com o SMIL é possível gerenciar a transmissão de arquivos multimídia por streaming, sincronizando estes arquivos com animações flash, páginas html, figuras, etc. 15

16 ANNODEX O Annodex (anotating and indexing), é uma especificação criada a partir do Continuous Media Project, iniciado na CSIRO (Australia's Commonwealth Scientific and Industrial Research Organisation) Manipulação de arquivos de áudio e vídeo na Web. Free Annodex plugin for Mozilla Firefox 16

17 MPEG-7 O MPEG-7 é uma especificação padronizada desenvolvida pelo Moving Picture Experts Group, um grupo de trabalho da ISO/IEC criado em 1988, encarregado pelo desenvolvimento de padrões para representação codificada de áudio e vídeo digitais 17

18 MPEG-7 O MPEG-7 descreve as características de conteúdos multimídia para que os usuários possam pesquisar e recuperar estes conteúdos de forma similar ao que ocorre nos mecanismos de busca na WWW. Para a criação destas descrições, o MPEG-7 disponibiliza um conjunto de elementos de metadados descritos em XML. 18

19 MPEG-7 Description Schemas podem ser divididos em cinco áreas: Elementos básicos Gerenciamento de conteúdo Descrição de conteúdo Navegação e acesso Organização de conteúdo 19

20 MPEG-7 20

21 MPEG 7 Multimedia Content Description Interface ISO/IEC MPEG-7 é baseado em um conjunto de descrições que abrange: procedência (título, criador, direitos) elementos semânticos (quem, o quê, quando) e estruturais audio-visual (histograma de cor de uma imagem ou o timbre de um trecho musical). Construido com base em XML e pode ser integrado a uma hierarquia orientada a objetos 21

22 Ferramentas para usar MPEG-7 Ferramentas que utilizam o MPEG-7 como linguagem padrão de descrição de vídeo. Ricoh MPEG-7 MovieTool utilizado para criar descrições Canon MPEG-7 Spoken Content Transcription Service um serviço que transcreve em XML no padrão MPEG-7 um arquivo de áudio IBM MPEG-7 Annotation Tool. IBM Annotation Tool 22

23 IBM Annotation Tool 23

24 Porque foi escolhido o MPEG 7 Padrão desenvolvido pela ISO Por ter sido criado especificamente com o intuito de descrever e indexar vídeos. O grande diferencial do MPEG-7 é sua abrangência, pois nele é possível fazer descrições que nos permitem indexar não somente palavras-chave em determinados intervalos do vídeo, como também permite a indexação por padrões de imagem, som e outros tipos de descrições. 24

25 SACCA 25

26 Funcionamento do SACCA As informações resultantes devidamente anotadas no arquivo XML padrão MPEG-7 são armazenadas em um banco de dados, com todas a palavras chave catalogadas e ponteiros para os arquivos XML (MPEG 7) 26

27 Visualizador desenvolvido Utiliza applet baseado no Java Media Player, alterado para tocar partes do vídeo a partir das descrições MPEG 7. 27

28 Exemplo de exibição Um Módulo Visualizador foi projetado para ser integrado a estes dois sistemas, com vistas a permitir a exibição dos vídeos, a partir de momentos referenciados por um link (uma URL associada a um instante em que uma dada palavra chave é falada). 28

29 Módulo de visualização Desenvolvido o módulo de visualização de vídeos indexados que permite visualizar um vídeo em padrão MPEG 4 ou Quicktime em conjunto com um indice de palavras-chave, permitindo que se navegue no vídeo através das palavras-chave. Este módulo foi desenvolvido em forma de Applet Java através da API Quicktime for Java, uma API disponibilizada pela Apple para o desenvolvimento de visualizadores de vídeo. 29

30 Módulo exibidor A API inicialmente escolhida, o Java Media Framework, apesar de plenamente funcional não exibe por enquanto vídeos no formato Streaming, permitindo somente vídeos padrão AVI ou MPEG-1. Diante disto buscou-se utilizar a API Quicktime for Java, que por ser ainda pouco utilizada estava mal documentada e com alguns bugs em suas classes e métodos. 30

31 Teste do protótipo Foram assistidos, analizados e indexados alguns vídeos do TV Escola, através do software IBM Annotation Tool, gerando um arquivo MPEG-7, permitindo sua visualização no módulo visualizador Os dados (MPEG 7) obtidos através do IBM Annotation Tool, foram usados para cadastramento no repositório CESTA 31

32 Testes comparativos Indexados alguns vídeos através da linguagem SMILE, conforme demonstrados na página do SACCA 32

33 Integração com sistemas de indexação existentes Os sistemas de cadastramento existentes, tal como o do projeto CESTA - Coletânea de Entidades de Suporte ao uso da Tecnologia na Aprendizagem para objetos de aprendizagem, ou o ALEPH, usado na biblioteca da UFRGS, usualmente se limitam a catalogar dados inerentes aos metadados. Perde-se nestas alternativas a possibilidade de indexação full-text que as máquinas de busca como Altavista e Google 33

34 Aplicações de MPEG A aplicação do MPEG-7 na educação pode ocorrer de diversas formas, podendo ser utilizado para permitir a busca de determinadas palavras em um vídeo que sejam interessantes para uma aula; encapsulando informações adicionais de determinadas cenas possibilitando a exploração pelos alunos; permitindo que alunos façam suas próprias anotações (gerando uma anotação MPEG-7) e observações em um determinado vídeo. 34

35 MPEG-7 7 e os vídeos educacionais A utilização de vídeos educacionais no processo de ensino e aprendizagem ganhou importantes recursos com o surgimento de padrões, como o MPEG-7, que auxiliam descrevê-los de forma padronizada, possibilitando a busca e seleção de vídeos ou partes dele. 35

36 Ferramenta para professores e para alunos A utilização das descrições MPEG-7, escritas em XML e integradas a um repositório de materiais audiovisuais, possibilitarão aos professores de forma simples e rápida, localizar vídeos educacionais adequados para o apoio em sala de aula. Adicionalmente servirá como ferramenta para que o aluno navegue, de forma hipertextual, nos diversos vídeos armazenados neste repositório. 36

37 Equipe do SACCA Renato Luis de Souza Dutra (*) Mary Konrath Anita Grando Mateus Gentilini Dyonathann Padoin Rafael Pereira Cassio Bento de Andrade Felipe Ledur (*) Mateus Gentilini Ledur (*) Priscilla Roland Jeferson Brito 37