Uma comparação entre métodos de segmentação automática de tomadas em vídeos

Transcrição

1 Uma comparação enre méodos de segmenação auomáica de omadas em vídeos elingon de Jesus Lisboa, Carlos A. F. Pimenel Filho Celso A. Saibel Sanos # Resumo. se arigo em como foco cenral a segmenação emporal de vídeos digiais, com base na deecção auomáica de core de omadas. No arigo, os resulados obidos com a aplicação de alguns méodos apresenados na lieraura foram comparados com relação à axa de acero na deecção das omadas ou segmenos de vídeo obidos. Palavras chave: Segmenação emporal de vídeo, deecção de core de omadas, segmenação auomáica de vídeos.. Inrodução Aplicações de vídeo e imagens digiais são imporanes para educação, enreenimeno, e muias ouras aplicações mulimídia. Com o rápido crescimeno de equipamenos de capura de vídeo de baixo cuso, ais como webcams, celulares com recurso de gravação de vídeo, e mesmo filmadoras radicionais, observamos um crescimeno no volume de arquivos de vídeo digiais. Novas aplicações em vídeo digial permiem ouras esruuras de navegação e busca de coneúdo mais avançadas que as conhecidas do sisema VHS, por exemplo. Porano é possível usar uma nova abordagem de navegação em vídeos com a ecnologia digial. A delimiação de omadas (ou shos) de vídeo é a base para a Aluno do 2 o ano de graduação em Ciência da Compuação da UNIFACS. Aluno do Mesrado Acadêmico em Sisemas e Compuação da UNIFACS. # Orienador. Professor Tiular da UNIFACS.

2 esruuração de vídeo, agregando quadros coníguos em seqüência com o mesmo conexo (Tekalp, 2000). Além de possibiliar a navegação do vídeo enre cores de omadas, a deecção de core das mesmas é imporane em aplicações de exração auomáica de caracerísicas, por exemplo: o amanho médio dos shos, em railers de filmes, é uma caracerísica usada, denre ouras, para classificar filmes em um dos quaro gêneros: comédia, drama, error ou ação (Rasheed Z e al, 2002). Nese arigo são apresenados conceios básicos sobre a esruura de vídeos digiais, resolução espacial e emporal de vídeo, espaços de cores e delimiações de omadas. São mosrados ambém, rês méodos de segmenação de omadas, os resulados práicos obidos e a comparação do desempenho dos méodos com o resulado esperado. 2. Vídeos digiais e segmenação emporal Vídeo é uma seqüência de imagens ou foogramas que, quando reproduzidas uma a uma, em deerminada velocidade, apresenam a ilusão de movimeno. Tipicamene são usados 30 fps para se ober al efeio. Um vídeo pode ainda coner um canal de áudio sincronizado. xisem muias erminologias usadas para descrever aribuos de um vídeo. Nessa seção, raduzimos e adapamos a erminologia de (Smih & Chen, 2000) de aribuos e padrões em vídeo e imagem, mosrada na abela. A segmenação emporal de vídeo refere-se à idenificação de quadros do vídeo com algum grau de homogeneidade (Tekalp, 2000). Consideramos que um segmeno de vídeo consise em dois ou mais conjunos de quadros em um vídeo. m ouras palavras, a segmenação emporal vai idenificar inervalos de empo no vídeo onde ocorrem mudanças rápidas do que esava sendo filmado, independene do seu conexo, ou simplesmene, um core de câmera. Os auores receberam apoio do Conselho Nacional de Desenvolvimeno Cienífico e Tecnológico CNPq aravés do projeo DIVID: Ambiene para Dscrição, Indexação e Consula de Coneúdos de VÍdeos Digiais (Ref /2004-8)

3 Tabela Terminologia de vídeo Termo Vídeo (Imagem/Áudio) Cena (Imagem) Quadro ou Frame Segmeno Tomada Áudio Comenário O ermo vídeo será usado para represenar um fluxo de imagens e áudio. Uma cena é uma unidade de imagens que carregam alguma semânica. Refere-se a um único foograma do vídeo Um subconjuno homogêneo de quadros do vídeo, delimiados no empo por semânica ou não, embora o presene rabalho não considere a semânica. Conjuno de Frames consecuivos enre um core de câmera e ouro. Refere-se ao canal de áudio associado ao vídeo Uma omada consise de um ou mais quadros cujas caracerísicas são semelhanes. ses quadros são gerados e gravados de forma conígua, represenando uma ação em relação ao empo e espaço. As cenas são uma combinação de várias omadas num mesmo conexo, por exemplo, um diálogo enre personagens. Por sua vez, um conjuno de cenas compõe um vídeo, como exibido na Figura (Sanos T., 2004). A aquisição auomáica de core de omadas de vídeos em várias aplicações. Uma das mais imporanes é a deerminação de quadros chave, que carregam informação visual da omada como um odo, podendo funcionar como uma espécie de resumo. Quadros chave ambém são usados para a consrução de mosaicos (IBM MArvel, 2006). Os mosaicos represenam imagens consruídas de vários quadros chaves pequenos, assim, os mesmos, gerados a parir dos quadros chaves, podem represenar em uma única imagem a idéia de oda a ação conida em um segmeno do vídeo. (Sanos T., 2004). Um mosaico é mosrado na figura 2. O ermo fps indica frames per second ou quadros por segundo.

4 Figura : sruuração de Vídeo. Fone: (Sanos T., 2004) Quadros-chaves e mosaicos podem ser uilizados na criação de índices, aravés da exração de caracerísicas de imagem, como cor, exura e forma. Por sua vez, as omadas são adequadas para exração de caracerísicas envolvendo movimeno. Figura 2 Mosaico de Vídeo. Fone: (IBM MArvel, 2006) 3 - Méodos de segmenação de omadas Nesse ópico apresenamos os méodos de deecção auomáica de core de omadas analisados. De modo geral, os méodos de deecção auomáico de core de omadas baseiam-se na busca de similaridade enre quadros sucessivos, classificando auomaicamene ponos de baixa similaridade. Nese arigo rês méodos para segmenação de omadas são avaliados: Comparação pixel-a-pixel (Sanos T., 2004), comparação de disância dos hisogramas RGB (Smih & Chen, 2000) e mínimo dos hisogramas HSV (Rasheed Z. e al, 2002) Comparação pixel-a-pixel Uma das écnicas mais simples e de fácil implemenação para a deecção de omadas de vídeo é aravés da soma das diferenças (d p ) enre os pixels de quadros adjacenes na mesma posição espacial. sse méodo produz em valores baixos de d p para imagens semelhanes e valores mais alos ou picos para imagens diferenes. Tal écnica depende da fixação de um limiar k p, que é definido experimenalmene. Os valores que ulrapassarem esse limiar, podem ser enão considerados como um core de omada. Para fixarmos um limiar independene da resolução espacial dos quadros, dividimos o somaório pela quanidade oal de pixels do quadro. A equação para o cálculo da comparação pixel-a-pixel é definida como se segue:

5 M N dp(qi,q j) = qi ( x, y) q j ( x, y) MN x= y= eq. Na eq., q i (x,y) é a inensidade do pixel (x,y) que pode indicar, para quadros monocromáicos, um nível de cinza (q i de resolução MxN), ou, para quadros coloridos, uma valor no domínio RGB (red, green, blue). M N dp(qi,q j) = qi ( x, y, c) q j ( x, y, c) 3MN c { R, G, B} x= y= eq.2 Na eq.2, um quadro q i delimia uma froneira de omada se d p (q i,q i+ ) > k p, onde k p é um limiar definido experimenalmene Comparação de Hisogramas RGB A diferença de hisogramas é menos sensível a movimenos súbios de objeos na cena, sendo uma forma basane efeiva de deecção de similaridade de imagens. d h (qi,q j) = hi L l= [] l h [] l j Dizemos que um quadro q i delimia uma omada se d h (q i,q i+ ) > k h, onde k h é um limiar definido experimenalmene. eq Somaório dos mínimos dos hisogramas HSV: Diferenemene do RGB, no modelo de cor HSV a represenação das cores em uma imagem é feia aravés das componenes Hue (croma), Sauraion (sauração) e Value (valor). Com esas variáveis, o modelo HSV aproxima-se muio do modelo inuiivo uilizado em ares visuais, onde os conceios qualiaivos de maiz, luz e onalidade são mais empregados. O méodo consise em somar o menor valor de cada hisograma HSV das imagens em comparação. A figura 3 mosra um exemplo de imagem represenada no formao HSV (Rasheed Z e al, 2002).

6 Figura 3: (a) imagem original, (b) Croma (H), (c) Sauração (S) e (d) Valor (V). Sendo S(i) função dos hisogramas H i e H i- os quadros i e i- respecivamene: ( j), H ( j)) S(i) = min(hi i j allbins eq.4 Como resulado, obemos um sinal S(i) com muio ruído, que é suavizado usando o méodo ieraivo de Gaussian Kernel (Rasheed Z e al, 2002). Isso porque a variância da função de Gauss varia de acordo com o sinal do gradiene. Formalmene: S + [ ] () i = S ( i) + λ c. S ( i) + c. S ( i) eq.5 Onde: é o número da ieração; 0 < λ </ 4 e: () i S( i + ) S( i), S eq.6 () i S( i ) S( i. S ) eq.7 Os coeficienes condicionais são funções dos gradienes aualizados a cada ieração: c c ( S () i ) = g eq.8 ( S () i ) = g eq.9 Onde: g ( S) = e 2 K De acordo com (Rasheed Z e al, 2002a)) foram usados os seguines valores para λ = 0. e k = 0.. Finalmene, as froneiras de omadas são indicadas pelos mínimos locais da função S(i), pois nesse méodo não há um limiar a ser fixado.

7 4 - Análise e resulados Os experimenos envolveram a aplicação dos méodos selecionados em um conjuno de 4 vídeos, com diferenes caracerísicas em ermos de duração, ipo de coneúdo, formao de codificação do vídeo. Os algorimos de deecção foram execuados numa arquieura Penium IV 3GHz, GB de RAM, especialmene dedicada ao processameno. Os processamenos levaram cerca de 3 vezes o empo oal do vídeo em odos os casos. Os resulados obidos nos experimenos são apresenados na abela 2. Tabela 2 Relação de cores deecados nos rês méodos. Nome do vídeo Man PP RGB HSV Greenday Minoriy Creed Higher Leonardo de Caprio vs Jack Nicholson Sar ars vs. Alien Legenda: Man = Segmenação Manual, PP = Comparação pixel-a-pixel, RGB = Diferença dos Hisogramas RGB e HSV = Mínimos dos hisogramas HSV. A parir dos resulados na abela 2, foi possível verificar que nenhum dos méodos apresenou desempenho superior aos demais para odos os casos analisados. nreano, na maior pare dos casos, o méodo de segmenação baseado na diferença dos hisogramas RGB foi o que apresenou resulados mais próximos do que poderia ser obido com a segmenação manual dos vídeos. A abela 3 apresena os resulados da aplicação dos méodos com a axa média de erro, e deecção de falsos posiivos. Tabela 3 Taxa de erros e deecção de falsos posiivos. Méodo Taxa de média de erro Falsos posiivos PP 84,9% 283% RGB 6,8% 43% HSV 2,5% 47%

8 5. Conclusão se arigo apresenou um esudo sobre rês méodos de segmenação auomáica de omadas de vídeo. Os méodos foram empregados em diferenes ipos de vídeo e com diferenes durações. O méodo de deecção pixel-a-pixel mosrou-se sensível ao movimeno de objeos no quadro, iso se orna uma desvanagem, já que se houver movimeno é possível enconrar falsos cores de omada ou falsos posiivos. Isso ocorre, por exemplo, quando exisem efeios de zoom no vídeo, para os quais apenas a mudança no amanho dos objeos em a endência de gerar falsos posiivos. O méodo da diferença dos hisogramas RGB em que conornar o problema de que quadros compleamene diferenes possam er hisogramas muio similares, que podem ambém gerar falsos posiivos. nreano, a probabilidade desas siuações ocorrerem é baixa, compromeendo pouco a eficácia do méodo. sses casos ocorrem principalmene em cores de omadas no mesmo ambiene, que por conseguine, endem a apresenar a mesma axa de iluminação. Por ouro lado, a diferença de hisogramas apresena resisência a movimenação de objeos, uma vanagem sobre o méodo de comparação pixel-a-pixel. sperava-se, de acordo com a lieraura (Rasheed Z e al, 2002), que o méodo do somaório dos Hisogramas HSV, apresenasse os melhores resulados para a deecção de omadas. nreano, não foi exaamene o que aconeceu nos experimenos realizados. O mau desempenho apresenado, enreano, não deermina que o méodo é sempre ineficiene. Isso porque, o méodo em algumas variáveis a serem ajusadas de forma heurísica, como λ, k e a quanidade de ierações da função de suavização. Um ouro problema do méodo é a deecção de mínimos locais. Como o méodo não rabalha com um limiar, é preciso descobrir os mínimos locais, que são realmene relevanes para indicação de delimiação de omadas de vídeo.

9 Referências (IBM MArvel, 2006) Sie: <hp://mp7.wason.ibm.com/marvel/> Ulimo acesso: 29 de Agoso de 2006 (Rasheed Z e al, 2002) Zeeshan Rasheed, Yaser Sheikh e Mubarak Shah Semanic Film Preview Using Low-Level Compuable Feaures (Sanos T., 2004) Tiago Texeira Sanos - Segmenação auomáica de omadas em vídeo Disseração de Mesrado - Universidade de São Paulo (Smih & Chen, 2000) Micheal A. Smih & Tsuhan Chen - Image and Video Indexing and Rerievel - Hand Book of image and video processing - dior Al Bovik 2000 (Tekalp, 2000) A. Mura Tekalp - Video Segmenaion - Hand Book of image and video processing dior Al Bovik 2000