EXTRACÇÃO DE INFORMAÇÃO VÍDEO DO DOMÍNIO COMPRIMIDO MPEG-4 2

Transcrição

1 EXTRACÇÃO DE INFORMAÇÃO VÍDEO DO DOMÍNIO COMPRIMIDO MPEG-4 2 Neste capítulo vamos abordar algumas características que são possíveis extrair a partir da representação digital comprimida de sequências de vídeo natural, bem como, os respectivos métodos para realizar essa tarefa. As aplicações mais comuns da análise de vídeo no domínio comprimido são: detecção de fronteiras entre cenas típicas (shots); extracção de imagens-chave; detecção de transições abruptas ou cortes de cena; detecção de intrusão em sistemas de vigilância; medição da intensidade de tráfego; controlo de acesso de pessoas; indexação de bibliotecas de vídeo digital, de modo a facilitar a pesquisa e a consulta dos seus conteúdos; e a detecção de operações associadas ao movimento e focagem da câmara. Os parâmetros extraídos do vídeo comprimido [1], são geralmente obtidos a partir de uma descodificação mínima da sequência codificada evitando, nomeadamente, o cálculo da transformada inversa da DCT e a reconstrução das imagens. Desta forma, os métodos desenvolvidos são de baixa complexidade computacional, possibilitando a sua integração em aplicações de tempo real. O capítulo é iniciado com uma breve panorâmica sobre os conceitos principais associados à codificação de objectos de vídeo natural rectangulares segundo a norma MPEG-4. Estes conhecimentos são importantes na interpretação dos vários métodos de análise vídeo no domínio comprimido apresentados nas restantes secções deste capítulo e, em geral, ao longo deste trabalho. 2.1 Codificação de Objectos de Vídeo Rectangulares Na norma vídeo MPEG-4 existem dois modos de codificação: a codificação de objectos de vídeo rectangulares; e a codificação de objectos de vídeo de formas arbitrárias [30]. 2-1

2 Quando se refere um objecto de vídeo rectangular, este é funcionalmente análogo às imagens usadas nas normas de codificação MPEG-1, MPEG-2, H.261 e H.263. Os princípios básicos utilizados por estas normas de codificação são os mesmos que são utilizados na compressão de vídeo MPEG-4, nomeadamente, o método híbrido de compressão espaço-temporal usando a DCT, a estimação e a compensação do movimento e a codificação entrópica dos dados gerados. No entanto, vários melhoramentos foram introduzidos com a aplicação de novas ferramentas, mecanismos e algoritmos. Na codificação de objectos de vídeo rectangulares, somente a informação referente ao movimento e à textura é processada (transmitida ou armazenada segundo a sintaxe definida). Assim, cada imagem da sequência de vídeo é considerada como um VOP rectangular. Cada VOP é dividido hierarquicamente em macroblocos disjuntos de pixels e estes em blocos de 8 8 pixels de luminância e de crominância. São usados dois modos principais de codificação: Modo Intra Os macroblocos de luminância (Y) e crominância (U,V) são codificados independentemente dos seus homólogos situados em VOPs prévios e futuros. Modo Inter Os macroblocos de luminância e de crominância do VOP actual são codificados por predição, em função de VOPs prévios e (ou) futuros (predição temporal) Estrutura temporal De modo a compreender os algoritmos e a terminologia associada aos modos de predição, estimação e compensação de movimento, é importante clarificar a estrutura temporal de uma sequência MPEG-4. Assim, os vários tipos de imagens são: VOP I São VOPs do tipo Intra, em que não são usadas quaisquer referências a outros VOPs. Uma imagem I é completamente codificada usando o modo de codificação INTRA. 2-2

3 VOP P São VOPs codificados no modo Inter com predição causal (forward). A referência pode ser um VOP P ou I anterior ao VOP corrente. VOP B São VOPs codificados no modo Inter com predição causal (forward) e/ou anti-causal (backward). Nesta dissertação foi utilizada a seguinte estrutura de VOPs: I B B P B B P B B P B B I [0] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] Neste esquema a ordem representada é a da visualização dos VOPs. Deve ser notado que esta não será a ordem utilizada na transmissão. Como nos VOPs B podem ser usados como referências os VOPs I e/ou P imediatamente seguintes, estes devem ser transmitidos em primeiro lugar de forma a ser possível reconstruir os VOP B. Assim, para a estrutura utilizada a ordem de transmissão deverá ser: I P B B P B B P B B I B B [0] [3] [1] [2] [6] [4] [5] [9] [7] [8] [12] [10] [11] Esta particularidade importante entre a ordem de transmissão e de visualização das imagens, deve ser tomada em consideração aquando do processo de descodificação, de forma a repor a ordem temporal correcta Estimação e compensação de movimento Novos modos e métodos foram introduzidos na norma MPEG-4 na estimação e compensação do movimento dos blocos. Modo 4 Nas normas anteriores apenas um vector de movimento é transmitido por cada macrobloco (i.e. por cada bloco de pixels de luminância), o que se designa por modo 1. Nesta norma é possível usar também o modo 4, no qual são usados 2-3

4 vectores de movimento individuais para cada um dos 4 blocos, 8 8 de luminância, que formam um macrobloco. Compensação de movimento Quarter Pel Fui introduzido um algoritmo para a compensação de movimento utilizando vectores de movimento com uma resolução de ¼ pixel, o que permite um melhoramento significativo na predição e, consequentemente, na diminuição do erro de predição. As resoluções de ½ pixel e de pixel completo, eram já utilizadas nas normas anteriores MPEG e H.263. Compensação de movimento global Um conjunto de parâmetros representativos do movimento global no VOP são determinados e codificados para um VOP completo. Estes parâmetros podem ser usados em alternativa aos vectores de movimento locais, referentes aos macroblocos, na compensação do movimento. Esta ferramenta é particularmente importante em sequências que exibem movimento global significativo, nomeadamente, devido ao movimento da câmara. Modo directo na predição bidireccional É um melhoramento da predição de movimento bidireccional que usa os vectores de movimento dos VOPs P vizinhos, de forma a diminuir a taxa de informação necessária para codificar os vectores de movimentos dos VOPs B. Consiste, basicamente, numa generalização das imagens PB já introduzidas na norma H.263. A ideia base do modo consiste em explorar o conhecimento dos vectores de movimento entre os VOPs de referência backward e forward, como se mostra na figura seguinte: P B P 0 B 1 B 2 P 3 Figura 2.1- Estrutura da sequência para observar os macroblocos directos. Na figura 2.1 o VOP actual é o VOP B 1 e a posição do macrobloco corrente é mostrada na figura. O descodificador já conhece o VOP P 3 de referencia backward e os 2-4

5 seus vectores de movimento. O vector de movimento é expresso em função da informação de movimento forward e backward disponível e apenas é transmitido um vector de correcção designado por delta [pereira]. Este mecanismo também se utiliza quando a referência posterior é um VOP I Tipos de macroblocos Muitos dos métodos descritos na literatura que usam vídeo no domínio do comprimido, são baseados na análise da informação contida no tipo de macroblocos utilizados nos VOPs P e B. Obviamente, nos VOPs I todos os macroblocos são do tipo intra. De seguida, fazemos uma breve enumeração dos vários tipos. VOPs P Macroblocos codificados como INTRA No caso em que a não é possível ao codificador efectuar a predição de um macrobloco, com base no VOP P ou I anterior, é usado o modo intra. Macroblocos codificados com 0 vectores de movimento (0) Quando os vectores de movimento são nulos só é codificado o erro de predição. Macroblocos codificados com 1 vector de movimento (1) Neste caso é utilizado um vector de movimento por cada macrobloco. Macroblocos codificados com 4 vectores de movimento (4) Nestes macroblocos para efectuar a predição foi necessário utilizar 4 vectores de movimento, um por cada bloco. A figura 2.2 é um exemplo onde se representam os vários tipos de macroblocos usados na codificação de um VOP P. Nos macroblocos com um vector de movimento foi colocada uma seta que indica o sentido predominante do vector. Trata-se apenas de uma informação qualitativa, pelo que não é dada qualquer indicação referente ao módulo do vector de movimento. Os macroblocos a negro correspondem ao tipo 0. Os macroblocos não codificados não possuem qualquer marca. 2-5

6 MB codificado como INTRA MB codificado com 1 MB codificado com 0 MB não codificado MB codificado com 4 Figura 2.2- Identificação num VOP P dos vários tipos de macroblocos utilizados. VOPs B Os VOPs B são preditos com base nos VOPs I ou P imediatamente anteriores e/ou seguintes. Nestes VOPs só é utilizado o modo 1, pelo que teremos: Macroblocos sem codificação Significa que não existe alteração no macrobloco actual do VOP. Macroblocos forward O vector de movimento é baseado nos VOPs anteriores I ou P (predição causal). Macroblocos backward anti-causal). O vector de movimento é baseado nos VOPs seguintes I ou P (predição Macroblocos interpolados Ambas as referências forward e backward são usadas na predição. São transmitidos dois vectores de movimento. A predição do bloco actual é realizada por 2-6

7 interpolação dos conteúdos de ambas as referências em função dos respectivos vectores de movimento. Macroblocos Directos Ambos as referências (passadas e futuras) são usadas na predição. No entanto, o vector de movimento é obtido a partir dos vectores de movimento dos macroblocos co-localizados nos VOPs de referência. Apenas é transmitido um termo de correcção referido como vector delta Processo de análise por descodificação parcial Num descodificador básico de objectos de vídeo rectangulares MPEG-4 os VOPs são reconstruídos por combinação da informação descodificada de movimento e de textura. Os sistemas de processamento no domínio comprimido por descodificação parcial da sequência emulam o funcionamento de um descodificador MPEG. No processo de descodificação são processadas hierarquicamente as seguintes estruturas: Video Object Layer; grupo de Video Object Plane; Video Object Plane; macrobloco; e bloco. 2.2 Análise das opções de codificação A partir da análise dos métodos de codificação usados, em particular, nas imagens (VOP) P e B, é possível inferir um conjunto significativo de informações, nomeadamente, sobre a existência de movimento e de mudanças de cena. Tipos de macroblocos usados pelo codificador Os tipos de macroblocos usados, bem como, a sua quantidade nas imagens P e B, possibilitam a extracção de várias características temporais. Pelo contrário, nas imagens do tipo I só existe informação espacial. Nas imagens P e B os macroblocos do tipo intra surgem por decisão do codificador, após verificar que a alteração é de tal forma que não é possível fazer uma predição temporal eficiente baseada nas imagens vizinhas. Dado que em curtos intervalos de tempo (várias imagens consecutivas) as sequências de vídeo natural são 2-7

8 bastante correlacionadas, a análise do tipo de macroblocos utilizados nestas imagens, pode indicar se a imagem actual é mais semelhante com a imagem de referência anterior e/ou posterior. Quando se verifica que numa imagem P existem muitos macroblocos do tipo intra, então, é possível concluir que existem novos conteúdos na cena, pois o codificador não conseguiu relacionar a imagem actual com a imagem anterior, através da estimação de movimento. Por exemplo, se a quantidade destes macroblocos excede um determinado limiar, então, existe com forte possibilidade de ter existido uma alteração de cena, entre a imagem P e a sua imagem de referência. No caso das imagens B o procedimento é semelhante. Quando existe uma variação de cena entre uma imagem B e uma das suas imagens de referência, o codificador escolherá maioritariamente como imagem referência, a imagem onde se verificou a alteração. Assim, quando numa imagem B a predição é realizada segunda uma dada direcção, é razoável concluir que existe uma variação de cena entre a imagem B e a imagem de referência na direcção oposta. Na tabela 2.1 apresenta-se um exemplo da distribuição de macroblocos numa sequência de imagens B. Tipo de VOP VOP Nº FORWARD BACKWARD INTERPOLADO DIRECTO B B B B B B B B B B B B B B B B B B B B

9 B B B B Tabela 2.1- Exemplo de distribuição de vários tipos de macroblocos em imagens B. 2.3 Características espaciais Uma análise alternativa e complementar pode ser realizada a partir da informação contida nos valores dos coeficientes da DCT dos blocos codificados. Seguidamente, são apresentados alguns métodos baseados na descodificação parcial da sequência codificada [1, 4]. Imagens e sequências DC Nas normas MPEG as imagens do tipo I são codificadas aplicando a DCT a blocos de 8 8 pixels de luminância e de crominância. O resultado desta transformada são 64 coeficientes, em que o primeiro valor corresponde ao coeficiente DC ou valor médio do bloco (sempre positivo) e os restantes 63 valores correspondem aos coeficientes AC. As imagens reconstruídas a partir dos coeficientes DC da DCT são versões espaciais reduzidas das imagens originais, mas ainda com informação visual significativa. Estas imagens uma vez extraídas, podem ser utilizadas na detecção de transições de cena ou na detecção de objectos. Para uma imagem com pixels, a sua versão DC correspondente a uma imagem com pixels, ou seja, é possível desenvolver métodos de análise de baixa complexidade computacional. Se formarmos uma sequência dessa forma, designamo-la por sequência DC. Esta pode ser usada para determinar o movimento entre imagens [4]. Variação de sinal dos coeficientes da DCT A mudança de sinal dos coeficientes da DCT entre blocos co-localizados (ocupam a mesma posição espacial) de imagens consecutivas do tipo I, indica uma variação da energia dos blocos e, portanto, permite também a detecção de movimento numa sequência de vídeo, mesmo na presença de ruído [3]. Utilizando este método 2-9

10 rápido (forte sub-amostragem da sequência codificada), não é necessário efectuar a quantificação inversa dos coeficientes da DCT. A medida é invariante com ' transformações do tipo, y [ n, m] = α y[ n, m] + β, onde α e β são constantes reais positivas, devido à linearidade da DCT e, por conseguinte, é também invariante com uma alteração uniforme da iluminação. Para cada par de blocos co-localizados, o número de variações de sinal é contado [3]. Se o número de alternâncias de sinal é maior que um dado limiar, então, a esse bloco é atribuído movimento, caso contrário é considerado parado. Por sua vez, o número de blocos com movimento numa imagem, determina se existe ou não movimento. A decisão sobre quantos blocos são necessários para determinar ou não a existência de movimento relevante é determinado em função da aplicação. Se não existem mudanças de cena, as imagens consecutivas deverão ser idênticas e, consequentemente, o número de variações de sinal deverá ser quase nulo em todos os blocos. No entanto, vários factores podem introduzir variações de sinal na ausência de movimento, nomeadamente, o ruído da câmara, os erros de digitalização do sinal e as variações da iluminação. Assim, a determinação do valor do limiar de movimento deve ter em conta todos estes condicionalismos [3]. Cor Esta característica pode ser extraída dos coeficientes DC como se fez com a luminância mas, neste caso, a partir as componentes de crominância. Em MPEG a representação da cor é efectuada usando as componentes Cb e Cr. Desta forma, é fácil a extracção da cor aproximada, o que permite desenvolver várias aplicações [5]. Textura A textura é medida tendo como base os coeficientes AC da DCT. As regiões com pouca textura tendem a gerar pequenos erros de predição de movimento nas imagens P e B, enquanto que as regiões com uma textura mais relevante tendem a gerar maiores erros de predição. Para calcular a textura, os coeficientes AC da DCT são agrupados segundo a sua energia horizontal, vertical e diagonal, permitindo obter as características da textura 2-10

11 nestas direcções. No caso da análise de transições de cena, pode-se definir um limiar de energia a partir do qual se considera uma textura reduzida ou elevada [5]. Contornos À semelhança da textura, o cálculo do mapa de contornos é feito em função dos coeficientes AC da DCT. Normalmente, são suficientes 3 coeficientes para indicar a transição horizontal, vertical e diagonal, o que possibilita a construção de um mapa binário de contornos para uma imagem [6]. Coeficientes nulos da DCT A medição do número de coeficientes AC da DCT nulos nas imagens I, P e B, reflecte a maior ou menor definição dos contornos de uma imagem. Assim, um valor baixo será uma indicação da existência de contornos bem definidos. Pelo contrário, se o número de coeficientes nulos for elevado, poderá indicar a existência de poucos contornos e, portanto, uma desfocagem da câmara. Com esta métrica podemos, por exemplo, controlar o comando de focagem da câmara [7]. 2.4 Características associadas ao movimento Em vídeo digital comprimido do tipo MPEG, a informação de movimento é obtida na forma de vectores de movimento, que são uma aproximação do verdadeiro movimento dos pixels que formam os macroblocos. A análise dos vectores de movimento deve ser cuidadosa, pois existem várias situações que podem gerar vectores de movimento errados. A causa de alguns erros é intrínseca ao funcionamento do próprio codificador, que não processa devidamente certas regiões, como sejam, as fronteiras dos macroblocos, as grandes áreas de imagem com textura uniforme e os limites da imagem capturada pela câmara. Zonas com movimento A partir das imagens P, os macroblocos podem ser classificados em função da existência de vectores de movimento, possibilitando, desta forma, a constituição de regiões com e sem movimento. Após a primeira análise onde são formadas as regiões, 2-11

12 será necessário efectuar outra mais detalhada, que tem por objectivo definir a direcção e a intensidade do movimento e sua possível segmentação em objectos. Neste caso, também se devem considerar as características espaciais, de forma a melhorar a qualidade da segmentação [8]. Histogramas da intensidade do movimento Este método consiste na criação de um histograma, que caracteriza a intensidade do movimento. A criação de uma média baseada em imagens anteriores, permite caracterizar o tipo de cena. Por exemplo, é possível efectuar a distinção entre um noticiário e um evento desportivo. No caso do apresentador de notícias, o histograma tenderá a ter um valor médio da intensidade de movimento baixo, enquanto que num evento desportivo, tenderá a ter um valor médio de intensidade de movimento elevado [9]. Fluxo óptico Pretende-se determinar uma característica que corresponde ao sentido do movimento dos macroblocos. Se uma dada área apresenta um sentido de movimento homogéneo, então, podemos relacioná-la com um objecto em movimento. Por exemplo, se existir um movimento predominante de todos os macroblocos num determinado sentido da imagem, podemos considerar que existe um movimento da câmara em sentido contrário. Se existir um movimento radial dos vectores de movimento, podemos considerar o movimento como sendo relativo a uma operação de zoom da câmara [2, 10, 22, 23]. Segmentação de objectos em movimento A partir dos coeficientes DC das imagens I, é possível identificar regiões com semelhanças na luminância e na cor, que podem fazer parte de um objecto. Pode-se igualmente efectuar a segmentação de objectos através da análise dos vectores de movimento das imagens P. Por exemplo, blocos adjacentes com o mesmo vector de movimento pertencem muito provavelmente ao mesmo objecto. A integração 2-12

13 das análises espacial e temporal, permite implementar mecanismos bastante fiáveis na identificação e extracção de objectos em movimento numa sequência de vídeo comprimido [11, 12, 13, 14, 15]. Formação de um campo de vectores de movimento Na modelação do movimento da câmara é fundamental que os dados usados na construção do modelo sejam genéricos e fiáveis. Neste sentido, é apresentado um método para converter os vectores de movimento extraídos do domínio comprimido MPEG, num campo de vectores homogéneos e independente do tipo predição temporal utilizada. Sendo os vectores de movimento independentes do tipo de VOP, podem ser utilizados para obter informações sobre o tipo de imagem e para o seguimento de objectos em sequências de vídeo comprimido. Métodos semelhantes são apresentados em [21, 22, 23, 26]. Nesta abordagem os VOPs de referência são designados por R i quando se situam na imagem anterior e por R j quando se encontram na imagem posterior. Na norma MPEG estes VOPs poderão ser do tipo I ou P. Considerando a estrutura adoptada neste trabalho (IBBPBBPBBPBBI), os VOPs B entre dois VOPs I ou P são referido por B 1 e B 2, respectivamente. Se um macrobloco de um VOP B é deslocado em relação a um VOP de referência R i (anterior), de um dado vector de deslocamento, este será referido como B. Se a predição for backward, este será representado por, B R. n j R n i R j R i B 2 R i B 1 R i R i B 1 B 2 R j B 1 R j B 2 R j 2-13

14 Figura 2.4- Tipo de vectores de movimento dos macroblocos considerados na construção do campo de vectores de movimento. VOPs B Neste tipo de VOPs temos várias possibilidades de vectores de movimento, como sejam, forward, backward, e bidireccionais. Os únicos que vamos considerar nesta análise são os forward e backward. Neste caso, temos os VOPs B 1 a seguir à referência R i e os VOPs B 2 anteriores à referência R j. VOPs B 1 Se o vector de movimento é forward, ou seja, B 1 Ri, então, VOP B = B Ri. (2.1) 1 Se o vector de movimento é backward em relação a R j, então, efectua-se a subtracção do vector correspondente R R j i, ou seja, = R R B1 R VOP B j i j. (2.2) Se o vector de movimento for do tipo bidireccional, então, não se pode considerará-lo directamente. No entanto, podemos observar o macrobloco co-localizado em B 2 e verificar qual é o seu tipo de vector de movimento. Se este for forward, então, senão, fazemos, B2Ri VOP B =, (2.3) 2 R jri VOP B =. (2.4) 3 VOPs B 2 Se o vector de movimento é do tipo forward, então, efectuaremos um procedimento análogo ao que já foi feito para o VOP B 1, isto é, Se o vector é backward, então: = R R B2R VOP B j i i. (2.5) VOP R jri B2R j B =. (2.6)

15 No caso de termos vectores de movimento do tipo bidireccional, então, procuramos no VOP B 1, se existe um vector de movimento backward. Caso exista, fazemos, senão, VOP B1 R j B =, (2.7) 2 R jri VOP B =. (2.8) 3 VOPs P Para este tipo de VOPs os vectores de movimento forward estão disponíveis, em referência a um VOP anterior do tipo I ou P. No entanto, este VOP já aconteceu há algum tempo, pelo que vamos considerar a informação de movimento dos VOPs que estão imediatamente antes (B 1 e vectores backward) e no VOP seguinte (vectores forward), ou seja, VOP B2R j+ B1R j P =. (2.9) 2 Se só existirem vectores backward no VOP B anterior, teremos, = B2R. (2.10) VOP P Caso não existam vectores de movimento ou estes sejam de outros tipos, iremos considerar os vectores do próprio VOP, isto é, R jri VOP P =. (2.11) 3 j VOPs I Neste tipo de VOPs não existem vectores de movimento associados, pelo que terão de ser aproximados. O método utilizado será idêntico ao já referido para os VOPs P. Se existirem no VOP B anterior (backward) e no VOP seguinte (forward), então, 2-15

16 VOP Se só existirem backward no VOP B anterior, teremos, B2R j + B1R j I =. (2.12) 2 = B2 R VOP I j. (2.13) 2-16