Universidade Federal do Rio de Janeiro. Flávio Henrique Schuindt da Silva. Estimativa de Fluxo Ótico com o método de Lukas-Kanade

Transcrição

1 Universidade Federal do Rio de Janeiro Programa de Engenharia de Sistemas e Computação Introdução ao Processamento de Imagens Flávio Henrique Schuindt da Silva Estimativa de Fluxo Ótico com o método de Lukas-Kanade Rio de Janeiro 2014

2 1. Introdução Em muitas aplicações de computação gráfica, é útil obter o padrão de movimento aparente de objetos, superfícies e quinas em uma cena em relação ao observador. Este padrão de movimento recebe o nome de fluxo ótico e possibilita, por exemplo, realizar rastreamento (tracking) dos objetos em uma cena. Este trabalho tem como objetivo estimar o fluxo ótico de uma cena (um vídeo) utilizando o método de Lukas-Kanade [1]. Para chegar ao objetivo proposto, são utilizados métodos para cálculo do gradiente da imagem, quinas e a aplicação em si do método de Lukas-Kanade na sua forma piramidal. 2. Implementação Este trabalho foi implementado em Python 2.7, utilizando as bibliotecas Pillow para manipulação dos frames do vídeo e Numpy para operações de álgebra linear inerentes ao método de Lukas-Kanade. Além disso, para extração dos frames do vídeo foi utilizado o ffmpeg. O algoritmo implementado pode ser sintetizado em quatro passos principais, a saber: Extração dos frames do vídeo; A cada par de frames do vídeo: o Converte os frames para tons de cinza (8 bits - 0 a 255); o Diferença temporal (pixel a pixel) entre os pixels dos dois frames; o Cálculo, no primeiro frame, dos gradientes nas direções horizontal e vertical utilizando o filtro de Sobel; o Detecção, no primeiro frame, de quinas na imagem utilizando o detector de Harris; o Estimativa do fluxo ótico das quinas encontradas no passo anterior utilizando o método de Lukas-Kanade na sua forma piramidal; o Salva o fluxo ótico em uma imagem no disco como saída para o usuário.

3 O fluxograma da Figura 1 abaixo sintetiza os passos descritos. Figura 1: Fluxograma do algoritmo implementado Detector de Harris O cálculo do fluxo em todos os pontos da imagem pode se tornar uma tarefa extremamente custosa. Por este motivo, precisamos escolher bons pontos na imagem para terem seus fluxos calculados. Estes pontos são as quinas da imagem. Para cada pixel da imagem é calculado sua resposta ao Detector de Harris através da Equação 1 abaixo. Além disso, é necessário definir um valor de threshold, isto é, se a resposta ao detector para um determinado pixel for maior ou igual a um determinado valor, então esse pixel é considerado. Caso contrário é descartado. Neste trabalho foi utilizado o valor de 4,2 x 10^6 para o threshold. Vale lembrar que esse valor é totalmente empírico e foi obtido a partir de exaustivos testes. CR = λ1 λ2 0,04(λ1 + λ2), M = Ix² IxIy IxIy Iy² Equação 2: Detector de Harris. λ1 e λ2 são os autovalores da matriz M.

4 Também foi implementado uma supressão não máxima para diminuir o número de pontos detectados e permitir somente os melhores pontos entre os melhores. A supressão percorre a imagem com uma janela Q (40x40) e dentre os pontos que superaram o threshold seleciona dentro da região Q aquele que tem o maior valor de threshold, eliminando todos os outros. Por fim, foi implementado um limite máximo de pontos (10.000). É importante ressaltar que todos esses parâmetros podem ser configurados pelo usuário através das constantes presentes no software implementado. A Figura 2 abaixo apresenta pontos detectados (marcados em verde) numa imagem utilizando o método de Harris. Figura 2: Quinas detectadas utilizando Harris Lukas-Kanade Piramidal Para cada ponto obtido pelo detector de Harris, é estimado o fluxo ótico. A estimativa é feita resolvendo-se o sistema linear Av=b apresentado na Figura 3. Neste sistema, o que é de interesse é o vetor de deslocamento v. A e b são conhecidos, pois dependem do gradiente e da diferença temporal, ambos já calculados nos passos anteriores.

5 Figura 3: Sistema linear para obtenção do fluxo ótico proposto por Lukas-Kanade. Por fim, é feito um esquema de pirâmide de resoluções[2] para uma melhor estimativa do fluxo ótico para o caso de deslocamentos maiores. Este esquema envolve dividir, a cada par de frames, as imagens em K níveis dentro de uma pirâmide. Para cada nível, é gerado um thumbnail contendo uma resolução N vezes maior (analisando a pirâmide de cima para baixo neste caso) que a do nível anterior. Neste trabalho foi utilizado K = 4 e N = 2. Então, é feito o fluxo ótico dentro de um nível qualquer da pirâmide e o resultado do fluxo é multiplicado por N e propagado para o nível seguinte da pirâmide. 3. Resultados A figura 4 a seguir apresenta um frame qualquer de um vídeo e a estimativa do fluxo para o frame seguinte. Antes de analisarmos os resultados, é importante entender algumas interações que estão ocorrendo na cena: As duas meninas da frente estão pulando; A outra menina da cena está girando no sentido anti-horário; O menino está caminhando para a esquerda; O fundo da cena move-se para a esquerda. Cada seta vermelha representa a direção do vetor v de deslocamento do fluxo e seu sentido é dado pela ponta amarela. Diante desse cenário, pode-se ver claramente que o fluxo foi estimado com bastante precisão para as duas meninas que estão pulando e para a cena ao fundo. Existem alguns pontos que tiveram seu fluxo ótico calculado com algum tipo de erro, como é o caso da menina que está girando, onde alguns vetores apontam no sentido contrário ao esperado.

6 Figura 4: Cena utilizada para os resultados. 4. Conclusão Apesar de em alguns pontos o fluxo ter sido estimado com algum tipo de erro, em sua maioria o resultado foi satisfatório. Uma estratégia que talvez pudesse ser útil é estimar o fluxo sempre nos dois sentidos, realizando um double-check, isto é, avaliá-lo no sentido do primeiro frame para o segundo frame e do segundo frame para o primeiro frame. Dessa forma, as chances de acerto aumentam, porém há um custo de performance em jogo, pois o processo pode ser bastante demorado (aumenta a complexidade em duas vezes). Outro ponto a destacar é que o algoritmo apresenta baixa eficiência para processar vídeos de alta resolução. Em particular, um vídeo de 1920x1080 demora cerca de sete minutos para estimar o fluxo entre os dois primeiros frames do vídeo.

7 Toda a implementação deste projeto e seus resultados podem ser obtidos em: 5. Referências 1. Bruce D. Lucas, Takeo Kanade. An Interactive Image Registration Technique with an Application to Stereo Vision, Proc. Of 7 th Intl Joint Conf on Artificial Intelligence (IJCAI), , Jean-Yves Bouguet. Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm.