Tracking de movimentos usando marcadores circulares

Transcrição

1 UNIVERSIDADE FEDERAL DO RIO DE JANEIRO - COPPE INTRODUÇÃO AO PROCESSAMENTO DE IMAGENS Tracking de movimentos usando marcadores circulares Jéssica de Abreu DRE: Junho de INTRODUÇÃO Com a evolução dos processadores, o reconhecimento de movimentos tem ampliado seu espectro, podendo ser feito mesmo de um laptop pessoal. De fato, são diversas as aplicações que permeiam nosso cotidiano, seja na indústria de jogos, segurança, ou entretenimento. Tendo em vista as aplicações em pesquisas da área biomédica, onde é necessária alta precisão e performance, softwares [5] [2] e hardwares associados à análise de movimento ainda apresentam sérias limitações. Os custos são, em geral, elevados, e o tracking de movimentos com marcadores pequenos pode ser bastante falho, demandando trabalho adicional do usuário [1]. O desenvolvimento de uma metodologia de tracking que contornasse estes obstáculos seria de grande valor para as pesquisas da área, ou mesmo para o uso clínico. 1.1 OBJETIVO Este trabalho tem como objetivo a implementação de um tracking de movimento baseado em marcadores circulares. É desejável que o tracking reconheça marcadores pequenos, da ordem de 5mm e que funcione mesmo com a ausência de marcadores em algumas frames. 1

2 2 METODOLOGIA E ALGORITMO A Figura 2.1 mostra um esquema representativo do algoritmo adotado no tracking, implementado em python 2.7. O código e vídeos estão disponíveis em: As imagens mostram o resultado obtido em cada etapa. A seguir, na seção 2.1, serão detalhados os procedimentos e a teoria por trás de cada fase do processamento. 1) Extração de frames 2) Borramento gaussiano 3) Binarização 4) Extração de contornos 5)Tranformada de Hough 6) Tracking. Figure 2.1: Esquema representativo do algoritmo adotado no trabalho. 2

3 1. Extração de frames: 2.1 ETAPAS DO ALGORITMO Feita na função video_frames, usando a biblioteca ffmpeg [3]. Para a metodologia atual de tracking, baseada em menores distâncias entre marcadores em frames seguidas, é necessária uma alta frequência de amostragem. Neste trabalho, foi adotada a frequência de 50 Hz. Com uma metodologia mais robusta de tracking, seria possível reduzir significativamente esta frequência. 2. Filtro gaussiano: Feito na função gauss. O grau de borramento é customizável, sendo adotado neste trabalho o borramento em janela 3x3. O objetivo aqui é atenuar altas frequências, reduzindo a chance de encontrar regiões pontuais de coloração semelhante a definida para os marcadores. O borramento é feito a partir da convolução da imagem com uma máscara cujos valores são calculados de forma a aproximar-se de uma distribuição gaussiana bidimensional [4], de acordo com a equação Binarização: G(x, y) = 1 2πσ 2 e x2+y2 2σ 2 (2.1) Feita na função binarizar_hsv. Uma vez que a faixa de cores dos marcadores é definida, pixels cuja cor não se enquadre não são de interesse para o algoritmo. O código executa então um loop, identificando pixels dentro da faixa de interesse por meio do cálculo de hue e saturação [6], como mostram as equações 2.2 e 2.3. Caso o pixel não esteja na faixa de interesse, as intensidades dos três canais RGB são zeradas. Do contrário, a intensidade máxima em um dos canais RGB (escolhido pelo usuário) é atribuída ao canal. Dessa forma, trabalha-se ao final deste processo com apenas um dos canais RGB, e com apenas duas cores, reduzindo muito o tempo de processamento. G B, se MAX =R e G B G B + 360, se MAX =R e G < B B R + 120, se MAX =G (2.2) 4. Extração de contornos: R G + 240, se MAX =B S = M AX (2.3) A extração de contornos é feita, em geral, com a associação de filtros sobel e canny. Sobel detecta arestas e canny as processa de forma que a espessura se reduza a 1 pixel, 3

4 limiarizando arestas fortes e fracas. Ambos estão implementados no código, no entanto, não foram necessários para esta aplicação. Para a imagem binária tratada neste trabalho, foram adotados os seguintes passos: a) Um loop é executado, identificando pixels coloridos. b) Se a soma das cores da janela 3x3 centrada no pixel analisado for inferior a 560 (menos que a soma de três pixels binarizados pois ao salvar, as cores da imagem podem se alterar), nada é feito na vizinhança. Isso é feito para que o software não detecte arestas incorretamente. Se a soma de cores da janela for inferior a este valor, é alta a probabilidade de o pixel seja, na realidade, um ruído, e não parte de um marcador. O comportamento aqui é o de um filtro passa baixa. c) Caso a soma de cores seja superior ao valor de threshold, o código avalia se dentro da vizinhança centrada no pixel, há pixels zerados. Se houver, o código entende que aquele pixel faz parte de uma aresta. Sendo assim, aos pixels negros é atribuído o valor máximo no canal de escolha. Com a janela 3x3, a espessura obtida é de um pixel. O processo é feito na função borda_binaria. 5. Transformada de Hough: Feita na função hough_circulo, com os seguintes passos: a) A função gradientes, com a mesma lógica usada no algoritmo do filtro sobel, calcula a direção dos gradientes da imagem, perpendicular às bordas. Para bordas circulares, a direção do gradiente se aproxima a do raio. b) O desenho de um diâmetro se inicia toda vez que o código encontra um pixel colorido no arquivo de bordas, se estendendo na direção do gradiente até que o se chegue a borda oposta. c) Um contador acompanha o número de pixels do diâmetro. O raio é estimado como o pixel na metade, na direção do gradiente. d) Um dicionário acompanha os pixels que foram votados como raios de cada forma elíptica, com a quantidade de vezes em que o pixel foi acessado. e) Terminado este processo, a subfunção calculo_centros calcula o centro de gravidade de cada elipse/círculo. O pixel calculado é único, no entanto, é desenhada uma vizinhança 2x2 para maior facilidade de visualização do usuário. 6. Tracking: Feito na função executa_hough_e_tracking. A função consolida todas as anteriores, extraindo frames, executando o filtro gaussiano, binarizando, encontrando bordas e calculando os centros a partir da transformada de hough. O tracking em si é feito nas seguintes etapas: a) A primeira frame é exibida ao usuário, com números relativos a cada marcador encontrado. É perguntado ao usuário o label desejado para cada marcador. Um dicionário é feito com os labels e suas respectivas posições. 4

5 b) O algoritmo busca a frame seguinte, inserindo pontos encontrados em um dicionário. Em seguida, compara a frame atual com a anterior, atribuindo os mesmos labels a marcadores mais próximos. c) Caso o marcador seja perdido, o código iguala a posição do label equivalente a do quadro anterior. 3 RESULTADOS E DISCUSSÃO Velocidade: Para esta aplicação, foi possível adotar diversas simplificações do algoritmo de detecção, o que aumentou significativamente a velocidade de processamento de cada frame. Ainda assim, o processamento e seu respectivo tracking dura cerca de 40 segundos, variando com a capacidade de processamento do computador. Otimizações do código podem reduzir este intervalo. No entanto, para uso do software em vídeos de maior duração, o ideal seria implementar o programa em uma linguagem de nível mais baixo, ou utilizar o processamento em GPU. Tracking: A metodologia de tracking obteve bons resultados na maioria dos testes. No entanto, em sequências de baixa definição, em que marcadores não são reconhecidos em mais de 5 frames seguidas, o algoritmo pode falhar. Alternativas mais robustas de tracking estão sendo consideradas para o futuro do trabalho. Soluções possíveis seriam a implementação de uma estrutura hierárquica, que levasse em conta a distância relativa ao marcador pai" e ao marcador filho" para estimar a posição de um marcador faltante. O uso da velocidade e sua direção em frames anteriores também pode melhorar significativamente o resultado, no entanto, a direção costuma se alterar rapidamente para aplicações em biomecânica. A combinação destas técnicas permitiria que se trabalhasse com frequência de amostragem mais baixa, aumentando a velocidade de implementação. Eficiência de detecção de marcadores: A detecção de marcadores obteve bons resultados, estimando centros mesmo em imagens com grau razoável de borramento. A detecção de centros funciona caso o marcador reconhecido tenha dimensões, no mínimo, de 3x3 pixels. As Figuras 3.1 e 3.2 mostram os resultados para imagens borradas e com marcadores bastante reduzidos. 5

6 . Figure 3.1: Resultado de detecção de centros em imagem com marcadores borrados.. Figure 3.2: Resultado de detecção de centros em imagem com marcadores reduzidos. 6

7 4 CONCLUSÃO Foi implementado um tracking de movimento bidimensional, baseado no reconhecimento de marcadores dentro de uma faixa de tonalidades. Os resultados foram satisfatórios, com detecção de marcadores na ordem de 3x3 pixels e tracking eficaz em sequências bem comportadas, onde marcadores faltantes não superam cinco frames. A velocidade de execução é um obstáculo no uso, com processamento em torno de 40 segundos por frame. Perspectivas futuras podem incluir o desenvolvimento de uma metodologia mais robusta de tracking, possivelmente uma estrutura hierárquica em grafos, com considerações relativas à velocidade dos marcadores. Implementar o código em uma linguagem de baixo nível também seria uma possibilidade para reduzir o tempo de processamento. REFERÊNCIAS [1] J. Abreu. Reconstrução da cinemática da mão em pacientes com hanseníase. Projeto de graduação, Universidade Federal do Rio de Janeiro, Sept [2] BTS. SMART-D User Manual, Dec Manual do usuário, BTS SMART-D. [3] FFMPEG. FFMPEG, June url: Data de acesso: jun/2014. [4] A. W. R. Fisher, S. Perkins and E. Wolfart. Gaussian Smoothing, url: Data de acesso: jun/2014. [5] VICON. Plug-In Gait Model Details, July Manual do usuário, VICON SYSTEMS. [6] Wikipedia. HSV, url: Data de acesso: jun/